在精彩回顾方面,精彩回顾提供贴心周到的支持。
Opexlo Studio - 2018年至今
精彩回顾专注爱游戏体育,为用户提供专业可靠的体验。
Opexlo Studio - 2018年至今
Xolo Creation - 2017年至2018年
Pixxi Lab - 2014年至2017年
Zelpo Studio - 2009年至2014年
在这一轮AI浪潮中,AI算力无疑成为了最大的受益者,英伟达借此跃升为全球市值最高的企业之一。
英伟达凭借GPU的优势,不仅自身市值飙升,也催生了整个AI芯片创业市场的繁荣。短短数年间,大量初创企业涌入,试图从英伟达手中分得一杯羹。
但问题随之而来:如此众多的AI芯片公司,未来究竟有多少能够存活下来?英特尔前CEO Pat Gelsinger给出了一个并不乐观的预测:
目前市场上存在上百家AI推理芯片公司,但这种繁荣景象可能只是昙花一现。未来,大多数芯片架构可能会被淘汰,行业将重新向少数几个平台集中。
谈及Pat Gelsinger,他无疑是芯片行业中最资深的人物之一。他从18岁起加入英特尔,参与了386和486处理器的研发,随后又先后担任VMware和英特尔的CEO。可以说,他几乎完整见证了现代半导体产业的发展历程。
最近,他参与了硅谷风投机构a16z的一期长篇播客,探讨了AI芯片、存储、光互连、电力以及整个AI基础设施的未来。
除了上述观点,Gelsinger还有几个看法,我认为非常值得关注。
第一,AI芯片设计正变得越来越容易,但制造和封装反而成为了新的瓶颈。一颗芯片可能只需三个月就能完成设计,但要真正投入使用,可能还需等待九个月。
第二,目前最热门的HBM,实际上是一种颇为糟糕的存储技术。AI需求的爆发,可能会推动存储行业迎来30年来罕见的重大创新。
今天,我将基于这场访谈,探讨AI算力产业中正在发生的几个关键变化。
AI让芯片设计加速,制造却愈发滞后
过去几十年,芯片行业始终致力于一件事:让芯片设计变得更简单。
早在1980年代,英特尔开发486处理器时,如今许多芯片工程师习以为常的设计工具尚未成熟。
例如,工程师需要用硬件描述语言来定义芯片逻辑,但当时缺乏完善的工具体系,只能自行开发语言、编译器,甚至参与探索自动布局布线技术。
而到了今天,AI正在进一步改变这一过程。过去需要工程师花费大量时间完成的逻辑设计、代码编写和优化工作,如今越来越多地可以交由AI工具处理。
尤其是在数字逻辑设计方面,AI已有机会显著提升开发效率。
问题在于,设计速度提升了,制造却未能同步跟上。
举个例子,假设现在要开发一款全新的AI芯片,设计团队非常了解模型的计算需求,再加上AI工具辅助,仅用三个月就完成了芯片设计。
但接下来,芯片还需要进入晶圆厂制造。即便流程顺利,仅晶圆制造环节就可能耗时三个月。
随后是先进封装。如今的AI芯片通常需要将计算芯片、HBM和其他组件集成在一起,封装过程日益复杂,又可能需要数月时间。
最后,还要完成整机和机架级系统的集成。结果便是,芯片设计仅用了三个月,但从设计完成到真正可投入使用,可能又过去了九个月。
如果再算上扩大产能、完善软件生态和规模化部署,整个周期甚至可能长达一年半。
这就产生了一个非常现实的矛盾:AI模型的迭代速度,可能已经超过了芯片从设计到部署的速度。
例如,一家公司在设计芯片时,可能认为未来推理的核心需求是提高Token生成效率。
但等到一年半后,市场可能已经进入了新的推理范式。更长的上下文、更复杂的推理过程,甚至新的模型架构,都可能改变芯片最初的性能优势。
于是,一颗芯片尚未真正大规模投入使用,当初为其制定的最优设计假设,就已经不再适用。
这意味着,随着AI不断降低芯片设计门槛,决定一家AI芯片公司竞争力的关键,将越来越取决于制造周期和规模化量产能力。
100家AI芯片设计初创公司,最终可能仅剩几家
过去两年,AI算力赛道出现了一个非常明显的趋势:芯片架构日益增多。
尤其是推理市场,有人专门设计低延迟芯片,有人主打高吞吐量,有人押注存算一体,还有公司选择光计算、概率计算等不同路线。
甚至围绕同一个大模型的推理过程,芯片也开始进一步分工。
例如Prefill和Decode。Prefill负责处理输入内容,可以简单理解为模型在正式回答前,先将用户的问题和上下文读取一遍。
Decode则负责逐步生成输出Token。由于这两个阶段的计算特点不同,行业开始讨论是否应分别设计硬件,以获得更高的计算效率。
但我认为,这种极端专业化的趋势,其实存在一个很大的问题。
那就是,AI的计算需求变化太快了。
今天,大家可能认为将Prefill和Decode分开,可以提高芯片利用率。
但明天,随着推理模型的发展,可能又需要更多类似CPU的计算能力。
再往后,当AI进入科学计算、分子模拟、化学分析等领域,传统高性能计算中的高精度计算需求,又可能重新变得重要。
甚至训练和推理之间的界限,也可能随着持续学习等技术的发展逐渐模糊。这意味着,今天为某个计算阶段设计的专用芯片,未来未必能保持优势。
这里其实涉及一个经典问题:专用与通用之间的平衡。
一颗芯片如果针对某种特定任务深度优化,通常能获得很高的效率。但优化得越极端,能够适应的工作负载可能就越有限。一旦模型架构发生变化,原本的优势就可能消失。
更麻烦的是,芯片还需要大规模部署。
数据中心并非只购买几颗芯片。当一家公司需要部署几十万甚至上百万颗加速器时,每增加一种架构,都意味着新的软件适配、网络连接、设备管理和维护成本。
假设一个数据中心里,有100种不同的推理芯片。其中一部分适合Prefill,一部分适合Decode,还有一部分专门处理其他计算任务。
单独来看,每种芯片可能都很高效。但放到一个大型数据中心里,如何调度、维护、升级这些设备,就会变得非常复杂。
而且,AI芯片创业公司还面临第二个问题:资本。
研发一颗芯片,只是第一步。要真正形成商业竞争力,还必须完成流片、量产、软件适配,并找到足够大的客户。
当整个行业的算力投资规模进入数百亿美元级别时,一家创业公司很难独立完成从设计到大规模部署的所有环节。
最终,决定哪些架构能够存活下来的,可能还是英伟达、OpenAI、Anthropic等大型算力平台和客户。因为只有这些大客户,才有足够的资金和工作负载,去支持一套全新的芯片架构。
因此,我对当前大量AI芯片创业公司的判断,其实并不那么乐观。未来AI芯片市场可能会有更多技术路线,但未必会有更多独立的芯片公司。
芯片性能领先,只是拿到了入场券。能否进入大客户的算力体系,才真正决定商业价值。
HBM很糟糕,但AI可能催生30年来最大的存储创新
HBM是一种很糟糕的存储技术。但它已经是目前最好的选择。
这听起来有些矛盾。毕竟,在这一轮AI算力热潮中,HBM几乎已成为最抢手的硬件之一。
但问题在于,HBM本身仍存在许多局限。
比如存储密度、功耗和散热压力,以及数据传输受限于封装和物理连接条件。特别是随着AI芯片计算能力不断增长,越来越多的计算资源,都在等待存储系统及时提供数据。
这就是所谓的内存墙。这也是为什么,我认为AI算力的下一轮重大创新,很可能发生在存储领域。
有趣的是,存储行业已经太久没有出现新的主流技术范式。
DRAM、SRAM、Flash仍然是主要技术基础。过去几十年,虽然出现过不少新型存储技术,但真正能够实现低成本、大规模量产,并彻底改变产业格局的并不多。
其中一个重要原因,是过去存储行业的商业模式太差。
存储芯片长期具有很强的周期性。行情好时,厂商可能赚一年钱;供给增加、价格下跌后,又可能连续几年利润承压。
在这种情况下,企业很难持续投入大量资金,去押注商业化周期漫长的新材料和新技术。
但AI改变了这一局面。
随着HBM需求爆发,存储厂商的市场价值和盈利能力发生了明显变化,资本开始重新重视这个曾经高度周期化的行业。
过去四年,存储行业整体市值可能增加了约2.5万亿美元。存储产业正在获得更多资本支持,而AI又创造了足够强烈的新需求。
更高带宽、更低功耗、更高密度、更容易堆叠,这些过去很难同时满足的要求,正在成为推动新技术商业化的动力。
目前有两个方向尤其值得关注。
一个是新的存储材料和器件结构。比如铁电材料,以及能够摆脱传统电容式存储限制的新方案。
另一个,是让存储和计算在物理上靠得更近。因为数据搬运距离越短,通常越有机会降低延迟和能耗。
不过,这并不意味着所有存算融合技术都值得看好。
比如PIM,也就是存内计算。这类方案希望将部分计算能力直接放入存储器,从而减少数据搬运。但它往往需要针对特定计算任务调整架构,可能限制系统面对新型工作负载时的灵活性。
相比之下,将高带宽、高密度存储尽可能放在计算单元附近,同时保持计算架构的通用性,可能是更容易适应未来需求的方案。
过去30年难以商业化的技术路线,在AI时代可能重新获得机会。
这也意味着,未来存储市场的竞争,可能不只发生在三星、SK海力士、美光这些传统巨头之间。
新的材料、新的器件结构,以及新的存储架构,都可能创造新的创业机会。
25年前宣布铜线死亡,这次终于要成真了?
如果说存储是AI算力的一个重要瓶颈,那么另一个越来越突出的问题,就是互连。
过去,GPU之间的连接距离相对较短,铜互连具有成本低、技术成熟等优势。但随着单个算力系统从几颗GPU扩展到几十颗、几百颗,甚至更多,互连的难度开始明显提高。
铜线有一个天然问题:传输速率越高、距离越长,信号损耗就越明显。为了保证信号质量,系统需要使用更复杂的线缆、信号处理和补偿技术,成本和功耗都会上升。
在某些高速互连条件下,让铜线在5米距离上正常工作,可能比让光纤在100米距离上工作还贵。
这也是为什么AI算力产业开始越来越重视光互连。
不过,这里面有一个很重要的区别。
光互连最有机会率先改变的,是计算系统之间的高速I/O连接,尤其是GPU之间的Scale-up互连。
至于将核心计算单元与存储器分开,再全部依赖光连接,反而未必是一个好主意。
因为光电转换同样存在成本和能耗。如果每次访问存储器,都需要经过多次电光、光电转换,可能得不偿失。
所以更合理的方向,是在需要高带宽、较长距离传输的地方使用光,而在计算与存储高度耦合的核心区域,尽可能减少不必要的数据搬运。
从产业发展的角度看,我认为2028年至2029年可能是一个值得关注的窗口。
届时,NPO、CPO等先进光互连技术,有机会迎来更大规模的应用。
为什么是这个时间节点?
一个重要原因,是AI算力系统正在接近传统电互连的工程极限。
最典型的例子,就是英伟达的NVL72。这套系统通过复杂的高速互连,将72颗GPU组织成一个大型计算系统。从工程角度看,这当然是一项非常了不起的成就。
但换个角度,它也是一场制造噩梦。为了让如此复杂的系统实现规模化部署,产业链需要解决大量制造、装配、散热和可靠性问题。
如果光互连供应链此前更加成熟,行业本来有机会更早实现更高效的Scale-up系统。
但光互连迟迟没有全面进入GPU系统,也有很现实的原因。
它不只是更换一种传输介质。光器件需要进入更加复杂的封装环境,而高性能GPU恰恰是温度高、功耗大的系统。
激光器、光学组件、先进封装和散热,都必须共同解决。
更麻烦的是,当系统需要扩展到数百万颗甚至上千万颗GPU时,光互连还必须具备极高的制造一致性和可靠性。
所以,光互连的落地并不只是技术成熟的问题,还取决于整个供应链能否支撑大规模部署。
但相比单纯的材料替换,我认为还有一个更值得关注的变化。
那就是,光互连可能推动整个AI数据中心的网络架构发生变化。
传统数据中心网络需要处理大量不可预测的数据包。一个数据包可能发往任何服务器,网络必须具备灵活的转发能力。
但AI训练和推理中的大规模计算通信,有一部分流量具有更强的规律性。这给光电路交换,也就是OCS,创造了机会。
与传统分组交换相比,光电路交换可以针对相对稳定、可预测的通信需求,预先建立光连接。
随着光互连和新型交换技术成熟,今天Scale-up与Scale-out之间的边界,未来也可能逐渐模糊。
从产业角度看,这意味着光模块、光交换、先进光封装,以及相关激光器和材料,都有机会进入更大的市场。
本文来自微信公众号“硅基观察Pro”,作者:阿奇,36氪经授权发布。
流利对话
流利对话
流利对话
流利对话