琪琪色快播 东说念主工智能奈何冲破铜线极限,再行界说数据中心布局?
琪琪色快播
数据中心多年来一直朝向更密集、高耗电的系统发展。如若你没瞩目到,19英寸机柜当今的供电需求已迥殊120千瓦的高密度建树,很多机柜已转向径直液冷以限制热量。
这种趋势很猛进度上是由于需要援救鸿沟更大的AI模子。凭证富士互市议东说念主员的说法,AI系统中的参数数目大致每三年增多32倍。为了援救这些模子,像Nvidia这么的芯片想象师使用极高速的互联技能(约每秒1.8 TB)使八个或更多GPU看起来和弘扬得像一个单一栽培。
问题在于,数据线上缆上传输越快,信号可保管的距离就越短。在这些高速下,铜缆的传输距离被截止在大致一到两米。
另一种遴荐是使用光纤,它不错在更长的距离内保管信号。事实上,光纤如故运用于很多机架到机架的横向膨胀架构中,举例AI模子历练中使用的架构。缺憾的是,目下的可插拔光纤效果和速率齐不是迥殊高。
av男优2024岁首在GTC大会上,Nvidia首席实施官黄仁勋默示,如若该公司使用光纤而不是铜来连结其NVL72机架系统中的72个GPU,则需要特地20千瓦的功率。
那么,这是否意味着光纤不行行,而更高密度的机架是不行幸免的?嗯,凭证Ayar Labs的说法,情况并非如斯。他们认为,通过径直将光学组件集成到运算单位中,芯片制造商不仅不错缓解带宽瓶颈,还能镌汰援救束缚增长的模子参数所需的机柜密度。
不乏光子学创业公司但愿克服铜互联的截止并提升光纤I/O的效果,但Ayar是其中的前驱。
这家位于旧金山的创业公司自2015年起一直在征战光学互联芯片组。这些光学栽培旨在与CPU或GPU封装在一说念,以便在比铜更长的距离内达成更高的带宽。
关于大鸿沟AI历练和扩充等运用琪琪色快播,光纤有可能取代Nvidia的NVLink或AMD的Infinity Fabric来连结多个芯片。
在这张计较机渲染图中,Ayar展示了奈何将光学互联集成到GPU平台中以进行横向拓展运算。
Ayar Labs生意运营副总裁泰瑞·托恩(Terry Thorn)在最近招揽采访时默示:“如若你念念跳脱一个机架的截止,使用多个机架,并将计较基础膨胀到64-72个以上的GPU,你必须作念一些不同的事情,你必须继承不同于铜线和电子的方法。现存的可插拔光纤无法险恶需求。当你使用封装内光纤I/O时,你就不错启动险恶需求,并启动具备那种膨胀架构的才略。”
固然该技能不错允许计较和内存域跳跃数十个机架中的数百个GPU,但这也意味着不再需要将那么多的加快器塞进一个机架中,从而缓解数据中心运营商如今濒临的一些电源和散热挑战。
“你可能会以为使用铜时,你必须留在阿谁机架中,况兼你可能会受到功率密度、占大地积和日常英尺的截止,”托恩施展说。“如若你启动集成光纤I/O,你就不错启动漫衍功率的分拨,因此,让那些受功率截止的东说念主概况在更大的面积上创建AI连结基础门径。”
换句话说,计较不再需要在合并个机箱中,更无用说合并个机架中,才调手脚一个逻辑系统运行,这意味着每个机架的功率和热密度不错大大镌汰。
尽管硅光子技能远景看好,但在集成到坐蓐硬件之前,它仍濒临诸多挑战。这些挑战包括从征战可在功率和带宽方面与现存铜互联匹敌的芯片,到征战UCIe等通讯契约,以便两者不错相互通讯。
Ayar对这些装璜并不生分,在昔日几年中,他们一直致力于将其硅光子芯片集成到很多原型系统中。咱们之前曾探讨过Ayar与几年前英特尔为DARPA建造的超线程图形数据库加快器的集成。Ayar还将其芯片集成到英特尔的Agilex FPGA。
最近,Ayar表示,它正在与富士通合营,将两个下一代光子芯片(每个芯片概况提供约8Tbps的双向带宽)集成到他们的CPU中。
在SC24上,Ayar展示了一个模子,展示了其一双TeraPHY芯片与A64FX处理器共同封装的形状,但莫得迹象标明这将是内容构建的家具,也莫得迹象标明富士通想象将该技能生意化。就像英特尔同样,这可能仅仅一项测试该技能可行性的践诺。
以下是对这个见解的更仔细的不雅察,展示了Ayar的光学I/O模块与Fujitsu A64FX一说念封装
可是,建造和集成光子芯片组仅仅更浩劫题的一部分。由于它们将遥远连结到奋斗的加快器上,因此必须具有可靠性。
使用可插拔光纤,如若出现问题,更换起来相对容易且低廉,至少与GPU比较是这么:只需换掉坏的,然后不息职责即可。如若光学芯片发生故障,那么价值40,000好意思元的加快器就报废了。
托恩默示:“咱们正在选择一些行径来贬责谈及光学时会出现的多样费心。”
最初是将光源与芯片组辩认。他施展说念:“固然不错在芯片里面进行激光,但这会使激光置于尽头高动态范围的温度中,这时时会影响其可靠性和长久可用性。”
这种方法的公正是,即使激光失效,也不会连带GPU或加快器一说念报废,且不错更换或翌日升级。
Ayar还在创建一个光学测试经由,以在芯片于工场与GPU蚁合前筛选不良芯片。托恩补充:“咱们正在创建如安在芯片上进行光学和电子测试,以匡助识别简陋芯片。”这应该有助于幸免因光学颓势而报废芯片。
在SC24上,Ayar展示了一种将光纤连结到Intel Foundry征战的TeraPHY小芯片的新方法
说到光学颓势,不仅要推敲芯片组,还要推敲光纤自己。多年来,Ayar探索了不同的光纤连结方法,包括英特尔代工场征战的一种可横向插入芯片侧面的方法。据悉,连结测试仍处于早期阶段,但Ayar已生效通过其传输数据。
正如咱们前边提到的,Ayar并不是独逐个家致力于克服这些挑战的公司,而且在许厚情况下琪琪色快播,光纤连结、通讯契约以及测试和考证方法等发展可能会设施化,从而使更平庸的生态系统受益。