技术长文
阅读版|光进入机架之后,怎样让任务继续跑
以下为本期经技术审阅的公开讲稿。现场展示结果不等于独立复现。
光进入机架之后,怎样让任务继续跑
欢迎来到 System Boundary。今天继续整理 OCP 第二天下午的现场材料。前面的节目,我们已经谈过光互连的器件结构和网络协议。这一期把镜头往外推一点:当光真的进入机架,怎样装起来,怎样维护,以及一条链路突然断开时,正在运行的任务能不能继续。
下午的几场演讲很有意思。有人主张用大量低速微发射器降低能耗,有人把外置激光与液冷一起纳入机架,有人选择把激光留在近封装模块里。最后,系统使用方把问题重新拉回工作负载:器件再可靠,也得准备好链路会掉线。
我们会把现场照片、演讲者的主张、公开资料和工程推断分开。本文中的演示和测试结果来自厂商展示,我们没有独立复现实验。
先把四种扩展放回各自的位置
先厘清四种扩展。Scale-in 讨论封装、板内或者芯片与存储之间的连接;scale-up 希望更多加速器像一个紧密协同的系统那样工作;scale-out 连接更大的服务器与集群网络;scale-across 再把范围推向数据中心之间。
这些词对应的距离、流量语义和故障后果并不相同。Avicena 自己的分类图,把 scale-up 分成推理十米、训练五十米;但紧接着介绍的 microLED 路线,明确瞄准十米以内的铜替代,并进一步看向更短距离的芯片和存储接口。应用分类中的距离范围,不等于这套产品已经覆盖的距离,其他公司的五十米目标也不能直接套过来。
选择光路线,第一步应该先固定应用、距离和有效带宽。脱离应用去比较最低的皮焦每比特,往往会把不同系统拼成一张看似统一、实际不可比较的表。
Avicena:把高速串行改成宽并行
Avicena 的核心主张,是用大量相对低速的 microLED 通道,连接并行的电接口。现场结构图把微发射阵列、探测阵列、ASIC、微透镜和光纤放在同一条链路中。它不是简单地把一颗激光器换成发光二极管,而是希望改变数据进入光链路以前的组织方式。
在更理想的集成方式中,宽并行接口可以靠近计算或存储逻辑,减少高速串行化的负担。不过,当前主机如果仍然提供二百 G 级串行通道,系统就需要转换。后面的 TeraHop 演讲正好提醒了这一点:反向 gearbox 的功耗不能从整机账单里消失。
因此,这条路线既有器件问题,也有架构问题。它的优势能发挥多少,取决于光学和主机接口是否一起设计。
1 Tb/s 已进入评估;更高密度仍是目标
Avicena 的公开公告确认,一太比特每秒级 LightBundle 评估套件已经向客户和合作方出货。公告的口径是最多三百三十五个通道,每通道最高三吉比特每秒,合计是约一太比特每秒的原始吞吐。注意,是太比特,不是太字节;而且原始总速率也不等同于净荷吞吐。
现场投影片进一步列出小于一皮焦每比特、超过二百度的温度耐受,以及每毫米岸线或每平方毫米面积超过十太比特每秒的密度方向。这几项不能合并成已经在同一套产品、同一温度、同一距离下通过验收的规格。
对器件和材料团队,真正有用的是追问:哪个功耗参考面,哪种温度定义,多少同时工作通道,什么寿命条件。高温能够发光,与长期保持误码、耦合和封装可靠性,是不同的验证层级。
连接器正在进入宽并行光路
宽并行光学把带宽分散到很多物理通道,也把问题转移到密集耦合和连接上。Avicena 的九月公告提到可拆接的 LightBundle 演示,采用 MPO 外形,并使用为多芯纤束优化的插芯。这个消息补充了现场关于连接器的讨论,但不能据此外推为所有传统 MPO 线缆都能直接互插。
外形兼容、机械定位兼容和光学通道兼容,需要分别确认。数百个通道的端面一旦旋转、偏心或者出现污染,影响可能同时落在一组相邻通道上。即使阵列有备用点,也未必能解决整个连接面一起退化。
所以,对光纤厂商,样品交付不应只有一条总插损曲线,还应给出逐通道的映射、损耗分布、串扰、弯曲条件和重复插拔结果。对模组厂商,还要明确这些故障怎样被发现和重映射。
一排机架成为计算单元
接下来,Ayar Labs 和 Wiwynn 把视角从光引擎推到了整排机架。两家公司分别提供光互连能力与系统整合能力;官方资料也确认了双方围绕机架级 CPO 的合作。现场从一千零二十四颗加速器的 scale-up 域开始,再逐层往下看机架、托盘和封装。
这个架构的动机是,更多加速器和更高带宽需要跨越单机架的物理边界。现场图把原先机架内部的垂直连接,展开为计算机架与交换机架之间的横向连接。但这是参考架构和部署设计的讨论,不能只看到一张机架图,就写成千卡系统已经量产验收。
这里最值得学习的是设计顺序:先确定系统需要怎样通信,再安排光纤、冷板、电源和维护空间。最后才轮到问,一颗光引擎放在哪个位置最合适。
托盘里,光纤也是机械结构的一部分
在托盘层面,光纤不再是一根可以最后塞进去的线。它有弯曲半径,需要应力释放,也需要给装配、检修和更换留出回路。冷板和水管占据空间,高压直流供电、控制板和前面板光源也有自己的约束。
Ayar Labs 与 Wiwynn 的公开参考设计,把这些事情从一开始就放在一起。现场演讲里,同样强调从 pod 一直往下走到托盘与封装。这意味着光纤厂商、材料厂商和系统制造商的接口,比传统的单只模块交付更紧密。
一个很实际的例子是,先装冷板还是先接光纤,哪一步需要重新对准,拆掉一个部件会不会牵动其他光路。这样的流程问题,会直接影响现场维护时间,也会改变最终能够使用的带宽密度。
热协同设计仍要接受动态负载验证
光引擎靠近计算芯片以后,热设计必须一起做。ASIC、存储和光引擎各有自己的温度限制,冷板布局与热界面材料,也会影响不同区域之间的热耦合。Ayar Labs 与 GUC 的公开技术文章,介绍了这类热协同仿真的工作。
这种仿真可以帮助设计找到满足温度限制的窗口,但不能直接改写成长期实机可靠性测试。公开文章明确说明,当时的结果采用静态功率假设,下一步还要研究动态工作负载。
因此,材料和散热团队应继续关注热界面材料、翘曲和接触热阻;光电团队则要把温度变化连接到波长、偏置、误码和重锁定行为。平均温度合格,并不自动保证快速负载切换时没有链路扰动。
Corning:安装工时也会成为规模瓶颈
光纤越来越多以后,安装工时会变成新的限制。Corning 的现场投影片把单机架的光纤数量,从约一千根一路画到未来约四万五千根,并给出了随规模上升的安装工时模型。
图上的四百二十小时很醒目,但它来自特定假设:十六芯跳线、拆包和布线时间、每个端头的连接与检查清洁时间。它不是所有机架都已经测得的施工周期,也不能简单理解成一名工程师要连续做四百二十小时。
模型真正想提醒的是,光互连的成本不仅在芯片和模块里,还在上线之前和维护过程里。连接器需要几次清洁,首次插入的通过率是多少,一个端面污染会拖累多少通道,这些都会把局部的小问题放大成系统交付问题。
扩束连接:用光斑面积降低污染敏感性
PRIZM 扩束连接的思路,是让连接界面的光束面积变大。一个相同大小的颗粒,如果几乎挡住物理接触纤芯,就可能造成很大损耗;落在更大的光斑里,遮挡比例可能小得多。US Conec 的官方说明也把透镜、微孔和机械定位作为插芯的一部分。
现场演讲比较了重复插拔、不清洁条件下的链路变化,强调扩束方案的插损变化更稳定。这里要看清指标:比较的是特定样本和流程下的损耗变化,不能把它偷换成所有环境里的绝对低损耗保证。
对材料厂商,透镜材料、镀膜、表面状态和湿热表现都很关键;对连接器厂商,重点是污染容忍度、定位重复性与插入力的组合。更不容易受污染影响,仍然不代表任何情况下都不需要清洁或检查。
从插得上,到制造得出来
制造这一页值得单独停一下。照片写的是,从实验室试验到制造部署用了九十天,既有物理接触 MMC 产线向透镜方案转换用了两天。
现场还提到十六芯设计和三十二芯路线图,在同一类插芯外形里增加阵列。较低插入力有利于盲插和一次插入更多连接,但这种密度收益仍要放回实际适配器、操作空间和维护要求里评价。
另外,投影片写着通向零点五 dB 的性能改进路径。这是方向,不是当下所有样品的保证值。问答环节又把插芯描述为开发中,并提到下一代计划下个月推出;这要与投影片上已经可以现场使用的表述并列理解。还需要具体版本、良率和测试定义,才能判断制造进展对应哪一级可交付能力。
TeraHop:把激光留在NPO里面
TeraHop 的 Diablo-1 选择另一条工程路径:把激光集成在六点四 T 的近封装光模块里面。现场强调,NPO 可以与大功率 ASIC 保持一定距离,再用专门冷板管理模块温度,减少外置激光带来的保偏纤和额外连接环节。
这不是说内部激光天然更可靠,也不是说外部激光没有价值。两种方案把维修、热管理和光路损耗放在了不同的位置。外置光源便于集中维护;内置光源则可能缩短部分光路,减少连接,但换件范围和热应力也不同。
现场给出大约五点五皮焦每比特、包含内部激光的功耗口径。我们会保留这个厂商说法,同时要求说明带宽分母、温度与工作负载,以及是否包括主机端的高速电接口。没有统一边界,数字不能直接排成高低榜。
初步眼图与一公里演示说明了什么
Diablo-1 的现场资料包括初步眼图、误码相关曲线,以及一公里光纤的演示画面。一公里照片只见四条误码记录,每条的比特计数约七乘十的十二次方。如果按二百 G 每通道折算,只有几十秒;实际统计时长仍需日志确认。不能据此声称全三十二通道同时完成长期测试。
但必须把测试对象读对。那张约十二 dB 的注释写的是 ASIC 到 NPO 的插入损耗,属于电通道,不能说成一公里光纤的光学损耗。眼图和测试截图也需要配套的码型、FEC、统计时间、收发方向和同时工作通道数,才能形成完整验收记录。
我们没有复现实验,也没有得到这些原始测试日志。因此这里把结论限定为厂商初步测试与演示证据。下一轮验证应把电接口和光接口的参考面分别画出来,再讨论链路预算及角落条件。
同一张功耗图,可能混着不同边界
现场最有讨论价值的图之一,是把多种光路线的功耗拆成不同颜色。TeraHop 特别给慢而宽的路线加上了反向 gearbox。这个提醒是合理的:如果主机还在使用高速串行口,而光链路是大量较低速通道,中间一定要做数据组织和速率适配。
但这张比较图也来自一个方案供应商。它的 microVCSEL 一栏假设每通道五十 G、一比四反向 gearbox,并不对应 LightXcelerate 现场三十二 G 的工作点。不同实现的边界和成熟度也未统一,不能直接作为行业排名,或据此否定 LightXcelerate 小于一点五皮焦每比特的目标。更好的做法,是建立四级账本:发光器件本身、光引擎、包含适配电路的端点,以及两端和光源在内的完整链路。
带宽分母也要统一。算单向有效吞吐,还是两个方向同时满载的总吞吐,会改变结果。这个问题贯穿 microLED、microVCSEL、硅光和传统模块,不能只在某一条路线看起来吃亏时才补进去。
Open CPX:开放接口与路线图分开读
Open CPX 的意义,在于把近封装或共封装连接的机械、电气、热与管理接口拉到共同讨论的框架里。九月发布的规范公告确认,每个插座可以支持六点四或七点二 T,对应三十二或三十六条二百 G 通道,并保留内部与外部激光等选择。
现场路线图继续往前推进:后续版本增加通道数,再向四百 G 每通道发展。已经发布的规范与未来修订计划应分开记录。看到路线图,不等于所有插座、模块和主机已经实现互操作。
对合作厂商,更值得关注的是采用哪个版本、哪个插座类型、哪种电通道预算和冷却边界。接口标准化能够降低协同成本,但仍需要多供应商样品在相同测试条件下验证。
永久失效与短暂掉线,是两类统计
现在进入下午最后的核心问题:可靠性。TeraHop 展示了激光和硅光器件的累计使用小时与 FIT 关系图,支持其内置激光方案。图里的六点四 T NPO 点按四个一点六 T OSFP 折算,并非新模块自己的完整长期测试。失效次数、置信水平和封装条件,也还需要原始报告。后面的 Microsoft 演讲马上提醒,系统团队担心的还包括短暂掉线,也就是 link flap。
这两类数字不能互相替代。一颗激光器没有永久损坏,连接器污染、温度瞬态、供电变化、固件状态或同步异常,仍然可能让链路暂时不可用。对正在等待数据的任务来说,它首先看到的是链路 down,而不是原因已经分类清楚的故障报告。
因此,完整可靠性表需要至少三层:器件坏不坏,链路多久中断一次,中断以后任务会不会停。最后一层决定了再漂亮的器件数字,能否变成系统使用方真正需要的可用性。
规模放大的是暴露面,不是每颗器件突然变差
Microsoft 的一张表非常直观:固定单个统计对象的事件率,扩大 pod 规模,总体遇到事件的时间就会缩短。表里高亮的一千零二十四颗 GPU、一万 Flap-FIT 的示例,MTBF 约零点七六小时;首次事件达到百分之五十概率的时间约零点五小时。
照片明确写着,这不是现场生产数据。更准确地说,半小时是该示例模型里的首次事件中位时间,不能写成某个云厂商的千卡集群每半小时必定出一次故障。
如果采用独立、恒定事件率的模型,可以把总事件率近似相加,首次事件的中位时间等于自然对数二除以总事件率。不过,实际网络还会有共因故障。模型帮助我们理解规模效应,真实设计仍需要链路数量、故障定义和相关性数据。
Marvell的3R:活下来、恢复、减少重演
Marvell 提出一个三 R 的框架。第一是冗余:系统在一条路径出问题时,还保留其他独立路径。第二是韧性:本地硬件尽快识别故障,把流量切到仍然健康的容量上。第三是可靠性:把 FEC、误码、光学健康和历史掉线事件关联起来,减少反复发生的问题。
这三个部分分别回答,故障发生时有没有地方可去,能不能及时转过去,以及以后能不能少遇到同类故障。它们之间是配合关系,不是选一个最好看的指标就结束。
尤其要注意,冗余路径需要独立。四条逻辑通道如果共用同一颗光源、同一连接面或者同一电源,故障发生时可能一起消失。因此,通道数增加了,并不自动等于真正的故障容忍度增加了。
遥测的终点,是可执行的恢复动作
Marvell 在现场把 RELIANT 遥测展开成从物理层到系统层的多级可见性。底层看到均衡、误码和 FEC 分布,链路重试层做失败事务的快速重试,链路层负责负载均衡与重路由,应用和系统层再完成任务恢复和集群健康管理。图上的时间尺度是该方案的架构表达,不能当成我们已经验证过的统一恢复承诺。
Microsoft 的追问又向前走了一步:除了预测什么时候可能坏,我还想知道它会坏多久,回来之后多久可能再次掉线。这些信息决定了系统是继续等待,临时绕行,还是把高频掉线的链路隔离。
对模块和器件供应商,遥测不该只交付一张仪表盘。数据必须有清楚的时间戳、参考面和故障语义,能对应到同一条物理通道,并让上层采取明确动作。否则,数据很多,恢复策略仍然无从下手。
Ranovus:平均BER掩盖不了突发错误
Ranovus 把焦点放在收发器本身。为了降低时延,系统可能选择纠错增益更低、处理更短的 FEC,这就要求光电链路提供更低的原始误码率。投影片以 OCI-MSA 为例,说明适度降低单通道速率可以增加误码余量,但总带宽与接口设计仍需一起权衡。
更关键的是,平均 BER 不能完整描述突发错误。一次很短的误码簇,在长时间平均值中不显眼,却可能超过纠错能力,触发重试,甚至让链路重新训练。现场列出的潜在原因包括机械振动、温度瞬态、污染、光反射、供电和固件管理。
因此,测试记录不能只写一个平均误码数字。还应记录突发长度、发生频率、关联环境条件,以及它最终造成了多少重试和任务停顿。这是器件质量与系统可用性之间的一座桥。
800G端口:一条大管道,还是四条可切换路径
Microsoft 用一个八百 G、四条 lane 的端点举例。如果系统把它当成一条不可分割的大链路,一条 lane 掉线可能让整条路径不可用。如果端点能把四条二百 G 路径独立管理,就可能在损失部分带宽后继续工作。
这里不是宣布所有八百 G 网卡都能自动从四条降到三条,而是在说明系统需要具备什么能力。数据一旦排进某个 NIC 的发送路径,如果这个 NIC 的所有出口都失效,把数据搬回软件再换另一块 NIC,可能需要复杂的协议和状态处理。
所以,恢复不是交换机绕开一条坏链路就全部解决。端点、协议、重试语义和任务超时必须配合。保持数据能够前进,才是系统韧性的真正目标。
把共因故障画出来,再谈冗余收益
如果四条 lane 同时掉线,前面说的降级就失去了意义。现场投影片把这个问题叫作 flap fault domain,也就是可能一起发生掉线的故障域。
一种思路是,把一个端点的通道分散到不同连接器、不同光模块甚至不同交换路径。这样可以降低共同失效的机会。投影片也用四条通道同时失败的概率近似 p 的四次方来解释好处,但这个关系依赖独立性。共享光源、冷却、电源或者机械应力,都可能让独立假设不成立。
这给合作厂商一个很具体的任务:交付通道图的同时,也交付故障域图。告诉系统方,一个部件坏掉、一个端面受污染、一个控制器重置,会影响哪些通道。只有这些边界清楚,系统才能正确配置冗余和恢复策略。
把三条宽并行路线放在同一套问题里
把下午的讨论与前两场材料连起来,就能看出三种不同落点。首日 Credo 展示的是完整宽并行连接系统,包含主机适配、通道监测和备用路径。LightXcelerate 更集中展示微型 VCSEL、探测阵列、电子接口和多芯光纤的紧凑组合。Avicena 则强调 microLED 与原生宽并行接口的系统潜力。
它们有共同方向,却不能混用距离、功耗和成熟度。Credo 的某套蓝光演示,不代表全部 ALC 只使用 microLED。LightXcelerate 的三根十九芯光纤,只能先确定五十七个物理芯,不能直接证明五十七对高速收发都已完成测试。Avicena 的评估套件,也不等于未来全部封装形态已经量产。
更有用的比较,是让三条路线都回答相同问题:接口怎样接,完整功耗怎样算,坏一条通道会怎样,样品数据能够支撑到哪一步。
四类供应商,可以从同一份验证表开始
对光纤厂商,优先输入是通道映射、芯距、数值孔径、耦合损耗、弯曲半径和插拔条件。对材料厂商,要把热膨胀、固化收缩、吸湿、镀膜和长期应力,与耦合和误码的变化关联起来。
对器件厂商,需要逐通道的带宽、功率、偏置、温漂与寿命分布。平均值很漂亮,最差的一组通道仍可能决定整个链路是否可用。对模组厂商,则要补全主机适配功耗、管理接口和换件流程,并把单通道故障注入到系统里观察恢复。
建议第一轮联合验证固定同一距离、同一净荷吞吐和同一温度条件,先测基线,再加入污染、弯曲、温度瞬态与断路。最后用真实任务看它能否继续前进。这样,大家讨论的是同一条链路,而不是各自最有利的一张规格表。
结尾:带宽能交付,故障能收敛
这一下午给我的最大启发,是光互连的竞争已经同时发生在器件、封装、连接、制造和运行系统几个层面。更低能耗与更高带宽密度值得追求,但只有装得进去、测得清楚、坏了能够恢复,优势才会真正被使用方接住。
我们看到的路线并不相同:microLED 与 microVCSEL 在扩大空间并行,硅光在推进近芯片集成,连接器在减少部署与维护负担,网络与软件在努力缩小故障影响范围。它们最终都要回答一个共同问题:链路发生变化时,数据还能不能及时送达,任务还能不能完成。
这就是本期的系统边界。我们继续跟踪现场披露与后续实证,把路线图、演示和可交付能力分开看。这里是 System Boundary,我们下期再见。
