乌镇时刻丨蚂蚁集团CTO何征宇：绿色高质量软件可缓解GPU焦虑

专题： 2023年世界互联网大会乌镇峰会

　　11月9日下午消息，在2023世界互联网大会乌镇峰会“数字化绿色化协同转型发展”分论坛上，蚂蚁集团首席技术官何征宇表示，AI和大模型的爆发推高了智能算力需求，数字化、绿色化协同发展的使命，要求行业亟需构建绿色、高质量的计算基础设施。

　　他呼吁行业加强软硬协同与生态建设，共同提升计算基础设施算力规模、可用性与宽容度。

　　AI大模型时代，行业智能化的深度和广度在扩展，双化协同也迎来提速。“大语言模型与生成式AI让计算机开始具备语言与内容生产能力，将我们带入了通用人工智能时代，承载这种能力的智能计算资源需求也随之井喷，算力基础设施的效率提升和绿色化是必经之路”，何征宇表示。

　　据何征宇介绍，上周蚂蚁百灵大模型正式通过了备案，蚂蚁集团搭建的绿色计算体系，也正在为百灵大模型提供绿色化的计算能力。蚂蚁建设了万卡异构集群，其中硬件算力效率（HFU）超过60%，集群有效训练时长占比90%以上，RLHF训练在同等模型效果下训练吞吐性能相较于业界方案提升3.59倍，推理性能相较于业界方案提升约2倍，处于业界先进水平。 （文猛）

本文地址：http://www.fd17.com/info/202311/091355411453.html