欧美多人野外伦交深喉：舌尖上的艺术

　　近两年，人工智能大模型日益受到社会关注，AI+算力正在驱动千行百业的智能化转型。

　　有一位“AI工匠”王斌，他带领团队驾驭大规模国产智算集群，训练出了一套全系统自主可控的九天大模型，打造面向未来的大国重器。

　　中国移动研究院人工智能中心高级总监 王斌：这是北京市最典型的一个覆盖居民区的基站，类似的基站中国移动已经开通了686万台，这些基站实际上每天会消耗大量的电力。

　　信号基站引入九天人工智能大模型技术，对海量手机流量信号精确预测，给出每台基站的智能节能方案，全国600多万台基站通过人工智能等多种技术实现全年节电2.5亿度。

　　王斌：我们的大模型的定位，不光是要能够写诗作画，除了能够识别传统的文本类和图片类知识，它还要能看得懂像这种雷达、红外，这种射频信号。

　　抢抓人工智能发展的历史机遇，2023年初，我国提出，根据通信、电力、交通物流、能源等领域的需求，使用国产软硬件，打造人工智能大模型，形成自主可控的全新的产业生态。

　　作为中国移动研究院AI技术专家，王斌有十多年芯片研发技术背景，之后又投入人工智能这一新赛道，是我国为数不多的既精通AI芯片又熟悉AI模型的技术人员。训练九天大模型这一国之重器的任务就落在了王斌团队肩上。

　　王斌：这是我们的一个机房，智算的服务器就在这个机架里面。

　　记者：有多少台？

　　王斌：整个楼里面一共有2304台服务器，折算成AI加速卡的话，超过1.8万张。

　　这个全国规模最大的软硬件都基于国产技术的智算集群就是九天大模型的最强大脑。

　　王斌带领团队，收集了近500万亿字符的原始文本数据，几乎涵盖了人类有史以来全量的文本类知识，从中筛选出超10万亿字符的高质量训练数据集。让大模型记住这些知识不难，难的是怎么学会运用，这正是王斌必须迈过的第一道关卡。

　　王斌：大模型的结构跟咱们人类的大脑结构是比较类似的，像人类大脑也有差不多1000亿个神经元，可能不同的神经元是负责不同的任务。我们平时做数学题用到的神经元，跟做语文题用到的神经元可能是不一样的。

　　记者：所以这大模型也是这么分的？

　　王斌：像一个千亿的大模型，我们要拆成18000份，每一个芯片在训练它所负责那部分的时候，都要高效地从这些数据中把知识萃取出来。

　　大模型的18000张芯片要学会理解知识之间的逻辑关系，还要各有分工，彼此联动，逐渐变得聪明起来，王斌带领团队给大模型设计学习知识的算法、控制学习进程、矫正大模型的价值观。然而，他却碰到了一个棘手的难题。

　　王斌：在我们这个行业，有个说法叫得开发者得天下。像国际主流AI芯片，它的开发者人数有好几百万，它会有很多优化的手段，这种优化手段会带来整个训练效率的提升。咱们现在国内的AI芯片，它的开发者人数可能都不到10万，可能里面还会有很多缺陷，只能说是一个坑一个坑去蹚，一个坎一个坎去迈。

　　从系统设计到功能模块开发，近150名工程师历时一年半时间，写出了超过120万行的代码，构建了一套完整的平台软件，瞄准国际先进行列，加速追赶。

　　这个智算集群里的18000张芯片运行时，好像一个庞大的方阵，整齐划一，共同推进，只要有一张卡出现问题，就会导致整个方阵混乱，训练任务失败。在训练了两个月的时候，这一巨大方阵就出现了严重故障。王斌带领技术骨干扎入18000张卡的数字深海，一层层排查，直到智算集群最底部。

　　中国移动研究院人工智能中心高级工程师 丛鹏宇：王斌原来积累的硬件知识，在做大模型训练过程中，特别是排障过程中，其实发挥了很重要的作用。有很高的技术的前瞻性和技术的敏感性，能够指导大家从更加广泛的角度、更加有建设性的角度来解决问题。

　　7天后终于找到了一张故障卡。然而，这7天的停滞却导致整个训练任务要从头再来。

　　王斌：这么大规模的资源，已经执行了这么长时间任务，整个效果要清零是多么大的一个打击。为了解决这个问题，我们必须有一个即时检测技术。

　　半年多，王斌带领团队对上万次大大小小的故障逐个分析，找到每一个故障的根本原因，归类整理，做出了一份故障处置清单，打造了一套自动检测软件，把各类故障的排查恢复时间从几天缩短到了十几分钟。

　　在王斌团队的努力下，国产AI芯片在万卡规模上的训练效率达到同代国际主流AI芯片水平，为后续国产芯片在其他领域更广泛的应用打下了坚实基础。

　　目前九天大模型已经进入了通信、石油生产、农业种植、智能制造等很多领域，正在用智慧赋能新质生产力。2025年1月，九天大模型被评为央企大国重器。

　　中国信息通信研究院人工智能研究所平台与工程化部副主任 董昊：九天大模型不仅是我们自主技术的一种突破，同时也为我们国家大模型的应用落地提供了可复制可借鉴的成熟解决方案。

　　王斌：国家给了我们这种期许，能够用国产算力实现对国际主流算力的替代，我们九天大模型还在持续迭代升级，在AI赛道上任重道远，我们有信心有决心来应对挑战。 【编辑:张燕玲】