如何缩短大模型发展差距？人工智能专家提到这个突破关键

以深度学习为代表的新一代人工智能和以大模型为代表的通用人工智能不断取得技术突破，将成为智能产业的根技术和智能经济的基础设施。相较国际上的大模型发展，我国大模型发展水平处于什么阶段？

【资料图】

在清华大学人工智能研究院常务副院长孙茂松教授看来，ChatGPT出现之前，我国人工智能发展水平和国际先进水平相差半个肩位，现在这个距离从半个肩位到了100米，这半年经过追赶后缩短了“30米”，但仍然还有差距。

在他看来，我国乃至全球发展大模型最终的突破关键，是基础科学的突破。

孙茂松日前在浦江基础科学发展论坛上接受第一财经采访时说，对于大模型，当前的问题在于并不清楚OpenAI的机理是如何运作的，就连推出ChatGPT的OpenAI公司首席执行官萨姆·奥特曼也表示，虽然做出了GPT但也不清楚发生的原理，“实际上就是对这个机理还不清楚。”

他认为，现有的人工智能模型已经能做到说话通顺，但这个问题的内在仍然十分复杂。如果弄清楚了大模型里的规律、ChatGPT背后的机理，就有可能克服现有人工智能大模型的局限性，建立下一代人工智能的理论和模型。

“百模大战”不是贬义

今年以来，生成式人工智能的发展成为地方政府和科技大厂瞄准的关键词。科技部人工智能发展研究中心5月底发布的《中国人工智能大模型地图研究报告》显示，当前国内10亿参数规模以上的大模型已发布79个。

不过，与热度不减的市场呼声相比，我国国产大模型并未有惊艳的使用体验。

提到我国如今出现的“百模大战”情况，孙茂松强调这并不是一个贬义词，而是我国人工智能的实力象征。

早在2010年国内就已跟进大模型研究，在学术界和工业界一直都很“热”，只不过这次ChatGPT点了几把“火”。孙茂松说：“之前我们和国际先进水平相差半个肩位，ChatGPT的出现一下甩出‘100米’，经过这半年的追赶缩短了‘30米’，但还没有质的变化。目前ChatGPT用于专业领域还不行，建议‘百模’在提升基础模型能力基础上，深耕行业的垂直应用。”

业界有个说法，人工智能主要是中美之间的PK。根据前不久中国科学技术信息研究所发布的《2022全球人工智能创新指数报告》，中美两国引领、呈梯次分布的全球人工智能发展总格局保持不变。美国人工智能创新指数已连续四年位居全球第一。中国人工智能发展成效显著，人工智能创新指数近三年一直保持全球第二的水平，在人才、教育、专利产出等方面均有所进步，但基础资源建设水平仍有待提高。

相比2021年，中国有10个三级指标2022年名次有所上升，主要集中在人才、教育、专利产出、创新制度等方面。优势指标数量也不断增长，从2021年的15个增加到2022年的18个。但整体发展水平与美国还存在一定差距。此外，相较于自身快速增长的创新产出而言，其创新投入规模和质量还有很大提升空间。

基础科学是缩小差距的关键

谈及如何进一步追赶国际先进水平，孙茂松认为还是要回到基础科学上来。“如果能够研究透彻大模型的机理，就可能棋高一着。”

他认为，现有的人工智能模型已经能做到说话通顺，但这个问题的内在仍然十分复杂。

“深度神经网络背后的元素都是数学，但它又跟纯数学有不一样的地方，它的信息量非常大，以前数学从来没有想到能放这么多东西进来，现在大模型背后涉及的大数据是万亿级的。数学家以前也从来没解过这么大的一个方程组。”孙茂松说。

除了基础科学，他还提到了人才的重要性。

“人工智能最前沿之争就是人才的竞争，顶尖高手决定了人工智能的高度，广泛的应用决定了人工智能的广度。”孙茂松认为，人工智能的发展需要一流的人才，这些人才除了具备顶尖的能力，还要有远大的科学理想、敏锐的洞察力和对技术的激情。

另外，对于大模型出现一本正经讲废话的情况，业界也开始讨论语料投喂的范围。

在孙茂松看来，由于现在大模型的语料利用还处于粗放阶段，仅仅是从网络上抓取语料，并未涉及超链接、图片处理以及文本结构的识别等。因此，现阶段运用大模型写长文小说肯定是不行的，但写一些短文还不错。“它没有办法保持逻辑流畅，因为大模型就是对下一个词的预测，预测得再好，它对语料的利用还是有明显的不足。”

孙茂松认为，虽然要对语料质量保持关注，删除糟糕的语料以及计算机生成的语料，但语料的选取也有两面性。“水至清则无鱼，越纯越好的语料可能导致多样性损失，需要找到一个平衡。比如我喂的语料都是‘高大上的’，大模型就看不懂现在这些带有表情符的语料。归根结底要根据使用者所需要的模型来训练。”

（实习生张玙萱对本文亦有帮助）

标签：