AI领域的"百模大战":从学术创新到工程技术

上个月，AI业界爆发了一场"动物战争"。

一方是Meta推出的Llama（美洲驼）。由于其开源特性，深受开发者社区欢迎。日本电气公司在研究Llama论文和源码后，迅速开发出了日语版ChatGPT，解决了日本在AI领域的技术瓶颈。

另一方是名为Falcon（猎鹰）的大模型。今年5月，Falcon-40B问世，超越美洲驼登上了"开源LLM排行榜"榜首。

该榜单由开源模型社区制作，提供了评估LLM能力的标准。排行榜基本上就是Llama和Falcon轮流刷榜。

Llama 2推出后，美洲驼家族反超；但到了9月初，Falcon推出180B版本，又一次取得了更高排名。

有趣的是，"猎鹰"的开发者是阿联酋首都阿布扎比的科技创新研究所。政府人士表示，他们参与这个领域是为了颠覆核心玩家。

180B版本发布第二天，阿联酋人工智能部长入选了"AI领域最具影响力的100人"；与他一同入选的，还有"AI教父"辛顿、OpenAI的阿尔特曼，以及百度创始人李彦宏。

如今，AI领域已进入"群雄逐鹿"阶段：有一定财力的国家和企业，或多或少都在打造自己的大语言模型。仅在海湾国家圈子内就不止一个玩家——8月，沙特阿拉伯刚为国内大学购买了3000多块H100芯片，用于训练LLM。

有投资人在社交媒体上吐槽道："当年看不起互联网的商业模式创新，觉得没有壁垒:百团大战、百车大战、百播大战；没想到硬科技大模型创业，依然是百模大战..."

原本被认为高难度的硬科技，怎么就变成了人人都能参与的领域呢？

Transformer改变游戏规则

美国的初创公司、中国的科技巨头、中东的石油大亨能够投身大模型领域，都要归功于那篇著名论文:《Attention Is All You Need》。

2017年，8位谷歌的计算机科学家在这篇论文中公开了Transformer算法。这篇论文目前是AI历史上被引用第三多的论文，Transformer的出现成为了此轮AI热潮的催化剂。

当前各种大模型，包括轰动全球的GPT系列，都建立在Transformer的基础之上。

在此之前，"教机器阅读"一直是公认的学术难题。与图像识别不同，人类阅读时不仅关注当前词句，还会结合上下文理解。早期神经网络的输入相互独立，无法理解长篇文字甚至整篇文章，因此常出现一些翻译错误。

2014年，在谷歌工作后来跳槽至OpenAI的计算机科学家伊利亚(Ilya Sutskever)取得了突破。他使用循环神经网络(RNN)处理自然语言，使谷歌翻译的性能迅速领先竞品。

RNN提出了"循环设计",让每个神经元既接受当前输入,也接受上一时刻输入,从而具备了"联系上下文"的能力。RNN的出现点燃了学术圈的研究热情,后来Transformer论文作者沙泽尔(Noam Shazeer)也曾深入研究。

然而开发者们很快意识到RNN存在严重缺陷:该算法使用顺序计算,虽然解决了上下文问题,但运行效率不高,难以处理大量参数。

RNN的繁琐设计很快让沙泽尔感到厌烦。因此从2015年开始,沙泽尔和7位同好着手开发RNN的替代品,其成果就是Transformer。

相比RNN,Transformer有两大革新:

一是用位置编码取代循环设计,实现并行计算,大大提升了训练效率,从而能处理海量数据,将AI推向大模型时代;二是进一步加强了理解上下文的能力。

随着Transformer一举解决众多难题,它逐渐成为自然语言处理的主流方案,有种"天不生Transformer,NLP万古如长夜"的感觉。连伊利亚都抛弃了自己开创的RNN,转而支持Transformer。

简而言之,Transformer让大模型从理论研究变成了纯粹的工程问题。

2019年,OpenAI基于Transformer开发了GPT-2,一度惊艳学界。作为回应,谷歌迅速推出了性能更强的AI,名为Meena。

与GPT-2相比,Meena在底层算法上并无革新,仅是参数量增加了8.5倍、算力增加14倍。Transformer论文作者沙泽尔对这种"暴力堆砌"方式大为震撼,当即写了篇"Meena吞噬世界"的备忘录。

Transformer的问世,使学术界在底层算法创新方面的步伐明显放缓。数据工程、算力规模、模型架构等工程要素,日益成为AI竞赛的关键因素,只要有一定技术能力的科技公司,都能开发出大模型。

因此,计算机科学家吴恩达在斯坦福大学演讲时提出:"AI是一系列工具的集合,包括监督学习、无监督学习、强化学习以及现在的生成式人工智能。所有这些都是通用技术,与电力和互联网等其他通用技术类似。"

OpenAI虽然仍是LLM的风向标,但半导体分析机构认为,GPT-4的竞争力主要源自工程解决方案——如果开源,任何竞争对手都能迅速复制。

有分析师预测,或许用不了多久,其他大型科技公司也能开发出与GPT-4性能相当的大模型。

脆弱的竞争壁垒

当前,"百模大战"已不再是修辞,而是客观现实。

相关报告显示,截至今年7月,中国大模型数量已达130个,超过美国的114个,各种神话传说已经不够国内科技公司取名用的了。

除中美之外,一些较为富裕的国家也初步实现了"一国一模":日本、阿联酋、印度政府主导的Bhashini、韩国互联网公司Naver开发的HyperClova X等。

眼下这种局面,仿佛回到了互联网泡沫时代,各路资本疯狂涌入。

如前所述,Transformer让大模型变成了纯粹的工程问题,只要有人才、资金和算力,就能生产大模型。但入场门槛虽不高,也并不意味着人人都能成为AI时代的巨头。

文章开头提到的"动物战争"就是典型案例:Falcon虽然在排名上超越美洲驼,但很难说对Meta造成了多大冲击。

众所周知,企业开源自身的科研成果,既是为了与社会分享科技红利,也希望能借助群众智慧。随着各大学教授、研究机构、中小企业不断使用、改进Llama,Meta可以将这些成果应用到自己的产品中。

对开源大模型而言,活跃的开发者社区才是其核心竞争力。

早在2015年组建AI实验室时,Meta就确立了开源的基调;扎克伯格靠社交媒体起家,更懂得"维护群众关系"的重要性。

例如10月,Meta专门举办了一场"AI版创作者激励"活动:使用Llama 2来解决教育、环境等社会问题的开发者,有机会获得50万美元资助。

如今,Meta的Llama系列已成为开源LLM的风向标。

截至10月初,某开源LLM排行榜前10名中,有8个都是基于Llama 2开发的,均使用了其开源协议。仅在该平台上,使用Llama 2开源协议的LLM就已超过1500个。

当然,像Falcon那样提高性能也未尝不可,但目前市面上大多数LLM与GPT-4仍有明显差距。

例如前不久,GPT-4以4.41分的成绩在AgentBench测试中夺魁。AgentBench由清华大学与美国多所高校共同推出,用于评估LLM在多维度开放式生成环境中的推理和决策能力,测试内容包括操作系统、数据库、知识图谱、卡牌对战等8个不同环境的任务。

测试结果显示,第二名Claude仅得2.77分,差距明显。至于那些声势浩大的开源LLM,其测试成绩多在1分左右,还不到GPT-4的四分之一。

要知道,GPT-4发布于今年3月,这还是全球同行追赶了大半年后的结果。造成这种差距的,是OpenAI优秀的科学家团队与长期研究LLM积累的经验,因此能始终保持领先。

也就是说,大模型的核心能力并非参数,而是生态建设(开源)或纯粹的推理能力(闭源)。

随着开源社区日益活跃,各LLM的性能可能会趋同,因为大家都在使用相似的模型架构与数据集。

另一个更直观的问题是:除了Midjourney,似乎还没有哪个大模型能真正盈利。

价值的锚点

今年8月,一篇题为"OpenAI可能会于2024年底破产"的文章引发关注。文章主旨几乎可用一句话概括:OpenAI的烧钱速度太快了。

文中提到,自开发ChatGPT以来,OpenAI的亏损迅速扩大,仅2022年就亏损约5.4亿美元,只能等待投资方买单。

文章标题虽耸人听闻,却也道出了众多大模型提供商的现状:成本与收入严重失衡。

过高的成本导致目前靠人工智能赚大钱的只有英伟达,最多再加上博通。

据咨询公司估计,英伟达今年二季度售出超30万块H100。这是一款AI芯片,训练AI效率极高,全球科技公司、科研机构都在抢购。如果将这30万块H100叠在一起,重量相当于4.5架波音747飞机。

英伟达业绩随之飙升,同比营收增长854%,令华尔街震惊。值得一提的是,目前H100在二手市场价格已被炒至4-5万美元,而其物料成本仅约3000美元。

高昂的算力成本在某种程度上已成为行业发展障碍。有资本机构曾估算:全球科技公司每年预计将花费2000亿美元用于大模型基础设施建设;相比之下,大模型每年最多只能产生750亿美元收入,中间至少存在1250亿美元缺口。

此外,除Midjourney等少数例外,大多数软件公司在投入巨额成本后,还没想清楚盈利模式。尤其是行业两大领头羊——微软和Adobe的步伐都有些踉跄。

微软与OpenAI合作开发的AI代码生成工具GitHub Copilot,虽然每月收取10美元,但由于设施成本,微软反而每月要亏损20美元,重度用户甚至能让微软每月亏损80美元。据此推测,定价30美元的Microsoft 365 Copilot可能亏损更多。

同样,刚推出Firefly AI工具的Adobe也迅速上线了积分系统,防止用户过度使用导致公司亏损。一旦用户超过每月分配积分,Adobe就会降低服务速度。

要知道微软和Adobe已经是业务场景明确、拥有大量付费用户的软件巨头。而大多数参数庞大的大模型,最主要的应用场景还是聊天。

不可否认,如果没有OpenAI和ChatGPT的横空出世,这场AI革命可能根本不会发生;但目前,训练大模型所创造的价值还有待商榷。

而且,随着同质化竞争加剧,以及开源模型越来越多,单纯的大模型供应商的发展空间可能会更加有限。

iPhone 4的成功并非源于45nm制程的A4处理器,而是因为它能玩植物大战僵尸和愤怒的小鸟这样的游戏。