AI領域的"百模大戰":從學術創新到工程技術

上個月，AI業界爆發了一場"動物戰爭"。

一方是Meta推出的Llama（美洲駝）。由於其開源特性，深受開發者社區歡迎。日本電氣公司在研究Llama論文和源碼後，迅速開發出了日語版ChatGPT，解決了日本在AI領域的技術瓶頸。

另一方是名爲Falcon（獵鷹）的大模型。今年5月，Falcon-40B問世，超越美洲駝登上了"開源LLM排行榜"榜首。

該榜單由開源模型社區制作，提供了評估LLM能力的標準。排行榜基本上就是Llama和Falcon輪流刷榜。

Llama 2推出後，美洲駝家族反超；但到了9月初，Falcon推出180B版本，又一次取得了更高排名。

有趣的是，"獵鷹"的開發者是阿聯酋首都阿布扎比的科技創新研究所。政府人士表示，他們參與這個領域是爲了顛覆核心玩家。

180B版本發布第二天，阿聯酋人工智能部長入選了"AI領域最具影響力的100人"；與他一同入選的，還有"AI教父"辛頓、OpenAI的阿爾特曼，以及百度創始人李彥宏。

如今，AI領域已進入"羣雄逐鹿"階段：有一定財力的國家和企業，或多或少都在打造自己的大語言模型。僅在海灣國家圈子內就不止一個玩家——8月，沙特阿拉伯剛爲國內大學購買了3000多塊H100芯片，用於訓練LLM。

有投資人在社交媒體上吐槽道："當年看不起互聯網的商業模式創新，覺得沒有壁壘:百團大戰、百車大戰、百播大戰；沒想到硬科技大模型創業，依然是百模大戰..."

原本被認爲高難度的硬科技，怎麼就變成了人人都能參與的領域呢？

Transformer改變遊戲規則

美國的初創公司、中國的科技巨頭、中東的石油大亨能夠投身大模型領域，都要歸功於那篇著名論文:《Attention Is All You Need》。

2017年，8位谷歌的計算機科學家在這篇論文中公開了Transformer算法。這篇論文目前是AI歷史上被引用第三多的論文，Transformer的出現成爲了此輪AI熱潮的催化劑。

當前各種大模型，包括轟動全球的GPT系列，都建立在Transformer的基礎之上。

在此之前，"教機器閱讀"一直是公認的學術難題。與圖像識別不同，人類閱讀時不僅關注當前詞句，還會結合上下文理解。早期神經網路的輸入相互獨立，無法理解長篇文字甚至整篇文章，因此常出現一些翻譯錯誤。

2014年，在谷歌工作後來跳槽至OpenAI的計算機科學家伊利亞(Ilya Sutskever)取得了突破。他使用循環神經網路(RNN)處理自然語言，使谷歌翻譯的性能迅速領先競品。

RNN提出了"循環設計",讓每個神經元既接受當前輸入,也接受上一時刻輸入,從而具備了"聯繫上下文"的能力。RNN的出現點燃了學術圈的研究熱情,後來Transformer論文作者沙澤爾(Noam Shazeer)也曾深入研究。

然而開發者們很快意識到RNN存在嚴重缺陷:該算法使用順序計算,雖然解決了上下文問題,但運行效率不高,難以處理大量參數。

RNN的繁瑣設計很快讓沙澤爾感到厭煩。因此從2015年開始,沙澤爾和7位同好着手開發RNN的替代品,其成果就是Transformer。

相比RNN,Transformer有兩大革新:

一是用位置編碼取代循環設計,實現並行計算,大大提升了訓練效率,從而能處理海量數據,將AI推向大模型時代;二是進一步加強了理解上下文的能力。

隨着Transformer一舉解決衆多難題,它逐漸成爲自然語言處理的主流方案,有種"天不生Transformer,NLP萬古如長夜"的感覺。連伊利亞都拋棄了自己開創的RNN,轉而支持Transformer。

簡而言之,Transformer讓大模型從理論研究變成了純粹的工程問題。

2019年,OpenAI基於Transformer開發了GPT-2,一度驚豔學界。作爲回應,谷歌迅速推出了性能更強的AI,名爲Meena。

與GPT-2相比,Meena在底層算法上並無革新,僅是參數量增加了8.5倍、算力增加14倍。Transformer論文作者沙澤爾對這種"暴力堆砌"方式大爲震撼,當即寫了篇"Meena吞噬世界"的備忘錄。

Transformer的問世,使學術界在底層算法創新方面的步伐明顯放緩。數據工程、算力規模、模型架構等工程要素,日益成爲AI競賽的關鍵因素,只要有一定技術能力的科技公司,都能開發出大模型。

因此,計算機科學家吳恩達在斯坦福大學演講時提出:"AI是一系列工具的集合,包括監督學習、無監督學習、強化學習以及現在的生成式人工智能。所有這些都是通用技術,與電力和互聯網等其他通用技術類似。"

OpenAI雖然仍是LLM的風向標,但半導體分析機構認爲,GPT-4的競爭力主要源自工程解決方案——如果開源,任何競爭對手都能迅速復制。

有分析師預測,或許用不了多久,其他大型科技公司也能開發出與GPT-4性能相當的大模型。

脆弱的競爭壁壘

當前,"百模大戰"已不再是修辭,而是客觀現實。

相關報告顯示,截至今年7月,中國大模型數量已達130個,超過美國的114個,各種神話傳說已經不夠國內科技公司取名用的了。

除中美之外,一些較爲富裕的國家也初步實現了"一國一模":日本、阿聯酋、印度政府主導的Bhashini、韓國互聯網公司Naver開發的HyperClova X等。

眼下這種局面,仿佛回到了互聯網泡沫時代,各路資本瘋狂湧入。

如前所述,Transformer讓大模型變成了純粹的工程問題,只要有人才、資金和算力,就能生產大模型。但入場門檻雖不高,也並不意味着人人都能成爲AI時代的巨頭。

文章開頭提到的"動物戰爭"就是典型案例:Falcon雖然在排名上超越美洲駝,但很難說對Meta造成了多大衝擊。

衆所周知,企業開源自身的科研成果,既是爲了與社會分享科技紅利,也希望能借助羣衆智慧。隨着各大學教授、研究機構、中小企業不斷使用、改進Llama,Meta可以將這些成果應用到自己的產品中。

對開源大模型而言,活躍的開發者社區才是其核心競爭力。

早在2015年組建AI實驗室時,Meta就確立了開源的基調;扎克伯格靠社交媒體起家,更懂得"維護羣衆關係"的重要性。

例如10月,Meta專門舉辦了一場"AI版創作者激勵"活動:使用Llama 2來解決教育、環境等社會問題的開發者,有機會獲得50萬美元資助。

如今,Meta的Llama系列已成爲開源LLM的風向標。

截至10月初,某開源LLM排行榜前10名中,有8個都是基於Llama 2開發的,均使用了其開源協議。僅在該平台上,使用Llama 2開源協議的LLM就已超過1500個。

當然,像Falcon那樣提高性能也未嘗不可,但目前市面上大多數LLM與GPT-4仍有明顯差距。

例如前不久,GPT-4以4.41分的成績在AgentBench測試中奪魁。AgentBench由清華大學與美國多所高校共同推出,用於評估LLM在多維度開放式生成環境中的推理和決策能力,測試內容包括操作系統、數據庫、知識圖譜、卡牌對戰等8個不同環境的任務。

測試結果顯示,第二名Claude僅得2.77分,差距明顯。至於那些聲勢浩大的開源LLM,其測試成績多在1分左右,還不到GPT-4的四分之一。

要知道,GPT-4發布於今年3月,這還是全球同行追趕了大半年後的結果。造成這種差距的,是OpenAI優秀的科學家團隊與長期研究LLM積累的經驗,因此能始終保持領先。

也就是說,大模型的核心能力並非參數,而是生態建設(開源)或純粹的推理能力(閉源)。

隨着開源社區日益活躍,各LLM的性能可能會趨同,因爲大家都在使用相似的模型架構與數據集。

另一個更直觀的問題是:除了Midjourney,似乎還沒有哪個大模型能真正盈利。

價值的錨點

今年8月,一篇題爲"OpenAI可能會於2024年底破產"的文章引發關注。文章主旨幾乎可用一句話概括:OpenAI的燒錢速度太快了。

文中提到,自開發ChatGPT以來,OpenAI的虧損迅速擴大,僅2022年就虧損約5.4億美元,只能等待投資方買單。

文章標題雖聳人聽聞,卻也道出了衆多大模型提供商的現狀:成本與收入嚴重失衡。

過高的成本導致目前靠人工智能賺大錢的只有英偉達,最多再加上博通。

據諮詢公司估計,英偉達今年二季度售出超30萬塊H100。這是一款AI芯片,訓練AI效率極高,全球科技公司、科研機構都在搶購。如果將這30萬塊H100疊在一起,重量相當於4.5架波音747飛機。

英偉達業績隨之飆升,同比營收增長854%,令華爾街震驚。值得一提的是,目前H100在二手市場價格已被炒至4-5萬美元,而其物料成本僅約3000美元。

高昂的算力成本在某種程度上已成爲行業發展障礙。有資本機構曾估算:全球科技公司每年預計將花費2000億美元用於大模型基礎設施建設;相比之下,大模型每年最多只能產生750億美元收入,中間至少存在1250億美元缺口。

此外,除Midjourney等少數例外,大多數軟件公司在投入巨額成本後,還沒想清楚盈利模式。尤其是行業兩大領頭羊——微軟和Adobe的步伐都有些踉蹌。

微軟與OpenAI合作開發的AI代碼生成工具GitHub Copilot,雖然每月收取10美元,但由於設施成本,微軟反而每月要虧損20美元,重度用戶甚至能讓微軟每月虧損80美元。據此推測,定價30美元的Microsoft 365 Copilot可能虧損更多。

同樣,剛推出Firefly AI工具的Adobe也迅速上線了積分系統,防止用戶過度使用導致公司虧損。一旦用戶超過每月分配積分,Adobe就會降低服務速度。

要知道微軟和Adobe已經是業務場景明確、擁有大量付費用戶的軟件巨頭。而大多數參數龐大的大模型,最主要的應用場景還是聊天。

不可否認,如果沒有OpenAI和ChatGPT的橫空出世,這場AI革命可能根本不會發生;但目前,訓練大模型所創造的價值還有待商榷。

而且,隨着同質化競爭加劇,以及開源模型越來越多,單純的大模型供應商的發展空間可能會更加有限。

iPhone 4的成功並非源於45nm制程的A4處理器,而是因爲它能玩植物大戰僵屍和憤怒的小鳥這樣的遊戲。