"Битва ста моделей" в области ИИ: от академических инноваций до инженерных технологий

В прошлом месяце в индустрии ИИ разразилась "война животных".

С одной стороны, это Llama (лама), выпущенная Meta. Благодаря своей открытой природе, она пользуется большой популярностью в сообществе разработчиков. После изучения статьи и исходного кода Llama, компания Nippon Electric быстро разработала японскую версию ChatGPT, решив тем самым технологический瓶颈 в области ИИ в Японии.

С другой стороны, есть большая модель под названием Falcon (Сокол). В мае этого года вышел Falcon-40B, который превзошел ламу и занял первое место в "рейтинге LLM с открытым исходным кодом".

Этот список составлен сообществом открытых моделей и предлагает стандарты для оценки возможностей LLM. Рейтинг в основном представляет собой чередование Llama и Falcon на вершине списка.

После выхода Llama 2 семья лам вернулась в лидеры; но к началу сентября Falcon выпустил версию 180B и снова занял более высокую позицию.

Интересно, что разработчиком "Сокол" является Институт научных исследований и технологий в Абу-Даби, столице Объединенных Арабских Эмиратов. Представители правительства заявили, что они участвуют в этой области, чтобы подорвать основные игроки.

На второй день после выпуска версии 180B министр искусственного интеллекта ОАЭ был включен в список "100 самых влиятельных людей в области ИИ"; вместе с ним в этот список вошли "отец ИИ" Хинтон, Альтман из OpenAI и основатель Baidu Ли Яньхун.

На сегодняшний день область ИИ вошла в стадию "борьбы нескольких героев": страны и компании с определенными финансовыми возможностями или более-менее создают свои большие языковые модели. В кругу стран Персидского залива есть не один игрок — в августе Саудовская Аравия только что приобрела более 3000 чипов H100 для своих университетов, чтобы обучать LLM.

Некоторые инвесторы на социальных медиа выразили недовольство: "Когда-то я пренебрегал инновациями в бизнес-моделях интернета, считая, что нет барьеров: битва ста групп, битва ста автомобилей, битва ста платформ; не ожидал, что стартапы с жесткими технологиями и большими моделями все еще ведут битву ста моделей..."

Как же высокотехнологичные области, которые изначально считались сложными, стали доступны для участия всем?

Transformer меняет правила игры

Стартапы из США, технологические гиганты из Китая и нефтяные магнаты из Ближнего Востока смогли погрузиться в сферу больших моделей благодаря той знаменитой статье: «Attention Is All You Need».

В 2017 году восемь компьютерных ученых из Google опубликовали алгоритм Transformer в этой статье. Эта статья в настоящее время является третьей по количеству цитирований в истории ИИ, и появление Transformer стало катализатором текущего бума в области ИИ.

Текущие большие модели, включая потрясшую мир серию GPT, основаны на Transformer.

До этого момента «обучение машин читать» считалось общепризнанной академической проблемой. В отличие от распознавания изображений, при чтении человек обращает внимание не только на текущие слова и предложения, но и на их понимание в контексте. Ранние нейронные сети принимали входные данные независимо друг от друга и не могли понимать длинные тексты или даже целые статьи, что часто приводило к ошибкам в переводе.

В 2014 году компьютерный ученый Илья (Ilya Sutskever), который работал в Google и затем перешел в OpenAI, достиг прорыва. Он использовал рекуррентные нейронные сети (RNN) для обработки естественного языка, что позволило Google Translate быстро обойти конкурентов.

RNN предложил "циклический дизайн", позволяя каждому нейрону принимать как текущий ввод, так и ввод предыдущего момента, тем самым обладая способностью "связывать контекст". Появление RNN разожгло исследовательский интерес в академическом сообществе, позже автор статьи Transformer Ноам Шазер ( также проводил глубокие исследования.

Однако разработчики быстро осознали, что у RNN есть серьезные недостатки: алгоритм использует последовательные вычисления, хотя и решает проблему контекста, но его эффективность низка и он с трудом справляется с большим количеством параметров.

Сложный дизайн RNN вскоре начал раздражать Шазела. Поэтому с 2015 года Шазел и семеро единомышленников начали разрабатывать альтернативу RNN, результатом которой стал Transformer.

В сравнении с RNN у Трансформера есть два основных новшества:

Во-первых, вместо циклического дизайна используется позиционное кодирование, что позволяет осуществлять параллельные вычисления и значительно повышает эффективность обучения, что позволяет обрабатывать огромные объемы данных и выводит ИИ в эпоху больших моделей; во-вторых, еще больше усилена способность понимать контекст.

С появлением Transformer, который в одночасье решил множество проблем, он постепенно стал основным решением в области обработки естественного языка, создавая ощущение, что "если бы не появился Transformer, NLP навсегда бы оставался в темноте". Даже Илья отказался от своей разработанной RNN и стал поддерживать Transformer.

Короче говоря, Transformer превратил крупные модели из теоретического исследования в чисто инженерную задачу.

В 2019 году OpenAI разработала GPT-2 на основе Transformer, что произвело фурор в академической среде. В ответ Google быстро выпустила более мощный ИИ под названием Meena.

В отличие от GPT-2, Meena не представляет собой революции в базовых алгоритмах, просто количество параметров увеличилось в 8,5 раз, а вычислительная мощность возросла в 14 раз. Автор статьи о Transformer, Шазел, был в полном шоке от такого "грубой сборки" и сразу же написал меморандум под названием "Meena поглощает мир".

Появление Transformer заметно замедлило шаги научного сообщества в области инноваций базовых алгоритмов. Инженерные факторы, такие как инженерия данных, масштаб вычислений и архитектура моделей, становятся ключевыми факторами в соревнованиях по ИИ; любая технологическая компания с определенными техническими возможностями может разработать большие модели.

Таким образом, компьютерный ученый Эндрю Нг в своем выступлении в Стэнфордском университете заявил: "Искусственный интеллект — это набор инструментов, включая контролируемое обучение, неконтролируемое обучение, обучение с подкреплением и современный генеративный искусственный интеллект. Все это универсальные технологии, похожие на электроэнергию и интернет."

Хотя OpenAI по-прежнему является ориентиром для LLM, аналитическая компания в области полупроводников считает, что конкурентоспособность GPT-4 в основном обусловлена инженерными решениями — если он будет с открытым исходным кодом, любой конкурент сможет быстро скопировать его.

Некоторые аналитики прогнозируют, что, возможно, в скором времени и другие крупные технологические компании смогут разработать большие модели, сопоставимые по производительности с GPT-4.

Слабые конкурентные барьеры

В настоящее время "Баймо Да Чжань" уже не является риторикой, а объективной реальностью.

Согласно отчетам, по состоянию на июль этого года, количество крупных моделей в Китае достигло 130, что превышает 114 в США, и разнообразных мифов и легенд уже недостаточно для именования китайских технологических компаний.

Помимо США и Китая, некоторые более богатые страны также начали реализовывать концепцию "одна страна - одна модель": Япония, Bhashini, развиваемая правительством Объединенных Арабских Эмиратов, и HyperClova X, разработанный южнокорейской интернет-компанией Naver.

Ситуация сейчас напоминает эпоху интернет-пузыря, когда различные капиталы безумно хлынули в эту сферу.

Как уже упоминалось, Transformer превратил большие модели в чисто инженерную задачу: если есть талант, капитал и вычислительная мощность, можно создать большие модели. Однако низкий порог входа не означает, что каждый может стать гигантом эпохи ИИ.

В начале статьи упоминается "война животных", что является典型ным примером: хотя Falcon обошел ламу по рейтингам, трудно сказать, насколько это повлияло на Meta.

Как всем известно, компании открывают свои научные достижения, чтобы поделиться технологическими прибылями с обществом и надеются воспользоваться мудростью масс. С ростом использования и улучшения Llama профессорами университетов, исследовательскими учреждениями и малым и средним бизнесом, Meta может применять эти достижения в своих продуктах.

Для открытых больших моделей активное сообщество разработчиков является их основной конкурентоспособностью.

Еще в 2015 году, создавая лабораторию ИИ, Meta установила тон для открытого исходного кода; Закерберг, начав с социальных медиа, лучше понимает важность "поддержания общественных отношений".

Например, в октябре Meta провела мероприятие «Мотивация создателей на базе ИИ»: разработчики, использующие Llama 2 для решения социальных проблем, таких как образование и окружающая среда, имеют возможность получить финансирование в размере 500000 долларов.

Сегодня серия Llama от Meta стала ориентиром для открытых LLM.

На начало октября 8 из 10 лучших открытых LLM в рейтинге основаны на Llama 2 и используют его открытый протокол. Только на этой платформе количество LLM, использующих открытый протокол Llama 2, уже превышает 1500.

Конечно, улучшение производительности, как у Falcon, тоже возможно, но в настоящее время большинство LLM на рынке все еще значительно уступают GPT-4.

Например, на днях GPT-4 занял первое место в тестировании AgentBench с результатом 4,41 балла. AgentBench был совместно разработан Университетом Цинхуа и несколькими университетами США для оценки способности LLM к рассуждению и принятию решений в многомерной открытой генеративной среде. В тестировании рассматриваются задачи в восьми различных средах, включая операционные системы, базы данных, графы знаний, карточные сражения и др.

Тестовые результаты показывают, что второе место Claude набрало всего 2,77 балла, разница очевидна. Что касается громких открытых LLM, их тестовые оценки обычно около 1 балла, что менее четверти от GPT-4.

Чтобы понимать, GPT-4 был выпущен в марте этого года, и это результат того, что его глобальные коллеги догоняли его в течение полугода. Причиной этого разрыва является выдающаяся команда ученых OpenAI и накопленный за долгое время опыт исследований LLM, что позволяет им постоянно сохранять лидерство.

Это означает, что ключевая способность больших моделей заключается не в параметрах, а в экосистемном строительстве ) открытый ( или чисто в способности вывода ) закрытый (.

С увеличением активности открытого сообщества производительность различных LLM может стать схожей, так как все используют похожие архитектуры моделей и наборы данных.

Другой более очевидный вопрос заключается в том, что кроме Midjourney, похоже, ни одна большая модель не может действительно приносить прибыль.

Якорь ценности

В августе этого года статья под названием "OpenAI может обанкротиться к концу 2024 года" привлекла внимание. Основная идея статьи может быть в одном предложении: OpenAI слишком быстро тратит деньги.

В статье упоминается, что с момента разработки ChatGPT убытки OpenAI быстро увеличились, и только в 2022 году они составили около 540 миллионов долларов, и им остается только ждать, когда инвесторы оплатят.

Хотя заголовок статьи звучит громко, он также отражает текущее состояние многих провайдеров больших моделей: серьезный дисбаланс между затратами и доходами.

Слишком высокие затраты приводят к тому, что в настоящее время только NVIDIA зарабатывает большие деньги на искусственном интеллекте, и максимум еще Broadcom.

По оценкам консалтинговой компании, NVIDIA в этом году во втором квартале продала более 300 тысяч H100. Это чип для ИИ, обладающий высокой эффективностью обучения ИИ, и его активно раскупают технологические компании и научные учреждения по всему миру. Если сложить эти 300 тысяч H100, их вес будет равен 4,5 самолетам Boeing 747.

Выручка компании Nvidia стремительно возросла, увеличившись на 854% по сравнению с прошлым годом, что шокировало Уолл-стрит. Стоит отметить, что в настоящее время цена H100 на вторичном рынке возросла до 40-50 тысяч долларов, в то время как его материальная стоимость составляет всего около 3000 долларов.

Высокие затраты на вычислительную мощность в определенной степени стали препятствием для развития отрасли. Некоторые инвестиционные компании оценили, что мировые технологические компании ежегодно планируют потратить 200 миллиардов долларов на строительство инфраструктуры для больших моделей; в то же время, большие модели могут генерировать не более 75 миллиардов долларов дохода в год, что создает как минимум 125 миллиардов долларов разрыва.

Кроме того, за исключением немногих, таких как Midjourney, большинство программных компаний, вложив огромные средства, еще не определились с моделью получения прибыли. Особенно шаги двух основных лидеров отрасли — Microsoft и Adobe — выглядят несколько неуверенно.

Инструмент генерации кода AI GitHub Copilot, разработанный в сотрудничестве Microsoft и OpenAI, хотя и стоит 10 долларов в месяц, на самом деле приводит к убыткам для Microsoft в размере 20 долларов в месяц из-за затрат на инфраструктуру, а у пользователей с высокой нагрузкой этот убыток может достигать 80 долларов в месяц. Исходя из этого, можно предположить, что Microsoft 365 Copilot, цена которого составляет 30 долларов, может быть еще более убыточным.

Аналогично, только что выпустивший инструмент Firefly AI Adobe быстро запустил систему баллов, чтобы предотвратить чрезмерное использование, что может привести к убыткам компании. Как только пользователь превышает ежемесячно выделенные баллы, Adobe снижает скорость обслуживания.

Следует отметить, что Microsoft и Adobe уже являются гигантами программного обеспечения с четкими бизнес-сценариями и большим количеством платных пользователей. В то время как основные области применения большинства крупных моделей все еще ограничиваются общением.

Нельзя отрицать, что без появления OpenAI и ChatGPT эта революция в области ИИ, возможно, вообще не состоялась бы; но в настоящее время ценность, создаваемая при обучении крупных моделей, остается предметом обсуждения.

Кроме того, с нарастанием однородной конкуренции и увеличением количества открытых моделей, развитие чисто поставщиков больших моделей может стать более ограниченным.

Успех iPhone 4 не был обусловлен 45-нм процессором A4, а тем, что он мог играть в такие игры, как Plants vs. Zombies и Angry Birds.