"Битва ста моделей" в галузі штучного інтелекту: від наукових інновацій до інженерних технологій

Минулого місяця в індустрії штучного інтелекту спалахнула "війна тварин".

Одна сторона – це Llama (альпака), яку представила компанія Meta. Завдяки своїй відкритій природі, вона користується великою популярністю серед спільноти розробників. Японська електронна компанія, вивчивши статтю та вихідний код Llama, швидко розробила японську версію ChatGPT, що вирішило технологічні проблеми Японії в галузі ШІ.

Іншою стороною є великий модель під назвою Falcon. У травні цього року з'явився Falcon-40B, який перевершив альпака і зайняв перше місце в "рейтингу відкритих LLM".

Цей рейтинг створено спільнотою відкритих моделей і він надає стандарти для оцінки можливостей LLM. Рейтинг, по суті, представляє собою чергування Llama та Falcon на перших місцях.

Після виходу Llama 2, родина лам випередила; але на початку вересня Falcon випустив версію 180B і знову посів більш високе місце.

Цікаво, що розробником "Сокіл" є Інститут наукових досліджень у сфері технологічних інновацій в Абу-Дабі, столиці Об'єднаних Арабських Еміратів. Представники уряду заявили, що вони беруть участь у цій сфері, щоб перевернути основних гравців.

На другий день після випуску версії 180B, міністр штучного інтелекту Об'єднаних Арабських Еміратів був включений до списку "100 найвпливовіших людей у сфері ШІ"; разом з ним до списку потрапили "батько штучного інтелекту" Джеффрі Хінтон, Алтман з OpenAI та засновник Baidu Лі Яньхун.

Сьогодні сфера ШІ увійшла в етап «боротьби багатьох»: країни та підприємства з певними фінансовими ресурсами більш-менш створюють свої великі мовні моделі. Лише в колі країн Перської затоки є не один гравець — у серпні Саудівська Аравія тільки що придбала понад 3000 чіпів H100 для навчання LLM для своїх університетів.

Інвестор на соціальних мережах висловився: "Коли-то зневажав інновації бізнес-моделей в Інтернеті, вважав, що немає бар'єрів: битва сотень гуртів, битва сотень автомобілів, битва сотень трансляцій; не очікував, що стартапи з жорсткими технологіями і великими моделями все ще є битвою сотень моделей..."

Як же сфера жорстких технологій, яка спочатку вважалася важкою, стала доступною для всіх?

Transformer змінює правила гри

Стартапи США, технологічні гіганти Китаю та нафтові магнати Близького Сходу змогли зануритися у сферу великих моделей завдяки відомій статті: «Увага — це все, що вам потрібно».

У 2017 році 8 комп'ютерних науковців з Google опублікували алгоритм Transformer у цій статті. Ця стаття наразі є третьою за кількістю цитувань в історії ШІ, а поява Transformer стала каталізатором цього циклу буму ШІ.

Сучасні великі моделі, включаючи сенсаційні у всьому світі серії GPT, побудовані на основі Transformer.

До цього моменту «викладання машинам читання» залишалося визнаною науковою проблемою. На відміну від розпізнавання зображень, людина під час читання звертає увагу не лише на поточні слова та речення, але й розуміє їх у контексті. Ранні нейронні мережі мали незалежні вхідні дані і не могли розуміти довгі тексти навіть цілу статтю, через що часто виникали перекладацькі помилки.

У 2014 році комп'ютерний вчений Ілія (Ilya Sutskever), який раніше працював у Google, перейшов до OpenAI і досяг прориву. Він використовував рекуррентні нейронні мережі (RNN) для обробки природної мови, що дозволило Google Translate швидко випередити конкуренти.

RNN запропонував "циклічний дизайн", що дозволяє кожному нейрону приймати як поточний вхід, так і вхід з попереднього моменту, таким чином надаючи можливість "зв'язувати контекст". Поява RNN розпалює дослідницький ентузіазм в академічних колах, пізніше автори статті Transformer Ноам Шазер ( також детально досліджували це.

Проте, розробники швидко усвідомили, що RNN має серйозні недоліки: цей алгоритм використовує послідовні обчислення, хоча вирішує проблему контексту, але його ефективність низька, і він погано справляється з великою кількістю параметрів.

Складний дизайн RNN швидко набрид Шазелю. Тому з 2015 року Шазель разом із семи однодумцями взялися за розробку альтернативи RNN, результатом якої став Transformer.

На відміну від RNN, у Transformer є дві великі інновації:

По-перше, було використано кодування позицій замість циклічного дизайну, що забезпечує паралельні обчислення, значно підвищуючи ефективність навчання, і, таким чином, здатність обробляти величезні обсяги даних, виводячи ШІ в епоху великих моделей; по-друге, було ще більше посилено здатність розуміти контекст.

З появою Transformer, який вирішив безліч проблем, він поступово став основним рішенням у обробці природної мови, виникає відчуття, що "якщо б не було Transformer, NLP залишався б у темряві вічно". Навіть Ілля відмовився від свого власного RNN, перейшовши на підтримку Transformer.

У двох словах, Transformer перетворив великі моделі з теоретичного дослідження на чисто інженерну задачу.

У 2019 році OpenAI на базі Transformer розробила GPT-2, яка вразила академічний світ. У відповідь Google швидко випустила більш потужний штучний інтелект, названий Meena.

У порівнянні з GPT-2, Meena не має нововведень у базових алгоритмах, лише кількість параметрів збільшилася в 8,5 разів, а обчислювальна потужність зросла в 14 разів. Автори статті про Transformer Шазель були вражені таким "агресивним накопиченням", і відразу написали меморандум "Meena поглинає світ".

Поява Transformer значно сповільнила темпи інновацій у базових алгоритмах у науковій спільноті. Інженерні елементи, такі як обробка даних, масштаб обчислень, архітектура моделей, все більше стають ключовими факторами у змаганні з штучного інтелекту, і будь-яка технологічна компанія з певним рівнем технічної спроможності може розробити великі моделі.

Тому комп'ютерний вчений Енді Нг під час виступу в Стенфорді заявив: "ШІ - це набір інструментів, до якого входять контрольоване навчання, неконтрольоване навчання, навчання з підкріпленням та сучасний генеративний штучний інтелект. Усі ці технології є загальними, подібно до електрики та Інтернету."

Хоча OpenAI все ще є орієнтиром для LLM, але аналітичні агентства в галузі напівпровідників вважають, що конкурентоспроможність GPT-4 в основному походить з інженерних рішень — якщо це буде з відкритим вихідним кодом, будь-який конкурент зможе швидко скопіювати.

Є аналітики, які прогнозують, що, можливо, незабаром інші великі технологічні компанії зможуть розробити великі моделі, які за продуктивністю будуть порівнянні з GPT-4.

Слабкі конкурентні бар'єри

Сьогодні "Битва ста моделей" вже не є риторикою, а об'єктивною реальністю.

Згідно з відповідними звітами, станом на липень цього року, кількість великих моделей у Китаї досягла 130, перевищивши 114 у США, і різних міфів та легенд уже недостатньо для найменування вітчизняних технологічних компаній.

Окрім Китаю та США, деякі більш заможні країни також попередньо реалізували "одна країна - одна модель": Японія, Об'єднані Арабські Емірати, уряд Індії, що керує Bhashini, а також південнокорейська інтернет-компанія Naver, що розробила HyperClova X тощо.

Ситуація зараз нагадує епоху інтернет-бульбашки, коли різні капітали шалено вливаються.

Як вже згадувалося, Transformer перетворив великі моделі на чисто інженерну задачу: якщо є кадри, фінансування та обчислювальна потужність, можна створити великі моделі. Але хоча бар'єри для входу не високі, це не означає, що кожен може стати гігантом епохи ШІ.

У статті на початку згадується "війна тварин", що є типовим прикладом: хоча Falcon перевершив ламу в рейтингу, важко сказати, який саме вплив він справив на Meta.

Як відомо, компанії відкривають свої наукові досягнення, щоб поділитися технологічними перевагами з суспільством та сподіваються скористатися мудрістю мас. Оскільки професори з різних університетів, дослідницькі установи та малі і середні підприємства постійно використовують і вдосконалюють Llama, Meta може застосувати ці результати у своїх продуктах.

Для відкритих великих моделей активне співтовариство розробників є їхньою основною конкурентною перевагою.

Ще в 2015 році, коли було створено лабораторію штучного інтелекту, Meta встановила тон відкритого коду; Цукерберг, який розпочав свій шлях у соціальних мережах, краще розуміє важливість "підтримки відносин з громадськістю".

Наприклад, у жовтні Meta провела спеціальний захід "AI-версія стимулювання творців": розробники, які використовують Llama 2 для вирішення соціальних проблем, таких як освіта та навколишнє середовище, мають можливість отримати фінансування в розмірі 500 тисяч доларів.

Сьогодні серія Llama від Meta стала орієнтиром для відкритих LLM.

Станом на початок жовтня, у топ-10 рейтингу відкритих LLM, 8 із них розроблені на базі Llama 2 та використовують його відкриту ліцензію. Лише на цій платформі кількість LLM, що використовують відкриту ліцензію Llama 2, вже перевищила 1500.

Звичайно, підвищення продуктивності, як у Falcon, також допустимо, але наразі більшість LLM на ринку все ще має помітну різницю з GPT-4.

Наприклад, нещодавно GPT-4 здобув перемогу в тесті AgentBench з оцінкою 4.41. AgentBench було спільно представлено університетом Цінхуа та кількома університетами США для оцінки здатності LLM до міркування та прийняття рішень у багатовимірному відкритому генеративному середовищі. Тестові завдання охоплюють 8 різних середовищ, включаючи операційні системи, бази даних, графи знань, карткові битви та ін.

Тести показали, що друге місце зайняв Claude з лише 2.77 балами, різниця очевидна. Що стосується тих гучних відкритих LLM, їх результати зазвичай близько 1 балу, що менше чверті від GPT-4.

Слід знати, що GPT-4 був випущений у березні цього року, і це результат того, що його світові колеги наздоганяли протягом більше півроку. Причиною цієї різниці є відмінна команда вчених OpenAI та накопичений досвід довгострокових досліджень LLM, завдяки чому вони завжди залишаються попереду.

Тобто, основна здатність великих моделей полягає не в параметрах, а в екосистемному будівництві ) відкритий код ( або чисто в інферальних можливостях ) закритий код (.

З ростом активності відкритих спільнот продуктивність різних LLM може стати подібною, оскільки всі використовують схожі архітектури моделей та набори даних.

Інше більш наочне питання: крім Midjourney, здається, жодна велика модель не може справді отримувати прибуток.

Якір цінності

У серпні цього року стаття під назвою "OpenAI може збанкрутувати до кінця 2024 року" привернула увагу. Основна ідея статті може бути зведена до одного речення: OpenAI витрачає гроші занадто швидко.

У тексті згадується, що з моменту розробки ChatGPT збитки OpenAI швидко зросли, лише у 2022 році вони становили приблизно 540 мільйонів доларів, і залишається лише чекати, коли інвестори сплатять.

Хоча заголовок статті і виглядає провокаційно, він також відображає реальність багатьох постачальників великих моделей: витрати та доходи перебувають у серйозній диспропорції.

Завищені витрати призвели до того, що наразі лише NVIDIA заробляє великі гроші на штучному інтелекті, максимум ще Broadcom.

За оцінками консультаційної компанії, компанія Nvidia в другому кварталі цього року продала понад 300 тисяч чіпів H100. Це - AI-чіп, який має високу ефективність навчання AI, його активно купують технологічні компанії та науково-дослідні установи по всьому світу. Якщо скласти ці 300 тисяч H100 один на одного, вага буде еквівалентна 4,5 літакам Boeing 747.

Показники Nvidia різко зросли, порівняно з минулим роком виручка збільшилася на 854%, що шокувало Уолл-стріт. Варто відзначити, що наразі ціна H100 на вторинному ринку вже піднялася до 40-50 тисяч доларів, тоді як вартість його матеріалів становить лише близько 3000 доларів.

Високі витрати на обчислювальну потужність стали певною мірою перешкодою для розвитку галузі. Деякі інвестиційні установи оцінюють: глобальні технологічні компанії щорічно витрачатимуть 200 мільярдів доларів на будівництво інфраструктури для великих моделей; у той же час, великі моделі можуть генерувати не більше 75 мільярдів доларів доходу на рік, що створює щонайменше 125 мільярдів доларів дефіциту.

Крім того, за винятком кількох винятків, таких як Midjourney, більшість програмних компаній, після великих витрат, ще не визначилися з моделлю отримання прибутку. Особливо кроки двох головних гравців галузі — Microsoft та Adobe — виглядають дещо нестійкими.

Інструмент генерації коду на базі штучного інтелекту GitHub Copilot, розроблений у співпраці Microsoft та OpenAI, хоча і стягує 10 доларів на місяць, але через витрати на обслуговування Microsoft фактично втрачає 20 доларів щомісяця, а важкі користувачі можуть призвести до збитків у 80 доларів на місяць. З цього можна зробити висновок, що Microsoft 365 Copilot з ціною в 30 доларів може зазнати ще більших збитків.

Також, нещодавно запущений інструмент Firefly AI від Adobe швидко впровадив систему балів, щоб запобігти надмірному використанню користувачами, що може призвести до збитків компанії. Як тільки користувач перевищує щомісячно виділені бали, Adobe знижує швидкість обслуговування.

Слід зазначити, що Microsoft та Adobe вже є програмними гігантами з чітко визначеними бізнес-сценаріями та великою кількістю платних користувачів. А більшість великих моделей з багатьма параметрами все ще мають основний сценарій використання — спілкування.

Не можна заперечувати, що без появи OpenAI та ChatGPT ця революція в галузі штучного інтелекту, можливо, взагалі не відбулася б; але наразі цінність, що створюється завдяки навчанням великих моделей, все ще підлягає обговоренню.

А також, з посиленням конкуренції в умовах гомогенізації, а також з ростом кількості відкритих моделей, простір для розвитку постачальників великих моделей може бути ще більш обмеженим.

Успіх iPhone 4 не зумовлений 45-нм процесором A4, а тим, що він може грати в такі ігри, як Plants vs. Zombies і Angry Birds.