"Pertarungan Seratus Model" di Bidang AI: Dari Inovasi Akademik ke Teknologi Rekayasa

Bulan lalu, industri AI meletus dalam "perang hewan".

Di satu sisi, ada Llama (lama) yang diluncurkan oleh Meta. Karena sifatnya yang open source, Llama sangat disukai oleh komunitas pengembang. Setelah mempelajari makalah dan kode sumber Llama, perusahaan listrik Jepang dengan cepat mengembangkan versi ChatGPT dalam bahasa Jepang, menyelesaikan hambatan teknologi Jepang di bidang AI.

Sisi lain adalah model besar bernama Falcon. Pada bulan Mei tahun ini, Falcon-40B diluncurkan, melampaui Alpaca dan menduduki puncak "Daftar Peringkat LLM Sumber Terbuka."

Daftar ini dibuat oleh komunitas model sumber terbuka, menyediakan standar untuk menilai kemampuan LLM. Peringkat pada dasarnya adalah Llama dan Falcon yang bergantian menduduki peringkat.

Setelah Llama 2 diluncurkan, keluarga llama melampaui; tetapi pada awal September, Falcon meluncurkan versi 180B, sekali lagi meraih peringkat yang lebih tinggi.

Menariknya, pengembang "Falcon" adalah Institute Penelitian Inovasi Teknologi di Abu Dhabi, ibu kota Uni Emirat Arab. Pejabat pemerintah menyatakan bahwa mereka terlibat dalam bidang ini untuk mengguncang pemain inti.

Pada hari kedua setelah rilis versi 180B, Menteri Kecerdasan Buatan Uni Emirat Arab terpilih sebagai salah satu "100 Orang Paling Berpengaruh di Bidang AI"; bersama dengannya, terdapat juga "Bapak AI" Hinton, Altman dari OpenAI, serta pendiri Baidu, Li Yanhong.

Saat ini, bidang AI telah memasuki fase "perebutan kekuasaan": negara dan perusahaan dengan kekuatan finansial tertentu, lebih atau kurang, sedang membangun model bahasa besar mereka sendiri. Hanya di dalam lingkaran negara-negara Teluk saja sudah ada lebih dari satu pemain—pada bulan Agustus, Arab Saudi baru saja membeli lebih dari 3000 chip H100 untuk universitas domestiknya, digunakan untuk melatih LLM.

Seorang investor mengeluh di media sosial: "Dulu meremehkan inovasi model bisnis internet, merasa tidak ada hambatan: pertarungan seratus grup, pertarungan seratus mobil, pertarungan seratus siaran; tidak menyangka bahwa startup model besar teknologi keras tetap menjadi pertarungan seratus model..."

Bagaimana teknologi keras yang awalnya dianggap sulit, bisa berubah menjadi bidang yang dapat diikuti oleh semua orang?

Transformer mengubah aturan permainan

Perusahaan rintisan di Amerika, raksasa teknologi di China, dan taipan minyak di Timur Tengah dapat terjun ke bidang model besar berkat makalah terkenal itu: "Attention Is All You Need."

Pada tahun 2017, delapan ilmuwan komputer dari Google mempublikasikan algoritma Transformer dalam makalah ini. Makalah ini saat ini adalah makalah yang paling banyak dikutip ketiga dalam sejarah AI, dan kemunculan Transformer menjadi katalisator untuk gelombang panas AI ini.

Model-model besar saat ini, termasuk seri GPT yang menggemparkan dunia, dibangun di atas dasar Transformer.

Sebelum ini, "mengajarkan mesin untuk membaca" telah diakui sebagai tantangan akademis yang sulit. Berbeda dengan pengenalan gambar, saat membaca, manusia tidak hanya memperhatikan kata-kata saat ini, tetapi juga memahami dengan mengaitkan konteks. Input dari jaringan saraf awal bersifat independen satu sama lain, tidak mampu memahami teks panjang bahkan seluruh artikel, sehingga sering terjadi beberapa kesalahan terjemahan.

Pada tahun 2014, ilmuwan komputer Ilya Sutskever yang sebelumnya bekerja di Google pindah ke OpenAI dan mencapai terobosan. Ia menggunakan jaringan syaraf berulang RNN untuk memproses bahasa alami, sehingga kinerja Google Translate dengan cepat unggul dibandingkan pesaing.

RNN memperkenalkan "desain sirkular", yang memungkinkan setiap neuron menerima input saat ini dan juga input dari waktu sebelumnya, sehingga memiliki kemampuan untuk "menghubungkan konteks". Munculnya RNN membangkitkan antusiasme penelitian di kalangan akademisi, dan kemudian penulis makalah Transformer, Noam Shazeer(, juga melakukan penelitian mendalam.

Namun, para pengembang dengan cepat menyadari bahwa RNN memiliki kelemahan serius: algoritma ini menggunakan perhitungan berurutan, meskipun menyelesaikan masalah konteks, tetapi efisiensinya rendah dan sulit untuk menangani sejumlah besar parameter.

Desain RNN yang rumit segera membuat Shazelle merasa bosan. Oleh karena itu, mulai tahun 2015, Shazelle dan 7 orang teman sejiwa mulai mengembangkan alternatif untuk RNN, dan hasilnya adalah Transformer.

Dibandingkan dengan RNN, Transformer memiliki dua inovasi besar:

Pertama, menggunakan pengkodean posisi menggantikan desain loop, mewujudkan perhitungan paralel, yang secara signifikan meningkatkan efisiensi pelatihan, sehingga dapat menangani data dalam jumlah besar dan membawa AI menuju era model besar; kedua, lebih lanjut memperkuat kemampuan untuk memahami konteks.

Dengan Transformer yang berhasil menyelesaikan banyak masalah, ia secara bertahap menjadi solusi utama dalam pemrosesan bahasa alami, seolah-olah ada perasaan "Jika tidak ada Transformer, NLP akan selamanya dalam kegelapan." Bahkan Ilia telah meninggalkan RNN yang ia ciptakan, dan beralih mendukung Transformer.

Singkatnya, Transformer mengubah model besar dari penelitian teoretis menjadi masalah rekayasa murni.

Pada tahun 2019, OpenAI mengembangkan GPT-2 berdasarkan Transformer, yang mengejutkan dunia akademis. Sebagai tanggapan, Google dengan cepat meluncurkan AI yang lebih kuat, bernama Meena.

Dibandingkan dengan GPT-2, Meena tidak memiliki inovasi dalam algoritma dasar, hanya jumlah parameternya yang meningkat 8,5 kali dan kekuatan komputasinya meningkat 14 kali. Penulis makalah Transformer, Shazeel, sangat terkejut dengan cara "penumpukan kekerasan" ini, dan segera menulis memo berjudul "Meena Menghancurkan Dunia."

Kelahiran Transformer telah membuat langkah inovasi algoritma dasar di kalangan akademisi menjadi jelas melambat. Elemen-elemen rekayasa seperti rekayasa data, skala komputasi, dan arsitektur model semakin menjadi faktor kunci dalam kompetisi AI; selama perusahaan teknologi memiliki kemampuan teknis tertentu, mereka dapat mengembangkan model besar.

Oleh karena itu, ilmuwan komputer Andrew Ng mengemukakan dalam pidatonya di Universitas Stanford: "AI adalah sekumpulan alat, termasuk pembelajaran terawasi, pembelajaran tidak terawasi, pembelajaran penguatan, dan sekarang kecerdasan buatan generatif. Semua ini adalah teknologi umum, mirip dengan teknologi umum lainnya seperti listrik dan internet."

Meskipun OpenAI masih menjadi acuan untuk LLM, lembaga analisis semikonduktor percaya bahwa daya saing GPT-4 terutama berasal dari solusi rekayasa—jika open source, pesaing mana pun dapat dengan cepat menyalinnya.

Ada analis yang memprediksi, mungkin dalam waktu dekat, perusahaan teknologi besar lainnya juga akan dapat mengembangkan model besar yang setara dengan kinerja GPT-4.

Hambatan Kompetisi yang Lemah

Saat ini, "pertempuran seratus model" tidak lagi sekadar retorika, tetapi merupakan kenyataan objektif.

Laporan terkait menunjukkan bahwa hingga Juli tahun ini, jumlah model besar di China telah mencapai 130, melampaui 114 di Amerika Serikat, berbagai mitos dan legenda sudah tidak cukup untuk digunakan oleh perusahaan teknologi domestik dalam penamaan.

Selain Tiongkok dan Amerika, beberapa negara kaya lainnya juga telah mulai menerapkan "satu negara satu model": Jepang, Bhashini yang dipimpin oleh pemerintah Uni Emirat Arab, HyperClova X yang dikembangkan oleh perusahaan internet Korea Selatan Naver, dan lainnya.

Situasi saat ini seolah kembali ke era gelembung internet, di mana berbagai modal mengalir masuk dengan gila.

Seperti yang disebutkan sebelumnya, Transformer mengubah model besar menjadi masalah teknik murni; asalkan ada bakat, dana, dan daya komputasi, model besar dapat diproduksi. Namun, meskipun ambang masuknya tidak tinggi, itu tidak berarti semua orang dapat menjadi raksasa di era AI.

Contoh klasik dari "perang hewan" yang disebutkan di awal artikel: Falcon meskipun telah melampaui llama dalam peringkat, sulit untuk mengatakan seberapa besar dampaknya terhadap Meta.

Seperti yang kita ketahui, perusahaan membuka sumber hasil penelitian mereka, baik untuk berbagi manfaat teknologi dengan masyarakat, maupun berharap dapat memanfaatkan kecerdasan kolektif. Dengan semakin banyaknya profesor universitas, lembaga penelitian, dan perusahaan kecil dan menengah yang terus menggunakan dan mengembangkan Llama, Meta dapat menerapkan hasil ini ke dalam produk mereka sendiri.

Untuk model besar sumber terbuka, komunitas pengembang yang aktif adalah kekuatan kompetitif intinya.

Sejak mendirikan laboratorium AI pada tahun 2015, Meta telah menetapkan nada open source; Zuckerberg yang memulai dengan media sosial, lebih memahami pentingnya "memelihara hubungan dengan masyarakat."

Misalnya, pada bulan Oktober, Meta mengadakan acara "Insentif Kreator Versi AI": pengembang yang menggunakan Llama 2 untuk menyelesaikan masalah sosial seperti pendidikan dan lingkungan memiliki kesempatan untuk menerima dana sebesar 500.000 dolar.

Saat ini, seri Llama dari Meta telah menjadi patokan untuk LLM sumber terbuka.

Hingga awal Oktober, dari 10 besar peringkat LLM sumber terbuka, 8 di antaranya dikembangkan berdasarkan Llama 2, semuanya menggunakan lisensi sumber terbuka tersebut. Hanya di platform itu, LLM yang menggunakan lisensi sumber terbuka Llama 2 sudah lebih dari 1500.

Tentu saja, meningkatkan kinerja seperti Falcon juga tidak ada salahnya, tetapi saat ini sebagian besar LLM di pasar masih memiliki kesenjangan yang jelas dengan GPT-4.

Contohnya, baru-baru ini, GPT-4 meraih juara dengan skor 4.41 dalam uji AgentBench. AgentBench diluncurkan oleh Universitas Tsinghua dan beberapa universitas di Amerika Serikat, digunakan untuk mengevaluasi kemampuan inferensi dan pengambilan keputusan LLM dalam lingkungan generasi terbuka multidimensi. Konten uji mencakup tugas dalam 8 lingkungan berbeda seperti sistem operasi, basis data, grafik pengetahuan, dan pertempuran kartu.

Hasil tes menunjukkan, tempat kedua Claude hanya mendapatkan 2,77 poin, perbedaannya jelas. Adapun LLM sumber terbuka yang ramai dibicarakan, hasil tes mereka sebagian besar berkisar di sekitar 1 poin, bahkan belum mencapai seperempat dari GPT-4.

Perlu diketahui, GPT-4 dirilis pada bulan Maret tahun ini, ini adalah hasil setelah rekan-rekan di seluruh dunia mengejar selama lebih dari setengah tahun. Penyebab dari kesenjangan ini adalah tim ilmuwan OpenAI yang luar biasa dan pengalaman yang terakumulasi dari penelitian LLM jangka panjang, sehingga mereka dapat terus mempertahankan keunggulan.

Dengan kata lain, kemampuan inti model besar bukanlah parameter, melainkan pembangunan ekosistem ) sumber terbuka ( atau kemampuan inferensi murni ) tertutup (.

Dengan semakin aktifnya komunitas sumber terbuka, kinerja berbagai LLM mungkin akan mendekati satu sama lain, karena semua orang menggunakan arsitektur model dan dataset yang serupa.

Satu pertanyaan lain yang lebih intuitif adalah: selain Midjourney, tampaknya belum ada model besar lain yang benar-benar menguntungkan.

Titik Pijakan Nilai

Pada bulan Agustus tahun ini, sebuah artikel berjudul "OpenAI mungkin akan bangkrut pada akhir 2024" menarik perhatian. Inti dari artikel tersebut hampir bisa diringkaskan dalam satu kalimat: Kecepatan pengeluaran OpenAI terlalu cepat.

Dalam teks tersebut disebutkan bahwa sejak pengembangan ChatGPT, kerugian OpenAI dengan cepat meluas, hanya pada tahun 2022 kerugian mencapai sekitar 540 juta dolar AS, dan hanya bisa menunggu pihak investor untuk membayar.

Meskipun judul artikel ini mengesankan, ia juga menggambarkan keadaan banyak penyedia model besar: ketidakseimbangan serius antara biaya dan pendapatan.

Biaya yang terlalu tinggi menyebabkan saat ini hanya Nvidia yang menghasilkan uang banyak dari kecerdasan buatan, ditambah mungkin Broadcom.

Menurut perkiraan perusahaan konsultan, Nvidia menjual lebih dari 300 ribu H100 pada kuartal kedua tahun ini. Ini adalah chip AI yang sangat efisien dalam melatih AI, dan perusahaan teknologi global serta lembaga penelitian sedang memburunya. Jika 300 ribu H100 tersebut ditumpuk, beratnya setara dengan 4,5 pesawat Boeing 747.

Kinerja Nvidia meroket, dengan pertumbuhan pendapatan tahunan sebesar 854%, mengejutkan Wall Street. Perlu dicatat bahwa saat ini harga H100 di pasar kedua telah melonjak menjadi 40-50 ribu dolar, sementara biaya materialnya hanya sekitar 3000 dolar.

Biaya kekuatan komputasi yang tinggi telah menjadi hambatan bagi perkembangan industri dalam beberapa hal. Sebuah lembaga modal pernah memperkirakan: perusahaan teknologi global diperkirakan akan menghabiskan 200 miliar dolar AS setiap tahun untuk pembangunan infrastruktur model besar; dibandingkan dengan itu, model besar hanya dapat menghasilkan pendapatan maksimum 75 miliar dolar AS per tahun, dengan celah setidaknya 125 miliar dolar AS.

Selain Midjourney dan beberapa pengecualian lainnya, sebagian besar perusahaan perangkat lunak belum memikirkan model profitabilitas setelah mengeluarkan biaya besar. Terutama dua pemimpin industri—Microsoft dan Adobe—yang langkahnya sedikit terhuyung-huyung.

Alat penghasil kode AI GitHub Copilot yang dikembangkan oleh Microsoft bekerja sama dengan OpenAI, meskipun mengenakan biaya 10 dolar per bulan, Microsoft justru mengalami kerugian 20 dolar per bulan karena biaya fasilitas, dan pengguna berat bahkan dapat menyebabkan kerugian Microsoft mencapai 80 dolar per bulan. Berdasarkan hal ini, diperkirakan bahwa Microsoft 365 Copilot yang dipatok seharga 30 dolar mungkin akan mengalami kerugian yang lebih besar.

Sama halnya, Adobe yang baru saja meluncurkan alat Firefly AI juga dengan cepat meluncurkan sistem poin untuk mencegah pengguna dari penggunaan berlebihan yang dapat menyebabkan kerugian bagi perusahaan. Begitu pengguna melebihi poin yang dialokasikan setiap bulan, Adobe akan mengurangi kecepatan layanan.

Perlu diketahui bahwa Microsoft dan Adobe telah menjadi raksasa perangkat lunak dengan skenario bisnis yang jelas dan memiliki banyak pengguna berbayar. Sementara itu, sebagian besar model besar yang memiliki banyak parameter, aplikasi utamanya masih dalam bidang percakapan.

Tidak dapat disangkal, jika tidak ada kemunculan OpenAI dan ChatGPT, revolusi AI ini mungkin tidak akan terjadi sama sekali; tetapi saat ini, nilai yang diciptakan oleh pelatihan model besar masih perlu diperdebatkan.

Selain itu, dengan semakin meningkatnya kompetisi homogenitas dan semakin banyaknya model open source, ruang pengembangan penyedia model besar murni mungkin akan semakin terbatas.

Keberhasilan iPhone 4 bukanlah karena prosesor A4 yang menggunakan proses 45nm, tetapi karena ia dapat memainkan permainan seperti Plants vs. Zombies dan Angry Birds.