Cuộc "chiến tranh trăm mô hình" trong lĩnh vực AI: Từ đổi mới học thuật đến công nghệ kỹ thuật

Tháng trước, ngành AI đã bùng nổ một cuộc "chiến tranh động vật".

Một bên là Llama (Lạc đà không bướu) do Meta phát hành. Nhờ vào tính chất mã nguồn mở, nó được cộng đồng phát triển ưa chuộng. Sau khi nghiên cứu tài liệu và mã nguồn của Llama, Công ty Điện lực Nhật Bản đã nhanh chóng phát triển phiên bản ChatGPT tiếng Nhật, giải quyết được nút thắt công nghệ trong lĩnh vực AI tại Nhật Bản.

Bên kia là một mô hình lớn có tên là Falcon (Diều Hâu). Vào tháng 5 năm nay, Falcon-40B ra mắt, vượt qua Llama để đứng đầu bảng xếp hạng "LLM mã nguồn mở".

Bảng xếp hạng này được cộng đồng mô hình mã nguồn mở sản xuất, cung cấp tiêu chuẩn để đánh giá khả năng của LLM. Bảng xếp hạng chủ yếu là Llama và Falcon lần lượt xếp hạng.

Sau khi Llama 2 ra mắt, gia đình lạc đà một lần nữa vượt trội; nhưng đến đầu tháng 9, Falcon đã ra mắt phiên bản 180B và một lần nữa đạt được vị trí cao hơn.

Thú vị là, nhà phát triển của "Falcon" là Viện Nghiên cứu Đổi mới Công nghệ ở Abu Dhabi, thủ đô của Các Tiểu vương quốc Ả Rập Thống nhất. Các quan chức chính phủ cho biết, họ tham gia vào lĩnh vực này nhằm lật đổ các người chơi cốt lõi.

Ngày thứ hai sau khi phát hành phiên bản 180B, Bộ trưởng Bộ Trí tuệ Nhân tạo của Các Tiểu vương quốc Ả Rập Thống nhất đã được chọn vào danh sách "100 người có ảnh hưởng nhất trong lĩnh vực AI"; cùng với ông có "cha đẻ của AI" Geoffrey Hinton, Sam Altman của OpenAI, và người sáng lập Baidu, Li Yanhong.

Hiện nay, lĩnh vực AI đã bước vào giai đoạn "các thế lực cạnh tranh": các quốc gia và doanh nghiệp có tiềm lực tài chính nhất định, ít nhiều đều đang phát triển mô hình ngôn ngữ lớn của riêng mình. Chỉ trong vòng tròn các quốc gia Vùng Vịnh đã có nhiều người chơi - vào tháng 8, Ả Rập Saudi vừa mua hơn 3000 chip H100 cho các trường đại học trong nước, để đào tạo LLM.

Có nhà đầu tư đã phàn nàn trên mạng xã hội: "Ngày xưa không coi trọng sự đổi mới mô hình kinh doanh của Internet, cảm thấy không có rào cản: cuộc chiến trăm đoàn, cuộc chiến trăm xe, cuộc chiến trăm phát sóng; không ngờ khởi nghiệp mô hình lớn công nghệ cứng vẫn là cuộc chiến trăm mô hình..."

Vốn dĩ được coi là công nghệ cứng khó khăn, làm thế nào mà nó lại trở thành lĩnh vực mà ai cũng có thể tham gia?

Transformer thay đổi quy tắc trò chơi

Các công ty khởi nghiệp ở Mỹ, các ông lớn công nghệ ở Trung Quốc và các ông trùm dầu mỏ ở Trung Đông có thể tham gia vào lĩnh vực mô hình lớn đều nhờ vào bài báo nổi tiếng: "Attention Is All You Need."

Năm 2017, 8 nhà khoa học máy tính của Google đã công bố thuật toán Transformer trong bài báo này. Bài báo này hiện đang là bài báo được trích dẫn nhiều thứ ba trong lịch sử AI, sự xuất hiện của Transformer đã trở thành chất xúc tác cho đợt bùng nổ AI này.

Các mô hình lớn hiện tại, bao gồm loạt GPT gây chấn động toàn cầu, đều được xây dựng dựa trên nền tảng Transformer.

Trước đây, "dạy máy đọc" luôn là một bài toán học thuật được công nhận. Khác với nhận diện hình ảnh, khi con người đọc, họ không chỉ chú ý đến từ và câu hiện tại mà còn kết hợp với ngữ cảnh để hiểu. Đầu vào của các mạng nơ-ron sớm độc lập với nhau, không thể hiểu được các văn bản dài hay thậm chí toàn bộ bài viết, do đó thường xuất hiện một số lỗi dịch.

Năm 2014, nhà khoa học máy tính Ilya Sutskever từ Google đã chuyển sang OpenAI và đạt được những bước đột phá. Ông đã sử dụng mạng nơ-ron hồi tiếp RNN để xử lý ngôn ngữ tự nhiên, giúp hiệu suất của Google Dịch nhanh chóng vượt trội hơn các sản phẩm cạnh tranh.

RNN đã đề xuất "thiết kế tuần hoàn", cho phép mỗi nơ-ron vừa nhận đầu vào hiện tại, vừa nhận đầu vào của thời điểm trước đó, từ đó có khả năng "liên kết ngữ cảnh". Sự xuất hiện của RNN đã thắp lên niềm đam mê nghiên cứu trong giới học thuật, sau đó tác giả bài báo Transformer là Noam Shazeer( cũng đã từng nghiên cứu sâu.

Tuy nhiên, các nhà phát triển nhanh chóng nhận ra rằng RNN có những thiếu sót nghiêm trọng: thuật toán này sử dụng tính toán tuần tự, mặc dù đã giải quyết được vấn đề ngữ cảnh, nhưng hiệu suất hoạt động không cao và khó xử lý một lượng lớn tham số.

Thiết kế phức tạp của RNN nhanh chóng khiến Sazelle cảm thấy chán nản. Do đó, từ năm 2015, Sazelle và 7 người bạn cùng sở thích bắt đầu phát triển một sự thay thế cho RNN, sản phẩm của họ là Transformer.

So với RNN, Transformer có hai đổi mới lớn:

Thứ nhất là sử dụng mã hóa vị trí thay thế cho thiết kế vòng lặp, đạt được tính toán song song, nâng cao đáng kể hiệu quả đào tạo, từ đó có thể xử lý khối lượng dữ liệu khổng lồ, đưa AI tiến vào kỷ nguyên mô hình lớn; thứ hai là tăng cường khả năng hiểu ngữ cảnh.

Khi Transformer giải quyết nhiều vấn đề một cách xuất sắc, nó dần trở thành giải pháp chủ đạo trong xử lý ngôn ngữ tự nhiên, có cảm giác như "nếu không có Transformer, NLP sẽ mãi như đêm dài vĩnh cửu". Ngay cả Ilya cũng đã từ bỏ RNN mà mình đã sáng lập, chuyển sang ủng hộ Transformer.

Nói một cách ngắn gọn, Transformer đã biến các mô hình lớn từ nghiên cứu lý thuyết thành vấn đề kỹ thuật thuần túy.

Năm 2019, OpenAI đã phát triển GPT-2 dựa trên Transformer, gây ấn tượng mạnh trong giới học thuật. Để đáp lại, Google nhanh chóng tung ra một AI mạnh mẽ hơn, có tên là Meena.

So với GPT-2, Meena không có cải cách nào về thuật toán cơ bản, chỉ đơn thuần là số lượng tham số tăng lên 8,5 lần, công suất tính toán tăng 14 lần. Tác giả bài báo Transformer là Szegedy rất bị sốc trước cách "xếp chồng bạo lực" này, ngay lập tức đã viết một ghi chú mang tên "Meena nuốt chửng thế giới".

Sự ra đời của Transformer đã khiến bước tiến trong đổi mới thuật toán cơ bản của giới học thuật trở nên rõ rệt hơn. Các yếu tố kỹ thuật như kỹ thuật dữ liệu, quy mô tính toán và kiến trúc mô hình ngày càng trở thành những yếu tố quyết định trong cuộc đua AI; bất kỳ công ty công nghệ nào có khả năng kỹ thuật nhất định đều có thể phát triển mô hình lớn.

Do đó, nhà khoa học máy tính Ngô Ân Đạt đã phát biểu tại Đại học Stanford: "AI là một tập hợp các công cụ, bao gồm học có giám sát, học không có giám sát, học tăng cường và hiện nay là trí tuệ nhân tạo sinh tạo. Tất cả những điều này đều là công nghệ chung, tương tự như điện và internet."

Mặc dù OpenAI vẫn là tiêu chuẩn cho LLM, nhưng các tổ chức phân tích bán dẫn cho rằng sức cạnh tranh của GPT-4 chủ yếu đến từ các giải pháp kỹ thuật - nếu mã nguồn mở, bất kỳ đối thủ nào cũng có thể nhanh chóng sao chép.

Có nhà phân tích dự đoán, có thể không lâu nữa, các công ty công nghệ lớn khác cũng sẽ phát triển ra những mô hình lớn có hiệu suất tương đương với GPT-4.

Rào cản cạnh tranh yếu

Hiện tại, "trận chiến bách mô" không còn là tu từ, mà là thực tế khách quan.

Các báo cáo liên quan cho thấy, tính đến tháng 7 năm nay, số lượng mô hình lớn ở Trung Quốc đã đạt 130 cái, vượt qua 114 cái của Mỹ, các truyền thuyết thần thoại đã không còn đủ để các công ty công nghệ trong nước đặt tên.

Ngoài Trung Quốc và Mỹ, một số quốc gia giàu có cũng đã bước đầu thực hiện "mô hình một quốc gia một mô hình": Nhật Bản, Các Tiểu vương quốc Ả Rập Thống nhất, Bhashini do chính phủ Ấn Độ dẫn dắt, và HyperClova X do công ty internet Hàn Quốc Naver phát triển.

Tình hình hiện tại dường như đã quay trở lại thời kỳ bong bóng Internet, khi các dòng vốn đang đổ vào một cách điên cuồng.

Như đã đề cập trước đó, Transformer đã biến các mô hình lớn thành một vấn đề kỹ thuật thuần túy, chỉ cần có nhân tài, vốn và sức mạnh tính toán, có thể sản xuất các mô hình lớn. Nhưng mặc dù rào cản gia nhập không cao, điều đó không có nghĩa là ai cũng có thể trở thành ông lớn trong kỷ nguyên AI.

Đoạn đầu của bài viết đề cập đến "cuộc chiến động vật" là một ví dụ điển hình: Falcon mặc dù đã vượt qua llama trong bảng xếp hạng, nhưng rất khó để nói rằng nó đã gây ra ảnh hưởng lớn đến Meta.

Như mọi người đã biết, các doanh nghiệp mở nguồn các thành quả nghiên cứu của mình không chỉ để chia sẻ lợi ích công nghệ với xã hội mà còn hy vọng có thể tận dụng trí tuệ tập thể. Khi các giáo sư từ các trường đại học, các tổ chức nghiên cứu và các doanh nghiệp vừa và nhỏ liên tục sử dụng và cải tiến Llama, Meta có thể áp dụng những thành quả này vào sản phẩm của mình.

Đối với các mô hình lớn mã nguồn mở, cộng đồng nhà phát triển năng động chính là sức mạnh cạnh tranh cốt lõi của nó.

Ngay từ khi thành lập phòng thí nghiệm AI vào năm 2015, Meta đã thiết lập một tông điệu mã nguồn mở; Zuckerberg bắt đầu từ mạng xã hội, càng hiểu rõ tầm quan trọng của "duy trì mối quan hệ với công chúng".

Ví dụ vào tháng 10, Meta đã tổ chức một sự kiện "Khuyến khích người sáng tạo phiên bản AI": các nhà phát triển sử dụng Llama 2 để giải quyết các vấn đề xã hội như giáo dục, môi trường có cơ hội nhận được khoản tài trợ 500.000 đô la.

Hiện nay, dòng sản phẩm Llama của Meta đã trở thành tiêu chuẩn cho LLM mã nguồn mở.

Đến đầu tháng 10, trong top 10 bảng xếp hạng LLM mã nguồn mở, có 8 cái được phát triển dựa trên Llama 2, tất cả đều sử dụng giấy phép mã nguồn mở của nó. Chỉ riêng trên nền tảng này, số lượng LLM sử dụng giấy phép mã nguồn mở Llama 2 đã vượt quá 1500.

Tất nhiên, việc cải thiện hiệu suất như Falcon cũng không phải là điều không thể, nhưng hiện tại hầu hết các LLM trên thị trường vẫn còn khoảng cách rõ rệt với GPT-4.

Chẳng hạn, gần đây, GPT-4 đã giành chiến thắng trong bài kiểm tra AgentBench với điểm số 4.41. AgentBench được Đại học Tsinghua và nhiều trường đại học ở Mỹ cùng phát triển, nhằm đánh giá khả năng suy luận và quyết định của LLM trong môi trường sinh sản mở đa chiều, nội dung bài kiểm tra bao gồm các nhiệm vụ trong 8 môi trường khác nhau như hệ điều hành, cơ sở dữ liệu, đồ thị tri thức, và các trận chiến thẻ.

Kết quả kiểm tra cho thấy, người thứ hai Claude chỉ đạt 2,77 điểm, chênh lệch rõ ràng. Còn về những LLM mã nguồn mở ầm ĩ, điểm kiểm tra của chúng chủ yếu chỉ khoảng 1 điểm, chưa đến một phần tư điểm của GPT-4.

Cần biết rằng, GPT-4 được phát hành vào tháng 3 năm nay, đây vẫn là kết quả sau nửa năm các đồng nghiệp toàn cầu theo đuổi. Nguyên nhân gây ra khoảng cách này là đội ngũ nhà khoa học xuất sắc của OpenAI và kinh nghiệm tích lũy từ nghiên cứu LLM lâu dài, do đó họ luôn duy trì vị thế dẫn đầu.

Nói cách khác, khả năng cốt lõi của mô hình lớn không phải là tham số, mà là xây dựng hệ sinh thái ) mã nguồn mở ( hoặc khả năng suy diễn thuần túy ) mã nguồn đóng (.

Với sự phát triển ngày càng mạnh mẽ của cộng đồng mã nguồn mở, hiệu suất của các LLM có thể sẽ đồng nhất, vì mọi người đều sử dụng các kiến trúc mô hình và tập dữ liệu tương tự.

Một câu hỏi trực quan khác là: Ngoài Midjourney, dường như chưa có mô hình lớn nào khác có thể thực sự có lãi.

Điểm neo giá trị

Vào tháng 8 năm nay, một bài viết có tiêu đề "OpenAI có thể sẽ phá sản vào cuối năm 2024" đã thu hút sự chú ý. Ý chính của bài viết có thể được tóm tắt trong một câu: Tốc độ tiêu tiền của OpenAI quá nhanh.

Bài viết đề cập rằng, kể từ khi phát triển ChatGPT, khoản lỗ của OpenAI đã nhanh chóng mở rộng, chỉ riêng trong năm 2022 đã lỗ khoảng 540 triệu đô la, chỉ có thể chờ đợi các nhà đầu tư thanh toán.

Mặc dù tiêu đề bài viết có vẻ giật gân, nhưng nó cũng thể hiện rõ tình trạng của nhiều nhà cung cấp mô hình lớn: chi phí và doanh thu đang mất cân bằng nghiêm trọng.

Chi phí quá cao dẫn đến việc hiện tại chỉ có Nvidia kiếm được nhiều tiền từ trí tuệ nhân tạo, có thể thêm Broadcom.

Theo ước tính của công ty tư vấn, Nvidia đã bán ra hơn 300.000 chip H100 trong quý 2 năm nay. Đây là một chip AI, có hiệu suất đào tạo AI rất cao, các công ty công nghệ và các tổ chức nghiên cứu trên toàn cầu đang tranh giành mua sắm. Nếu xếp chồng 300.000 chip H100 lại với nhau, trọng lượng tương đương với 4,5 chiếc máy bay Boeing 747.

Doanh thu của Nvidia đã tăng vọt, với doanh thu tăng 854% so với năm trước, khiến Phố Wall sững sờ. Đáng chú ý là, hiện tại giá H100 trên thị trường thứ cấp đã được đẩy lên 40.000 - 50.000 đô la, trong khi chi phí vật liệu của nó chỉ khoảng 3.000 đô la.

Chi phí tính toán cao đã trở thành một rào cản cho sự phát triển của ngành công nghiệp ở một mức độ nhất định. Một số tổ chức đầu tư đã ước tính: Các công ty công nghệ toàn cầu dự kiến sẽ chi 200 tỷ USD mỗi năm cho việc xây dựng cơ sở hạ tầng mô hình lớn; trong khi đó, mô hình lớn chỉ có thể tạo ra tối đa 75 tỷ USD doanh thu mỗi năm, có ít nhất 125 tỷ USD thiếu hụt ở giữa.

Ngoài ra, trừ một số ngoại lệ như Midjourney, hầu hết các công ty phần mềm sau khi đầu tư một khoản chi phí khổng lồ vẫn chưa nghĩ ra mô hình kiếm lợi nhuận. Đặc biệt, bước đi của hai gã khổng lồ trong ngành - Microsoft và Adobe có phần lúng túng.

Công cụ tạo mã AI GitHub Copilot được phát triển bởi Microsoft và OpenAI, mặc dù thu phí 10 đô la mỗi tháng, nhưng do chi phí cơ sở hạ tầng, Microsoft lại phải chịu lỗ 20 đô la mỗi tháng, thậm chí người dùng nặng có thể khiến Microsoft lỗ lên đến 80 đô la mỗi tháng. Dựa trên điều này, có thể suy đoán rằng Microsoft 365 Copilot với mức giá 30 đô la có thể lỗ nhiều hơn.

Tương tự, Adobe vừa ra mắt công cụ Firefly AI cũng nhanh chóng triển khai hệ thống điểm, nhằm ngăn chặn việc người dùng sử dụng quá mức dẫn đến thua lỗ cho công ty. Khi người dùng vượt quá số điểm phân bổ hàng tháng, Adobe sẽ giảm tốc độ dịch vụ.

Cần biết rằng Microsoft và Adobe đã là những ông lớn trong lĩnh vực phần mềm với bối cảnh kinh doanh rõ ràng và có nhiều người dùng trả phí. Trong khi đó, hầu hết các mô hình lớn với tham số khổng lồ chủ yếu vẫn chỉ được áp dụng trong lĩnh vực trò chuyện.

Không thể phủ nhận rằng nếu không có sự xuất hiện đột phá của OpenAI và ChatGPT, cuộc cách mạng AI này có thể đã không xảy ra; nhưng hiện tại, giá trị mà việc đào tạo các mô hình lớn tạo ra vẫn còn cần bàn cãi.

Hơn nữa, với sự gia tăng cạnh tranh đồng nhất và ngày càng nhiều mô hình mã nguồn mở, không gian phát triển của các nhà cung cấp mô hình lớn thuần túy có thể sẽ bị hạn chế hơn.

Sự thành công của iPhone 4 không phải do bộ vi xử lý A4 45nm, mà là vì nó có thể chơi những trò chơi như Plants vs Zombies và Angry Birds.