PANewsは3月18日、マスク氏の人工知能(AI)企業xAIが、3140億個のパラメータを持つハイブリッドエキスパートモデル「Grok-1」の重みとアーキテクチャを開放すると発表したと報じた。 Grok-1 は、xAI によってゼロからトレーニングされた大規模言語モデルで、ハイブリッド エキスパート モデル アーキテクチャを使用しており、重みの 25% が特定のトークンでアクティブになっています。 モデルの基本モデルの重みとネットワークアーキテクチャは、Apache 2.0ライセンスの下で公開されています。 Grok-1 の事前トレーニング フェーズは 2023 年 10 月に終了し、現在、生のベース モデル チェックポイントでリリースされており、特定のアプリケーション向けの微調整は行われていません。 モデルの使用に関心のあるユーザーは、github.com/xai-org/grok のガイドに従うことができます。
マスク氏のAI企業であるxAIは、Grok-1のソースコードを正式に公開しました
PANewsは3月18日、マスク氏の人工知能(AI)企業xAIが、3140億個のパラメータを持つハイブリッドエキスパートモデル「Grok-1」の重みとアーキテクチャを開放すると発表したと報じた。 Grok-1 は、xAI によってゼロからトレーニングされた大規模言語モデルで、ハイブリッド エキスパート モデル アーキテクチャを使用しており、重みの 25% が特定のトークンでアクティブになっています。 モデルの基本モデルの重みとネットワークアーキテクチャは、Apache 2.0ライセンスの下で公開されています。 Grok-1 の事前トレーニング フェーズは 2023 年 10 月に終了し、現在、生のベース モデル チェックポイントでリリースされており、特定のアプリケーション向けの微調整は行われていません。 モデルの使用に関心のあるユーザーは、github.com/xai-org/grok のガイドに従うことができます。