馬斯克的AI公司xAI正式公開Grok-1源代碼

PANews 3月18日消息,馬斯克的人工智能公司xAI宣佈開放其3140億參數混合專家模型Grok-1的權重和架構。Grok-1是一個從頭開始由xAI訓練的大型語言模型,採用混合專家模型架構,其中25%的權重在給定令牌上處於活躍狀態。該模型的基本模型權重和網絡架構現已根據Apache 2.0許可證開放。Grok-1的預訓練階段已於2023年10月結束,目前發佈的是原始基礎模型檢查點,未針對任何特定應用進行微調。有興趣使用該模型的用戶可以按照github.com/xai-org/grok上的指南操作。

查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 讚賞
  • 1
  • 分享
留言
0/400
GateUser-b4b5b970vip
· 2024-08-06 01:39
温兰博?🏎️
查看原文回復0
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)