第四範式推出大模型推理端側解決方案ModelHub AIoT

金十數據2月26日訊,從第四範式瞭解到,第四範式推出大模型推理端側解決方案ModelHub AIoT,用戶在端側可輕鬆部署包括DeepSeek R1、Qwen 2.5、Llama 2/3系列等小尺寸蒸餾模型,並實現離線運行。用戶可靈活在多個模型之間切換,兼顧了模型壓縮、推理性能,解決了部署與優化的複雜性。公司表示,該方案不僅能夠滿足用戶對隱私和實時性的需求,還極大降低了AI大模型推理成本。

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 留言
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)