小米揭露 MiMo-V2-Pro 訓練細節:1T 模型參數,部署數千台 GPU

Gate 新聞訊息,4 月 24 日——小米大型語言模型團隊負責人 羅福立 在一場深入採訪中披露,MiMo-V2-Pro 模型總計擁有 1 兆(trillion)參數,訓練過程需要數千台 GPU。她指出,1T 規模代表達成性能接近 Claude Opus 4.6 等級所需的最低門檻,並取得下一階段 AI 代理的競爭性入場票。

技術層面,Pro 版本採用極致稀疏注意力機制,將全域注意力與滑動視窗注意力的比例設為 7:1,以控制長上下文處理的推論成本。模型也保留了 MTP (Multi-Token Prediction) 架構,利用剩餘算力以實現更快的推論。

在管理方面,100 人規模的 MiMo 團隊中,只有 30-40 人直接參與核心迭代。團隊運作不設正式階層,也沒有明確的分組或交付截止期限。當遇到不穩定的數值問題,例如訓練損失激增時,團隊會優先考慮暫停訓練以便調查,即使這意味著停止運作一到兩週,並因此產生數百萬美元的算力成本。

免責聲明:本頁面資訊可能來自第三方,不代表 Gate 的觀點或意見。頁面顯示的內容僅供參考,不構成任何財務、投資或法律建議。Gate 對資訊的準確性、完整性不作保證,對因使用本資訊而產生的任何損失不承擔責任。虛擬資產投資屬高風險行為,價格波動劇烈,您可能損失全部投資本金。請充分了解相關風險,並根據自身財務狀況和風險承受能力謹慎決策。具體內容詳見聲明

相關文章

Google Gemini 靜悄悄新增檔案生成:可直接建立 PDF、CSV、ZIP

Gate 新聞訊息,4 月 28 日——Google 的 Gemini 應用程式已悄然推出檔案生成功能,讓使用者可直接在對話中建立多種檔案格式,包括 TXT、Markdown、PDF、CSV、設定檔等。多個檔案可打包成單一 ZIP 進行下載

GateNews22分鐘前

Adobe 推出 Firefly AI Assistant,支援多應用程式工作流程,並整合 Claude

Gate News 訊息,4 月 28 日——Adobe 已開始公開測試 Firefly AI Assistant,這是一種新工具,能夠在多個創意應用程式之間完成多步驟工作流程,包括 Photoshop、Lightroom、Illustrator、Express 與 Premiere。該公司也在打造一個更輕量的版本,供第三方聊天機器人使用,起始於 Anthropic 的 Claude。

GateNews24分鐘前

Google 與五角大廈簽署機密 AI 合約,上百名員工連署反對無效

根據外媒,Google 與美國政府簽署機密 AI 合約,允許以其 AI 模型支援國防部任務,成為美軍機密 AI 技術供應商。合約稱可用於合法政府目的,涉任務規劃與武器目標鎖定;但禁止在未經人類監督下進行大規模監控或自主武器,且不賦予否決作戰決策的權利,需配合調整安全設定。超過600名員工連署反對,呼籲拒絕;Google 尚未回應。

鏈新聞abmedia38分鐘前

Google與五角大廈簽署機密AI合約,但安全條款較寬鬆;法律專家質疑可執行性

門戶新聞訊息,4月28日——根據《The Information》的報導,Google已與美國國防部簽署一項協議,允許軍方在「任何合法的政府目的」條款下使用Google AI進行機密工作。該合約是在同一天簽署,當天就已有超過600名Google員工向CEO桑達爾·皮查伊(Sundar Pichai)發信,敦促公司拒絕這筆交易。Google的公共部門發言人確認,該協議是對2025年11月簽署的非機密合約所作的修訂。 合約中包含一項安全性條款,指出Google AI「並非用於,而且不應被用於」大規模國內監視,或在未受人類控制的情況下使用自主武器。然而,Law and AI Institute的資深研究員Charlie Bullock表示,「不應被用於」這段措辭在法律上不具約束力。它只是表達雙方認為這類使用並不理想,但並不構成違約。協議同時還規定:「本協議並不授予控制或否決針對合法政府行動所作決策的權利。」 與OpenAI在2月與五角大廈達成的協議相比,Google的條款明顯更為寬鬆。OpenAI保留「對安全系統的完全裁量權」,而Google則同意在政府提出要求時協助調整AI的安全設定與過濾器。Google發言人指出,這些過濾器是為消費者設計的,而該公司通常會為企業客戶進行調整。繼xAI與OpenAI之後,Google是第三家公司與五角大廈簽署機密AI協議。拒絕放寬安全限制的Anthropic已被五角大廈列為「供應鏈風險」,目前正處於法律程序中。

GateNews38分鐘前

Google Launches $15 Billion AI Hub in India with Gigawatt-Scale Data Center

Gate News message, April 28 — Google held a groundbreaking ceremony on April 28 for its largest AI hub outside the United States, located in Visakhapatnam, India. The gigawatt-scale data center will support computing for products including Gemini and Search, according to Bikash Koley, vice

GateNews1小時前

英特爾兩度漲價、延遲交貨,聯發科、超微趁勢搶下 CPU 市佔

AI 驅動導致 CPU 需求暴增,英特爾因產能不足優先供應 Xeon,造成中低階與 Chromebook 交期延宕與價升。聯發科與 AMD 迅速填補筆電/桌機/ Chromebook 市場缺口,重寫市佔格局;AMD、NVIDIA、Arm 亦加速伺服器 CPU 擴張,英特爾則提高資本支出擴產,預期 2026 年營收與成長可望雙位數。

鏈新聞abmedia2小時前
留言
0/400
暫無留言