3月17日,華為正式發布針對AI推理場景的全新AI數據基礎設施,包含面向中心推理場景的AI數據平臺,和面向分支邊緣推理場景的FusionCube A1000 AI超融合一體機,旨在推動AI推理體驗升級,并顯著降低推理部署門檻,加速AI商業正循環。
過去幾年,AI歷經多輪演進,已邁入了以推理為核心的全新階段。當下,企業正面臨兩大變化:一是數據類型與規模持續擴展,從文本為主轉向多模態格式混合,體量從TB級躍升至EB級;二是企業核心資產從“數據”轉變為“知識”與“記憶”,被實時調用以支撐智能體自主決策。這些正全面重塑AI數據基礎設施,成為AI行業化落地的關鍵。
為解決推理業務中知識質量不足、長序列推理體驗差以及推理記憶缺失的三大瓶頸,華為發布AI數據平臺,整合知識庫、KV Cache加速和記憶庫,并結合UCM技術實現調度與管理,破除企業AI的數據門檻,加速智能體應用落地。
據了解,企業數據在不斷變化與更新,如果知識轉化不及時,會導致模型的推理決策結果不精準。華為AI數據平臺通過多模無損解析、Token級編碼等方式,將文本、圖片、視頻等資源轉化成海量細顆粒度的知識,結合多維度檢索與重排序,實現超95%知識檢索精度。
在長文本長序列、多用戶多并發的推理過程中,大量的KV Cache數據存不下、系統響應遲緩,導致推理體驗惡化。華為AI數據平臺針對性提供了全局分層緩存能力,讓記憶數據在On-chip memory、DRAM、外置SSD存儲三層間按需流動,顯著擴充KV Cache存儲池,同時融合多種稀疏注意力算法,避免重復計算,大幅擴展上下文窗口,實現首Token時延降低90%。
此外,當前,大模型普遍缺乏持久的記憶,會遺忘多步驟的中間結果和長期沉淀的歷史經驗,無法真正實現自我進化。華為稱,其AI數據平臺可實現上下文狀態保持、信息凝練,記得越多,推理就越精準,模型應用才能“越用越聰明”。
本次發布的AI數據平臺支持一體化和獨立式兩大部署模式,其中獨立式部署采用“數據引擎節點+OceanStor Dorado”架構,可在現有存儲系統上新增數據引擎節點,保護歷史投資,支撐業務平滑轉型。
如今,大量的數據是在分支邊緣場景產生的,針對傳統分支邊緣場景進行智能化改造過程中所面臨的部署復雜、成本高昂、效率低下等問題,華為同步推出FusionCube A1000 AI超融合一體機,通過集成化與智能化交付,助力AI快速部署與高效運行。