華為8月12日正式發(fā)布AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器）。據(jù)了解，作為一款以KV Cache為中心的推理加速套件，UCM融合了多類型緩存加速算法工具，分級(jí)管理推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)，可擴(kuò)大推理上下文窗口，實(shí)現(xiàn)高吞吐、低時(shí)延的推理體驗(yàn)，降低每Token推理成本。華為計(jì)劃于2025年9月正式開源UCM，屆時(shí)將在魔擎社區(qū)首發(fā)，后續(xù)逐步貢獻(xiàn)給業(yè)界主流推理引擎社區(qū)，并共享給業(yè)內(nèi)所有Share Everything(共享架構(gòu))存儲(chǔ)廠商和生態(tài)伙伴。
本文鏈接：http://m.enbeike.cn/news-14-11683-0.html華為正式發(fā)布AI推理創(chuàng)新技術(shù)UCM 計(jì)劃于9月正式開源
聲明：本網(wǎng)頁內(nèi)容由互聯(lián)網(wǎng)博主自發(fā)貢獻(xiàn)，不代表本站觀點(diǎn)，本站不承擔(dān)任何法律責(zé)任。天上不會(huì)到餡餅，請(qǐng)大家謹(jǐn)防詐騙！若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。
上一篇：商務(wù)部：對(duì)原產(chǎn)于加拿大的進(jìn)口豌豆淀粉進(jìn)行反傾銷立案調(diào)查
點(diǎn)擊右上角
微信好友
朋友圈
點(diǎn)擊瀏覽器下方“
”分享微信好友Safari瀏覽器請(qǐng)點(diǎn)擊“
”按鈕
點(diǎn)擊右上角
QQ
點(diǎn)擊瀏覽器下方“”分享QQ好友Safari瀏覽器請(qǐng)點(diǎn)擊“”按鈕
