华为发布 AI 推理创新技术 UCM：可实现高吞吐、低时延推理体验，计划 9 月开源

【导语】8月12日，华为推出了AI推理创新技术UCM，该技术以KV Cache为中心，融合多类型缓存加速算法，旨在提升推理性能并降低成本。目前，UCM已在中国银联的多个业务场景中试点应用并取得成效。华为计划于2025年9月正式开源UCM，逐步贡献给业界主流推理引擎社区及存储厂商和生态伙伴。

　　8 月 12 日消息，华为正式发布 AI 推理创新技术 UCM（推理记忆数据管理器）。

　　据了解，作为一款以 KV Cache 为中心的推理加速套件，UCM 融合了多类型缓存加速算法工具，分级管理推理过程中产生的 KV Cache 记忆数据，可扩大推理上下文窗口，实现高吞吐、低时(shí)延(yán)的(de)推(tuī)理(lǐ)体(tǐ)验(yàn)，降(jiàng)低(dī)每(měi) Token 推(tuī)理(lǐ)成(chéng)本(běn)。该(gāi)技(jì)术(shù)已(yǐ)率(lǜ)先(xiān)在(zài)中(zhōng)国(guó)银(yín)联(lián)“客(kè)户(hù)之(zhī)声(shēng)”“营(yíng)销(xiāo)策(cè)划(huà)”“办(bàn)公(gōng)助(zhù)手(shǒu)”三(sān)大(dà)业(yè)务(wu)场(chǎng)景(jǐng)中(zhōng)，开(kāi)展(zhǎn)智(zhì)慧(huì)金(jīn)融(róng) AI 推(tuī)理(lǐ)加(jiā)速(sù)应用试点，并已取得成果。

　　华为计划于 2025 年 9 月正式开源 UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有 Share Everything (共享架构) 存储厂商和生态伙伴。