IT之家 8 月 12 日消息，今日，华为正式发布 AI 推理创新技术 UCM（推理记忆数据管理器）。
据IT之家了解，作为一款以 KV Cache 为中心的推理加速套件，UCM 融合了多类型缓存加速算法工具，分级管理推理过程中产生的 KV Cache 记忆数据，可扩大推理上下文窗口，实现高吞吐、低时延的推理体验，降低每 Token 推理成本。该技术已率先在中国银联“客户之声”“营销策划”“办公助手”三大业务场景中，开展智慧金融 AI 推理加速应用试点，并已取得成果。
华为计划于 2025 年 9 月正式开源 UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有 Share Everything (共享架构) 存储厂商和生态伙伴。
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。
专注人工智能前沿技术报道，深入解析AI发展趋势与应用场景
这个更新太令人期待了！视频分析功能将极大扩展AI的应用场景，特别是在教育和内容创作领域。
有没有人测试过新的API响应速度？我们正在开发一个实时视频分析应用，非常关注性能表现。
我们测试的平均响应时间在300ms左右，比上一代快了很多，适合实时应用场景。
GPT-4的视频处理能力已经接近专业级水平，这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用！
2.4k 粉丝
1.8k 粉丝
3.1k 粉丝