AI热点 3小时前 97 阅读 0 评论

高通:OpenAI 最小开源模型 gpt-oss-20b 可在骁龙终端运行

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

IT之家 8 月 11 日消息,OpenAI 于 8 月 6 日推出了其最小开源模型 gpt-oss-20b,在常见基准测试中与 OpenAI o3‑mini 模型取得类似结果。高通今日宣布,这是 OpenAI 首个可在搭载骁龙平台的终端侧运行的开源推理模型。

IT之家从官方新闻稿获悉,高通称 gpt-oss-20b 思维链推理模型可直接在搭载骁龙旗舰处理器的终端上运行。此前 OpenAI 的复杂模型仅限云端部署,这是 OpenAI 首次实现模型支持终端侧推理。通过提前获取模型,并结合高通 ® AI 引擎和 Qualcomm® AI Stack 进行集成测试,我们发现这款 200 亿参数的模型表现极为出色,能够完全在终端侧进行思维链推理。

高通认为这是一个关键转折点:预示着 AI 的未来方向,即丰富复杂的助手式推理也将在本地实现。这也展现了 AI 生态系统的成熟性,合作伙伴和开发者可以利用骁龙处理器,实时采用 OpenAI 等领军企业的开源创新成果。OpenAI 的 gpt-oss-20b 将助力终端设备利用终端侧推理,带来隐私保护和时延方面的优势,同时通过 AI 智能体为云端解决方案提供支持。

高通称,通过提前获取 gpt-oss-20b 模型,并结合 Qualcomm AI Stack 进行集成测试,见证了该模型的卓越能力,它能完全在终端侧进行复杂推理。开发者将可通过 Hugging Face 和 Ollama 等主流平台获取该模型,并在搭载骁龙平台的终端上发挥其性能。更多部署详情即将在 Qualcomm AI Hub 上公布。

将 Ollama 的轻量级的开源 LLM 服务框架和强大的骁龙平台集成,开发者和企业不仅可以直接在搭载骁龙计算平台的终端上运行 gpt-oss-20b 模型,还能够进行网页搜索等多个默认特性,无需额外配置。用户也可以在 Ollama 上尝试 Turbo 模式,以探索该模型的更多功能。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!