开源项目 1天前 157 阅读 0 评论

360开源全球最强图文模型FG-CLIP2:中英文任务双双登顶 SOTA!

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

FG-CLIP2是360 人工智能研究院开源的图文模型,作为新一代文本-图像跨模态模型,在细粒度理解方面表现卓越。

在涵盖图文检索、目标检测等 8 大类 29 项国际权威测试中,全面超越谷歌 SigLIP 2 和 Meta 的 MetaCLIP 2,中英文任务双双登顶 SOTA,标志着中国模型首次在该核心赛道实现全方位领先。

技术创新

数据层面:构建FineHARD大规模中英双语数据集,不仅包含图片的详细描述(长达150词以上),还涵盖4000万个边界框及区域描述文本,实现真正的局部细粒度对齐。

算法创新:采用两阶段训练策略,结合独家TIC损失函数,专门针对语义相近的表述进行优化,提升模型的辨微能力。

架构优势:采用显式双塔结构,图像和文本编码器分离,支持海量数据的预提取和缓存,确保毫秒级响应速度,为实际应用奠定基础。

应用场景

电商零售:精准匹配材质、受众、季节等多维度需求,搜索转化率提升的同时降低退货率;

AIGC 创作:作为文生图的质量裁判,确保生成内容精准贴合细节指令,避免logo 位置错误等常见偏差;

智能安防:支持自然语言精准检索视频,调查人员输入复杂描述即可快速定位目标线索,提升应急响应效率;

具身智能:助力机器人准确理解细粒度指令,将机器对物理世界的感知精度提升至毫米级。

测试数据显示,FG-CLIP2 在复杂指令执行准确率、细粒度特征识别等关键指标上,较主流模型提升超 37%,为 AI 实用化落地开辟了新路径。

Github :https://github.com/360CVGroup/FG-CLIP

#AI开源项目推荐##github##AI技术##360开源#AI大模型##AI图文模型

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!