AI安全 2天前 68 阅读 0 评论

Cloudflare 为影子 AI 风险评估提供了自动评分系统

作者头像
AI中国

AI技术专栏作家 | 发布了 246 篇文章

2025 上,Cloudflare宣布了应用信心评分(Application Confidence Scores)系统,这是一个自动化的评估系统,旨在帮助组织大规模评估第三方 AI 应用程序的安全性。

 

新的评分系统应该解决了“影子 IT(Shadow IT)”和“影子 AI(Shadow AI)”日益增长的挑战,员工使用未经批准的生成性 AI 工具,可能使敏感的企业数据暴露于安全风险中,或者以松懈的安全实践长时间保留用户数据。

 

信心评分为每个 AI 应用程序提供两个独立的 1 到 5 的评分:应用程序信心评分,衡量通用的 SaaS 成熟度,以及 Gen-AI 信心分数,专注于生成性 AI 的特定风险。Cloudflare 的高级产品经理Ayush Kumar和 Cloudflare 的产品总监Sharon Goldberg(曾任 BastionZero 创始人)讨论了为什么评分系统可以支持安全团队在大规模定义 AI 的访问策略,并写到:

评分不是基于氛围(vibe)或黑盒的“学习算法”或“人工智能引擎”。我们避免主观判断或大规模红蓝对抗(red-teaming),因为它们可能难以可靠和一致地执行。相反,评分将根据我们在这篇博客中详细描述的客观标准计算。我们的标准将在 Cloudflare 开发者文档中公开维护并保持最新。

 

文章强调了用于计算应用程序信心评分的标准,包括监管合规性(SOC 2、GDPR、ISO 27001)、数据管理实践、安全控制和财务稳定性(评估应用程序背后的公司的长期可行性)。Gen-AI 信心分数侧重于部署安全模型、模型卡的可用性以及用户提示的培训。


<!---->

来源:Cloudflare 博客

 

StackAware 的创始人 Walter Haydock评论说:

Cloudflare 的新“AI 应用程序信心评分”考虑了 ISO 42001。我对他们如何确定这一点很感兴趣,因为博客文章提到了“认证(certification)”和“合规(compliance)”,这并不一定是相同的。

 

测试安全和合规实践的每个组成部分的评分标准都基于公开可用的数据,包括隐私政策、安全文档、合规认证、模型卡和事件报告。如果没有数据可用的话,则不分配分数。根据 Cloudflare 的说法,他们使用爬虫收集公开信息,AI 仅用于提取和通过自动化系统计算分数,该系统结合了人工监督以提高准确性。

 

到目前为止,团队已经描述了逻辑的工作原理;但是,评分目前尚未被任何托管服务使用。它们将作为新的AI安全态势管理(AI Security Posture Management,AI-SPM)功能套件的一部分,在 One SASE 平台上提供,但尚未宣布日期,正如 Kumar 和 Goldberg 确认的那样:

现在,我们只是发布我们的评分标准,以征求社区的反馈。但很快,你将开始看到这些 Cloudflare 应用程序信心评分会集成到我们 SASE 平台的应用程序库中。客户可以简单地点击或悬停在任何分数上,以显示评分标准的详细分解和分数的底层组成部分。

 

AI Week 2025期间,Cloudflare 宣布了其他旨在保护 AI 访问的功能,包括影子AI仪表板、员工使用的 AI 工具的数据驱动视图、AI 的API CASB控制以检测风险配置、数据丢失和安全问题,以及MCP服务器门户以观察组织中的每个 MCP 连接。AI提示保护现在处于 beta 阶段,支持 ChatGPT、Claude、Gemini 和 Perplexity。

 

原文链接:

 Cloudflare Introduces Automated Scoring for Shadow AI Risk Assessment

作者头像

AI前线

专注人工智能前沿技术报道,深入解析AI发展趋势与应用场景

246篇文章 1.2M阅读 56.3k粉丝

评论 (128)

用户头像

AI爱好者

2小时前

这个更新太令人期待了!视频分析功能将极大扩展AI的应用场景,特别是在教育和内容创作领域。

用户头像

开发者小明

昨天

有没有人测试过新的API响应速度?我们正在开发一个实时视频分析应用,非常关注性能表现。

作者头像

AI前线 作者

12小时前

我们测试的平均响应时间在300ms左右,比上一代快了很多,适合实时应用场景。

用户头像

科技观察家

3天前

GPT-4的视频处理能力已经接近专业级水平,这可能会对内容审核、视频编辑等行业产生颠覆性影响。期待看到更多创新应用!