第16期

AI审计周报 第16期

| ~

编者按：AI审计周报每周一发布，精选AI在审计、合规与监察领域的最新动态。中英文资讯混编，帮助审计人追踪行业前沿。

本期摘要

本期聚焦AI代理（AI Agent）在企业治理与风险管控中的应用与挑战。随着代理型AI技术快速发展，企业在获得效率提升的同时也面临新的治理难题，包括代理授权边界、成本控制和安全风险管理。同时，AI在合规检测、风险评估等传统审计领域的应用持续深化，但幻觉问题和可审计性仍是关键挑战。

AI代理治理与风险管控 / Agentic AI Governance & Risk

Many autonomous agents doomed by governance failures

  • 来源: CIO.com
  • 摘要: Gartner预测，到明年将有40%的企业自主AI项目因生产事故暴露的治理缺陷而受阻。企业在AI代理治理上采用二元化方式（完全锁定或完全信任），这正是失败的根本原因，将迫使企业降级或停用某些代理。
  • 标签: AI治理 风险管理

Who Authorized That? The Delegation Problem in Multi-Agent AI

  • 来源: O’Reilly Radar
  • 摘要: 当AI代理代表你预订会议、分析财务报告并发送邮件给利益相关者时，它调用了多个子代理，每个都访问内部系统并代表你做决策。这引发了安全团队无法忽视的授权和责任追溯问题。
  • 标签: 多代理系统 授权管理

”Tokenmaxxing is real, expensive & it’s spreading”: AI budgets are exploding

  • 来源: The New Stack AI
  • 摘要: Amazon删除了员工AI使用排行榜，因为发现员工为提升排名而创建AI代理执行不必要任务，这种”代币最大化”行为正在推高企业AI成本。新的成本控制工具正在应对这一挑战。
  • 标签: 成本控制 AI治理

合规科技与金融犯罪防控 / RegTech & Financial Crime

4 Ways we’ve engineered around the AI hallucination problem in financial crime compliance

  • 来源: Unit21 Blog
  • 摘要: Unit21分享了在金融犯罪合规中解决AI幻觉问题的四种工程方法，包括生产测试技术，使AI代理变得可靠、可审计且符合监管要求，以及处理剩余错误率的基础设施。
  • 标签: AI幻觉 金融合规

AI hiring monoculture is delivering racial bias at scale

  • 来源: CIO.com
  • 摘要: Stanford研究发现AI驱动招聘存在系统性种族偏见。对400万份求职申请的分析显示存在惊人的种族差异，而90%美国雇主使用AI筛选工具、60%的财富500强使用同一工具的”单一文化”现象加剧了这一问题。
  • 标签: AI偏见 合规风险

The Most Overlooked Risk in the EU AI Act: Misunderstanding Your Role

  • 来源: Corporate Compliance Insights
  • 摘要: EU AI法案的最被忽视风险是误解自身角色定位。该法案适用于在欧盟业务中使用AI输出的公司，即使是欧洲以外的企业也不例外，企业需要明确理解自身在AI价值链中的位置和相应责任。
  • 标签: EU AI法案 合规责任

企业AI安全与Shadow AI治理 / Enterprise AI Security & Shadow AI

Shadow AI: The hidden risk expanding across the enterprise

  • 来源: CIO.com
  • 摘要: 企业和员工争相获取AI价值和效率，但安全往往被忽视。员工使用未授权GenAI工具处理敏感数据，开发者在安全审查前添加AI功能，SaaS平台默认处理业务数据，形成了一个扩展速度超过组织管理能力的新攻击面。
  • 标签: Shadow AI 企业安全

What 2,000 Exposed Vibe-Coded Apps Reveal About the Limits of Most Security Stacks

  • 来源: The Hacker News
  • 摘要: Shadow AI现在意味着员工使用AI构建完整应用程序，连接生产系统并发布到互联网，绕过安全和IT部门。风险从提示转变为产品，风险面也随之扩大。The Shadow Builders报告揭示了2000个暴露应用的安全风险。
  • 标签: 应用安全 Shadow AI

ChatGPhish Vulnerability Turns ChatGPT Web Summaries Into a Phishing Surface

  • 来源: The Hacker News
  • 摘要: 研究人员披露了ChatGPT的ChatGPhish漏洞，该漏洞利用AI助手对Markdown链接和图像的隐式信任来触发提示注入并开启钓鱼攻击的大门。chatgpt.com响应渲染器信任Markdown链接存在安全隐患。
  • 标签: AI安全漏洞 钓鱼攻击

AI在审计与风险管理中的应用 / AI Applications in Audit & Risk Management

Why AI systems need a boundary between reasoning and execution

  • 来源: TechTarget Enterprise AI
  • 摘要: 紧密耦合的AI系统会产生控制缺口。在推理和执行之间建立边界能够实现策略约束、可追踪和可审计的大规模企业工作流执行，这对企业AI系统的可控性至关重要。
  • 标签: AI架构 可审计性

Beyond the hype: A CIO’s guide to LLM risk management

  • 来源: TechTarget Enterprise AI
  • 摘要: 随着LLM采用增长，CIO必须优先考虑风险管理。他们应该评估工作流、数据安全和供应商实践，以减轻风险并确保AI的安全使用，建立全面的LLM风险管理框架。
  • 标签: LLM风险 CIO指南

The board’s role in managing emerging AI risks

  • 来源: McKinsey Insights
  • 摘要: 领先的网络安全高管和董事会成员讨论AI带来的挑战和机遇。董事会在管理新兴AI风险方面发挥关键作用，需要建立适当的治理框架和监督机制来应对AI时代的网络安全挑战。
  • 标签: 董事会治理 AI风险
#AI审计 #合规科技 #内部审计