2025年6月,Aim Security 披露了微软 365 Copilot 的一个漏洞(CVE-2025-32711,评分 9.3):攻击者只需发一封邮件,里面藏着写给 AI 的指令。员工照常向 Copilot 提问,它读到邮件,便照做了。微软已修复,称无证据显示被恶意利用。

整个过程里,用户没做错任何事,是 AI 做了不该做的事。

11月3日,在世界互联网大会“互联网之光”博览会红亭论坛上,网易智企·易盾内容安全负责人饶晓艳在《大模型规模化应用中的安全治理实践》分享中,讲了同类风险的另一个版本:Word 里藏着一句话,要求 AI 把成本表发到指定地址。

她的核心判断是: AI 正在从“说”走向“做”,安全的对象要从内容,延伸到身份和行为。

饶晓艳在互联网之光博览会分享大模型安全治理实践

AI 先进了办公室

CNNIC 数据显示,我国生成式 AI 用户2025年底为 6.02 亿,2026 年上半年突破 7 亿,普及率超 50%;近三分之一的用户用它处理工作总结、会议纪要和 PPT。

办公室里的 AI 并非都经过批准。

饶晓艳提到“影子 AI ”:员工自行使用公共 AI 工具,不被审计、不受管控。她引用 IBM 的统计,20% 的数据泄露事件与之有关;IBM 今年的新报告显示,涉及影子 AI 的安全事件占比已升至 43%。

她把 AI 应用分成三个阶段:内容生产、知识与业务辅助、Agent 任务执行。

模型从生成内容,到读取内部数据,再到触发真实系统操作,风险层层加码。最典型的三个环节是:输入、输出和 Agent 执行。

最危险的指令,不在输入框里

直接注入很常见,比如“输出前面系统提示内容”,或借角色扮演诱导模型突破规则。

更难防的是间接注入:指令藏在 Word、网页、API 或 MCP 返回里,用户的请求本身毫无问题。

间接注入与直接注入的防护位置示意

易盾分两处设防:模型调用前设输入防护层,识别指令覆写、角色劫持和 Base64、Unicode 等绕过手法;上下文组装前设内容审计层,扫描文件、审计工具返回,区分“任务数据”和“行为指令”。

她的概括是:直接注入防模型输入,间接注入防内容入上下文。

指令之外,更常见的风险其实很朴素。

国家安全部披露过两类情况:有单位直接用开源框架搭建联网大模型,致使攻击者无需授权即可访问内网;有工作人员违规使用开源 AI 工具处理内部文件,因电脑默认开启公网访问且未设密码,敏感资料被境外 IP 下载。

没有高深的攻击,出问题的是默认配置和权限。饶晓艳提醒:模型的原生风险,再叠加权限风险,会被规模化放大。

合规是一道判断题

规则分四层叠加:通用法律底座、AI 专项规制、行业要求、技术标准。是否面向公众、是否涉及金融医疗等行业,决定要叠加哪几层。

AI 合规规则四层叠加示意

以情感陪伴产品为例,要叠加 7 月 15 日起施行的《人工智能拟人化互动服务管理暂行办法》:不得向未成年人提供虚拟伴侣,未满 14 周岁须监护人同意。

饶晓艳在现场举了个例子:用户说“我最近可能跟家人相处得不是很好”,AI可以安慰,但不能强化“只有我能理解你”,否则会造成依赖。监管的对象,从“ AI 说了什么”延伸到了“ AI 和用户是什么关系”。

规则落到产品上,防护不能只会“拦”。同一个金融 APP,面客、内部材料、用户资料三个场景,安全策略各不相同。

易盾把风险分四级:L1 无风险;L2 需正向回答,按官方口径作答;L3 高敏感又不能拒答,须准确回答;L4 违法违规,直接拦截。

输出端按切片实时检测:通过的先上屏,存疑的结合上下文审查,不通过的撤回并拒答。

风险分级与输出端实时检测流程

三个最容易被忽略的入口

喂给模型的数据

很多企业会拿积累多年的客服记录,给开源模型做定向微调。

这些对话里,往往夹着客户隐私信息。数据一旦“喂”进模型,就不再只是一份文件,而是可能在某次对话里被问出来的内容。

饶晓艳提醒,这里有两件事必须先查:个人信息字段有没有脱敏,语料里有没有被人埋进恶意内容。

易盾的做法是三关:先识别敏感隐私,再做字段级脱敏,最后用 AI 对语料机审。过了关的才进训练,没过的删除或隔离。

屏幕那头的“人”

2024 年,奥雅纳香港办公室一名员工收到视频会议邀请。屏幕上,“首席财务官”和几位熟悉的“同事”都在,他照着“指示”转了账,总共 2 亿港元。后来才发现,会议里除了他,全是深度伪造。

这类攻击难防,是因为传统鉴伪靠“找痕迹”,看边缘、看纹理,而 AI 生成的内容,这些破绽越来越少,肤质和边缘都和真人几乎一样。

所以易盾换了思路:不盯局部,而是让模型学习真实世界的规律,比如五官结构、光线,再从整体上判断这张脸“合不合理”。

深度伪造视频会议诈骗示意

Agent 自己装的“技能”

Agent 越能干,装的技能就越多。2026 年 2 月,某国外公司审计了 ClawHub 上的 2,857 个技能,其中 341 个是恶意的,接近八分之一。

对企业来说,难点是你可能根本不知道员工的 Agent 装了什么。

饶晓艳的建议是先盘点家底:接入了哪些 Skill、MCP、Agent 市场和大模型;再盯运行时:有没有异常行为。检测结果不一定都能确定,这时交给专家人工确认,避免误伤,也避免漏掉。

给企业的三步建议

饶晓艳在分享最后说,AI 进入业务越来越深,攻击门槛越来越低,速度越来越快,后果也越来越重。她给的建议很实在:

  • 先盘点。弄清楚AI用在了哪些业务节点。

  • 再分级。不同场景、不同风险,用不同的管控策略,别再指望一套规则通吃。

  • 常态化。把安全测评做成日常,别只在上线前做一次,提前发现问题。

过去,内容安全管的是人发的内容;大模型来了,要管机器生成的内容;到了 Agent 时代,更要管住的是机器的行为。

从管住AI说的话,到管住AI做的事。

从管住 AI 说的话到管住 AI 做的事