9月16日，国内首次针对AI大模型的实网众测检验结果在第22届中国网络安全年会发布。活动共动员559名白帽子，对国内10家AI厂商的15款大模型及应用产品进行了漏洞测试。本次众测活动，共发现各类安全漏洞281个，其中大模型特有漏洞177个，传统漏洞104个。现将本次众测活动中发现的典型漏洞风险问题通报如下。

一、典型漏洞风险问题

（一）部分产品存在不当输出处理类漏洞且危害严重。主要是模型生成内容未经验证、过滤即被用于下游系统，导致恶意内容被直接执行或传递。此类漏洞通常是模型自身缺陷与传统安全问题的结合。例如，某大模型存在全回显SSRF漏洞，攻击者可直接接管大模型服务器，获取内网数据；某大模型可调用Python工具且权限管理存在漏洞，可导致系统崩溃、业务中断、服务器失陷等严重后果。

（二）信息泄露类漏洞多发，存在较大安全隐患。主要是通过输入特定内容诱导模型输出个人身份信息（PII）、凭证等敏感数据，以及模型内部参数、安全规则等内部信息。例如，攻击者利用漏洞可获取某大模型配置文件及架构图，可实现任意用户账号接管，可控制日志云服务。

（三）提示注入类漏洞普遍，是大模型最常见漏洞风险。提示注入类漏洞主要是通过构造特定输入内容，直接或间接操纵模型行为，诱导其绕过安全限制执行恶意操作。该类漏洞攻击门槛低、成功率高，攻击者无需懂代码和复杂的攻击技术，通过聊天就能攻击。同时由于提示问答是大模型特有的交互方式，提示注入往往是实现其他类型漏洞攻击的“敲门砖”，因此被业界视为“头号威胁”。

（四）部分大模型产品针对无限制消耗类攻击的防护措施有待加强。无限制消耗主要指大模型应用在缺乏合理限制的情况下，可能按照攻击者要求进行过度推理，导致资源耗尽、服务中断甚至模型被窃取的安全隐患。例如，某大模型部分功能未对调用次数和速率进行限制，攻击者可利用批量创建会话的方式，占用系统资源，使其他用户无法使用。

（五）传统安全漏洞依然普遍存在，危害不容忽视。从测试结果来看，共发现传统漏洞104个，占比37%，这表明尽管AI系统架构具有高度的技术复杂性，但因其对外暴露的接口和服务在本质上仍遵循传统应用软件的逻辑架构，导致传统安全漏洞在AI系统中依然存在。例如某大模型存在任意用户登录漏洞，可控制管理员权限；某大模型应用存在任意文件读取漏洞，可获取网站服务器控制权；某大模型存在SQL注入漏洞，可对数据库进行增删改查等操作。

二、应对处置建议

（一）针对大模型面临的各类漏洞风险，持续加强安全防护措施。一是采取零信任原则，将大模型输出视为不可信输入，强制验证与编码，重点对外链、代码执行等下游操作指令进行安全验证，并在沙箱等隔离环境执行模型生成的代码及工具调用操作；二是实施严格的输入输出验证和过滤，遵循最小权限原则，避免过度授权；三是将敏感指令移至安全配置库，并拦截包含“system prompt”等关键词的查询；四是设置API调用配额进行分级限流，并强制限制Token长度；五是加强供应商审计，强制验证第三方模型签名及数据来源，定期对第三方AI组件、框架、预训练模型、数据集进行安全评估；六是加强对传统漏洞的安全防护措施。

（二）加强内生安全治理，构建安全可信的人工智能生态。从本次测试可以看出，由于内生于人工智能“黑箱”技术特性的复杂风险，传统“外挂式”的被动防御安全治理模式正面临严峻考验，难以有效应对AI系统在复杂环境中动态演化出的未知风险。AI未来的发展方向需要强调内生安全治理，将安全融入到AI系统的设计、研发、部署、运行的全生命周期之中，从源头筑牢安全基石，在内部建立防御机制。最终朝着“以人为本，智能向善”的方向前进，构建一个普惠、公平、安全、可信的人工智能生态。

来源：国家互联网应急中心CNCERT