企业动态

    近日，国务院印发《关于深入实施“人工智能+”行动的意见》(以下简称《意见》)。《意见》第十四条中重点指出“提升安全能力水平”。包括推动模型算法、数据资源、基础设施、应用系统等安全能力建设，防范模型的黑箱、幻觉、算法歧视等带来的风险，加强前瞻评估和监测处置，推动人工智能应用合规、透明、可信赖。建立健全人工智能技术监测、风险预警、应急响应体系，强化政府引导、行业自律，坚持包容审慎、分类分级，加快形成动态敏捷、多元协同的人工智能治理格局。

    奇安信安全专家认为，人工智能正在重塑产业格局，但同时带来了前所未有的安全风险，各类数据泄露、模型污染等事件频繁爆发，强化人工智能安全治理显得尤为迫切。为此，奇安信推出了“可信赖AI”为核心的人工智能安全治理框架，围绕“安全、合规、可控、负责任”四大要素展开，由模型安全治理、数据与隐私、应用与运营、基础安全等六大治理维度支撑，助力广大政企机构在“人工智能+”时代行稳致远。

    01

    人工智能安全风险集中爆发，强化治理迫在眉睫

    伴随着人工智能的快速普及，风险也在集中爆发。世界经济论坛与埃森哲合作的一项研究结果显示：63%的企业在部署前未能评估AI工具的安全性。思科5月发布的网络安全就绪指数同样显示：86%的企业在过去一年中经历过与AI相关的安全事件。奇安信认为，在人工智能浪潮之下，企业组织面临的风险集中在以下方面：

    首先，数据隐私风险是当前最突出的威胁。人工智能应用依赖海量数据，一旦数据管理不当，就可能出现泄露或被不当使用的情况。比如部分聊天机器人，在交互过程中曾无意间将用户对话甚至企业核心数据泄露出去。

    其次，业务违规风险同样不容忽视。当前法律法规针对人工智能的条款不断更新，若企业未能及时根据新规调整自身AI应用与运营策略，就可能触碰法律红线，面临高额罚款，甚至卷入法律诉讼，对企业经营造成冲击。

    再次，模型风险也十分突出。AI决策存在不透明性，其决策依据难以清晰解读，且偏见问题普遍存在。美国一些企业采用的招聘AI工具，因存在严重性别偏见，引发业内争议。

    同时，安全攻击风险更是潜藏巨大危害。对抗性攻击通过对AI系统输入微小扰动，就能欺骗系统做出错误判断。例如自动驾驶系统若遭遇此类攻击，可能被误导，进而引发交通事故，威胁生命与财产安全。

    最后，声誉与信任风险会直接削弱用户对企业的认可。当AI出现明显错误时，用户信任度会大幅下降。例如医疗影像AI若出现误诊，不仅可能延误患者治疗，医院还会面临患者的质疑与诉讼，多年积累的良好声誉也会毁于一旦。

    面对这些风险，企业强化AI安全治理已经成为人工智能时代的“必选项”，这不仅是IT部门的工作，更是企业战略层面的核心任务。

    02

    奇安信AI安全治理框架，围绕六大维度全面布局

    奇安信认为，企业推动AI安全治理，首先要把AI安全纳入企业整体战略，而不是单点技术问题,同时遵循“透明、可控、负责、合规、以人为本”的治理原则，明确责任，设立法务、合规、信息安全、业务等在内的跨部门治理委员会，确保治理框架顺利落地。

    奇安信推出的安全治理框架，围绕六大治理维度展开全面布局，构建起覆盖AI全生命周期的安全防护体系，为企业AI应用保驾护航。

    第一是模型安全治理维度，主要聚焦模型内生风险缓解、攻击安全防御及决策透明与可解释性。其中包括通过技术手段对模型幻觉进行综合性缓解，克服模型与算法自身缺陷；构建AI驱动的纵深防御体系，应对提示词注入、模型越狱等新型攻击；推动模型决策过程透明显性化，对决策信息源进行追溯，对决策结果开展审计，同时做好模型完整性保障，在模型引入和上线前进行安全合规评估，确保模型安全可控。

    第二是数据与隐私维度，重点保障模型训练阶段内外部数据安全、隐私及知识产权合规。包括严格筛选训练数据来源，确保数据可信且合规；加强敏感数据保护，通过数据安全网关实现数据流转监测，对生产数据进行脱敏、清洗处理，落实个人信息合规保护要求；重视知识产权保护，防范内部核心数据与知识产权泄露和失窃，为AI模型训练筑牢数据安全基石。

    第三是应用与运营维度，致力于推动科学合理、安全地使用模型赋能业务应用与日常运营。建立审查机制，对AI应用开展科技伦理影响审查，设立用户反馈渠道与决策审核制度；实施精细化访问与权限管理，遵循最小权限原则，对AI应用动态行为进行记录与异常分析；开展全链路运营监控，覆盖性能、可用性、模型输入输出及异常行为、滥用情况监测，同时引入多源外部威胁情报，提升AI安全事件敏捷响应能力。

    第四是基础安全维度，强化支撑AI稳定运行的IT系统环境安全措施。包括全面盘清AI相关资产，开展脆弱性扫描与风险评估，将所有资产纳入纵深安全防御体系纳管与监控；实行环境隔离，对模型训练与推理环境、应用开发与投产环境进行物理或逻辑隔离，严格控制网络访问权限；加强身份行为安全与特权治理，对高危操作进行权限限制与审计，保障IT系统环境稳定可靠。

    第五是人员与责任维度，明确AI安全治理组织职责分工与协作机制。具体包括划分各部门职责，推动多部门密切配合协作；建立清晰问责机制，确保模型、应用、数据等相关安全问题责任归属明确到人，采集充足数据支撑事件根因分析与责任认定；构建完善培训体系，提升人员AI安全治理能力。

    第六是持续改进维度，确保安全治理动态响应监管、安全态势与AI技术变化。包括定期开展风险评估，更新风险清单，根据实际风险驱动防护能力提升与策略优化；建立可审计的治理流程，确保治理活动合规且留痕，持续满足外部合规要求；密切追踪AI技术发展与法律法规更新，推动治理策略动态演进，通过敏捷迭代不断优化安全治理举措，适应AI领域快速变化的安全需求。

    03

    AI安全治理已在多行业获得成功落地

    当前，模型安全治理是政企机构最为紧迫的需求，更好地应对人工智能安全风险，奇安信推出了大模型安全评估、大模型卫士系统等相关产品服务，已在多个行业获得成功落地，其价值获得客户的广泛认可。

    今年3月，国内某头部运营商子公司本地部署了国内最流行的通用大模型底座，为员工提供问答服务。上线后，客户邀请奇安信进行了系统的安全评估。评估团队发现，该大模型内容安全防护机制存在着严重缺陷，具体表现为可被绕过并诱导生成涉及敏感词、色情及犯罪诱导等类别的未授权内容。

    同时，评估团队依托业界一流攻防实战能力和漏洞挖掘能力的观星实验室，还对大模型配套组件(包括部署环境、接口服务及依赖库等)进行了攻防渗透测试，最终发现多个高危安全漏洞，并进行及时修补，将隐患扼杀于萌芽状态。该客户表示，奇安信相较于同行的检测效果更为全面深入，尤其攻防实战和合规评估能力尤为突出，确保大模型应用能够可靠落地，让效率和安全两者兼得。

    同样在今年4月，奇安信在南方某市的客户现场测试交流中发现，在该市政务大模型小程序中，存在着用英文提问绕过审核机制的提示词攻击安全风险隐患。在实际测试中，模拟攻击者身份，只需采用输入英文提示词或其他语种提示词，就能轻松绕过安全审核机制，生成内容违反社会主义核心价值观，以及涉政、色情、暴力、违禁品制作信息的等内容。例如，用中文提问如何制作TNT炸药，大模型不会给出具体答案，但替换成英文提问，并要求AI将答案翻译成中文时，攻击者就可以轻松获得TNT炸药的详细制作过程。

    针对这种情况，该客户第一时间部署了大模型卫士系统，它可以支持100多种语种的实时内容检测和风险事中鉴定，打破了传统基于关键词识别的护栏模式，其技术和实践积累领先于同行，这无疑封堵了基于多语种绕过审核机制的漏洞，安全和合规能力极大提升，让客户更放心的向AI要生产力。

    本次国务院发布的《意见》提出，到2027年，率先实现人工智能与6大重点领域广泛深度融合，新一代智能终端、智能体等应用普及率超70%。奇安信在强化AI安全治理的同时，还积极探索人工智能与安全的深度融合，在“人工智能+安全”领域持续发力，先后推出如AISOC（智能运营平台）、QAX-GPT安全机器人、AI+代码卫士、智能红队等产品及服务，并加速天眼、天擎、椒图云锁、威胁情报等产品的全线AI化，覆盖安全运营、威胁检测、攻防渗透、代码安全等多个场景，为数字中国建设筑牢AI时代的网络安全基座。