时间:2025-09-23 作者:奇安信集团
9月23日,第三届网络空间安全(天津)论坛开幕式及主论坛在天津隆重举行。公安部、中央网信办以及天津市委、市政府有关负责同志出席开幕式并致辞。院士专家、知名学者和科研院所、金融机构、高校以及国内外知名企业代表齐聚一堂,深入探讨网络空间安全形势,广泛分享网络安全治理理念,共同商讨网络安全应对策略。美国国家人工智能科学院院士李挥,国际刑警组织网络犯罪局局长尼尔·杰顿、尼日利亚国家信息技术发展局局长卡希夫·伊努瓦·阿卜杜拉希,全国政协委员、全国工商联副主席、奇安信集团董事长齐向东,俄罗斯卡巴斯基实验室股份公司全球高级威胁研究分析团队亚太及中东负责人谢尔盖·洛日金做主题演讲。
齐向东在“重塑内生安全体系 升维AI时代安全力”主题演讲中,从风险防范、能力升级、体系重塑三个维度,结合奇安信的实践经验,为应对AI时代网络安全挑战提供了清晰路径。
以下为演讲全文:
很荣幸再次来到天津,参加第三届网络空间安全论坛!
当前,AI技术正以“超人化”态势重塑各行各业,大模型、智能体不仅成为生产力升级的“新引擎”,更带来了前所未有的安全挑战。今天,我以“重塑内生安全体系,升维AI时代安全力”为题,从风险防范、能力升级、体系重塑三个维度,分享一些奇安信的思考与实践。
01
聚焦“框数人链”,防范好AI“超人”安全问题
什么是“超人”,拥有超级权限、无所不能的人就是“超人”,AI大模型、智能体就是这样一个AI“超人”。美国电影中有这样的情节,原本象征正义且无所不能的超人,因为某种原因黑化就变成了坏人,结果就是能力越大,破坏力也越大。放到AI浪潮席卷全球的今天,也是如此。
AI“超人”通过调用数据、系统、设备获取超级能力,我们让它替代多少个人去工作,就要赋予它多少个人的数据权限。当我们把这个AI“超人”引入到数字化、智能化的业务场景当中,它就会彻底突破我们构建的基于人的角色的权限管理和安全措施,一旦这个“超人”被劫持、被攻击,会牵一发而动全身,干扰数据安全、业务安全、发展安全。
不接纳AI超人面临的是被时代淘汰,接纳AI超人就要应对好时代给的安全挑战。奇安信结合近百个行业场景的攻防实战,发现防范AI“超人”安全风险,核心是要管住“框、数、人、链”四个关键环节。
一是管住“框”:守住AI自身安全的“第一道门”
这里的“框”,指的是对话框、传感器等AI“超人”的交互入口。当前,大量AI应用存在“重功能、轻安全”的问题:
不安全的插件设计、不安全的输出处理、不安全的智能体设计,都会让提示词注入、越狱攻击、对抗样本攻击等手段有机可乘,直接导致AI输出违规内容、产生“AI幻觉”,甚至泄露敏感信息。前段时间我们测试了一个主流思考模型,在200多个测试用例当中,有40多个测试用例存在越狱问题,攻击者只需通过精心设计的提问话术,就能导致大模型输出敏感数据,以及违反法律法规的内容。
二是管住“数”:攥紧AI时代的“核心资产”
数据是AI的“燃料”,而AI应用的深化,让数据安全进入了“小数据决定大价值”的新阶段。过去,企业数据分散在各业务系统,碎片化且价值密度低,即便出现泄露,影响范围有限;现在,为了最大化AI效能,头部企业纷纷将分散的规划图、设计图、生产工艺、客户画像等数据“去粗取精”,形成高价值、集中化的“精华小数据”——这些数据要么用于训练微调模型,要么直接为智能体提供决策支撑,一旦泄露,企业的核心竞争力会瞬间“归零”。
三是管住“人”:防范安全链条的“最大变量”
这个“人”指的是“内鬼”。“内鬼”始终是网络安全的“心腹之患”,而AI“超人”的出现,让这一风险被无限放大。 “内鬼”既可以是主动作恶的内部人员,也可以是被冒用的特权账号、被远控的数智设备。
过去,防“内鬼”重点防“三员”,管理员、技术员、操作员;AI时代,要防“四员”,数据管理员、数据标注员、算法工程师、模型运维工程师。他们手握AI训练数据的访问权、模型参数的调整权等等高级权限,一旦被收买或利用,可能通过数据投毒、算力投毒、模型后门等方式让安全防线从内部被瓦解。
四是管住“链”:避免安全风险的“链式爆炸”
AI“超人”无法独立存在,必须依托生态链、供应链才能运转,而这条“链”上的任何一个薄弱环节,都可能引发网络攻击“大爆炸”。从生态链看,大模型、智能体普遍依托云环境存在,像K8s平台等,这些基础环境里处处都是攻击者的“突破口”,攻击者可以通过漏洞利用、外部渗透、提权、投毒等方式间接干扰和控制AI“超人”;从供应链来看,绝大多数单位的大模型、智能体都是委托第三方开发运维的,后门、漏洞问题突出。因此必须管好两个“链”,才能确保上下游、全环节的安全。
02
直面AI“超人”安全问题,首先要重塑体系突破“三看”瓶颈
AI大模型、智能体的广泛应用,让网络安全暴露面激增,衍生出新风险的同时,也让传统网络攻击手段不断翻新。“十四五”期间,广大政企机构在安全防护、安全体系建设方面下了不少功夫,普遍有了安全底子,但体系价值还没能够被真正释放。而AI“超人”不断冲击现有安全手段,要求我们加快重塑安全体系,突破“三看”瓶颈。
首先要看见“盲区”,扫除潜在隐患
当前,多数政企的安全设备来自不同厂商——防火墙是A厂的,威胁检测是B厂的,数据保护是C厂的,这种网络安全建设“万家造”的情况,导致处处都是防护“盲区”,看不见资产重点、防护重点。安全体系里到处都是“漏洞”。
比如,很多企业重视服务器、数据库的安全,却忽视了AI大模型的API接口、老旧设备的接入点——而这些“被遗忘的角落”,恰恰是攻击者的首选目标。
其次要看见异常,洞察行为风险
不少政企机构在体系建设上还存在“安全归安全、业务归业务”的“两张皮”现象:安全团队不懂业务场景,只能通过通用规则监测攻击;业务团队不懂安全风险,对日常操作中的异常行为习以为常。
比如,AI数据标注员、操作员为了提高效率,经常将企业重要数据向外包或合作伙伴共享,业务团队觉得这是“工作便利”,安全团队却因不了解标注业务的流程,无法识别这是“高危操作”,给网络安全埋下重大隐患。
最后要看见实效,构筑正向反馈
很多政企机构向我反馈,安全体系建设经常与实际防护有效性脱节,导致体系建与不建一个样,难以应对愈发严峻的实战挑战。这本质上是“重建设、轻运营”的模式导致。
很多机构把安全体系建设等同于“买设备、搭平台”,却忽视了后续的运营和升级。一套投入上千万元的安全系统,若没有专业团队持续优化规则、更新威胁情报,用不了半年就会沦为“摆设”。
如何能看见实效?核心是要建立构建高效通畅、螺旋上升的反馈回路,通过持续的安全运营,让每一步的改进,迅速反馈到效率和效果的提升,将安全投入转化成更显性的防护能力,才能AI大模型、智能体的高级威胁攻击。
03
重塑内生安全体系,构建AI时代的主动免疫能力
面对“四管”风险和“三看”瓶颈,不能再用“补丁式”的思维对体系修修补补,而要重塑与AI时代适配的内生安全体系,让安全能力像人体免疫系统一样,内嵌于业务系统、数据流转、AI应用的全流程,实现“主动防御、智能响应”。构建AI时代的主动免疫力,具体要分四步走。
第一是抓落地,部署大模型卫士,筑牢场景化防护屏障
针对AI大模型的安全挑战,我们构建了“管控-检测-溯源”三位一体防护框架,并推出大模型卫士系列产品。它支持轻量化部署,无需改造大模型,即可轻松接入企业现有AI应用,显著降低企业部署成本。
目前,奇安信大模型卫士已经通过了公安部三所权威认证,在超过20个行业的60余家客户完成了实验局验证,能有效防御提示词注入、模型对抗攻击、模型窃取、数据泄露等多种新型风险,真正实现大模型应用的"管得住、看得清、防得稳"。
第二是向左移,强化大模型全生命周期的安全评估,前置风险防控,把安全风险“扼杀在源头”
传统安全“重事后处置、轻事前预防”,而AI时代的安全必须“向左移”——将安全评估、风险管控嵌入AI模型的研发、部署、运维全生命周期:
开发阶段,通过代码审计、代码修复确保模型安全性;在上线前,通过实战攻防演练检验应用安全性;
在运行中,持续监测模型的输出异常、数据泄露风险确保业务安全性。
今年3月,国内某头部运营商邀请奇安信对其通用大模型底座进行安全评估。奇安信不仅发现该大模型的内容安全防护机制存在着严重缺陷,同时还进行了攻防渗透测试,最终发现了多个高危安全漏洞,并进行及时修补,将隐患扼杀于萌芽状态。
第三是促升级,通过AI全面赋能安全防护,打造安全“技术矩阵”,实现质效双提升
奇安信坚持“AI驱动安全”理念,以QGPT安全大模型为基础,构建了若干安全任务智能体,涵盖安全运营、安全检测、数据安全、代码安全、安全攻防、漏洞挖掘、威胁情报分析、取证分析等等各种各样的应用场景。
目前,我们的AISOC已在20多个行业落地,帮助客户迈入智能运营时代。某知名跨国车企通过AISOC,告警识别准确率达到了93.1%,比人工提升2.7倍,威胁定性时间从小时级缩短到秒级,实现了质效双升。
第四是强联动,建设“三级联动”的安全运营体系,凝聚防御合力
面对AI时代的复杂威胁,安全建设要起效,必须形成安全合力,构建三级联动的安全运营体系势在必行。三级联动,分为组织三级联动、功能三级联动和能力三级联动,三级之间环环相扣、无缝协作、形成有机整体。
从组织看,分为省、市、区县由上到下的三级联动;从功能看,是研判指挥、态势感知和安全运营三级联动;
从能力上看,是低位、中位、高位能力“三位一体”。目前,奇安信在国内很多地市、大型央企、国企、重要基础设施、大型工厂中开展了三级联动的网络安全运营实践,防护效果都很好。
站在AI潮头,奇安信期待充分发挥自身的体系建设优势和防护经验,与各位一道筑牢网络空间安全的“铜墙铁壁”,为AI时代网络安全能力的新升维贡献力量!
95015服务热线
微信公众号