企业动态

    2024年3月1日，奇安信集团正式对外发布AI安全整体应对方案，包括AI安全框架，以及基于安全框架下的AI安全解决方案、AI评估服务和安全检测工具等。

    这是奇安信继去年发布QAX-GPT安全机器人、大模型卫士之后，在AI领域的又一次重要战略布局。它可以帮助企业看清AI安全全貌，提前洞察风险并采取应对措施，为中国企业抢占人工智能战略制高点筑牢安全底座。

    01    人工智能加速落地应用，安全风险亟待应对

    在当前快速发展的数字化时代，人工智能技术在国家的大力支持下，正在引领着科技创新浪潮，并深刻地改变着人类的生产、生活甚至思维方式，被誉为下一个生产力前沿。IDC调研显示，67%的中国企业已经开始探索AIGC在企业内的应用机会或进行相关资金投入。IDC预测，2026年中国AI大模型市场规模将达到211亿美元，人工智能将进入大规模落地应用关键期。

    然而，随着AI技术在各领域的广泛应用，更多新的、更复杂的安全问题也逐渐凸显，尤其是大语言模型（LLM）的快速发展，带来了数据安全、模型安全，以及内容安全、AI伦理问题等各类风险点。这些安全风险不仅影响AI技术的效果，还可能为用户和企业造成经济损失、声誉影响等。然而，目前行业内还未形成成熟完善的解决方案及产品，大部分属于探索阶段。如何发现AI安全隐患，保护AI安全，已经成为国家及全行业当前亟待解决的问题。

    02    涵盖框架、解决方案、服务和工具，提供AI全周期防护

    为了更好地帮助企业应对AI安全风险，奇安信依托在框架规划、安全攻防、安全服务、解决方案等方面的积累，正式对外发布AI安全框架和解决方案，基于安全框架下的AI评估服务，以及一款专门针对大语言模型的安全检测评估工具，帮助企业筑牢AI安全防线，更快、更好地利用AI释放生产力。

    图 AI安全框架

    其中，AI安全框架的核心是在框架级别指导模型构建全生命周期的安全体系规划，以确保企业应用人工智能的安全性和可靠性。它基于真实世界攻击案例(Real AI Attack Case study)，人工智能红队攻防对抗(Red Teaming)，以及人工智能安全研究(AI Threat Research) 攻击者技战术的综合研究成果。它总结和设计的与之对应的防御体系框架和知识库，不仅在框架级别指导模型构建全生命周期的安全体系规划，也在落地层面提出了具体的防护措施的建议。

    AI安全框架定义了模型构建到运行的各个生命周期，分别为数据管理，扩展-微调，模型验证，扩展-RAG，模型部署，模型运行，以及各个阶段攻击者的技战术。而知识库则细化到框架中每个技战术的解读，攻击实例分析，关联技战术，以及具体的安全防护措施。

    AI安全解决方案，是覆盖安全框架中模型生命周期的安全防护与检测方案，涵盖数据安全、模型风险检测与评估、模型应用全场景防护。它针对大模型训练、微调、验证、部署和运行过程模型安全属性不清等问题，通过对之前发布的大模型卫士和奇安天盾进行安全能力升级，再搭配本次发布的AI安全检测工具，形成覆盖全周期的安全检测与防护能力，能够做到训练数据细粒度管理、恶意访问动态阻断、异常数据即时识别、敏感数据防泄漏，保障模型训练数据安全可靠。最终让部署AI的企业做到合规情况心中有数，业务风险防患于未然。

    而AI安全评估服务为企业在构建大模型时提前进行风险评估。它涵盖了提示词注入、不安全的输出处理、训练数据中毒、拒绝服务模型、供应链漏洞、敏感信息泄露、不安全的插件设计、过度代理、越狱、泄露回放、雪球攻击、目标劫持、幻觉问题、毒性生成、数据泄露、金丝雀词泄露及数据重构共17类大模型特有的风险评估检测项。

    图 AI安全评估服务17类检测细项

    客户使用该服务后，能够在不安全的AI模型生成内容被用户看到之前对其进行风险检测，以便安全研究人员对模型的安全性进行修改优化，从而及时收敛风险，确保大模型生成的回复内容符合《生成式人工智能服务管理暂行办法》等各类法律法规。

    AI安全评估工具，作为一款专门针对大语言模型的安全检测评估系统，确保大模型在最后推向市场前进行一次安全“质检”。首先，模型开发企业使用该系统后，可在开发LLM相关的产品和服务时客观地进行风险识别，构建更加安全、可靠、稳定的大模型应用；其次，部分企业在选用开源大模型或者购买第三方大模型后，通过使用AI安全评估工具，可对模型安全进行有效评估，避免真正进入生产环境后出现各类安全问题。

    图 AI安全评估系统对模型智能安全评分的界面

    奇安信刚刚发布的《2024年人工智能安全报告》指出，AI与大语言模型本身伴随着安全风险，业内对潜在影响的研究与重视程度仍远远不足。

    奇安信安全专家指出，无论监管机构、安全行业，还是政企机构，都需要积极拥抱潜力巨大的AI技术与大模型，同时审慎评估其影响的不确定性，包括及时部署AI安全框架、解决方案，以及相关的评估服务和测试工具等，确保监管与治理及时跟进， 筑牢AI安全基石。