BDS国家工程研究中心发布国内首份《大语言模型提示注入攻击安全风险分析报告》
金融界 2023-07-06 12:58:51


(资料图)

伴随着大模型等人工智能产业的快速发展,新的安全风险挑战也接踵而至。今天上午,大数据协同安全技术国家工程研究中心(以下简称“BDS国家工程中心”)发布了国内首份《大语言模型提示注入攻击安全风险分析报告》(以下简称“报告”),为国内大模型安全发展提供整体指南。报告指出,提示注入攻击已成大模型安全威胁之首,建议从安全测评、安全防御、安全监测预警等方面,多维度提升大模型的安全性。

大语言模型引领创新浪潮席卷全球,国内迄今已有80余个大模型公开发布。在引领新一轮工业革命的同时,大模型的安全风险也引发广泛担忧。此前,BDS国家工程中心的AI安全实验室在承担“安全大脑国家新一代人工智能开放创新平台”研究中,对ChatGPT、BARD、Bing Chat等大模型产品进行了风险评估,发现主流厂商的相关服务全部存在提示注入攻击的安全风险。此外,AI安全实验室还在主流AI框架中发现200多个漏洞,影响超过40亿终端设备。5月30日,二十届中央国家安全委员会第一次会议上也明确提出,需“提升网络数据人工智能安全治理水平”。

目前大语言模型面临的风险类型包括提示注入攻击、对抗攻击、后门攻击、数据污染、软件漏洞、隐私滥用等多种风险。在这些安全威胁中,提示注入攻击因利用有害提示覆盖大语言模型的原始指令,具有极高危害性,也被全球性安全组织OWASP列为大语言模型十大安全威胁之首。

为推动行业采取有效防御措施,构建更加安全可信的大语言模型,BDS国家工程中心发布了国内首份《大语言模型提示注入攻击安全风险分析报告》。 报告面向大语言模型的提示注入攻击和防御技术展开研究,并通过构建了包含36000条的提示注入攻击验证数据的数据集,覆盖3类典型攻击方法和6类安全场景,用于对大语言模型的提示注入攻击风险测评。

测评结果显示,目前的大型语言模型普遍面临提示注入攻击安全风险,包括在自动问答系统中误导用户,或者通过对话系统中的输入操纵回答结果。该报告在大模型安全测评、安全防御、安全监测预警方面给出相关建议。在安全测评方面,需进行网络安全测评和内容安全测评,检测模型软件、插件及供应链等的安全漏洞,并评估模型是否产生有害、有偏见、侵权或与事实不符的内容,以提出整改建设方案。在安全防御方面,报告建议应构建多层次的协同防御体系,包括过滤和清洗训练数据、添加多样化的输入示例来提高模型鲁棒性,以及拦截各类注入攻击等措施来保护模型免受攻击。在安全监测预警方面,需建设大语言模型安全风险监测预警平台,包括构建威胁情报库和建立自动化预警系统,以实时追踪安全事件、攻击模式和漏洞信息,并及时发出预警。

基于报告形成测评能力,未来,BDS国家工程中心将通过“安全大脑国家新一代人工智能开放创新平台”,为国内大模型提供提示注入攻击风险安全测评,全面推动我国构建安全可信的人工智能。

本文源自:金融界资讯

BDS国家工程研究中心发布国内首份《大语言模型提示注入攻击安全风险分析报告》

2023-07-06 12:58:51

好消息!560万!驻马店又一轮消费券来了! 世界播报

2023-07-06 12:43:01

乡村故事|同江 大棚香瓜喜丰收

2023-07-06 11:37:39

环球最新:曙光数创:7月5日融资净买入64.85万元,连续3日累计净买入486.6万元

2023-07-06 11:24:22

苹果官方回收Mac Pro 24450元 比第三方便宜-天天微动态

2023-07-06 11:26:06

2023年夏季电动汽车测试 小鹏G9充电效率获第一-短讯

2023-07-06 11:11:00

全球观天下!算力概念股开盘反弹 拓维信息涨超7%

2023-07-06 10:43:03

中科电气:7月5日融券卖出金额59.19万元,占当日流出金额的0.71%

2023-07-06 10:30:51

“近视焦虑”的坎儿家长们该如何过?这些知识点了解一下_全球速递

2023-07-06 08:25:00

环球讯息:人类的足迹

2023-07-06 07:26:54

怎么样网上购物最安全(怎么样网上购物)_观热点

2023-07-06 06:26:25

太多的借口 太多的理由是什么歌 太多的借口 太多的理由 为了爱情我也背叛了所有

2023-07-06 03:18:07

头条焦点:股票行情快报:飞马国际(002210)7月5日主力资金净卖出89.51万元

2023-07-05 23:29:13

最新快讯!潍坊市潍城区:纾解企业难题 持续优化营商环境

2023-07-05 22:18:55

世界百事通!真实且触动人心

2023-07-05 21:10:24

全球焦点!高盛调整A股银行评级:下调农行工行兴业至卖出 上调邮储至买入

2023-07-05 20:02:21

小鸡宝宝考考你孕妇乘车时,需要系安全带吗

2023-07-05 18:17:42

全球视讯!首届“鄂尔多斯杯”创新创业大赛启动

2023-07-05 17:18:00

锰硅商品报价动态(2023-07-05)|即时焦点

2023-07-05 16:09:16

草根三人篮球赛点燃激情!

2023-07-05 14:56:24

四川市那家医院治疗乙肝较专业

2023-07-05 14:08:08

环球视讯!深圳女子查出急症有生命危险,没钱治疗想出院,医生把她留住

2023-07-05 13:13:50

这次“夜行调研”,为何对城市运行安全一盯再盯?

2023-07-05 12:07:30

治理欠薪,西藏为劳动者追回工资1.13亿元|每日热文

2023-07-05 11:03:03

华研精机7月5日快速反弹

2023-07-05 09:49:52

河北华西特种钢铁转让100%股权

2023-07-05 09:21:06

天天热消息:朝正往事_对于朝正往事简单介绍

2023-07-05 08:55:22

今日播报!尘埃落定!男篮迎利好,国内名记捅破窗户纸,周琦下家或三选一

2023-07-05 08:19:09

焦点快看:注册资本创记录!瑞众人寿565亿超越平安,营销员:“照单全收”华夏保险保单

2023-07-05 07:54:09

环球视讯!持续支持种业振兴 为守护“粮口袋”贡献金融力量

2023-07-05 07:05:56

实时焦点:苏丹西部多个部落武装宣布支持快速支援部队 冲突恐继续扩大

2023-07-05 05:13:57

盗窃团伙应该怎样量刑 全球视讯

2023-07-05 03:07:22

pdz文件怎么转成pdf-pdz文件怎么打开 全球独家

2023-07-05 01:10:47

射手播放器_关于射手播放器介绍

2023-07-04 22:00:56

今日热搜:愉悦宝贝游泳馆加盟(广州愉悦宝贝教育科技有限公司招商加盟信息)

2023-07-04 21:02:51

律师称3名逼男孩吃粪未成年监护人应担责,不少爱心人士捐款捐物|焦点滚动

2023-07-04 20:16:48

自己的东西,从工地往外运输,被保安拦下,他们有这个权利吗

2023-07-04 18:41:44

好吃还便宜!松江又一助餐点营业啦!

2023-07-04 16:42:02

每日热点:王者荣耀有效身份证和真实姓名_王者荣耀有效身份证号

2023-07-04 15:48:24

河北保定徐水区:稻田画“绘”农旅融合产业兴-快消息

2023-07-04 15:15:10

广西百菲乳业进行上市辅导备案-天天速递

2023-07-04 14:40:33

女子带娃在超市打碎一只碗被罚2千,女子笑着交完钱,老板慌了

2023-07-04 13:54:57

最低抑菌浓度(关于最低抑菌浓度介绍)

2023-07-04 13:54:26

秦皇岛:一次温暖而特别的扬帆之旅|全球速看

2023-07-04 12:59:08

李靓蕾发文原文感慨_梨花派诗人赵丽华

2023-07-04 12:04:43

新调整的“三有”野生动物名录公布 保护范围大幅扩大|天天速递

2023-07-04 11:49:21

每日观察!移植了5.0 V8机器的雷克萨斯IS300,这是给宝宝的见面礼?

2023-07-04 11:15:44

商汤跌7%创7个月来新低 成交额激增至近30亿港元_资讯推荐

2023-07-04 10:54:57

一朵花里的乡村振兴密码

2023-07-04 10:37:49

印尼P2P借贷金融科技市场份额在半年内增长28%

2023-07-04 10:07:23

“中字头”银行股上半年领涨 下半年估值仍有修复空间_消息

2023-07-04 10:05:39

全球快消息!烟头不落地,高新区以“绣花”功夫 “雕琢”洁净家园

2023-07-04 09:10:54

大盘延续反弹走势 市场反复仍需留意

2023-07-04 08:51:12

智能装备制造加速抢占行业新风口 引资本竞相关注 全球观点

2023-07-04 08:19:50

恒生科技指数涨超3%

2023-07-04 07:45:37

公安部打击电信网络诈骗犯罪 全球球精选

2023-07-04 06:16:09

观焦点:中科软股票目标价(中科软股票)

2023-07-04 05:10:21

焦点热门:240是多大码皮鞋_240是多大码

2023-07-04 03:11:35

涂磊资料 涂磊合集 每日信息

2023-07-04 01:07:57

俞敏洪亲自带队 东方甄选首次启动App直播_当前快讯

2023-07-03 22:51:48

外汇交易必读:最新外汇平台排名、跟单社区排行、出金被冻结怎么办理 今日热门

2023-07-03 22:05:02

【全球速看料】三五互联最新公告:控股孙公司与迈为股份签订《设备采购合同》

2023-07-03 21:21:00

JS环球生活(1691.HK)除权后迎来中长期价值发现契机-环球观焦点

2023-07-03 20:51:37

医保缴费基数什么意思_缴费基数什么意思 速看料

2023-07-03 20:02:32

俄防长绍伊古谈“瓦格纳事件”:叛乱并未影响部队行动-当前报道

2023-07-03 19:15:56

通讯!超变态私服网(超变态私服)

2023-07-03 18:43:43

55岁知名港星近况曝光!满脸油光出镜,自曝已减肥30斤仍显臃肿 全球报道

2023-07-03 18:10:05

兰生股份:公司将按照相关法律法规履行信息披露义务,业绩情况敬请关注公司后续公告

2023-07-03 17:42:29

贵州榕江:夏日“村超”足球之夜现场火爆-世界滚动

2023-07-03 17:07:57

今日郑州老凤祥黄金价格查询(2023年7月3日) 环球新视野

2023-07-03 16:48:47

朝圣的路(关于朝圣的路介绍)

2023-07-03 15:57:48

卡塔库栗的新娘_夏洛特卡塔库栗

2023-07-03 15:39:53

2023闽南理工学院招生计划 闽南理工学院招生简章

2023-07-03 15:07:58

最新消息:载530多名学子,广铁开出粤港澳大湾区暑期首趟旅游专列

2023-07-03 15:02:48

时讯:全面改革 美陆战队已开始10年转型

2023-07-03 14:07:13

高原反应海拔多少明显_高原反应海拔多少 海拔多少米会有高原反应 天天报道

2023-07-03 13:41:39

UTS MARKETING(06113):Exsim已承诺于2024年7月1日或之前偿还贷款

2023-07-03 13:02:50

2023年韶关市“南粤家政”高质量技能人才培养研修班举行

2023-07-03 12:40:57

《提灯》更新预告-参与暑期活动,赢传说装备宝箱、极品装备、契约蛋和高级宝石!

2023-07-03 11:49:55

每日视点!小伙生活受挫意欲轻生 民警连夜搜寻16小时及时救助劝解

2023-07-03 11:53:44

为何爱我者予我牢笼为何等待都徒劳无功是什么歌_环球最资讯

2023-07-03 11:03:48

PYP英语话剧表演 | 在舞台上闪闪发光

2023-07-03 10:59:05

兴业源于西安成立科技服务公司,经营范围含城市绿化管理|环球快看

2023-07-03 10:11:15

电动车闯红灯撞跑车被判赔几十万 电动车主负事故全部责任 焦点热讯

2023-07-03 09:52:16

天天消息!泰安举办残疾儿童康复救助项目业务培训

2023-07-03 09:52:43

【全球时快讯】汉江雅口航运枢纽主体工程完工 6台机组全部投产发电

2023-07-03 09:16:46

这里的警察最具“烟火气” 焦点精选

2023-07-03 08:49:43

守护“舌尖上的安全”!松江2023年食品安全宣传周系列活动启动

2023-07-03 08:05:42

DTA决定使用英国已经采用的产品 每日动态

2023-07-03 07:06:03

豫剧也能很“上头” 新要闻

2023-07-03 05:54:29

申诉状与再审申请书有何不同(申诉状与再审申请书)

2023-07-03 04:59:33

我是传奇2电影完整版西瓜影音_我是传奇2电影完整版-天天微头条

2023-07-02 23:00:52

全球新资讯:抽血检查孕酮要空腹吗?_抽血验孕酮需要空腹吗

2023-07-02 22:00:44

那金花和她的女婿42集免费(那金花和她的女婿)

2023-07-02 20:02:15

世界热消息:药物流产怎么算流干净呢_药物流产怎么算流干净

2023-07-02 17:56:30

【天天播资讯】传奇离队!切尔西大满贯队长提前解约,马竞免签阿斯皮利奎塔

2023-07-02 16:45:26

快资讯:广东:女子不满服务员叫阿姨拒绝买单,要求赔2000,老板无奈报警

2023-07-02 15:59:38

氛围音乐和后摇的区别_氛围音乐 天天新动态

2023-07-02 15:02:40

热消息:外籍男子猥亵女性被拘 外卖员猥亵外国女子被刑拘 基本情况讲解

2023-07-02 14:04:37

当前快报:毕业典礼演讲稿初中励志(毕业典礼演讲稿)

2023-07-02 12:49:59