当前位置：首页 > 元宇宙 > AI

15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

来源：责编：时间：2024-06-27 17:13:01 108观看

导读 6 月 25 日消息，最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。这项研究标题为

6 月 25 日消息，最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。

这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。

研究人员说，大型视觉语言模型（LVLM）在接收多模态输入时很难识别 SIUO 类型的安全问题，在提供安全响应方面也遇到困难。

在接受测试的 15 个 LVLM 中，只有 GPT-4v（53.29%）、GPT-4o（50.9%）和 Gemini 1.5（52.1%）的得分高于 50%。

研究人员表示为了解决这个问题，需要开发 LVLM，以便将所有模式的见解结合起来，形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识，如文化敏感性、道德考虑因素和安全隐患等。

研究人员还指出，LVLMs 需要能够通过对图像和文本信息的综合推理，理解用户的意图，即使文本中没有明确说明。

附上参考地址

Cross-Modality Safety Alignment

SIUO

本文链接：http://www.28at.com/showinfo-45-4815-0.html15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： OpenAI 将采取额外措施，停止其不支持的国家和地区的 API 使用

下一篇： Meta 将真实照片标记为“AI 生成”，引发多名摄影师不满

标签：

热门焦点

中国银保监管委提示：谨慎投资，勿做接盘侠

中国银保监管委，发布一则风险提示，内容围绕防范以“元宇宙”名义进行的非法集资风险。原文如下：近期，一些不法分子蹭热点，以“元宇宙投资项目”“元宇宙链游”等名
韩国建立元宇宙生态系统，智度股份发布元宇宙社区Meta彼岸

财联社|区块链日报28日讯今日《元宇宙新鲜事》有：杭州第十三次党代会报告指出抓紧布局元宇宙等未来产业；韩国科学信息通信技术部宣布投资1.85亿美元建立元宇宙
与元宇宙美少女艺术家的对话

我最近宣布了我自己的NFT项目，这是我已经工作了几个月的事情。由于我之前只是一个收藏家，拥有自己的项目真的给了我一个新的视角来看待这个领域。我一直欢迎人们
韩国流行音乐巨头SM与Binance达成NFT合作伙伴关系

韩国流行音乐巨头 SM Entertainment 与加密货币交易所 Binance（币安）达成“Play2Create”NFT 合作伙伴关系。SM 娱乐一直在投资打造元宇宙该公司于 2020 年 10
利用元宇宙平台10天收入160万，风口还是虎口？

美国Meta平台有限公司，也就是原来的脸书公司，9日宣布，公司旗下的虚拟现实应用《地平线世界》正式向美国和加拿大的18岁以上人群开放。这也是目前Meta推出的最具象
Steam 禁止NFT和加密货币原因曝光

近日，Valve（V社）总裁Gabe Newell接受PC Gamer采访时解释了该平台禁止NFT和加密货币的原因。早在2021年10月18日，PC Gamer就报道Steam推出的新规：使用区块链或允许交
NFT高玩必备：NFT分析工具大盘点

NFT市场的火热让越来越多的投资者投身其中，但当前的 NFT 生态系统存在几个问题却困扰了大多数人，如难以准确评估 NFT 项目的资产价格、缺乏 NFT 市场动态信息、
虚拟人的3大纪律和6种品牌孵化模式

作者：陈格雷（老小格）及团队虚拟人很热，我们最近广泛收集和研究了、各种消费品牌企业在虚拟人开发上的一些主要特点，整理出6种最主要的品牌虚拟人模式，后面一一介绍。
爆发在即的Layer2赛道百花齐放，谁将是领跑者？

还记得几年前最早我们提起ETH扩容，首先想到就是Layer2，而Layer2里，首先想到的是闪电网络，状态通道，Plasma…然后折腾了几年，发现并没有什么用，许多项目方和资本也等不