当前位置：首页 > 元宇宙 > AI

苹果放大招！新模型Ferret-UI将颠覆AI交互？

来源：责编：时间：2024-04-11 17:29:24 205观看

导读4月11日消息，苹果近日发布了最新的多模态大语言模型Ferret-UI，该模型专为理解和与移动UI屏幕交互而设计。Ferret-UI在所有基本UI任务上的表现均超越了GPT-4V，显示出了卓越的理解和交互能力。据ITBEAR科技资讯了解，Ferret-

4月11日消息，苹果近日发布了最新的多模态大语言模型Ferret-UI，该模型专为理解和与移动UI屏幕交互而设计。Ferret-UI在所有基本UI任务上的表现均超越了GPT-4V，显示出了卓越的理解和交互能力。

据ITBEAR科技资讯了解，Ferret-UI作为一种新的多模态大型语言模型(MLLM)，具备指向、定位和推理等多重功能，能够有效理解和交互移动UI屏幕上的信息。它通过灵活的输入格式和基础任务，在移动用户界面屏幕上执行各种引用任务。Ferret-UI的一个显著特点是“任何分辨率”技术，通过放大细节来解决UI屏幕中小型对象的识别问题，从而提升了对UI元素的理解精度。

此外，Ferret-UI不仅能够在详细描述和感知对话中讨论视觉元素，还能在交互对话中提出目标导向的动作，并通过函数推理来推断屏幕的整体功能。研究人员为了增强模型的推理能力，特别编译了用于高级任务的数据集，包括详细描述、感知/交互对话和函数推理等方面的数据。

在基础任务性能的比较上，Ferret-UI展现出了对UI屏幕的出色理解能力以及执行开放式指令的能力。这项技术的掌握使得AI能够像人类一样进行交互，预示着苹果未来可能将改变MLLM的游戏规则。

通过独特的模型架构和数据集训练方法，Ferret-UI实现了对移动UI屏幕的深入理解和有效交互，为用户带来了更为智能和便捷的操作体验。这一技术的突破，无疑将推动科技行业向更智能化、人性化的方向发展。

标签：苹果

举报 0收藏 0打赏 0评论 0

更多>同类资讯

Meta发布新一代MTIA芯片：AI性能大幅提升

4月11日消息，Meta Platforms于近日发布了其专为AI工作负载设计的定制芯片系列——训练与推理加速器项目(MTIA)的最新版本。据Meta官方介绍，新一代MTIA相较于初代，在性能上有了显著的提升，这种提升特别有助于加强内容排名和推荐广告模型的效果。新

04-11

谷歌发布CodeGemma AI模型，打造顶级代码辅助利器

4月10日消息，谷歌公司近日发布了CodeGemma先进大语言模型(LLMs)，旨在为全球开发人员提供高质量的代码辅助工具，专注于生成代码、理解和追踪指令等功能。CodeGemma作为Gemma模型的开放访问系列，针对代码开发场景进行了优化和微调。该套件包含三种不

04-10

Meta全新Llama 3即将问世，AI时代再进一步？

4月10日消息，近日，知名科技媒体theinformation透露，Meta公司正计划在下周预告两款新的Llama 3 AI模型，此举旨在为今年夏季推出的“完整形态”Llama 3做铺垫。在本周二于伦敦举办的一场活动中，Meta公司确认将在下个月之前发布与Llama 3相关的模型

04-10

OpenAI与Meta重磅！新AI模型将颠覆你的认知？

4月10日消息，近日，人工智能领域的两大巨头OpenAI和Meta宣布，他们即将推出全新的人工智能模型，这些模型不仅将具备强大的推理和规划能力，更被认为是实现超人认知的关键步骤。这些新型模型的问世，无疑将为生成式人工智能应用注入强大的动力。OpenA

04-10

2030年AI将吞噬1/4电网？雷内·哈斯发出警告！

4月10日消息，近日，Arm公司CEO雷内·哈斯发出警告，指出随着人工智能技术的不断进步，如果我们不致力于提高能效，AI数据中心的电力消耗将会急剧攀升。据哈斯透露，目前美国AI数据中心的耗电量已经占到了整个电网的4%，然而，这一比例预计到2030年可

04-10

墨芯融资数亿，AI算力服务即将颠覆市场？！

4月10日消息，墨芯人工智能公司，这家以稀疏计算技术为专攻的创新型企业，近日连续完成了A+轮和B轮各数亿元的融资。这次融资的成功，无疑为墨芯注入了强大的动力，标志着市场对其独特技术和商业模式的高度认可。墨芯人工智能以其差异化的稀疏计算技术

04-10

谷歌AI应用 Google Vids亮相：PPT技能通用，视频制作与多人协作一站式搞定

4月10日消息，随着科技的不断发展，办公方式也在逐步变革。过去，文档、电子表格和幻灯片等传统办公工具一直占据着主导地位，然而现在，谷歌却带来了一款全新的应用程序——Vids，旨在让用户制作协作可共享的视频变得更加轻松便捷。Vids是一款融合了

04-10

贾扬清研发浏览器插件Elmo：10秒获取YouTube视频要点

4月10日消息，前阿里首席AI科学家贾扬清近日在推特上向大家介绍了一款名为Elmo的插件。此款插件能在短短10秒内总结Google Next主题演讲，将其精炼为一句话概括、摘要以及主要观点。Elmo是由贾扬清去年创立的AI公司Lepton AI精心打造的。据贾扬清透露

04-10

OpenAI推出视觉增强版GPT-4 Turbo模型，简化开发流程

4月10日消息，OpenAI今日声明，已向开发者广泛开放了其全新的GPT-4 Turbo with Vision模型，这一模型在继承了GPT-4 Turbo系列的特点的同时，首次引入了视觉理解能力。这一视觉增强的GPT-4 Turbo模型，不仅维持了原系列128,000个token的窗口大小和截止

04-10

全球独角兽企业数量再创新高！你猜哪个领域最疯狂？

4月9日消息，最新数据显示，全球独角兽企业数量再创新高，达到接近1500家。这些企业中，金融科技、软件服务和人工智能等领域的独角兽企业占据了三分之一的比例，显示了这些领域的强劲发展态势。中国作为全球独角兽企业的重要阵地之一，共拥有340家独

04-09

谁在偷懒？OpenAI的ChatGPT竟然变得越来越懒散？

4月9日消息，尽管OpenAI创始人Sam Altman已经多次透露了与GPT-5相关的消息，但与OpenAI创始人的野心相比，眼下最棘手的问题是ChatGPT的一群忠实用户们正在发现GPT-4正在变得越来越「懒」。所谓的「变懒」指的是ChatGPT的个人用户体验。近期，在OpenAI

04-09

谷歌新研究冲击缩放定律！模型规模真的关键吗？

4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是“力大砖飞”。尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。然而，谷歌

04-09

联发科重磅推出“达哥”AI服务平台，支持顶尖繁体中文大模型MR BreeXe

4月9日消息，联发科在今日盛大举行的生成式 AI 论坛中，正式发布了其全新的生成式AI服务平台——MediaTek DaVinci，该平台亦被亲切地称为“联发科技达哥”。自其问世以来，已吸引了超过40家厂商踊跃加入其生态系统，共同探索AI技术的新边界。MediaTek

04-09

数字永生！AI“复活”产品火爆上线，你会为逝去的亲人尝试吗？

4月9日消息，清明节前，电商平台迎来了一股独特的潮流，一位名为庞立的人工智能专业研究生在这个时机注册了一家店铺，专门提供AI“复活”服务。据庞立透露，今年大型模型应用与数字人训练平台技术都有所升级，结合最近AI“复活”话题的火爆，他决定进

04-09

超越GPT-3.5？联发科推出450亿参数AI模型！

4月9日消息，联发科近日推出了全新的生成式AI服务平台——MediaTek DaVinci，该平台也被业界亲切地称为“联发科技达哥”。据悉，该平台自推出以来，已成功吸引了20余家高科技厂商、10余家消费品牌、6家金融业机构、3家电信企业以及5家传统产业企业加

04-09

点击查看更多 +

全站最新

Aqara再度斩获胡润全球独角兽榜，连续三年上榜

雷神预热新款增程式AI全能本aibook 15，五月震撼上市

爆料！苹果新款iPad或将静默上线，不举办发布会？！

完全替换F5，深信服应用交付AD如何做到？

揭秘东风本田e:NS2：年轻、动感与纯电的完美结合

兰博基尼Huracan STJ限量版发布：致敬经典，赛道性能再升级

热门内容

华为云携手乐聚机器人，共探“盘古大模型+夸父人形机器人”新应用场景
华为云携手贵安新区，共筑全球领先智算高地
谷歌借助AI突破：提前7天预测洪灾，全球80国将受益
谷歌发布CodeGemma AI模型，打造顶级代码辅助利器
谷歌DeepMind推出SIMA模型：打造更贴近人类的游戏智能队友
Cerebras发布第三代芯片WSE-3：性能翻倍，助力大模型训练
微软或与OpenAI联手，斥资千亿美元打造“星际之门”AI超算
音乐界的ChatGPT？天工SkyMusic邀您体验AI音乐创作
英美联手打造AI安全新标杆，科学合作伙伴关系正式建立
WPS推出AI会员服务，月费25元起，开启AI办公新纪元
微软Copilot全面升级至GPT-4 Turbo模型，提升编码体验
百度文心一言推出新功能，秒速定制你的专属AI声音
马斯克再谈AI风险：利大于弊仍值得冒险
OpenAI疑似泄露GPT-4.5 Turbo模型信息
谷歌AI应用 Google Vids亮相：PPT技能通用，视频制作与多人协作一站式搞定

本栏最新

Meta发布新一代MTIA芯片：AI性能大幅提升

Meta全新Llama 3即将问世，AI时代再进一步？

OpenAI与Meta重磅！新AI模型将颠覆你的认知？

2030年AI将吞噬1/4电网？雷内·哈斯发出警告！

墨芯融资数亿，AI算力服务即将颠覆市场？！

谷歌AI应用 Google Vids亮相：PPT技能通用，视频制作与多人协作一站式搞定

本文链接：http://www.28at.com/showinfo-45-5129-0.html苹果放大招！新模型Ferret-UI将颠覆AI交互？

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： LLaMA 3来了！Meta新一代大模型将掀起AI新革命？

下一篇： Meta发布新一代MTIA芯片：AI性能大幅提升

标签：

热门焦点

元娲2.7上线：虚拟人视频制作速度疯狂翻倍！

来源：清元宇宙炎炎夏日努力工作的Q仔的电脑都冒烟儿啦～今天要给大家介绍两个新小伙伴——小元和小娲，他们将给大家解读元娲2.7版本重磅更新内容～大家掌声欢迎～～～本次更
刷完一场元宇宙世界杯音乐盛典，我爽了

作者|刘小土编辑|李春晖你有多久没完整追过一场音乐盛典了？三刷都不嫌多的那种。按照惯例，每逢年底，直播、长短视频、音乐平台便会抢着端上来几场音乐盛典。搁以
关于年度热词NFT，除了钱，我们还可以聊点啥？

每到年底，社交媒体总少不了年度盘点、年度总结、年度热词。如果让你来总结2021年度热词，你会想到什么？柯林斯词典将年度热词颁给了“NFT”，而其理由是：一个缩写词的
搭上“谷爱凌”，“柳夜熙们”站上风口？

作者：张琳曹杨从“永不塌房”的艺人到频频亮相北京冬奥会，作为元宇宙细分赛道之一的虚拟数字人又火了一把。2月7日，即谷爱凌摘得冬奥会自由式滑雪大跳台金牌的
中国银保监管委提示：谨慎投资，勿做接盘侠

中国银保监管委，发布一则风险提示，内容围绕防范以“元宇宙”名义进行的非法集资风险。原文如下：近期，一些不法分子蹭热点，以“元宇宙投资项目”“元宇宙链游”等名
韩国建立元宇宙生态系统，智度股份发布元宇宙社区Meta彼岸

财联社|区块链日报28日讯今日《元宇宙新鲜事》有：杭州第十三次党代会报告指出抓紧布局元宇宙等未来产业；韩国科学信息通信技术部宣布投资1.85亿美元建立元宇宙
Meta 呼吁行业合作建立元宇宙网络基础设施

Facebook 的母公司 Meta呼吁，建立必要的全球合作的基础设施，以支持其蓬勃发展的元宇宙野心。“元宇宙”成为 2021 年的主要流行语之一，这在很大程度上是由 Facebo
头像类NFTs的统治能持续多久？

在过去的一两年里，NFTs在互联网世界中掀起了一场风暴。今天，当我们想到NFTs时，我们主要想到的是那些充斥着我们的社交媒体屏幕的数字卡通--无聊猿、punks 和介于
3月份值得关注的5个NFT项目

2021年，我们见证了一个新的创造者经济的诞生。它是在区块链上诞生的。自从NFT成为流行文化的中心舞台以来，有些艺术家们已经成为了NFT的超级明星，在几个月的时间

首页

元宇宙

NFT

区块链

虚拟人

AR/VR

AI

元宇宙百科

苹果放大招！新模型Ferret-UI将颠覆AI交互？

元娲2.7上线：虚拟人视频制作速度疯狂翻倍！

刷完一场元宇宙世界杯音乐盛典，我爽了

关于年度热词NFT，除了钱，我们还可以聊点啥？

搭上“谷爱凌”，“柳夜熙们”站上风口？

中国银保监管委提示：谨慎投资，勿做接盘侠

韩国建立元宇宙生态系统，智度股份发布元宇宙社区Meta彼岸

Meta 呼吁行业合作建立元宇宙网络基础设施

头像类NFTs的统治能持续多久？

3月份值得关注的5个NFT项目

最新推荐

元娲2.7上线：虚拟人视频制作速度疯狂翻倍！

虚拟人再升级，企业可以解放双手了？

字节、腾讯、网易鏖战元宇宙背后，大厂究竟在争夺什么？

“虚拟人”角斗场，基于“硬实力”下的人性平衡法则？

独立故事片“Calladita”将使用 NFT 筹集资金

2022年元宇宙系列报告：UGC当道，XR带来新交互体验

猜你喜欢

热门推荐

相关资讯