英伟达联合推出超强多模态模型DAM

据报道，英伟达与加州大学伯克利分校、加州大学旧金山分校团队合作，推出了一款名为Describe Anything Model（DAM）的多模态模型。这款模型仅包含30亿参数，却能够精准描述图像和视频中的任何细节。
DAM模型专注于详细局部标注（DLC），即为特定区域生成详细且精确的描述。通过两大创新，研究人员在细节与上下文之间找到了平衡。其一是焦点提示，对目标区域进行高分辨率编码，就像给模型配备了一副“放大镜”，清晰捕捉到局部区域的细微特征。其二是局部视觉骨干网络，将精确定位的特定区域与上下文无缝整合。
在项目主页中，研究团队展示了更多精彩demo。用户通过点、框、涂鸦或掩码的交互，即可一键生成描述。例如，上传一张柯基在草地上奔跑的图片，选中柯基，DAM会生成一段详细的描述：“一只中等体型的狗，拥有浓密的红棕色毛发，腹部和腿部为白色。这只狗尾巴蓬松，耳朵尖立，戴着带有银色吊牌的红色项圈。它张着嘴露出牙齿，舌头伸在外面。狗呈奔跑姿势，前腿向前伸展，后腿向后伸直。”
DAM的技术架构确保了其在生成关键词、短语，甚至是多句式的复杂描述时，都能保持高精度和连贯性。此外，研究团队设计了基于半监督学习的流水线（DLC-SDP），通过两阶段策略构建大规模训练数据。
为了公平评估DLC模型，研究团队提出了全新基准DLC-Bench。通过LLM判断，检查描述的正确细节和错误缺失，而非简单对比文本。在DLC-Bench和其他7个涵盖图像与视频的基准测试中，DAM全面超越现有模型，树立了新的标杆。
DAM的优势主要有三大点：更详细、更准确；更少幻觉；多场景适用。其强大能力为众多应用场景打开了大门，未来诸如数据标注、医疗影像、内容创作等领域，都可以加速落地。
Long (Tony) Lian是UC伯克利电子工程与计算机科学博士研究生，他的研究主要聚焦于通过强化学习开发具备推理能力的大模型与视觉语言模型。此前，他曾在英伟达研究院Deep Imagination Research团队实习。Long (Tony) Lian本科毕业于UC伯克利计算机科学专业。

本文链接：http://www.28at.com/showinfo-27-147931-0.html英伟达联合推出超强多模态模型DAM

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 本田电动化新作：烨GT与P7双车齐发

下一篇： 和辉光电递表港交所，AMOLED面板业务表现亮眼