6 月 4 日消息，科技媒体 The Decoder 昨日（6 月 3 日）发布博文，报道称谷歌 DeepMind 团队携手布朗大学，为视频生成模型开发“力提示”（force prompting）技术，可以在无需 3D 模型或物理引擎的情况下，生成逼真的运动效果。
用户只需指定力的方向和强度，就能操控 AI 生成的视频内容，该技术支持全局力（如风吹过整个画面）和局部力（如特定点的敲击）两种力量。这些力以矢量场形式输入系统，随后被转化为自然流畅的运动。
研究团队基于 CogVideoX-5B-I2V 视频模型，加入 ControlNet 模块处理物理控制数据，信号通过 Transformer 架构生成视频，每段视频包含 49 帧，仅用 4 台 Nvidia A100 GPU 训练一天完成。
训练数据完全为合成：全局力数据包括 1.5 万段不同风力下旗帜飘动的视频；局部力数据则有 1.2 万段滚动球体和 1.1 万段花朵受冲击反应的视频。
在生成过程中，文本描述中在加入“风”或“气泡”等物理术语后，模型会自动建立正确的力与运动关系。训练样本结合文本提示、起始图像和物理力（全局力为完整矢量场，局部力为方向、位置和强度的动态信号），并通过随机化背景、光线和视角增加多样性。
尽管训练数据有限，模型展现出强大的泛化能力，能适应新物体、材质和场景，甚至掌握简单物理规则，如相同力下，轻物移动距离比重物远。
用户测试中，“力提示”技术在运动匹配度和真实感上优于纯文本或运动路径控制的基准模型，甚至超越依赖真实物理模拟的 PhysDreamer（仅在图像质量上稍逊）。然而，复杂场景中仍存缺陷，例如烟雾有时无视风力，人体手臂偶尔像布料般移动。
DeepMind 首席执行官 Demis Hassabis 近期表示，新一代 AI 视频模型（如 Veo 3）正逐步理解物理规则，不再局限于文本或图像处理，而是开始表征世界的物理结构。他认为这是通向更通用 AI 的关键一步，未来 AI 可能不再仅仅依赖数据，而是能在模拟环境中通过经验学习。
附上参考地址
Force Prompting: Video Generation Models Can Learn and Generalize Physics-based Control Signals论文
Force Prompting: Video Generation Models Can Learn and Generalize Physics-based Control SignalsGitHub页面
本文链接：http://www.28at.com/showinfo-45-13425-0.html无需 3D 模型 物理引擎：谷歌 DeepMind 联合开发力提示技术，AI 生成视频可模拟真实运动
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
