9 月 17 日消息，腾讯混元今晚通过官方公众号发文介绍，其生图团队在 9 月 10 日发布了新研究 SRPO，主要提供文生图模型的强化算法，解决开源文生图模型 Flux 的皮肤质感“过油”问题，让人像真实感“提升 3 倍”。
根据介绍，该项目在发布后登上了 Hugging Face 热度榜榜首，社区量化版本下载量达 25K，Github Star 超过了 700。
当前，Flux 是开源文生图社区中最广泛使用的基础模型。针对 Flux.dev.1 模型生成的人物质感“过油”的问题，SRPO（全称为 Semantic Relative Preference Optimization，语义相对偏好优化）的解决手段包括在线调整奖励偏好、优化早期生成轨迹等。
官方揭秘了背后的技术：腾讯混元团队联合香港中文大学（深圳）和清华大学近日提出创新性解决方案：语义相对偏好优化（Semantic Relative Preference Optimization）。该方法创新性地提出了另一条解决思路 —— 通过语义偏好实现奖励模型的在线调整。具体来说，SRPO 通过为奖励模型添加特定的控制提示词（如“真实感”）来定向调整其优化目标。实验结果显示，这些控制词可以显著增强奖励模型在真实度等特定维度的优化能力。
进一步，研究人员发现，单纯的语义引导仍存在奖励破解（rewardhacking）的风险。针对这一问题，团队提出创新的“语义相对偏好优化”策略：同时使用正向词和负向词作为引导信号，通过负向梯度有效中和奖励模型的一般性偏差，同时保留语义差异中的特定偏好。
研究团队发现，传统方法（如 ReFL，DRaFT）通常仅优化生成轨迹的后半段，这种策略极易导致奖励模型在高频信息上的过拟合问题。具体表现为：HPSv2 奖励模型会偏好偏红色调的图像，PickScore 倾向于紫色图像，而 ImageReward 则容易对过曝区域给出较高评分。
基于这些发现，研究团队提出 Direct-Align 策略，对输入图像进行可控的噪声注入，随后通过单步推理，借助预先注入的噪声作为“参考锚点”进行图像重建。这种方法显著降低了重建误差，实现更精准的奖励信号传导。从而支持对生成轨迹的前半段进行优化，解决过拟合问题。
根据介绍，SRPO 具有极高的训练效率，只需 10 分钟训练即可全面超越 DanceGRPO 的效果。
SRPO 定量指标达 SOTA 水平，人类评估的真实度和美学优秀率提升超过 3 倍，训练时间相比 DanceGRPO 降低 75 倍。
附上有关链接如下：
论文题目: Directly Aligning the Full Diffusion Trajectory with Fine-Grained Human Preference
论文链接：https://arxiv.org/abs/2509.06942
项目主页：https://tencent.github.io/srpo-project-page/
GitHub：https://github.com/Tencent-Hunyuan/SRPO
本文链接：http://www.28at.com/showinfo-45-27702-0.html给大模型生图“去油”，腾讯混元新研究 SRPO 公布
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
