DeepSeek首次回应蒸馏OpenAI质疑 ：没有故意加入合成数据

快科技9月18日消息，近日，由DeepSeek团队共同完成、梁文锋担任通讯作者的DeepSeek-R1研究论文登上国际权威期刊《Nature》封面，DeepSeek在论文中正面回应了有关模型蒸馏的质疑。o4f28资讯网——每日最新资讯28at.com

DeepSeek表示，DeepSeek-V3-Base的训练数据仅来自普通网页和电子书，不包含任何合成数据，在预训练冷却阶段，也没有故意加入OpenAI生成的合成数据，此阶段使用的数据都是通过网页抓取的。o4f28资讯网——每日最新资讯28at.com

不过，DeepSeek也承认已观察到一些网页包含大量OpenAI模型生成的答案，这可能导致基础模型间接受益于其他强大模型的知识。o4f28资讯网——每日最新资讯28at.com

此外，DeepSeek-V3-Base的数据截止时间为2024年7月，当时尚未发布任何公开的先进推理模型，这进一步降低了从现有推理模型中无意蒸馏的可能性。o4f28资讯网——每日最新资讯28at.com

DeepSeek还强调，R1并非通过复制OpenAI模型生成的推理示例来学习，只是和大多数其他大语言模型一样，R1的基础模型是在网络上训练的，因此它会吸收互联网上已有的AI生成的内容。o4f28资讯网——每日最新资讯28at.com

研究团队采用了纯强化学习框架，并引入组相对策略优化算法，仅依据终答案的正确与否给予奖励，而非让模型模仿人类推理路径，让模型在实践中自然涌现出自我反思、自我验证等高级行为。o4f28资讯网——每日最新资讯28at.com

Hugging Face的机器学习工程师Lewis Tunstall也表示，现有证据已相当明确地表明，仅使用纯强化学习即可获得极高性能，DeepSeek的推理方案可能足够优秀而无须使用OpenAI模型进行蒸馏。o4f28资讯网——每日最新资讯28at.com

o4f28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-17-182482-0.htmlDeepSeek首次回应蒸馏OpenAI质疑 ：没有故意加入合成数据

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： DeepSeek紧急提醒！警惕仿冒员工算力租赁诈骗

下一篇： 两名盲人带导盲犬爬泰山引争议：网友呼吁将狗狗收回