DeepSeek开源高性能文件系统3FS，数据访问性能再创新高

DeepSeek在开源周的精彩收尾之际，正式推出了其创新的3FS（Fire-Flyer File System）。这一文件系统专为现代SSD和RDMA网络设计，旨在最大化利用这些先进技术的带宽优势。3FS的问世，为深度学习等数据密集型应用带来了前所未有的数据访问性能提升。fql28资讯网——每日最新资讯28at.com

想要深入了解3FS的开发者们，可以访问其开源地址：https://github.com/deepseek-ai/3FS。同时，DeepSeek还开源了基于3FS的数据处理框架Smallpond，详情可见：https://github.com/deepseek-ai/smallpond。fql28资讯网——每日最新资讯28at.com

fql28资讯网——每日最新资讯28at.com

3FS的性能表现令人瞩目。在一个180节点的集群测试中，其聚合读取吞吐量高达6.6 TiB/s，充分展现了其集群高吞吐的能力。而在25节点集群的GraySort基准测试中，3FS更是达到了每分钟3.66 TiB的吞吐量，这一成绩无疑证明了其基准测试的优异表现。每个客户端节点的KVCache查找峰值吞吐量也超过了40 GiB/s，进一步凸显了3FS的单节点高性能。fql28资讯网——每日最新资讯28at.com

在架构设计上，3FS采用了去中心化的结构，同时保证了强一致性语义，这使得它在处理分布式数据时更加高效和可靠。这种先进的架构为AI训练和推理工作负载提供了强大的支持，简化了分布式应用程序的开发过程。fql28资讯网——每日最新资讯28at.com

3FS的应用场景广泛，主要针对AI训练和推理过程中的各种挑战。它利用现代SSD和RDMA网络构建共享存储层，有效支持了数据准备、数据加载、检查点设置和推理缓存等环节。无论是训练数据预处理、数据集加载，还是检查点保存/重新加载，甚至是嵌入向量搜索和推理过程中的KVCache查找，3FS都能提供出色的性能。fql28资讯网——每日最新资讯28at.com

DeepSeek的V3/R1版本已经广泛应用了3FS。这一文件系统在关键环节中发挥了重要作用，为DeepSeek的AI工作负载提供了强有力的支持。同时，基于3FS构建的数据处理框架Smallpond也备受瞩目。Smallpond是一款轻量级的数据处理框架，它结合了DuckDB和3FS的优势，具备高性能数据处理能力，可扩展至PB级数据集。更重要的是，Smallpond操作简便，无需长期运行的服务，为用户提供了极大的便利。fql28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-48-5687-0.htmlDeepSeek开源高性能文件系统3FS，数据访问性能再创新高

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Win10 Mobile应用商店正式下线？用户反馈已无法正常使用

下一篇： AMD RX 9070/XT系列显卡国行价曝光：4499元起，3月6日正式开售！