DeepSeek完美收官：开源劳苦功高的3FS！

快科技2月28日消息，在不舍与兴奋中，我们迎来了DeepSeek开源周第五天。今天DeepSeek开源的项目是：Fire-Flyer文件系统，即3FS。Hqn28资讯网——每日最新资讯28at.com

Hqn28资讯网——每日最新资讯28at.com

据了解，3FS是一个高性能并行文件系统，它是所有Deepseek数据访问的助推器，能应对AI训练和推理工作负载的挑战。Hqn28资讯网——每日最新资讯28at.com

它利用现代SSD和RDMA网络提供共享存储层，能简化分布式应用程序的开发，具有以下主要特性：Hqn28资讯网——每日最新资讯28at.com

1、分离式架构：结合了数千个SSD和数百个存储节点的网络带宽，使应用程序可以不受位置限制地访问存储资源Hqn28资讯网——每日最新资讯28at.com

2、强一致性：实现了链式复制与分配查询(CRAQ)协议，确保数据的强一致性，简化应用程序开发Hqn28资讯网——每日最新资讯28at.com

3、文件接口：提供基于事务性键值存储(如FoundationDB)支持的无状态元数据服务，使用通用的文件接口，无需学习新的存储APIHqn28资讯网——每日最新资讯28at.com

4、多样化工作负载支持Hqn28资讯网——每日最新资讯28at.com

4.1  数据准备：高效组织数据分析管道的输出和管理大量中间结果Hqn28资讯网——每日最新资讯28at.com

4.2  数据加载：支持计算节点间的训练样本随机访问，消除预取或打乱数据集的需求Hqn28资讯网——每日最新资讯28at.com

4.3  检查点保存：支持大规模训练的高吞吐并行检查点保存Hqn28资讯网——每日最新资讯28at.com

4.4  推理KVCache：提供比基于内存缓存更具成本效益的替代方案，同时提供高吞吐量和更大容量Hqn28资讯网——每日最新资讯28at.com

另外，3FS的核心性能指标表现在聚合读取吞吐量上，具体体现就是在由180个存储节点组成的集群中，可实现  6.6 TiB/s 的聚合读取吞吐量。Hqn28资讯网——每日最新资讯28at.com

在基准测试表现中，在25节点集群的 GraySort 基准测试中，吞吐量可达 3.66 TiB/分钟；在单客户端节点的 KVCache 查找峰值吞吐量超过40 GiB/s。Hqn28资讯网——每日最新资讯28at.com

尤其值得一提的是，3FS对于V3和R1中训练数据预处理、数据集加载、嵌入向量搜索和KV Cache查找等工作，都立下了汗马功劳，可谓功高盖主！Hqn28资讯网——每日最新资讯28at.com

网友们表示，3FS和Smallpond为AI数据处理设定了新基准，将改变数据处理的游戏规则。这对于AI演化来说，相当于从自行车升级到了高铁！大家说，3FS牛不牛！Hqn28资讯网——每日最新资讯28at.com

Hqn28资讯网——每日最新资讯28at.com

Hqn28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-17-134293-0.htmlDeepSeek完美收官：开源劳苦功高的3FS！

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 雷军发布会同款皮衣卖爆 预售排到一个月后

下一篇： 嘎子哥开卖DeepSeek课程 手把手教你玩转AI：10.9元真有人买吗