DeepSeek发布高性能AI文件系统3FS
DeepSeek在开源周最后一天发布3FS分布式文件系统,该系统通过利用现代SSD和RDMA网络带宽,在180节点集群中实现了6.6 TiB/s的聚合读取吞吐量,并在25节点集群的GraySort基准测试中达到3.66 TiB/min的吞吐量。3FS采用分离式架构,具备强一致性语义,支持多种AI工作负载如训练数据预处理、数据集加载等。其高性能和易用性获得了开发者的高度评价,被认为树立了AI数据处理的新标杆。来源:https://mp.weixin.qq.com/s/p8KGnYIqmCkXPF4jjRiKjQ
页:
[1]