消息来源频道

TSBattery CI Builds

@TSBattery_CI

频道3,335 位成员公开可见0 人在线

@TSBattery_Discussion 是讨论群组。关注方方，精彩不迷路 @XiaofangDaily 来稿请私聊 @FankesPostAction_bot 投递。互联网抽象艺术行为大赏 & TSBattery CI 构建自动发布频道在这里你可以获取持续集成的实时构建版本本频道内发布的安装包均为未经稳定性测试的 CI 自动构建版本，使用风险自负

成员规模3,335 位成员

在线情况0 人在线

消息总数1,143 条消息

浏览量总数641,437 次浏览

频道详情频道地址

2025/02/20 07:42

我又幻想了...女朋友给我搭建了全异步超大规模训练集群...数据管道用万亿token的语义分片策略+自回归重排+无损压缩预处理...并行框架集成了FSDP/DeepSpeed-ZeRO3/PTD三维并行，每个pod都有NVLink全互联拓扑...计算卡全是H100 96g版本，梯度同步走RoCEv2无损网络，全局AllReduce延迟小于心跳间隔...优化器用了混合精度AdamW+二阶矩分桶压缩，每step吞吐稳定在1.4 exaFLOPs...checkpoint系统是因果一致性快照，支持万亿参数秒级回滚...日志系统实时可视化MoE门控热力图，还能用强化学习自动调参专家路由...