8月14日，字节跳动Seed团队发布并开源了全模态PyTorch原生训练框架——VeOmni。据介绍，VeOmni采用以模型为中心的分布式训练方案，可将复杂的分布式并行逻辑与模型计算解耦，为全模态模型组合设置高效的并行训练方案。这一方式可大幅降低工程开销，提升训练效率和扩展性，将数周的工程开发时间缩短至几天。
此前，使用Megatron-LM等以系统为中心的分布式训练框架训练全新架构的视觉-语言模型，往往需要一周以上进行工程研发，以及更长时间推进分布式优化和精度对齐，且耗时高度依赖于 Infra 工程团队的经验积累。而使用VeOmni只需一天即可完成模型代码构建，开启训练任务，工程耗时可压缩90%以上。
实验结果表明，基于VeOmni框架，一个300亿参数的全模态 MoE 模型（支持文本、语音、图片、视频的理解和生成）， 在128张卡上训练吞吐量可超过2800 tokens/sec/GPU，并能轻松扩展至160K超长上下文序列。目前，VeOmni的相关论文和代码仓库均已对外公开，GitHub Star数超过500。
智慧优配提示：文章来自网络，不代表本站观点。
