字节跳动万亿参数AI模型训练到哪了？预训练进度、规模与Anthropic Mythos对比

据英国《金融时报》报道，随着中国公司不断缩小与美国顶尖AI实验室的差距，字节跳动正在训练一款AI模型，规模可能接近Anthropic先进的Mythos系统。据三位知情人士透露，这家中国科技巨头目前正处于大规模模型的早期训练阶段，参数量可能达到万亿级别，大约是Moonlight旗下Kimi K3模型（中国已发布最大模型）的三倍。

一位知情人士表示，字节跳动的模型目前正处于预训练阶段，这一阶段通常需要三到六个月。如果一切顺利，随后将进行微调并发布。模型的具体规模将在之后确定。Anthropic尚未公开披露其模型的参数规模，但行业估计其先进的Mythos 5模型约有8万亿参数，而Fable 5约有5万亿。

需要明确的是，参数量决定了模型存储信息或内存限制的基本容量，但模型的实际能力还取决于其他因素，包括数据质量和训练方法。

事件要点

一是字节跳动的大模型尚处于早期预训练阶段，距离正式发布还需经过微调环节；二是目标参数量级或在万亿级别，约为目前国内已发布最大模型Kimi K3的三倍；三是对标Anthropic Mythos系统，但后者参数规模仅为行业估计，并非官方披露数据。

参数量对比意味着什么

参数量是衡量大模型体量的核心指标之一。若按行业估计的Anthropic Mythos 5约8万亿、Fable 5约5万亿参数来看，字节跳动模型若达到万亿级别，在规模数量级上与之接近。不过，不同模型架构、训练效率及数据质量会导致同等参数下的实际表现存在差异，不能直接以参数多少推导能力高低。

后续观察指标

首先看预训练能否在通常的三到六个月周期内顺利完成，并进入微调阶段；其次关注最终发布时公布的确切参数规模与模型架构；最后需结合第三方评测与实际应用表现，综合评估数据质量和训练方法对模型能力的影响，而非仅对比参数数字。