Qwen3 发布了，简单看了一下创新的地方：
训练数据：这次使用了 36T 的预训练数据，可以说相当大了， DeepSeek V3 是 14.8T。这些数据覆盖了 100 多种语言，还包含了上一代模型生成的数学和代码内容。另一个点是还包含了从图片识别出来的文本。
预训练：这块目前没看出太多特别的，采用的是 128 选 8 的 MoE 并没有使用 shared expert。
后训练：这里是模型产生混合思考能力的关键步骤，在经过 CoT 的 RL 后又加入了一次 SFT 让模型在通用问题上直接出结果。粗略可以理解为有了个类似 DeepSeek R1 那样啥都要思考的模型后又加了些指导，让模型不要什么问题都思考。
整体看下来是个在数据上下了大功夫，局部有创新的模型。但是从架构上看也很难有超预期的表现，还是要看实际使用的体验了。
https://qwenlm.github.io/blog/qwen3/
训练数据：这次使用了 36T 的预训练数据，可以说相当大了， DeepSeek V3 是 14.8T。这些数据覆盖了 100 多种语言，还包含了上一代模型生成的数学和代码内容。另一个点是还包含了从图片识别出来的文本。
预训练：这块目前没看出太多特别的，采用的是 128 选 8 的 MoE 并没有使用 shared expert。
后训练：这里是模型产生混合思考能力的关键步骤，在经过 CoT 的 RL 后又加入了一次 SFT 让模型在通用问题上直接出结果。粗略可以理解为有了个类似 DeepSeek R1 那样啥都要思考的模型后又加了些指导，让模型不要什么问题都思考。
整体看下来是个在数据上下了大功夫，局部有创新的模型。但是从架构上看也很难有超预期的表现，还是要看实际使用的体验了。
https://qwenlm.github.io/blog/qwen3/
Qwen
Qwen3: Think Deeper, Act Faster
QWEN CHAT GitHub Hugging Face ModelScope Kaggle DEMO DISCORD
Introduction Today, we are excited to announce the release of Qwen3, the latest addition to the Qwen family of large language models. Our flagship model, Qwen3-235B-A22B, achieves competitive results…
Introduction Today, we are excited to announce the release of Qwen3, the latest addition to the Qwen family of large language models. Our flagship model, Qwen3-235B-A22B, achieves competitive results…
