Alibaba Cloud Tongyiチームは本日、次世代基本モデルアーキテクチャであるQwen3-Nextを正式にリリースし、このアーキテクチャに基づくQwen3-Next-80B-A3Bシリーズモデル(Instruct版とThinking版を含む)をオープンソース化しました。この革新的なアーキテクチャは、長いコンテキストと大きなパラメータを持つシナリオに最適化されており、国内の大規模モデル技術における新たなブレークスルーとなります。
Tongyiチームは、コンテキスト長のスケーリングと総パラメータのスケーリングが、今後の大規模モデル開発の中核となる方向性であると指摘しました。Qwen3-Nextは、ハイブリッドアテンションメカニズムと高度にスパースなMoE構造を含む4つの主要な技術的改良により、トレーニングと推論の効率を大幅に向上させます。そのコアモデルであるQwen3-Next-80B-A3B-Baseは、総パラメータ数800億(そのうちアクティブ化されるのは30億のみ)の超スパースMoEアーキテクチャを採用し、512エキスパートシステム内で10+1共有ルーティングを実装し、ハイブリッドアテンションとマルチトークン予測技術を組み合わせています。
パフォーマンス面では、このベースモデルはQwen3-32Bの高密度モデルと同等の性能を10分の1以下のトレーニングコストで実現し、32,000コンテキストでの推論スループットは10倍以上向上しています。このモデルはネイティブで262,000コンテキストをサポートし、101万トークンまで外挿可能です。InstructバージョンはQwen3-235Bとほぼ同等のパフォーマンスを発揮し、Thinkingバージョンは一部のタスクでGemini-2.5-Flash-Thinkingを上回ります。
モデルの重みはApache 2.0ライセンスの下でHugging Face上にオープンソース化されており、Transformers、SGLang、vLLMなどのフレームワークを使用してデプロイできます。OpenRouterなどのサードパーティプラットフォームもリリースされており、開発者は容易にアクセスできます。この画期的なアーキテクチャは、膨大なパラメータ容量、低いアクティベーションオーバーヘッド、そして長いコンテキストへの対応能力を同時に実現し、業界にとって新たな技術リファレンスとなります。