PrismMLが2026年9月17日、Alibabaのオープンモデル Qwen3.8 27B を三値(ternary)の重みに圧縮した「Ternary Bonsai 2 27B」をApache 2.0ライセンスで公開しました。ファイルサイズは5.9GBで、FP16の元モデルの9分の1。それでいて20種類のベンチマーク平均で元モデルの98.2%を保つとしています。コンテキスト長262K、画像入力対応で、NVIDIA GPUとAppleシリコンの両方で動きます。「27Bクラスの性能を、GPUのない手元のMacやスマートフォンで」という条件が、はじめて現実的な数字で示された発表です。
何をどう圧縮したのか
通常の量子化は、16ビットの重みを8ビットや4ビットの整数に丸めます。Bonsai 2はさらに進めて、行列の重みを{−1, 0, +1}の3値だけで表現し、グループごとにFP16のスケール値を持たせます。技術ドキュメントによると、重みは「固定された回転基底」の上で三値化されており、推論時にウォルシュ・アダマール変換を挟むことで精度を保っています。結果として1重みあたりの実効ビット数は1.76です。
性能の維持率は、思考モードで実行した20ベンチマークの平均が83.9で、Qwen3.8 27BのFP16版の85.4に対して98.2%、という計算です。7月に出た初代Bonsai 27Bからの最大の変更点を、PrismMLは「品質」だと説明しています。サイズはほぼ同じで、落ちていた精度を埋めたのが今回の主眼です。
どこで、どれくらいの速さで動くか
配布形式は3つあります。GGUFの1.76ビット版が5.93GB、同2.16ビット版が7.25GB、Appleシリコン向けMLXの2ビット版が8.49GB(画像エンコーダを含む)です。MLX版は標準のMLXでそのまま動きます。
速度として公表されているのは、RTX 5090で最大143トークン/秒、M5 Maxで46.8トークン/秒です。電力効率はRTX 4090で1トークンあたり0.714mWhで、フル精度の8Bモデルより40%効率が良いとしています。27Bの知識量を8B並みの消費電力で動かせる、という主張です。いずれも自社計測で、環境によって変わる数字だと考えて読んでください。また、三値化した重みを扱うには専用のカーネルが要るため、llama.cppは本家ではなくPrismMLのフォークを使う必要があります。本家に取り込まれるまでは、更新の追従をフォーク側に依存する点は運用上の制約です。
なぜ今、圧縮が重要なのか
オープンウェイトの流れは、当サイトで取り上げたIFM K2 Horizonの完全公開やDeepSeek V4 Flash Visionのように、性能の高いモデルが自由に使える方向に進んでいます。ただし、ダウンロードできることと動かせることは別です。27Bクラスをまともな速さで動かすには、これまで24GB以上のVRAMを積んだGPUが要りました。
三値圧縮は、そこを壊しにきています。5.9GBならメモリ16GBのノートPCに収まり、8.49GBのMLX版はメモリの多いiPhoneやiPadの射程に入ります。モデルの性能競争が「どれだけ大きく作るか」から「どれだけ小さく持ち出せるか」へ分岐しつつある、というのが背景です。
日本の読者にとっての使いどころ
ベースがQwen3.8 27Bなので日本語は扱えますが、PrismMLのドキュメントには言語ごとの精度低下の記載がありません。三値化で英語以外の精度がどれだけ落ちるかは、自分で測る必要があります。
向いている用途は、データを外に出せない場面です。社外秘の文書の要約や、顧客情報を含む問い合わせの分類を、クラウドに送らずに社内のMac1台で回す。この種の要件は日本の企業では珍しくなく、これまでは小さなモデルで我慢するか、GPUサーバーを買うかの二択でした。Bonsai 2はその間を埋める候補になります。
試すなら、M系のMacがあればMLX版を入れて、いま使っているクラウドのAPIと同じプロンプトを日本語で数十件流し、出力を並べて比べるのが早いと思います。速度は46.8トークン/秒(M5 Max)より遅い機種が多いはずなので、実際の機種で測ってください。ライセンスがApache 2.0なので、社内ツールへの組み込みや再配布に制約はありません。
