最近、私たちはひとつの問いに関心を持っていました。小型の言語モデルは、すでにスマートフォン上でローカルに動作し、実用的なエージェント型タスクを担える水準に来ているのでしょうか。
主観的な印象だけで判断しないために、人気のある 5 つの GGUF テキストモデルを選び、4K と 8K の 2 つのコンテキスト設定で比較しました。リソース測定は iPhone 15 Pro Max 実機で行い、能力測定ではすべてのモデルに同じ 96 件の決定的なエージェントルーティングケースを使いました。対象は Skill 選択、Action 抽出、Mode 分類、必須スロットの保持、簡単なプランニング判定です。
これは広範な学術ベンチマークではありません。スマートフォン優先のエンジニアリングチェックです。モデルはロードできるのか、8K コンテキストでメモリはどれだけ増えるのか、最初のトークンはどれくらい速いのか、そして小さなローカルエージェントランタイムに対して安定した構造化決定を返せるのかを見ています。
テストしたモデル
| モデル | ローカルサイズ | 量子化 | 状態 |
|---|---|---|---|
| MiniCPM5-1B | 656.2 MiB | Q4_K_M | テスト済み |
| Gemma-3-1B-IT | 768.7 MiB | Q4_K_M | テスト済み |
| Qwen3.5-2B | 1221.5 MiB | Q4_K_M | テスト済み |
| Qwen2.5-3B-Instruct | 2007.4 MiB | Q4_K_M | テスト済み |
| Phi-4-mini-instruct | 2376.4 MiB | Q4_K_M | テスト済み |
Qwen3.8 があるのに、なぜ Qwen3.5 を測るのか
Qwen の最新メインラインは、すでに 3.5 を超えています。現時点で公開されている Qwen3.8 ファミリーの中心は、Qwen3.8-Max、Qwen3.8-2.4T-A95B、Qwen3.8-27B のような大規模モデルです。これらは重要なモデルですが、1B-4B クラスのスマートフォンローカルルーティングモデルとは、同じ導入カテゴリではありません。
このテストの目的は、最新のクラウド旗艦モデルを評価することではありません。実際にスマートフォンのランタイム内に置けるモデルを探すことです。デフォルトは 4K context、難しいタスクだけ 8K、メモリ使用量は予測可能で、構造化決定を安定して返せる必要があります。この制約では、Qwen3.5-2B は今でも Qwen 系列の有力候補です。新しい Qwen3.6、Qwen3.7、Qwen3.8 には、この役割に合う公式の 1B/2B クラス open model がまだ明確にはありません。
| Qwen 系列 | 公開されているスマートフォン向け小型候補 | このテストでの扱い |
|---|---|---|
| Qwen3.5 | あり：0.8B、2B、4B クラス | スマートフォンローカルルーティングに関連。今回は 2B をテスト |
| Qwen3.6 | 明確な 1B/2B/4B open 候補は未確認 | 公開重みは主に 27B と 35B-A3B クラス |
| Qwen3.7 | 明確な 1B/2B/4B open 候補は未確認 | 主に API 側の Max/Plus/Flash 系列 |
| Qwen3.8 | スマートフォンサイズの公式候補はまだない | 公開の中心は Max、2.4T-A95B、27B。第三者 GGUF もデスクトップ/ワークステーション向け |
カバレッジと未測定の候補
この表は「スマートフォン向けモデルをすべて測り終えた」という主張ではありません。ローカルに GGUF があり、同じスマートフォンリソース測定と同じ 96 件のルーティングプロトコルを通せたテキストモデルを対象にしています。
また、中国系モデルだけの比較でもありません。今回の表には Qwen と MiniCPM という中国系モデルに加え、Google の Gemma と Microsoft の Phi も含まれています。足りていないのは、いくつかの海外またはコミュニティ発の新しいモバイル候補が、まだ今回のローカル benchmark に入っていない点です。
| 追加で測る価値がある候補 | 出自/エコシステム | 測る価値がある理由 |
|---|---|---|
| LFM2.5-1.2B-Instruct | Liquid AI | オンデバイス用途と tool-style workload を意識した候補 |
| LFM2.5-1.2B-Thinking | Liquid AI | 小型 reasoning 候補。ただし thinking 出力の遅延制御が必要 |
| Llama 3.2 1B/3B Instruct | Meta | 最新ではないが、スマートフォンローカルの重要な基準線 |
| SmolLM2/SmolLM3 small instruct models | Hugging Face ecosystem | 独立した軽量ベースラインとして有用 |
| Gemma 3n E2B | モバイル指向のマルチモーダル候補。テキストルーティングだけでなく VLM harness が必要 | |
| MiniCPM-V-4.6 | OpenBMB ecosystem | 画面理解、画像、OCR を見る小型マルチモーダル候補 |
次の反復では、互換性のあるローカル artifact、同じ 4K/8K スマートフォンリソース測定、同じ構造化ルーティングまたはマルチモーダルタスクプロトコルが揃ったものだけを、同じ比較表に入れるべきです。
スマートフォン側の環境は iPhone 15 Pro Max、A17 Pro、8 GB 物理メモリ、iOS 26.6.1、SwiftLlama と llama.cpp b8668、Metal 全レイヤーオフロードです。各モデルと各 context の組み合わせについて、独立起動を 3 回行いました。
測定フロー
This diagram could not be rendered. Its source is still available below.
View diagram source
flowchart LR
A[GGUF モデルを選択] --> B[スマートフォンで 4K と 8K のリソース測定]
B --> C[ロード時間、TTFT、プロセスメモリ、Metal メモリを記録]
C --> D[同じ 96 件のルーティングケースを実行]
D --> E[Parse、Skill、Action、Mode、スロット、Planning を採点]
E --> F[スマートフォン優先の導入ゲートを適用]スマートフォンのリソース測定では短い中国語プロンプトを使い、モデルロード、コンテキスト確保、短文プロンプトの TTFT、基本生成、メモリ使用量を測定しました。完全な 4K/8K 長文 prefill のストレステストではありません。
96 件の能力測定では同じモデルファイルと決定的なサンプリング設定を使いましたが、全モデルを再現性高く比較するためにデスクトップ Metal 評価ランナーで実行しました。これにより、スマートフォン上のリソース実現性と構造化ルーティング品質を分けて見られます。
iPhone での 4K/8K リソース結果
5 つのモデルは、どちらのコンテキストサイズでもロードに成功しました。
| モデル | Context | Load P50 | TTFT P50 | ロード後プロセスメモリ | ロード後 Metal メモリ | 結果 |
|---|---|---|---|---|---|---|
| MiniCPM5-1B | 4K | 0.172 s | 0.140 s | 175.7 MiB | 1008.8 MiB | 3/3 loaded |
| MiniCPM5-1B | 8K | 0.176 s | 0.136 s | 271.6 MiB | 1104.8 MiB | 3/3 loaded |
| Gemma-3-1B-IT | 4K | 0.621 s | 0.215 s | 197.3 MiB | 1381.2 MiB | 3/3 loaded |
| Gemma-3-1B-IT | 8K | 0.567 s | 0.200 s | 301.3 MiB | 1485.2 MiB | 3/3 loaded |
| Qwen3.5-2B | 4K | 0.323 s | 0.268 s | 201.4 MiB | 1767.8 MiB | 3/3 loaded |
| Qwen3.5-2B | 8K | 0.323 s | 0.274 s | 249.6 MiB | 1819.8 MiB | 3/3 loaded |
| Qwen2.5-3B-Instruct | 4K | 0.303 s | 0.445 s | 230.8 MiB | 2447.0 MiB | 3/3 loaded |
| Qwen2.5-3B-Instruct | 8K | 0.296 s | 0.442 s | 375.0 MiB | 2591.0 MiB | 3/3 loaded |
| Phi-4-mini-instruct | 4K | 0.431 s | 0.503 s | 614.0 MiB | 3291.8 MiB | 3/3 loaded |
| Phi-4-mini-instruct | 8K | 0.569 s | 0.511 s | 1126.4 MiB | 3795.8 MiB | 3/3 loaded |
最も重要なのは、4K から 8K に上げたときの増分です。この設定では Qwen3.5-2B の Metal メモリ増分は約 52 MiB にとどまりました。一方、Phi-4-mini は約 504 MiB 増えました。通常は 4K で動作し、難しいタスクだけ 8K に上げるスマートフォン向けランタイムでは、Qwen3.5-2B のほうが扱いやすいコスト曲線です。
96 件のルーティング能力結果
この能力セットには、中国語と英語のエージェント型リクエストが 96 件含まれます。モデルが有効な構造化決定を出せるか、正しい Skill と Action を選べるか、retrieve/act/clarify/answer の挙動を分類できるか、必要なスロットを保持できるか、プランニングが必要なケースを認識できるかを確認しました。
| モデル | Context | Parse | Skill | Action | Mode | Missing slots | Planning | TTFT P50 | E2E P50 |
|---|---|---|---|---|---|---|---|---|---|
| MiniCPM5-1B | 4K | 62.5% | 85.4% | 51.0% | 53.1% | 28.6% | 25.0% | 0.136 s | 0.622 s |
| MiniCPM5-1B | 8K | 62.5% | 85.4% | 51.0% | 53.1% | 28.6% | 25.0% | 0.138 s | 0.592 s |
| Gemma-3-1B-IT | 4K | 68.8% | 82.3% | 52.1% | 58.3% | 42.9% | 37.5% | 0.147 s | 0.976 s |
| Gemma-3-1B-IT | 8K | 68.8% | 82.3% | 52.1% | 58.3% | 42.9% | 37.5% | 0.148 s | 0.920 s |
| Qwen3.5-2B | 4K | 100.0% | 95.8% | 95.8% | 96.9% | 100.0% | 87.5% | 0.276 s | 1.098 s |
| Qwen3.5-2B | 8K | 100.0% | 95.8% | 95.8% | 96.9% | 100.0% | 87.5% | 0.273 s | 1.079 s |
| Qwen2.5-3B-Instruct | 4K | 94.8% | 80.2% | 71.9% | 79.2% | 66.7% | 37.5% | 0.522 s | 1.633 s |
| Qwen2.5-3B-Instruct | 8K | 94.8% | 80.2% | 71.9% | 79.2% | 66.7% | 37.5% | 0.529 s | 1.644 s |
| Phi-4-mini-instruct | 4K | 67.7% | 50.0% | 42.7% | 51.0% | 42.9% | 12.5% | 0.606 s | 2.220 s |
| Phi-4-mini-instruct | 8K | 63.5% | 55.2% | 34.4% | 42.7% | 42.9% | 25.0% | 0.620 s | 1.870 s |
1B クラスのモデルはリソース面では魅力的ですが、構造化された Action と Mode の判断で失敗が多すぎました。リマインダー、メール下書き、メモリ更新のような書き込み経路に触れるローカルアシスタントでは、これは単なるベンチマーク上の数値ではなく、実際のプロダクトリスクになります。
Qwen3.5-2B は、このグループで唯一、提案した導入ゲートを満たしたモデルでした。Parse が安定し、Skill と Action が 90% を超え、Mode が 95% を超え、さらにスマートフォン側の 8K Metal メモリが 2 GiB 未満に収まりました。
実用上の順位
| 順位 | モデル | 向いている用途 |
|---|---|---|
| 1 | Qwen3.5-2B Q4_K_M | デフォルトのローカルエージェントルーティング候補 |
| 2 | Qwen2.5-3B-Instruct Q4_K_M | 研究用ベースライン。スマートフォンのデフォルトには最適ではない |
| 3 | MiniCPM5-1B Q4_K_M | 非常に低リソースな fallback。単純な分類に向く |
| 4 | Gemma-3-1B-IT Q4_K_M | 軽量ベースラインとして有用だが、アクション判断は不安定 |
| 5 | Phi-4-mini-instruct Q4_K_M | このスマートフォン優先のルーティング用途には重すぎる |
この結果から分かること
スマートフォン上のローカルエージェントでは、最良のモデルが単に最小のモデルとは限りません。最小モデルは TTFT とメモリでは勝ちましたが、構造化決定の品質が大きく落ちました。逆に、大きなモデルが自動的に勝つわけでもありません。Qwen2.5-3B と Phi-4-mini は Qwen3.5-2B より多くのメモリを使いましたが、このルーティングタスクでは低いスコアでした。
今回のテストで実用的な中間点になったのは Qwen3.5-2B です。8K メモリを現実的な範囲に抑えつつ、中国語と英語のケースで安定した JSON に近いルーティング決定を出しました。ただし、バッテリーと熱の観点では、デフォルト context は 4K にしておき、タスクの複雑さが必要な場合だけ 8K に上げるべきです。
制限と次のテスト
この数字は過度に一般化すべきではありません。
スマートフォンのリソース測定は短いプロンプトを使っています。次のステップでは、約 3.5K と 7.5K prompt tokens の長い prefill 測定に加え、20 ターン連続セッションで tokens/s、熱状態、バッテリー低下、jetsam リスクを記録する必要があります。
能力測定はテキストルーティングに集中しています。Gemma 3n や MiniCPM-V のようなマルチモーダル候補は、画面理解、OCR、写真への質問、権限制約付きプライバシーケースを含む別の VLM harness で評価すべきです。
次に試す価値のあるオンデバイス候補として、LFM2.5-1.2B-Instruct、LFM2.5-1.2B-Thinking、Llama 3.2 1B/3B、SmolLM 系 small instruct models、Qwen3.5-4B、Gemma 3n E2B、MiniCPM-V-4.6 があります。これらは、同じスマートフォン側リソース測定と同じ能力プロトコルを通過してから、同じ比較表に入れるべきです。