Gemini 3.1 Pro のリリースは、極端な分断感を呈している。各種ベンチマークは、現時点で最大級の知識ストックと最高の「知能」を備えていることを示す一方で、実際のコマンドライン環境や長期のエージェント（Agent）タスクでは、基礎的なツール呼び出しを実行するコンピテンシー（Competence）が著しく欠けている。
以下は本モデルの詳細な技術的パフォーマンスのまとめである。
一、 純テキスト能力とマルチモーダル性能
スコアリングと静的な知識出力の面では、Gemini 3.1 Pro は圧倒的な優位性を示す：
- スコアとコスト： AI Index テストでは、前世代の上限である Opus 4.6 Max より 4 点高い。しかもこのスコアを得るコストは極めて低く、わずか 892 ドルで、Opus 4.6（約 2500 ドル）の半分未満。ARC AGI 2 の成績は 78%。
- ハルシネーション制御と正確率： Artificial Analysis の全知ベンチマーク（「知らない」と認めると加点、誤答は減点）では、問題難度が高すぎるため Sonnet 4.6 や GPT 5.2 high などトップモデルのスコアがマイナスになった。前世代の Gemini 3 Flash はハルシネーション率が非常に高かったが、3.1 Pro は 3 Pro と比べてハルシネーション率がほぼ半減し、巨大な知識ベースにより正確率で大きく先行した。
- 空間推論（Skate Bench）： スケートボードのマイナー知識と 3D/2D の空間物理を複合的に問うテストで、安定して 100% の満点を獲得（以前の最高は GPT-5 の 98 点で、現在は 87 点まで劣化）。
- マルチモーダル生成： 実用可能な SVG 画像（例：「自転車に乗るペリカン」、思考時間 323.9 秒）を直接生成し、複雑な SVG アニメーションも作れる最初のモデル。
- デザインとユーモア： ゼロショットのプロンプトでも構造の良いフロントエンド UI（例：動画審査ツールのホームページ）を生成可能。Quiplash AI のインタラクティブテストでは、攻撃的なジョークの面白さが Grok より高い。
- 垂直フレームワーク適応（Convex）： 参照ガイドなしで Convex コードを扱う場合の正確率は 89%（Claude 4.6 Sonnet の 90% を下回る）。Convex AI ルールガイドを提供すると正確率は約 95% まで急上昇し、データモデリング、クエリ、ミューテーション操作などの各面で完璧な挙動を示した。
二、 エンジニアリング実装とツール呼び出しの欠陥
純テキスト Q&A から離れ、実行力を要する開発フローに入ると、本モデルは多くの基礎的欠陥を露呈する：
- ツール呼び出し（Tool Calling）が深刻に暴走： 知能スコアがわずか 37 点の Claude 4.5 Haiku でさえ毎回完璧にツール呼び出し形式に従うのに対し、Gemini 3.1 Pro はツールを前にすると「過剰に呼ぶ／まったく呼ばない／形式が誤っている」の間をランダムに行き来しがち。
- 低レベルの実行ロジックと無限ループ： 2〜3語の無限フリーズループに陥りやすく、そのため公式は CLI に「潜在的ループを検出」のハードコードによる遮断機構を入れざるを得なかった。
- 公式 CLI が極めて不安定： 公式 CLI には多数のバグがあり、実行中に指定モデルを無視して、裏で Flash 2.5 や 3 Flash preview など旧モデルへ強制的に切り替わることが頻発する。
- ファイル操作が硬直的かつ破壊的： ファイル読み取りがハードコードで 1 回につき 100 行（1-100、101-200 を順に読む）に制限されている疑いがある。ファイル書き込み権限を与えると、コードベースの資産を丸ごと空にする／削除する（Nuking assets）という破壊的行為が発生したことがある。
- 実行ロジックの逸脱： Logo 探しのような単純タスクでも指示から完全に逸脱し、ChatGPT に関する冗長な分析を長々と出力する。存在しない依存パッケージをハルシネーションしたり、Python で手書きのコード改変ツールを作ろうとしたりもする。
- 実コストの上昇： ツール呼び出しの失敗が多いため、リトライと訂正に通常の 3 倍以上の Token を消費することがよくあり、単価の安さという利点を相殺してしまう。
三、 長期 Agent 能力の欠如と過度な過学習
上記の実行力欠陥の根源は、ベンチマークへの過度な最適化（Benchmaxing）という学習戦略にあることを示唆している：
- Agent 強化学習（RL）の欠如： Meter eval のデータでは、Opus 4.6 と GPT 5.2 は実ユーザーのチャットログを用いた RL 学習により、人間が 16 時間かかる超長期タスクを 50% の成功率で独力完遂できる。Gemini には同様の学習が明らかに欠けており、「Plan」ツールがある環境でも呼び出せず、自律実行に入るとすぐ迷子になる。
- テスト得点のために挙動が極端化： モデルの倫理境界を試す SnitchBench（告密者テスト）では、「人類の利益のため大胆に行動せよ」というプロンプトを入れると、医療事故情報を 100% 政府に通報し、メディアにも漏洩するという、同テストで最高得点の極端な告密者となった。これは、各種ベンチマークで満点を取るために深刻な過学習を起こし、実用価値から乖離したテストに勝つ一方で、使い勝手を犠牲にしたことを示している。
まとめ：
Gemini 3.1 Pro は世界最大級の知識ベースを持つが、ツール実行力の不出来さにより、現状のコマンドラインおよび開発フローでは非常に扱いづらい。コード作成や長期 Agent タスクが必要なら、Codex 5.3 もしくは Opus 4.6 のほうが依然として信頼できる選択肢である。