Google Gemがご臨終(随時入れ替わる)

11月17日を以てGoogleがGemを廃止し、Skillにしていくと発表。
この発表はだいぶ前から行われていた。

https://support.google.com/gemini/answer/18560919

最初はGeminiで5TBの契約をしていたので、かなり使えていた
途中、契約を落として400GBのGoogle Driveにしたら、3.5 Flashになって全くGemもSkillも使い物にならなく。
そんな中、3.8はすばらしいということで仕方なくまた5GBに戻したら、人生変わった(笑)

さて、ここでGemとSkillの違いを説明します
そして、4 Hydrogen になってさらにどう変わったか

GemsからSkillになって何が変わったか?

最大の変化は「独立した専用ルーム(ペルソナ)」から「状況に応じて呼び出される専門モジュール(機能拡張)」への転換です。

比較項目旧:Gems新:Skill
基本コンセプト専用のチャット部屋(人格・役割の固定)メインの会話の中で必要に応じて呼び出す「道具箱」
呼び出し方ユーザーが手動でGemを選んで会話開始AIが文脈を判断して自動展開(または明示指定)
複数機能の連携1つのチャット=1つのGem(切り替えが手間)1つの会話の中で複数のSkillを横断・連携可能
データ・知識の扱いチャットごとにファイルや指示が閉じていた指示書(instructions)と補助ファイル群を構造化して管理

例えば、これが私のGemの一つでブログのインフォグラフィックスを作ってもらっていました。

Google Documentの文章はGeminiで探してきた業界の「重大ニュース」です。
実際はただの時事ニュースでURLと、なぜ重大なのか理由があり、さらに私がつけたコメントや調査があります。
あなたの役目は、インフォグラフィックスの作成です。
守る出力フォーマット:

1) 画像は16:9 ランドスケープ
2) 画像で題名は必要ない
3) コミック風でパステルカラー
4) 各々のニュースを(3~5)区切って絵を作る(添付画像を参照)
5) 内容はすべて日本語で表記すること(変な文字は絶対に使わないこと)
6) 必ず社会的視点の良いこと、悪いこと、ヤバい事を一つずつの記事に入れてください

7月くらいまではこのような画像が出力されていました。

だが、突然狂ってしまい、このようなかわいらしい画像ではなくなり、幾何学的な画像になってきました。

まず、とくに3.1、3.5、3.8もたまにおかしくなる問題は

ここで書いている「画像で題名は必要ない」とか「変な文字は絶対に使わないこと」

旧モデル(特に 3.1 Pro や 3.5 Flash)が最も苦手だったのは、「〜するな」「〜を含めるな」「厳密に〜文字以内で」という複数のルールを同時に守ることです。

このような条件にメチャクチャ弱かったのです。

4 Hydrogenになって大きく変わりまして、Skillも格段にバージョンアップしました。
ちなみに昨日、Googleが全員に4 Hydrogenが使えるようになりましたと。
実際、こういう制限があったので Google Drive を400GBまで落としたときに3.5止まりだったのです。
そのまま3.8を使えていたらナンの問題もなかったのですが、3.8は使えず、イライラしていました。

3.8 で出力できていたものが 3.5 になってできなくなったことも多くありました。
3.5 だとなぜだか Python でコードが実行されてインフォグラフィックスがHTMLみたいなモノになっていた。

AIセキュリティに関する4つの脅威を要点・背景・懸念で整理した図

しかし、これを普通のチャットプロンプトで同じものをお願いしたらこうなる。

IoT機器に侵入する小型ロボットと警告マーク

ここからGeminiを使って深掘りを先月しましたので紹介します。

なぜGemsの方がおかしな挙動になるのか?

  • 「画像生成AI(Imagen)」へ直行してしまうバイアス Gemsの指示文に「画像は16:9」「コミック風でパステルカラー」といったキーワードが入っていると、Gemsのルーティングシステムは「ユーザーはイラスト・画像を描いてほしいのだ」と過剰に単純化して判断します。その結果、背後の画像生成モデル(Imagen)に指示を丸投げしてしまい、記事内の細かな解説テキストをピクセルで描こうとして文字化けや要約落ちを起こします。
  • 「インフォグラフィック」という言葉の解釈のズレ 画像生成モデルにとって「インフォグラフィック+コミック風」は、「コミック風のイラストの中に看板やフキダシが描いてある絵」として認識されます。テキスト情報を整理して配置する本来の「情報デザイン(インフォグラフィックス)」ではなく、単なる「漫画のカット」を描いてしまうのが、Gemsで作った時に発生した不具合の正体です。
  • 通常プロンプトでうまくいった理由 通常のチャットで複雑なニュース記事と一緒に指示を投げられた場合、モデルは「この大量のテキスト情報を画像モデルに丸投げしたら破綻する」と判断し、コード実行環境(Python/Matplotlib)を使って日本語フォントと図形パーツをプログラム上で正確にレイアウトする処理を選択します。

Gemsを「まとも」に機能させるための修正ポイント

Gemsの設定(指示文)に以下の3点を追加・補正することで、Gems側でも意図通りの高精度なインフォグラフィックを作らせることができます。

  1. 出力手法を明示する 「画像生成モデル(イラスト描画)のみで完結させず、プログラム描画(Python等)や図解レイアウトを用いて、日本語テキストが潰れずに読める形で出力すること」
  2. 文字情報の保持を最優先にする 「要点・背景・懸念などの各論テキストを削らず、カード型やバナー型の枠内に正確なフォントで配置すること(イラストの背景として誤魔化さない)」
  3. コミック表現の適用先を限定する 「全体を漫画にするのではなく、枠線(太線)・パステル調の塗り・フキダシやタグといった『図解デザインの装飾スタイル』としてコミックテイストを適用すること」

実は、私はそれでも納得ができなかった。
なぜなら、Gemが最初はきちんとプロンプトのような画像を作ってくれていたからだ。
しかも、プロンプトは一緒で。

追求したところ、Gemsを通すと「プログラミング言語処理(コード実行)」になってしまうことが判明した。

最初のGemに戻って見てほしい:

Gemsに設定した指示文:

  1. 画像は16:9 ランドスケープ
  2. 画像で題名は必要ない
  3. コミック風でパステルカラー
  4. 内容はすべて日本語で表記すること(変な文字は絶対に使わないこと)

この指示の「4) 内容はすべて日本語で表記すること(変な文字は絶対に使わないこと)」という強い制約が原因です。

冒頭にも書いたがこの「べからず」指定でおかしくなることがわかった。

  1. 「変な文字は絶対に使わない」への過剰適応画像生成モデル(Imagen)は絵として文字を描くため、どうしても看板や書類の文字が崩れたり、意味不明な文字が混ざったりします。Gems(カスタム指示)として「絶対に使うな」という強い禁止ルールが固定されていると、AIは「Imagenに描かせると文字が崩れてルール違反になる」と判断し、テキストを完璧に描画できるPython(Matplotlib等)のコード処理へと自律的に回避(フォールバック)してしまう仕様になっています。
  2. インフォグラフィックスという単語の誤認システム側で「記事全体の要約テキスト」+「インフォグラフィック」+「プログラミング実行環境」が揃っていると、イラストではなく「データ可視化(Data Visualization)」タスクだと機械的に解釈してコードを書いてしまいます。

その結果、求めていた「可愛らしいコミック調の4コマ風イラスト」ではなく、
無味乾燥な「Pythonで作ったカード型レイアウト画像」が出力されてしまうという逆転現象が起きました。


なぜGemsは勝手にPythonを実行してしまったのか?

Gemsに渡されていた以下の指示文が、Geminiの判断を完全に「プログラミングモード」に誘導してしまった。

  1. 内容はすべて日本語で表記すること(変な文字は絶対に使わないこと)

この制約を見たとき、AIの内部では以下のような判断が下されます。

  1. 「変な文字は絶対に使わないこと」という強い禁止命令がある
  2. 通常の画像生成AI(Imagen)を使うと、文字が歪んだり謎の象形文字が混ざったりしてルール違反になる
  3. ルールを100%守る唯一の手段は、「Python(Matplotlib等)を使って、正しい日本語フォントで文字と枠を描画することだ」

その結果、AIは画像生成ツールを起動せず、裏でPythonの描画スクリプトを自動作成・実行し、あの整然とした図表画像を生成したというわけです。

今回はGemの挙動がおかしくなる理由を掘り下げてみた。
次回は3.5 Flash、3.8 Flashが4 Hydrogen になり、Skillに展開したことでどうなっていくかです。