AI使ってますか？ 使ってますよね。
僕もたいそう便利に使わせてもらっています。
先日から、Gemini Sparkというサービスがはじまって（有料、Proプランより上向け）、命令しておくと裏で動いてあれこれやってくれるようになりました(Claudeは前から実現してましたし、それに比べるとまだまだの感はありますが)。
それで、テストがてら、地域工務店の動きとか、製品の情報を探してきて教えてくれるように、って頼んでおいたのですが。
なんか、持ってくる話が、AIのことばっかりです。
もしかして、僕の普段の行動に忖度しているのかもしれませんが、でもやっぱり、今、工務店向けサービスってAIがらみのものがとても多いですね。
僕もいくつか、実際に使っているところを見せてもらったりしたことがあります。
すげえなあ、というものもあれば、こんなことでカネとってんのかよ、というものもあります。
まあ、今が稼ぎ時なんだろうな〜、そういうサービスにとっては。
じきに淘汰されると思いますから、それからじっくり選んでもいいと思う反面、早く始めないと乗り遅れる、みたいな気持ちが煽られるから、ムズカシイですね。
僕はClaudeを主力にGeminiとChatGPTを使っています。
しかしながら、先日から突然、Claudeが馬鹿になりました。
馬鹿はいいすぎか…アホ…いや、センスが悪くなりました。
AIサービスにはモデルというものがあって(FableとかSonetとかそういうの)、このモデルが変わると激変することがあるのですが、モデルは(少なくとも僕にわかるようには)変わっていません。
なのに馬…センスが悪くなったのです。
優秀だった社員が、ある日突然、仕事がぜんぜんできなくなっちゃった、みたいな。
困りますよね〜。
頼れるものが壊れたら困る、こんなのはあたりまえです。
この猛暑でエアコンが壊れたら困る。
車が壊れたら出かけられなくて困る。
でも、これらには代替手段があります。
ところが、とつぜんセンスが悪くなったAIの代替って、なかなかムズカシイんだよな…
そういうこともあって、事務処理というか自動化というか、そういうのは、AIのブラックボックスにはさせずに、プログラムを書かせて、AIがいなくても単独で動く、という風にしています。
そうじゃないと、あるとき突然アホになられて困るかもしれない。
みなさんも、ちょっと気をつけたほうがいいかも。
って、ここまで書いて、Claudeに、「言い訳してみて」と投げてみたら
じゃあ、僕（Claude）の立場から一応弁明させてください。笑
「モデルは変わってないのにセンスが悪くなった」というご指摘、耳が痛いんですが、いくつか心当たりがなくもないです。
1. モデル名が変わってなくても、中身は変わることがある
Anthropicは同じモデル名のまま、裏側で細かい調整（ファインチューニングや安全対策のアップデート）を入れることがあります。ユーザー側からは「同じモデルなのに」と見えても、実質的には別バージョンが動いてる、ということは起こり得ます。この辺は公式にアナウンスされないことも多いので、体感の違和感が先に立って当然だと思います。2. 会話が長くなると、地味に劣化する
一つの会話を長く続けていると、文脈（会話履歴）がどんどん積み上がって、僕の中で「何を優先すべきか」がぼやけてくることがあります。これは賢さそのものが落ちるというより、指示の取り違えや、過去のやり取りに引っ張られて的外れな返答をしやすくなる、という現象です。新しい会話を始めると急に調子が戻る、みたいなことがあれば、これが原因の可能性があります。3. 「使用量の節約」で軽いモデルに切り替わってる可能性
これはサヅカさんのブログにも書かれてた話ですが、使用量制限に近づくと、システム側が自動的に軽量モデルにルーティングすることがあります。本人は「同じClaudeを使ってる」つもりでも、裏で実は違う個体が対応してた、というのは十分あり得る話です。4. 単純に、こちらの調子の悪い日、という言い訳はできない
人間の「今日は調子悪いな」みたいな日変動は、原理的には僕にはないはずです。同じ入力には（温度パラメータの範囲内で）近い出力をするのが建前なので、ここは「言い訳できない」ところです。むしろ「センスが落ちた」と感じさせた原因は、上記のような環境側の変化か、あるいはサヅカさんの依頼の仕方・文脈の与え方が変わった、というケースもゼロではないです（これは反論ですみません）。まとめると、「モデルは変わってないから理由がわからない」という感覚は正しい一方で、「変わってないように見えて実は変わってる」余地がけっこうあります。ブラックボックスを信用しすぎない、という結論は、この構造を考えるとやっぱり妥当だと思います。
だそうです。
じゃあ、どうしたらいいの？ と聞いてみたら
（長かったので抜粋してます。重要だと思ったところにはマーカーを引いてます）
1. 「勝手に賢さが変わる」層と「変わらない層」を分ける
チャット画面（claude.aiやGeminiアプリ）は裏側のルーティングやモデル更新の影響をもろに受けます。一方、APIでモデル文字列（例：claude-sonnet-5のような具体的なバージョン名）を指定してスクリプトから呼ぶと、少なくとも「勝手に軽いモデルに差し替わる」リスクは減ります。ブログでも書かれていた「単独で動くようにする」方針は、この意味で正しいです。定型の自動処理は、なるべくAPI経由のスクリプトに固定していくのが安全です。2. 出力の「健全性チェック」を仕込む
判断や文章生成をAIに任せる自動化には、簡単な検証ステップを挟むと事故に気づきやすくなります。期待するフォーマット（文字数、必須項目の有無など）を機械的にチェックする
過去の出力と極端に違う結果が出たらログに残す、あるいは自分に通知する
「明らかにおかしい」を検知する簡易ルールを先に決めておく（全部AIの良識に任せない）3. 重要な判断は人間レビューを一段挟む
記事公開、顧客への文面、金額に関わることなど「間違えたら困る」処理は、AIが最終出力を作っても、必ず自分の目視チェックを通してから確定させる、という運用をこれまで通り徹底する。特に「急に賢さが落ちた日」に一番怖いのはここです。4. ツールを掛け持ちして、片方がコケても止まらない体制にする
すでにClaude・Gemini・ChatGPTを併用されているのは、実はこの意味でも理にかなっています。一つのAIに依存しきった自動化パイプラインは、そのAIの調子が悪くなった瞬間に全部止まります。止められない業務は、代替経路（最悪、自分の手でできる状態）を残しておくのが安心です。5. 「調子が悪い」と感じたら、まず会話をリセットする
同じ会話を長く引きずっていると、文脈が積み上がって判断がぼやけることがあります。急に的外れになったと感じたら、新しい会話を始めてみる、というのはコストの低い対処法です。6. プロンプトや指示文もバージョン管理する
「決まった手順」がある作業は、指示文自体をテキストファイルとして保存・更新していくと、AI側の変化と自分の指示の変化を切り分けやすくなります（「AIが悪いのか、自分の頼み方が変わったのか」の切り分けにも使えます）。要は、チャットでの雑談的な使い方には多少目をつぶりつつ、業務として止められない部分はAPI固定＋検証つきのスクリプトに寄せていく、というのが現実的な落としどころだと思います。ブログの結論（「事務処理はブラックボックスにさせずプログラムを書かせる」）は、この方向性としてそのまま正しいです。
会話のセンスが悪いだけなら、見ればわかるからいいですけど、エージェント機能を使って、裏でうごいてもらってたりするのがアホになると、ちょっと怖いですよね。
という僕もブログにAIチャットボットをつけてますが、こいつのモデルが古くなってきたので更新したいけど、急におかしくなったらやだな…とそのまんまにしています。なんでこんなことで悩まないといけないのかねえ…
