2025年最新！ポケモンをクリアするLLMレースの最前線

### 2025年最新！ポケモンをクリアするLLMレースの最前線 #### ポケモンをクリアするLLMレースの概要 LLM（大規模言語モデル）がポケモンをプレイする試みは、AIの能力を測る興味深いベンチマークとなっています。ユーザーの質問「LLMでポケモンをクリアするレースで一番進んでいるモデルは何？」に答えるために、現状のレース状況と、特に注目されているモデルについて解説します。 現時点で最も注目されているのは、AnthropicのClaudeシリーズです。特に、Claude Opusは、ポケモンバトルにおいて優れた性能を発揮することが実験で示されています[1](https://community.aws/content/2eVAc9JN5iKjxntxq1EiwN3wQW1/five-llms-battled-pokemon-claude-opus-was-super-effective) @AWS | Community | Five LLMs battled Pokemon. Claude Opus was super effective。しかし、ポケモンを「クリアする」というより複雑なタスクにおいては、別の側面も見えてきます。 **LLMエージェントによるポケモン攻略の進捗** Anthropicでは、LLMを活用したポケモンプレイエージェントの開発が進められています[1](https://www.zenml.io/llmops-database/building-and-deploying-a-pokemon-playing-llm-agent-at-anthropic) @The Blackout Strategy - by Justis Mills。このプロジェクトは、LLMの能力を示すデモンストレーションであると同時に、モデルの改善やエージェントの長期的なタスク遂行能力を評価するためのツールとしても機能しています。 開発は2022年6月にDavid Hershey氏によって開始され、当初はサイドプロジェクトでしたが、LLMエージェントの能力を示す重要なデモンストレーションへと発展しました[1](https://www.zenml.io/llmops-database/building-and-deploying-a-pokemon-playing-llm-agent-at-anthropic) @The Blackout Strategy - by Justis Mills。ポケモンが選ばれたのは、そのエンターテイメント性だけでなく、モデルの能力をテストするための構造化された環境としての可能性があったためです[1](https://www.zenml.io/llmops-database/building-and-deploying-a-pokemon-playing-llm-agent-at-anthropic) @The Blackout Strategy - by Justis Mills。 AnthropicによるClaudeの進化は以下の通りです[1](https://www.zenml.io/llmops-database/building-and-deploying-a-pokemon-playing-llm-agent-at-anthropic) @The Blackout Strategy - by Justis Mills: * **Claude 3.5 (2023年6月)**：家から出てうろつくことができる * **Claude 3.6 および 新3.5 (2023年10月)**：最初のポケモンを入手し、基本的な進捗を達成 * **最新バージョン**：ジムリーダーを倒し、意味のある進捗を達成 この進化は、長期的な意思決定、経験からの学習、一貫性の維持、視覚情報の処理と行動において改善が見られることを示唆しています[1](https://www.zenml.io/llmops-database/building-and-deploying-a-pokemon-playing-llm-agent-at-anthropic) @The Blackout Strategy - by Justis Mills。 **Claudeの「ブラックアウト戦略」** しかし、Justis Mills氏の記事「The Blackout Strategy」[0](https://justismills.substack.com/p/the-blackout-strategy) @The Blackout Strategy - by Justis Millsは、AIがポケモンをプレイすることの難しさと、その過程で明らかになるAIの弱点について考察しています。記事では、Claudeがゲームの序盤を攻略したものの、Mt. Moonというダンジョンで「ブラックアウト戦略」に陥った事例が紹介されています[0](https://justismills.substack.com/p/the-blackout-strategy) @The Blackout Strategy - by Justis Mills。 ブラックアウト戦略とは、ポケモンが全滅してポケモンセンターに戻される状態を利用する戦略で、ClaudeはMt. Moonをクリアしたと誤認識し、わざとポケモンを全滅させてポケモンセンターに戻り、Cerulean Cityへの道を模索するという行動を繰り返しました[0](https://justismills.substack.com/p/the-blackout-strategy) @The Blackout Strategy - by Justis Mills。これは、AIが誤った認識に基づいて行動し、抜け出せなくなるという問題を示唆しています。 **より優れた基盤モデルの必要性** この問題に対して、Mills氏は、より多くの機能を追加するのではなく、より優れた基盤モデルが必要であると結論付けています[0](https://justismills.substack.com/p/the-blackout-strategy) @The Blackout Strategy - by Justis Mills。 **ポケモンバトルにおけるLLMの性能比較** 一方、ポケモンバトルに焦点を当てた実験では、異なるLLMの性能が比較されています。Banjo Obayomi氏がAmazon Bedrockを通じてLLMエージェントを対戦させた結果、Claude Opusが最も優れた成績を収めました[1](https://community.aws/content/2eVAc9JN5iKjxntxq1EiwN3wQW1/five-llms-battled-pokemon-claude-opus-was-super-effective) @AWS | Community | Five LLMs battled Pokemon. Claude Opus was super effective。 | モデル | ランキング | 平均速度（秒） | | ---------------- | -------- | ------------ | | 🥇 Claude 3 Opus | チャンピオン | 21 | | 🥈 Claude 3 Sonnet | 2位 | 10 | | 🥈 Mistral Large | 2位 | 8 | | 🥉 Claude 3 Haiku | 3位 | 3 | | Mixtral 8x7B | 4位 | 8 | ただし、Opusは計算コストが高く、1つの技を選択するのに平均21秒かかるという課題もあります[1](https://community.aws/content/2eVAc9JN5iKjxntxq1EiwN3wQW1/five-llms-battled-pokemon-claude-opus-was-super-effective) @AWS | Community | Five LLMs battled Pokemon. Claude Opus was super effective。 **プロンプトエンジニアリングとハルシネーション** これらの実験から、プロンプトエンジニアリングの重要性も明らかになっています。当初、GPTモデルでテストされたプロンプトをClaude 3 Sonnetで使用したところ、勝率はわずか5%でしたが、新しいプロンプトを作成したところ、勝率は50%に向上しました[1](https://community.aws/content/2eVAc9JN5iKjxntxq1EiwN3wQW1/five-llms-battled-pokemon-claude-opus-was-super-effective) @AWS | Community | Five LLMs battled Pokemon. Claude Opus was super effective。 また、LLMは頻繁にハルシネーション（幻覚）を起こし、タイプ相性の間違いや能力の誤認識といった論理的な誤りを犯すことも課題です[1](https://community.aws/content/2eVAc9JN5iKjxntxq1EiwN3wQW1/five-llms-battled-pokemon-claude-opus-was-super-effective) @AWS | Community | Five LLMs battled Pokemon. Claude Opus was super effective。 **結論** LLMによるポケモンクリアレースは、まだ発展途上の段階であり、AnthropicのClaudeシリーズが注目されています。特にClaude Opusは、ポケモンバトルにおいて高い性能を発揮しますが、全体的なゲーム攻略においては、誤認識や戦略的な課題も存在します。今後の研究開発により、より賢く、より柔軟なAIエージェントが登場することが期待されます。