📜 要約
主題と目的
本調査の主題は、大規模言語モデル（LLM）における「In Context Learning（ICL）」の概念、その動作メカニズム、従来の機械学習との比較、および実世界での応用、さらには関連するプロンプト技術と将来的な展望を明らかにすることにあります。ユーザーからの「In Context Learningとはなにか？」という質問に対し、ICLがAIのタスク適応においてどのような革新をもたらし、どのように機能するのかを深く掘り下げ、その重要性と影響を包括的に理解することを目的とします。
回答
In Context Learning（ICL）の基本定義と革新性
In Context Learning（ICL）は、大規模言語モデル（LLM）が、プロンプト内で提供される少数の具体例（デモンストレーション）から新しいタスクを学習する画期的な能力を指します, 。この概念は、2020年に発表されたGPT-3の論文「Language Models are Few-Shot Learners」によって導入され、AIのタスク適応における新たな地平を切り開きました。
ibm.com
ibm.com
従来の機械学習モデルは、レポート要約、質問応答、文書翻訳といった複雑なタスクを実行するために、大規模なアノテーション付きデータセットでの広範な再学習や、コストのかかるファインチューニングを必要としていました。しかし、ICLは、このようなボトルネックを解消し、モデルが再学習や追加データなしに、プロンプト内で例を提示するだけで新しいタスクに即座に適応できる可能性をもたらしました。これにより、より高速で適応性が高く、費用対効果に優れたAIソリューションの提供が可能となります。
ibm.com
ibm.com
ICLの基本的な仕組みと動作メカニズム
ICLの基本的な仕組みは、人間が過去の経験から類推を働かせ、新しい問題を解決するプロセスに類似しています。LLMはプロンプトを一時的なガイドとして利用し、タスクを推論して期待される出力を生成します。具体的には、プロンプト内の例（入力/出力ペア、またはin-context例）間の関係性を認識し、そのマッピングを新しい入力に適用することで機能します。
ibm.com
ibm.com
ibm.com
このプロセスの核心は、自然言語で書かれた一連の例を含むプロンプトでLLMを条件付けることにあります。これらの例はモデルを再訓練するためではなく、LLMが一度に処理できるテキスト量を示す「コンテキストウィンドウ」に直接供給されます, 。このコンテキストウィンドウは、モデルの一時的なメモリとして機能し、一貫した応答を生成するために不可欠です。LLMは、ディープラーニングのトランスフォーマーアーキテクチャを活用し、現在のプロンプト内の例のみを使用してパターンを動的に学習します。このとき、モデルの重みは更新されません, 。新しいスキルはLLMが応答を生成した直後に忘れられる「一時的な学習」であると考えられています。
ibm.com
floatbot.ai
ibm.com
ibm.com
hopsworks.ai
hopsworks.ai
例えば、感情分類タスクにおけるICLの動作は以下のようになります。
レビュー: 映画は素晴らしかった → 感情: ポジティブ
レビュー: ストーリーラインが嫌いだった → 感情: ネガティブ
レビュー: 音楽は心地よかった → 感情:
このプロンプトを与えられたモデルは、与えられた入力とラベルのマッピングからパターンを認識し、最後の行に対して「ポジティブ」と予測します。これは、モデルが少数の例に基づいてタスクを推論し、適切な応答を生成する少数ショット学習（few-shot learning）の典型的な例です。
ibm.com
ibm.com
LLMにおけるICLの動作メカニズムは、以下のフローチャートで視覚的に理解できます。
従来の機械学習との比較
ICLは、従来の機械学習（ML）のパラダイムと決定的に異なります。最も顕著な違いは、学習メカニズム、特にモデルのパラメータ更新の有無にあります。
| 特徴 | In-context Learning (ICL) | 従来の機械学習 (教師あり学習など) |
|---|---|---|
| 学習プロセス | 推論時にプロンプト内の少数の例から動的にタスクを学習 | 事前トレーニング段階で大規模なデータセットを用いて学習 |
| モデルパラメータ | 更新されない | 勾配降下法などにより更新される |
| トレーニング | 明示的な再トレーニングやファインチューニングは不要 | 各タスクに対して大規模なデータセットでのトレーニングが必要 |
| 計算コスト | 新しいタスクへの適応にかかる計算コストが大幅に低い | 新しいタスクごとに高コストなトレーニングが必要 |
| 学習の保持 | 新しく学習したスキルは、LLMが応答を生成した直後に一時的である | 学習したスキルはモデルパラメータに恒久的に保存される |
| 柔軟性/適応性 | 少数の例で瞬時に新しいタスクに適応可能 | 新しいタスクへの適応には再トレーニングが必要で時間がかかる |
| インタフェース | 自然言語による例示で人間が直感的に操作可能 | プログラミングや専門知識が必要な場合が多い |
この表から、ICLは従来のMLと比較して、迅速な適応性、コスト効率、および柔軟性において優れていることがわかります。
ICLの動作原理に関する深い理解と研究動向
ICLの正確な動作メカニズムについては、研究者間で議論が続いていますが、複数の有力な説明が提唱されています。
- 暗黙のベイジアン推論: ICLをベイズ推論の一形態として捉える見解が有力です,ibm.com。この観点では、モデルは少数ショットまたはワンショットの例を見て、プロンプトから「これは感情分類である」といった潜在的な概念（目に見えないタスクや構造）を推論し、「特定」しますmedium.com,ibm.com。例が増えるにつれて、モデルはそのタスクに対する確信度を高め、予測を改善すると考えられています。ibm.com
- 勾配降下法の内部シミュレーション: 最近の研究では、Transformerモデルが、特に線形回帰のような単純なタスクにおいて、学習プロセスを内部的にシミュレートできることが示されています,ibm.com。実際のパラメータ更新は発生しないものの、モデルは推論中に内部的な学習のような振る舞いをします。medium.com
- スキーマ学習とリバインディング: Dileep et al.は、スキーマ学習とリバインディングがICLの主要なメカニズムであり、プロンプトからスロット充填と潜在テンプレートを同時に推測することでICLを説明できると推測しています,hopsworks.ai。hopsworks.ai
これらの発見は、LLMが静的な予測器であるだけでなく、自然言語プロンプトを使用してタスク構造にリアルタイムで適応できることを示唆しており、ICLの強力な能力の根源を解明する手がかりとなっています。
ibm.com
ICLの性能を左右する要因と課題
ICLは非常に強力な能力ですが、その有効性にはいくつかの要因が影響し、課題も存在します。
- モデルの規模とパラメータ感度: ICLの有効性は、LLMの規模と設計に大きく左右されます,ibm.com。大規模なLLMほどICLにおいて強力な創発能力を示し、例えばGPT-4（32Kのコンテキストウィンドウサイズ）は人間のTheory-of-Mind（ToM）タスクの95%を解決できたのに対し、GPT-3（2Kのコンテキストウィンドウサイズ）は40%しか解決できませんでしたibm.com,hopsworks.ai。hopsworks.ai
- 事前学習データの質と多様性: ICLの有効性は、事前学習データの多様性と質に大きく依存します,ibm.com。狭い、あるいは偏ったデータセットで訓練されたモデルは、汎化性能や公平性の問題につながる可能性があります。ibm.com
- コンテキストウィンドウの長さ: 長いコンテキストウィンドウを持つLLMは、曖昧な状況をより良く処理し、高品質の要約を生成できます,floatbot.ai。しかし、コンテキストの長さを拡張することは、アテンション行列がコンテキスト長に二次関数的に増加するため、計算の複雑さが大幅に増大するという大きな課題を伴いますfloatbot.ai,floatbot.ai。floatbot.ai
- プロンプト設計の感度と安定性: ICLはプロンプト設計に非常に敏感であり、コンテキスト内の例の数、順序、フォーマットのわずかな変更でもモデルのパフォーマンスに影響を与える可能性があります,ibm.com。ibm.com
- その他の懸念: 特定のドメインに特化したタスクでは、ICLの性能が低下することがあり、ドメイン固有のデモンストレーションや従来のファインチューニングが必要になる場合があります。また、事前学習データに含まれる社会的な偏見を意図せず引き継ぎ、強化するリスクや、機密情報を記憶・再現する可能性があり、倫理、公平性、プライバシー、セキュリティに関する課題も提起しています。ibm.com
ICLの改善戦略：モデル訓練とプロンプト設計
ICLの有効性を高めるためには、モデルの訓練とプロンプトの設計の両面で戦略が探求されています。
ibm.com
モデルの訓練における改善戦略
ICL能力を本質的に向上させるための訓練時または直後の改善策は以下の通りです, 。
ibm.com
ibm.com
- 構造化データによる事前学習: 入力/出力ペアやタスククラスターを明示的に整理して事前学習を行うことで、モデルはタスクのパターンや関係性により敏感になります,ibm.com。ibm.com
- メタ蒸留: モデルをタスクの本質を伝える短く情報量の多い例ペアにさらすことで、推論中に最小限のデモンストレーションで迅速に汎化できるようになります,ibm.com。ibm.com
- ウォームアップ訓練: 事前学習と実際の推論の間に、プロンプト形式のタスクアライメントされた例を使用してモデルをファインチューニングすることで、関連コンテンツへの汎化能力が向上します,ibm.com。ibm.com
- 命令チューニング: 自然言語の指示として書かれた何千ものタスクを使用してモデルを訓練することで、少数ショットおよびゼロショットの汎化が改善されます,ibm.com。ibm.com
プロンプトの設計における改善戦略
推論時におけるプロンプトの設計は、ICLの活用において極めて重要な役割を果たします, 。
ibm.com
ibm.com
- デモンストレーション選択: 類似度メトリック、不確実性スコア、または訓練されたリトリーバーを使用して、適切な例を選択することがモデルのパフォーマンスを大きく左右します,ibm.com。ibm.com
- デモンストレーションの再フォーマット: 単純な入力/出力ペアではなく、推論チェーン（例：「前提 → 推論 → 結論」）を使用するなど、例の構造を変更することで、モデルの内部表現との整合性を高めます,ibm.com。ibm.com
- デモンストレーションの順序付け: 例を単純なものから複雑なものへと整理することで、モデルは徐々にコンテキストを構築し、理解度と出力品質を向上させることができます,ibm.com,ibm.com。ibm.com
- 命令フォーマットとChain-of-Thoughtプロンプティング: 中間ステップを明示的にガイドすることで、推論中心のタスクを強化し、精度を向上させます,ibm.com,ibm.com。ibm.com
主要なプロンプト戦略と実践事例
ICLは、単に例を提示するだけでなく、プロンプトの設計によってその性能を大きく向上させることができます。
Chain of Thought (CoT)
CoTは、特に算術推論、常識推論、記号推論といった複雑な推論タスクにおいて、LLMの性能を劇的に向上させるプロンプト戦略です6, 。従来のICLが単に入力と出力のペアでプロンプトを構成するのに対し、CoTは最終的な出力に至るまでの中間推論ステップをプロンプトに明示的に組み込みます, 。
medium.com
medium.com
medium.com
- Few-Shot CoT: 中間推論ステップを含むデモンストレーション例をいくつか提示します。medium.com
- Zero-Shot CoT: デモンストレーションの例を一切与えず、「一歩ずつ考えましょう（Let's think step by step）」のようなシンプルなトリガー文をプロンプトに追加するだけで、LLMに推論ステップを生成させます7, 。medium.com
Self-consistency CoT
Self-consistency CoTは、CoTの性能をさらに引き上げるデコーディング戦略で、「サンプルと周辺化」デコーディングと呼ばれます9, 。複数の異なる推論パスを生成し、その中で最も一貫した回答（多数決）を見つけることで最適な回答を決定します。
medium.com
Tree of Thoughts (ToT)
Tree of Thoughts (ToT) は、CoTアプローチをさらに一般化し、問題解決に向けた中間ステップとしての「思考」のまとまりを探索することを可能にします10, 。LLMが複数の異なる推論パスを考慮し、選択肢を自己評価し、必要に応じて先を見越したり後戻りしたりすることで、より意図的な意思決定を行えるようにします。
medium.com
実践事例
ICLは多岐にわたる現実世界のタスクに応用されており、その柔軟性と効率性が評価されています。
- 感情分析: 少数のラベル付きテキストサンプル（例：「素晴らしいサービス → ポジティブ」、「ひどい製品 → ネガティブ」）を提供することで、LLMは新しい未分類の文章の感情を高精度で推論できます,ibm.com。ibm.com
- 異常検知とサイバーセキュリティ: 正常なネットワーク活動と異常なネットワーク活動のラベル付き例を与えることで、LLMは新しいトラフィックインスタンスを正確に分類し、異常または疑わしいものとして識別できます。例えば、GPT-4を用いた自動ネットワーク侵入検知の研究では、わずか10個の例で90%以上の精度とF1スコアの改善を達成しましたibm.com。ibm.com
- ドメイン固有の自然言語処理（NLP）: ラベル付きデータが不足している専門分野でも、ICLは関連する例をプロンプト内に含めることで、LLMが専門タスクで優れた性能を発揮します,ibm.com。航空安全レポート分析の例では、ICLを用いたLLMが分類精度を最大80.24%まで向上させましたibm.com。ibm.com
自動プロンプト技術の進化
プロンプトエンジニアリングは多大な試行錯誤を必要とするため、自動化へのニーズが高まっています。
- Automatic Prompt Augmentation and Selection CoT: ラベル付けされたデータからCoTプロンプトを自動的に構築するために、「増強（Augment）」「剪定（Prune）」「選択（Select）」の3ステッププロセスを提案しています11, 。medium.com
- Auto-CoT: Automatic Chain-of-Thought Prompting: 質問のクラスタリングと代表的な質問の選択、およびZero-shot CoTを用いた推論生成により、質問と推論チェーンを含むデモンストレーションを自動的に構築します12, 。medium.com
これらの自動化技術は、プロンプトエンジニアリングの複雑さを軽減し、ICLをより広範なアプリケーションで利用可能にするための重要な進歩です。
結果と結論
In Context Learning（ICL）は、大規模言語モデル（LLM）がプロンプト内の少数の例から新しいタスクを動的に学習する、極めて革新的な能力です。従来の機械学習が大規模な再学習やファインチューニングを必要とするのに対し、ICLはモデルのパラメータを更新することなく瞬時に適応できるため、AIソリューションの柔軟性、効率性、費用対効果を大幅に向上させます。
ICLの動作メカニズムは、暗黙のベイジアン推論や勾配降下法の内部シミュレーションといった高度な認知プロセスに類似していることが示唆されており、LLMが単なる静的な予測器ではなく、推論中に内部的な学習のような振る舞いをすることを示しています。この能力は、モデルの規模、事前学習データの質、およびプロンプト設計の品質に大きく依存するため、これらの要因を最適化することがICLの性能を最大化する鍵となります。
Chain of Thought (CoT) やその派生であるSelf-consistency CoT、Tree of Thoughts (ToT) といったプロンプト戦略は、LLMの推論能力を飛躍的に向上させ、感情分析、異常検知、ドメイン特化型NLPなどの多岐にわたる実世界タスクでその有効性が実証されています。さらに、自動プロンプト技術の発展は、ICLの利用をより容易にし、AIシステム開発の複雑さを軽減するでしょう。
ICLは、AIシステムに柔軟性、効率性、アクセシビリティをもたらし、静的な事前学習モデルと動的な現実世界のニーズとの間のギャップを埋めるものです。倫理、公平性、プライバシー、セキュリティなどの課題は残るものの、学習アルゴリズム、事前学習戦略、プロンプト設計、デモンストレーション最適化に関する研究が進むにつれて、ICLは将来の汎用AIシステムの礎石となり、より適応性が高く、解釈可能でスケーラブルなシステムへの道を拓くでしょう, 。
ibm.com
ibm.com
ibm.com
コード実行
<!DOCTYPE html><html><head><meta charset="utf-8"><title>In-Context Learning (ICL) の解説</title><style>body { font-family: 'Noto Sans CJK JP', sans-serif; line-height: 1.6; color: #333; margin: 0 auto; max-width: 900px; padding: 20px; background-color: #f9f9f9; } h1, h2, h3 { color: #2c3e50; } ul { list-style-type: disc; margin-left: 20px; } ul ul { list-style-type: circle; margin-left: 20px; } a { color: #3498db; text-decoration: none; } a:hover { text-decoration: underline; } .diagram-container { background-color: #ffffff; padding: 20px; border-radius: 8px; box-shadow: 0 2px 4px rgba(0,0,0,0.1); margin-bottom: 20px; } .mermaid { text-align: center; } .source { font-size: 0.8em; color: #666; margin-top: 10px; }.section { background-color: #ffffff; padding: 20px; border-radius: 8px; box-shadow: 0 2px 4px rgba(0,0,0,0.1); margin-bottom: 20px; }</style></head><body><h1>In-Context Learning (ICL) とは何か</h1><div class="section"><h2>In-Context Learning (ICL) の定義と仕組み</h2><p>In-Context Learning (ICL) は、大規模言語モデル (LLM) が、プロンプト内に直接埋め込まれた少数の具体例（コンテキスト）を利用してタスクを学習する手法です。</p><p>この手法の大きな特徴は、モデルの内部的な重みを変更することなく、与えられた文脈（コンテキスト）から学習する点にあります。</p><div class="diagram-container"><h3 style="text-align: center;">ICLの基本フロー</h3><pre class="mermaid">graph TD A[ユーザー] --> B(プロンプト作成) B --> C{プロンプト内容}; C -- タスク指示 + 具体例 --> D(大規模言語モデル LLM) D -- コンテキストウィンドウ経由 --> E(LLMの内部知識を活性化) E --> F(タスクのパターンを学習) F -- パラメータ更新なし --> G(新しいタスクの実行) G --> H(応答生成) subgraph ICLの特性 F -- モデル重み変更なし --> I(ファインチューニング不要) F -- 推論時に一時的に学習 --> J(新しいタスクへの迅速な適応) end subgraph 従来の機械学習との比較 K[従来のML] -- 大規模な訓練データ + ファインチューニング --> L(モデルパラメータ更新) L --> M(特定のタスクに特化) M -- 新タスクには再訓練が必要 --> K end</pre><div class="source">出典: <a href="https://www.hopsworks.ai/dictionary/in-context-learning-icl" target="_blank" rel="noopener noreferrer">hopsworks.ai</a>, <a href="https://www.ibm.com/think/topics/in-context-learning" target="_blank" rel="noopener noreferrer">ibm.com</a></div></div><ul><li><b>プロンプト内での例示</b>: ユーザーは、LLMに解決させたいタスクの入力と期待される出力のペアをいくつかプロンプトに含めます。これらの例が「インコンテキスト（文脈内）」の学習データとして機能します。</li><li><b>パラメータ変更なしの学習</b>: LLMはこれらの例からタスクのパターンや規則性を推論し、実際にモデルのパラメータを更新することなく新しいタスクをこなせるようになります。</li><li><b>メリット</b>: 特定のタスクのためにモデル全体を再訓練（ファインチューニング）する必要がないため、開発者は新しいユースケースに迅速に対応でき、リソースの節約にも繋がります。</li></ul><div class="source">出典: <a href="https://www.prompthub.us/blog/in-context-learning-guide" target="_blank" rel="noopener noreferrer">prompthub.us</a>, <a href="https://ai.stanford.edu/blog/understanding-incontext/" target="_blank" rel="noopener noreferrer">ai.stanford.edu</a></div></div><div class="section"><h2>ICLの主要なアプローチ</h2><ul><li><b>Chain of Thought (CoT)</b>: 複雑な推論タスクにおいてLLMの性能を向上させるプロンプト戦略です。最終出力に至るまでの中間推論ステップをプロンプトに組み込みます。<ul><li><b>Few-Shot CoT</b>: 中間推論ステップを含む例をいくつかデモンストレーションとして提示する手法です。</li><li><b>Zero-Shot CoT</b>: デモンストレーションの例を一切与えず、「Let's think step by step（一歩ずつ考えましょう）」のようなシンプルなプロンプトを追加するだけで、LLMに推論ステップを生成させます。</li></ul></li><li><b>Self-consistency CoT</b>: CoTにおける貪欲なデコーディング戦略を置き換えることで、LLMの推論性能をさらに向上させるデコーディング戦略です。複数の推論パスを生成し、多数決で最適な回答を決定します。</li><li><b>Tree of Thoughts (ToT)</b>: CoTアプローチを一般化し、問題解決に向けた中間ステップとしての「思考」のまとまりを探索することを可能にします。LLMが複数の異なる推論パスを考慮し、選択肢を自己評価し、必要に応じて先を見越したり後戻りしたりすることで、意図的な意思決定を行えるようにします。</li></ul><div class="source">出典: <a href="https://medium.com/data-science/in-context-learning-approaches-in-large-language-models-9c0c53b116a1" target="_blank" rel="noopener noreferrer">medium.com/data-science</a></div></div><div class="section"><h2>ICLのパフォーマンスを左右する要因</h2><ul><li><b>モデルのコンテキストウィンドウサイズ</b>: プロンプトに追加できる例の数は、モデルのコンテキストウィンドウサイズに依存します。例えば、GPT-4は約50ページ分の入力テキスト（32KBのデータ）を含めることができます。</li><li><b>LLMのパラメータ数</b>: ICLはより多くのパラメータを持つLLMから恩恵を受けます。例えば、GPT-4（32Kのコンテキストウィンドウサイズ）はGPT-3（2Kのコンテキストウィンドウサイズ）よりも誤信念タスクの解決率が高かったと報告されています。</li></ul><div class="source">出典: <a href="https://www.hopsworks.ai/dictionary/in-context-learning-icl" target="_blank" rel="noopener noreferrer">hopsworks.ai</a></div></div><div class="section"><h2>ICLの主な課題</h2><ul><li><b>モデルの規模とパラメータ感度</b>: 大規模なLLMほどICLにおいて強力な創発能力を示しますが、小規模なモデルは複雑なタスクを効果的にモデル化するためのパラメータ容量が不足しているため、苦戦することがあります。</li><li><b>事前学習データの品質とバイアス</b>: 事前学習データの多様性と品質に依存するため、偏ったデータセットで訓練されたモデルは、汎化性能の低下や公平性の問題を引き起こす可能性があります。</li><li><b>ドメイン転移と汎化</b>: LLMは印象的な適応性を示しますが、法律や医療などの高度にドメイン固有のタスクではパフォーマンスが低下する可能性があります。</li><li><b>倫理と公平性</b>: ICLは、訓練データに存在する社会的なバイアスを意図せず引き継ぎ、強化する可能性があります。</li><li><b>プライバシーとセキュリティ</b>: 事前学習コーパスに機密情報が含まれていた場合、ICLベースのシステムがその情報を記憶または再現する可能性があり、プライバシー上の懸念が生じます。</li><li><b>プロンプト感度と安定性</b>: プロンプトの設計に敏感であり、in-context例の数、順序、または書式設定のわずかな変更が、出力に大きな変化をもたらす可能性があります。</li></ul><div class="source">出典: <a href="https://www.ibm.com/think/topics/in-context-learning" target="_blank" rel="noopener noreferrer">ibm.com</a></div></div><script src="https://unpkg.com/mermaid@11.4.0/dist/mermaid.min.js"></script><script>mermaid.initialize({ startOnLoad: true });</script></body></html>🖼 関連する画像
このレポートが参考になりましたか？
あなたの仕事の調査業務をワンボタンでレポートにできます。
🔍 詳細
🏷In Context Learning（ICL）の基本定義と登場背景
In Context Learning（ICL）の基本定義と登場背景
In Context Learning（ICL）は、大規模言語モデル（LLM）がプロンプト内で提供された少数の例（デモンストレーション）から新しいタスクを学習する画期的な能力を指します。この概念は、2020年に発表されたGPT-3の論文「Language Models are Few-Shot Learners」で導入され、AIのタスク適応における新たな地平を切り開きました, 。
ibm.com
ibm.com
従来の機械学習モデルは、レポートの要約、質問応答、文書翻訳といった複雑なタスクを実行するために、大規模なアノテーション付きデータセットでの広範な再学習や、コストのかかるファインチューニングプロセスを必要としていました。これはイノベーションを遅らせ、運用コストを増大させ、AIのスケーラビリティを著しく制限する要因となっていました, 。ICLは、このような従来の機械学習のボトルネックを解消し、モデルが再学習や追加データなしに、プロンプト内で例を提示するだけで新しいタスクに即座に適応できる可能性をもたらしました。これにより、より高速で適応性が高く、費用対効果に優れたAIソリューションの提供が可能となります。
ibm.com
ibm.com
ibm.com
ibm.com
ibm.com
ICLと従来の機械学習の最も顕著な違いは、学習メカニズムにあります。教師あり学習や強化学習といった従来の機械学習手法は、訓練されたデータに基づいてのみ学習し、訓練された特定のタスクしか解決できません。さらに、これらの手法ではモデルのパラメータ（重み）が更新されることで新しいスキルが定着します。しかし、ICLの場合、LLMは推論時にコンテキスト（プロンプト）内で提示された少数の例から新しいタスクを学習し、このプロセス中にモデルの重みが更新されることはありません, 。新しいスキルはLLMが応答を生成した直後に忘れられる「一時的な学習」であると考えられています。
hopsworks.ai
hopsworks.ai
medium.com
hopsworks.ai
ICLの基本的な仕組みと人間の推論との類似性
ICLの基本的な仕組みは、人間が過去の経験から類推を働かせ、新しい問題を解決するプロセスに似ています。LLMはプロンプトを一時的なガイドとして利用し、タスクを推論して期待される出力を生成します。具体的には、プロンプト内の例（入力/出力ペア、またはin-context例とも呼ばれる）間の関係性を認識し、そのマッピングを新しい入力に適用することで機能します。
ibm.com
ibm.com
ibm.com
このプロセスの核心は、自然言語で書かれた一連の例を含むプロンプトでLLMを条件付けることにあります。これらの例はモデルを再訓練するためではなく、LLMが一度に処理できるテキスト量を示す「コンテキストウィンドウ」に直接供給されます, 。このコンテキストウィンドウは、モデルの一時的なメモリとして機能し、一貫した応答を生成するために不可欠です。LLMは、ディープラーニングのトランスフォーマーアーキテクチャを活用し、現在のプロンプト内の例のみを使用してパターンを動的に学習します。このとき、モデルの重みは更新されません。
ibm.com
ibm.com
floatbot.ai
ibm.com
ibm.com
例えば、感情分類タスクにおけるICLの動作は以下のようになります。
ibm.com
レビュー: 映画は素晴らしかった → 感情: ポジティブ
レビュー: ストーリーラインが嫌いだった → 感情: ネガティブ
レビュー: 音楽は心地よかった → 感情:
このプロンプトを与えられたモデルは、与えられた入力とラベルのマッピングからパターンを認識し、最後の行に対して「ポジティブ」と予測します。これは、モデルが少数の例に基づいてタスクを推論し、適切な応答を生成する少数ショット学習（few-shot learning）の典型的な例です。
ibm.com
ibm.com
プロンプトエンジニアリングとコンテキストエンジニアリングの進化
ICLの成功は、プロンプトに提示される内容に大きく依存するため、プロンプトエンジニアリングが極めて重要な役割を果たします。プロンプトエンジニアリングとは、モデルを効果的にガイドするための、高品質で情報量が多く、構造化されたプロンプトを作成する実践です。文言、ラベルの形式、例の順序、さらには句読点のわずかな変更でもモデルのパフォーマンスに影響を与える可能性があります。
ibm.com
ibm.com
ibm.com
ICLにおけるプロンプト戦略には、以下のような種類があります。
ibm.com
- ゼロショットプロンプティング: 例を提供せずにタスクを説明します。
- ワンショットプロンプティング: タスクを説明するために1つの例のみを含めます。
- 少数ショットプロンプティング: 複数の例を提供します。
- Chain-of-Thoughtプロンプティング: 各例に中間的な推論ステップを含めて、モデルのロジックをガイドします。これにより、複雑な推論タスクでのLLMのパフォーマンスが向上します。medium.com
静的なプロンプトの作成から一歩進んで、複雑な実世界のシステムでは「コンテキストエンジニアリング」という新しい分野が注目されています。これは、LLMが実世界のシナリオで信頼性高く機能するために必要なすべての入力（情報、ツール、指示）を適切な形式で組み立てて提供する動的システムを体系的に設計する実践を指します。コンテキストエンジニアリングは、ユーザー入力、以前のインタラクション、ツール出力、外部データなどの複数のソースから、実行時にタスクに関連する完全な入力を構築することに焦点を当てています。これにより、LLMが必要なデータを受け取るだけでなく、それを効果的に解釈できる構造で受け取ることが保証され、モデルの潜在能力と実世界でのパフォーマンスの間のギャップを埋める役割を果たします。
ibm.com
ibm.com
ibm.com
ibm.com
ICLの背後にある深い理解と研究動向
初期のICLの解釈は、表面的なパターン繰り返しや次のトークン予測として見られることが多かったのですが、新しい研究はより深いプロセスを示唆しています, 。有力な説明の一つは、ICLをベイズ推論の一形態として捉えるものです, 。この観点では、モデルは少数ショットまたはワンショットの例を見て、プロンプトから潜在的な概念（例えば、「これは感情分類である」といった目に見えないタスクや構造）を推論します, 。別の説明では、ICLが勾配降下法に結びつけられています, 。最近の研究では、トランスフォーマーモデルが、特に線形回帰のような単純なタスクでは、学習プロセスを内部的にシミュレートできることが示されています。実際のパラメータ更新は発生しないものの、モデルは推論中に内部的な学習のような振る舞いをします。これらの発見は、LLMが静的な予測器であるだけでなく、自然言語プロンプトを使用してタスク構造にリアルタイムで適応することを示唆しており、ICLの強力な能力の根源を解明する手がかりとなっています。
ibm.com
ibm.com
ibm.com
medium.com
ibm.com
ibm.com
ibm.com
medium.com
ibm.com
ibm.com
ibm.com
ただし、ICLの正確な動作メカニズムについては、研究者間で議論が続いています, 。一部の研究者は、プロンプティングは主に「タスクを定義すること」に近いと主張し、学習そのものよりもタスクの制約を課す側面を強調しています, 。一方で、Dileep et al.は、スキーマ学習とリバインディングが主要なメカニズムであり、プロンプトからスロット充填と潜在テンプレートを同時に推測することでICLを説明できると推測しています, 。このように、ICLの背後にある知的なメカニズムの解明は現在も進行中の重要な研究テーマです。
hopsworks.ai
medium.com
hopsworks.ai
hopsworks.ai
hopsworks.ai
hopsworks.ai
ICLの性能を左右する要因とメリット
ICLの有効性は、LLMの規模と設計に大きく影響されます, 。大規模なLLMほどICLにおいて強力な創発能力を示し、Kosinskiの研究では、GPT-4（32Kのコンテキストウィンドウサイズ）が人間のTheory-of-Mind（ToM）をテストする40の古典的な誤信念タスクの95%を解決できたのに対し、GPT-3（2Kのコンテキストウィンドウサイズ）は40%しか解決できませんでした, 。この結果は、コンテキストウィンドウサイズとパラメータ数がICLのパフォーマンスに直結することを示唆しています, 。
ibm.com
ibm.com
hopsworks.ai
hopsworks.ai
hopsworks.ai
hopsworks.ai
ICLは、その特性からいくつかの大きなメリットを提供します, 。
medium.com
medium.com
- 訓練不要の学習: モデルのパラメータ更新なしに新しいタスクに適応できるため、計算コストと時間を大幅に削減します。これにより、大規模なアノテーション付きデータセットの収集やファインチューニングの労力が不要になりますmedium.com。ibm.com
- 柔軟性とスケーラビリティ: 一つのモデルが少数の例を観察するだけで幅広いタスクを実行できるため、AIシステムの柔軟性とスケーラビリティが向上します,ibm.com。ibm.com
- 人間的推論との類似性: 自然言語で書かれた例を通じてLLMと対話するパラダイムは、人間が類推によって学習する過程に似ており、人間知識の組み込みを容易にします,medium.com。medium.com
In Context Learningは、大規模言語モデルとの対話方法と、そこから知能を引き出す方法に根本的な変化をもたらしています。これは、静的で事前学習されたモデルと、動的な現実世界のニーズとの間のギャップを埋め、AIの活用可能性を大きく広げる技術として、その未来が期待されています, 。
ibm.com
ibm.com
🏷LLMにおけるICLの動作メカニズムと従来の学習との比較
LLMにおけるICLの動作メカニズムと従来の学習との比較
大規模言語モデル（LLM）の進化は、私たちがAIと対話する方法を根本的に変えつつあります。その中でも、In-context Learning（ICL）は、モデルが新しいタスクに柔軟に適応し、より高品質な応答を生成するための極めて重要な能力として注目されています。ICLは、ユーザーが提供するコンテキスト情報に基づいて、LLMが明示的な再トレーニングなしにタスクを実行することを可能にする機能です、。これは、GPT-3の登場と共に発表された画期的な研究「Language Models are Few-Shot Learners」によって導入されました。
floatbot.ai
hopsworks.ai
ibm.com
LLMにおける「コンテキスト」とは、モデルが応答を生成する際に考慮するテキストの総量を指し、「コンテキストウィンドウ」とも呼ばれます。これは、モデルの短期記憶として機能し、会話の流れをスムーズに保つ役割を果たします、。ICLはこのコンテキストウィンドウを最大限に活用し、モデルがより詳細な対話に対応できるように能力を強化するものです。
floatbot.ai
floatbot.ai
floatbot.ai
ICLの動作メカニズム：プロンプトを通じた「比喩学習」
ICLの基本的な動作は、ユーザーがプロンプトを通じてLLMに実行させたいタスクの例を提示し、モデルがこれらの例を参考にタスクを実行するというものです。このプロセスは、以下の3つの主要なステップで構成されます、、。
floatbot.ai
floatbot.ai
floatbot.ai
- プロンプトエンジニアリング: モデルに指示とタスクの例を与えます。例えば、英語からフランス語への翻訳をさせたい場合、いくつかの英語の文とそのフランス語訳をプロンプトに含めて提供します。
- パターン認識: モデルは提供された例からパターンを識別します。この際、モデルが既に持つ既存の知識も活用してタスクを理解します。
- タスク実行: パターンを認識し、タスクを理解したモデルは、そのパターンに従う新しい入力に対処できるようになります。これにより、与えられた新しい英語の文をフランス語に翻訳することが可能になります。
この一連の流れは、あたかも人間が前例から学ぶように「比喩によって学習する」という考え方に似ています、。プロンプトはLLMにとって一時的なガイドとして機能し、入力/出力ペア間の関係を認識し、そのマッピングを新しい入力に適用するのです。
medium.com
ibm.com
ibm.com
LLMにおけるIn-context Learning（ICL）の動作メカニズムは、以下のフローチャートで視覚的に理解できます。
従来の機械学習との根本的な比較
ICLが従来の機械学習（ML）のパラダイムと決定的に異なるのは、その「学習」の方法にあります。
| 特徴 | In-context Learning (ICL) | 従来の機械学習 (教師あり学習など) |
|---|---|---|
| 学習プロセス | 推論時にプロンプト内の少数の例から動的にタスクを学習 | 事前トレーニング段階で大規模なデータセットを用いて学習 |
| モデルパラメータ | 更新されない | 勾配降下法などにより更新される |
| トレーニング | 明示的な再トレーニングやファインチューニングは不要 | 各タスクに対して大規模なデータセットでのトレーニングが必要 |
| 計算コスト | 新しいタスクへの適応にかかる計算コストが大幅に低い | 新しいタスクごとに高コストなトレーニングが必要 |
| 学習の保持 | 新しく学習したスキルは、LLMが応答を送信した直後に忘れられる | 学習したスキルはモデルパラメータに恒久的に保存される |
| 柔軟性/適応性 | 少数の例で瞬時に新しいタスクに適応可能 | 新しいタスクへの適応には再トレーニングが必要で時間がかかる |
| インタフェース | 自然言語による例示で人間が直感的に操作可能 | プログラミングや専門知識が必要な場合が多い |
従来の機械学習モデルは、訓練されたデータからのみタスクを学習しますが、ICLはプロンプト内の「訓練例」を提供することで、LLMが新しいタスクを解決する能力を示す新しいタイプの機械学習を提示しています。ここで最も重要なのは、ICLにおいてモデルの重みが更新されないという点です、。これにより、大規模なデータセットを用いたコストのかかるファインチューニングプロセスが不要となり、AIシステムの開発と展開におけるボトルネックを解消し、より迅速で適応性が高く、費用対効果の高いソリューションを提供します。
hopsworks.ai
hopsworks.ai
medium.com
ibm.com
ICLの動作原理に関する最新の解釈
ICLの直感的な合理性にもかかわらず、その正確な動作メカニズムは依然として活発な研究分野です、。初期の解釈では、ICLを表面的なパターン繰り返しや次のトークン予測として捉えていましたが、最近の研究ではより深いプロセスが示唆されています。
medium.com
medium.com
ibm.com
-
ベイジアン推論としてのICL: ある有力な説明では、ICLをベイジアン推論の一形態として捉えています、ibm.com。この見方では、モデルは少数の例から「これは感情分類である」といった潜在的な概念（未見のタスクや構造）を推論します。プロンプトに例を追加するほど、モデルはそのタスクに対する確信度を高め、モデルパラメータを変更することなく予測を改善していきますibm.com。この能力は、事前学習データの「長期的コヒーレンス」という構造に由来すると考えられますibm.com。medium.com
-
勾配降下法の内部シミュレーション: 別の説明では、ICLを機械学習システムの核となる最適化手法である勾配降下法と関連付けています。最近の研究では、Transformerモデルが、特に線形回帰のような単純なタスクにおいて、学習プロセスを内部的にシミュレートできることが示されていますibm.com。実際のパラメータ更新は行われないにもかかわらず、モデルは推論時に「メタ勾配」を生成し、アテンションメカニズムを通じて暗黙的に勾配降下法を実行しているかのように振る舞うというものですibm.com、medium.com。medium.com
-
スキーマ学習と再結合: さらに、Dileep et al. は、スキーマ学習と再結合がICLの主要なメカニズムであると推測しています、hopsworks.ai。これは、モデルがプロンプトからスキーマ（枠組み）と潜在的なテンプレートを同時に推論し、推論中に驚くべきトークンに対して局所的に更新を行うことで、リアルタイムで「スロットを埋める」という考え方です。hopsworks.ai
これらの知見は、ICLが静的な予測器ではなく、推論中に内部的な学習のような挙動を示すことを強く示唆しており、単なるパターン認識を超えた深遠な適応能力を持っていることを意味しています。
ibm.com
ICLの性能を左右する要因と課題
ICLは非常に強力な能力である一方で、その有効性にはいくつかの要因が影響し、課題も存在します。
-
モデルの規模とパラメータ感度: ICLの有効性は、LLMの規模と設計に大きく左右されます。大規模なモデルほど、ICLにおいてより強力な「創発的な能力」を発揮します、ibm.com、ibm.com。例えば、GPT-4（32Kのコンテキストウィンドウを持つ）は、GPT-3（2Kのコンテキストウィンドウを持つ）と比較して、「心の理論（Theory-of-Mind）」タスクにおいて大幅に高い成功率を示していますmedium.com、hopsworks.ai。小規模なモデルでは、複雑なタスクを効果的にモデル化するためのパラメータ容量が不足しているため、ICL能力が劣る傾向がありますhopsworks.ai、ibm.com。ibm.com
-
事前学習データの質と多様性: ICLの有効性は、事前学習データの多様性と質に大きく依存します。狭い、あるいは偏ったデータセットで訓練されたモデルは、推論時にこれらの制限を再現し、汎化性能や公平性の問題につながる可能性があります、ibm.com。しかし、十分な多様性と規模を持つ事前学習データで訓練されたモデルは、未見のタスクに対するベイジアン推論能力を高め、ICLが単なる記憶ではなく創発的な現象として現れることが示されていますibm.com。hopsworks.ai
-
コンテキストウィンドウの長さ: 長いコンテキストウィンドウを持つLLMは、曖昧な状況をより良く処理し、高品質の要約を生成し、ドキュメント全体のテーマを把握する能力を向上させます、floatbot.ai、floatbot.ai。しかし、コンテキストの長さを拡張することは、アテンション行列がコンテキスト長に二次関数的に増加するため、計算の複雑さが大幅に増大するという大きな課題を伴いますfloatbot.ai、floatbot.ai。この課題に対処するため、修正された位置エンコーディングや効率的なアテンションメカニズムといったアーキテクチャの変更、モデル圧縮、計算資源の活用、多様な訓練データと範囲の最適化、計算オーバーヘッドを管理しながらコンテキストウィンドウを拡張する性能バランスの調整など、様々な技術が探求されていますfloatbot.ai。floatbot.ai
-
プロンプト設計の感度と安定性: ICLはプロンプト設計に非常に敏感であり、コンテキスト内の例の数、順序、フォーマットのわずかな変更が、出力に大きな影響を与える可能性があります、ibm.com。例えば、関連するコンテキストをプロンプトの中央に配置すると、性能が低下する可能性が示唆されていますibm.com、hopsworks.ai。一方で、例をシンプルから複雑へと順序立てて提示したり、「Chain-of-Thought (CoT)」プロンプティングのように中間推論ステップを明示的にガイドしたりすることで、特に算術や論理的推論のようなタスクにおいて、理解度と出力品質が大幅に向上することが知られていますhopsworks.ai。ibm.com
-
その他の懸念: 特定のドメインに特化したタスクでは、ICLの性能が低下することがあり、その場合はドメイン固有のデモンストレーションや従来のファインチューニングが必要になる場合があります。また、ICLは事前学習データに含まれる社会的な偏見を意図せず引き継ぎ、強化するリスクや、機密情報を記憶・再現する可能性があり、倫理、公平性、プライバシー、セキュリティに関する重要な課題も提起していますibm.com。ibm.com
ICLの応用と将来性：汎用AIの礎石へ
ICLは、その柔軟性と効率性から、様々な分野でその真価を発揮し始めています。
-
金融・保険サービス（BFSI）セクター：ICLと長文コンテキストを持つLLMは、顧客サービスの強化、効率性と生産性の向上、そしてコスト削減に貢献します。LLMは顧客の過去のやり取りや好みを記憶し、的確な金融アドバイスや推奨事項を提供することで、アップセルやクロスセルの機会を増やします。また、文書処理の自動化や詐欺行為の特定にも役立ち、手作業の削減と処理時間の短縮を実現します。floatbot.ai
-
感情分析：少数のラベル付きテキストサンプル（例：「素晴らしいサービス → ポジティブ」、「ひどい製品 → ネガティブ」）を提供することで、LLMは新しい未分類の文章の感情を高精度で推論できます。これは、顧客体験分析、意見マイニング、ブランド監視などのタスクを効率化します、ibm.com。ibm.com
-
異常検知とサイバーセキュリティ：正常なネットワーク活動と異常なネットワーク活動のラベル付き例を与えることで、LLMは新しいトラフィックインスタンスを正確に分類し、異常または疑わしいものとして識別できます。これにより、広範な再トレーニングなしに柔軟で効率的な監視が可能になります。例えば、GPT-4を用いた自動ネットワーク侵入検知の研究では、わずか10個の例で90%以上の精度とF1スコアの改善を達成し、95%を超える性能に達しましたibm.com。ibm.com
-
ドメイン固有の自然言語処理（NLP）：ラベル付きデータが不足している専門分野やファインチューニングが非現実的な場合でも、ICLは関連する例をプロンプト内に含めることで、LLMが専門タスクで優れた性能を発揮することを可能にします、ibm.com。航空安全レポート分析の例では、ICLを用いたLLMが分類精度を最大80.24%まで向上させましたibm.com。ibm.com
ICLは、静的な事前学習モデルと動的な現実世界のニーズとの間のギャップを埋め、単一のモデルが少数の例を観察するだけで幅広いタスクを実行できるようにします。「コンテキストエンジニアリング」と呼ばれる新しい分野も登場しており、これはLLMが現実世界で信頼性高くタスクを実行するために必要な情報を動的に設計・提供する実践に焦点を当てています。
ibm.com
ibm.com
Chain-of-Thought (CoT) のような高度なICLアプローチは、中間推論ステップをプロンプトに組み込むことで、算術推論や常識的推論といった複雑な推論タスクにおけるLLMの性能を大幅に向上させることが示されています、。このCoTは特に100億以上のパラメータを持つ大規模モデルに「創発的な能力」として現れる現象であり、その効果は顕著です。
medium.com
medium.com
medium.com
In-context Learningは、AIシステムに柔軟性、効率性、アクセスしやすさをもたらすものであり、学習アルゴリズム、事前学習戦略、プロンプト設計、デモンストレーション最適化の研究が進むにつれて、汎用AIの礎石となり、より適応性が高く、解釈可能でスケーラブルなシステムへの道を開くことでしょう。
ibm.com
🏷ICLを活用した主要なプロンプト戦略と実践事例
In-Context Learning（ICL）の核心：文脈から瞬時に学ぶ能力
Large Language Model（LLM）の進化は目覚ましく、その中でも「In-Context Learning（ICL）」は、モデルが与えられた文脈から新しいタスクを学習する画期的な能力として注目されています, 。ICLは、モデルのパラメータを更新することなく、少数の例（デモンストレーション）をプロンプトとして提示するだけで、新しいタスクに適応できるという特徴を持っています, 。これは、従来の機械学習モデルが複雑なタスクのために大規模なアノテーション付きデータセットによる再訓練や高コストなファインチューニングプロセスを必要とするのと対照的であり、AIの導入におけるボトルネックを解消し、より迅速で適応性の高い、費用対効果に優れたソリューションを可能にします。
medium.com
medium.com
ibm.com
hopsworks.ai
ibm.com
ICLの基本的な考え方は「類推による学習」にあります2, 。ユーザーは、自然言語テンプレートで書かれた少数の入力と出力のペア（例）を準備し、これらを「デモンストレーションコンテキスト」としてクエリ質問と連結し、プロンプトとしてLLMに入力します2, 。モデルは、このコンテキストウィンドウ内で提示された例間の関係性を認識し、そのパターンを新しい入力に適用することで、適切な出力を生成します, 。このプロセスは、人間が過去の経験から類推して新しい問題を解決する際の意思決定プロセスに類似しており、ICLの解釈可能性と人間らしい決定プロセスを魅力的なものにしています。
medium.com
ibm.com
ibm.com
ibm.com
medium.com
ICLの作用機序：LLMはなぜ文脈から学べるのか
事前学習済みのLLMが、パラメータを更新することなくICLという「創発的能力」を示すことは、当初多くの研究者の間で謎とされてきました3, 。現在、そのメカニズムを説明するいくつかの有力な説が提唱されています。
medium.com
一つは、ICLを「暗黙のファインチューニング」として捉える見方です4, 。この説では、Transformerの注意メカニズムと勾配降下の間に二重形式を見出し、LLMが順方向計算を通じてデモンストレーションに関するメタ勾配を生成し、注意メカニズムを介して暗黙的に勾配降下を実行すると説明されています, 。つまり、モデルは実際にパラメータを更新することなく、プロンプト内の情報に基づいて内部的に学習のような適応を行っているというわけです。
medium.com
medium.com
medium.com
ibm.com
もう一つは、「暗黙のベイジアン推論」としてのICLという視点です5, , 。この考え方では、LLMはプロンプトに含まれる少数の例（few-shotやone-shotの例）から、事前学習中に学習した関連する概念（例えば、「これは感情分類タスクである」といった潜在的な概念）を推論し、「特定」します, , 。より多くの例が追加されることで、モデルはそのタスクに対する確信度を高め、予測精度が向上すると考えられています, 。この能力は、事前学習データにおける構造（長期的なコヒーレンス）に由来すると理論的に見なされています。
ibm.com
medium.com
medium.com
ibm.com
ibm.com
ibm.com
ibm.com
medium.com
ICLの有効性は、LLMの規模と事前学習データの質にも大きく依存します。モデルのパラメータ数が0.1億から1,750億に増加するにつれて、ICL能力が向上することが示されており、大規模モデルほど強力な創発的能力を発揮します, , 。また、事前学習タスクの設計やコーパスのソースもICL能力に重要な影響を与えることが示唆されており、多様で高品質なデータで訓練されたモデルは、より効果的なICLを実現します, 。例えば、GPT-4は32Kの巨大なコンテキストウィンドウを持ち、人間のTheory-of-Mind（ToM）をテストする古典的な誤信念課題の95%を解決できることが示されていますが、GPT-3（2Kコンテキストウィンドウ）では40%に留まります, 。
medium.com
ibm.com
medium.com
medium.com
ibm.com
hopsworks.ai
hopsworks.ai
ICLを活用した主要なプロンプト戦略と実践事例
ICLは、単に例を提示するだけでなく、プロンプトの設計によってその性能を大きく向上させることができます。ここでは、主要なプロンプト戦略と実践事例を紹介します。
Chain of Thought (CoT)
CoTは、特に算術推論、常識推論、記号推論といった複雑な推論タスクにおいて、LLMの性能を劇的に向上させるプロンプト戦略です6, 。従来のICLが単に入力と出力のペアでプロンプトを構成するのに対し、CoTは最終的な出力に至るまでの中間推論ステップをプロンプトに明示的に組み込みます, 。
medium.com
medium.com
medium.com
CoTには大きく二つのアプローチがあります。
- Few-Shot CoT: 中間推論ステップを含むデモンストレーション例をいくつか提示する方法です。これにより、LLMは例の推論パターンを学習し、新しいクエリに適用できるようになります。medium.com
- Zero-Shot CoT: デモンストレーションの例を一切与えず、「一歩ずつ考えましょう（Let's think step by step）」のようなシンプルなトリガー文をプロンプトに追加するだけで、LLMに推論ステップを生成させる方法です7, 。この戦略は、モデルの規模が一定のサイズ（通常100億以上のパラメータ）を超えると性能を大幅に向上させるという、創発的能力の興味深いパターンを示していますmedium.com。medium.com
Zero-Shot CoTの内部メカニズムは、主に「推論抽出」と「回答抽出」の二段階で構成されます。まず、入力質問に「Q: [X]. A: Let’s think step by step.」のようなトリガー文を加えてプロンプトを作成し、LLMに推論パスを生成させます。次に、生成された推論文と最初のプロンプトを連結し、さらに「したがって、答えは（Therefore, the answer is）」のような回答抽出用のトリガー文を加えて、最終的な回答をLLMから引き出します。
medium.com
medium.com
CoTは、ステップバイステップの推論を必要とするタスクに特に有効であり、標準的なプロンプトでは不十分な結果しか得られない場合に顕著な性能向上が見られます。
medium.com
Self-consistency CoT
Self-consistency CoTは、CoTの性能をさらに引き上げるデコーディング戦略です9, 。複雑な推論タスクには複数の正しい推論パスが存在するという人間の直感を活用し、貪欲なデコーディング戦略を置き換えます。
medium.com
その手順は「サンプルと周辺化」デコーディングと呼ばれ、以下のステップで行われます。
medium.com
- 多様な推論パスの生成: CoTプロンプトを用いて、LLMから複数の異なる推論パスを生成します。
- 最適な回答の決定: 各推論パスは異なる最終回答につながる可能性があるため、サンプリングされた推論パスを周辺化し、最終回答セットの中で最も一貫した回答（多数決）を見つけることで最適な回答を決定します。
このアプローチは、複数の異なる思考経路が同じ答えにたどり着く場合に、その答えが正しいという確信が高まるという人間の経験に似ています。Self-consistencyは、算術推論や常識推論のベンチマークにおいてCoTプロンプトの性能を大幅に向上させることが示されています（例：GSM8Kで+17.9%、SVAMPで+11.0%など）。ただし、複数の推論パスを生成するため計算コストが増加するという制限もあります。
medium.com
medium.com
medium.com
Tree of Thoughts (ToT)
Tree of Thoughts (ToT) は、CoTアプローチをさらに一般化し、問題解決に向けた中間ステップとしての「思考」のまとまり（コヒーレントなテキスト単位）を探索することを可能にします10, 。ToTは、LLMが複数の異なる推論パスを考慮し、選択肢を自己評価し、必要に応じて先を見越したり後戻りしたりすることで、より意図的な意思決定を行えるようにします0。
medium.com
ToTは問題をツリー構造上の探索として捉え、以下の4つの主要な要素で構成されます。
medium.com
- 思考分解: 中間プロセスを個々の思考ステップに分解します。
- 思考生成: 各ステップに対して、複数の思考候補を生成します（独立してサンプリングするか、提案プロンプトを使用して順次生成します）。
- 状態評価: 生成された思考を含む各状態（部分解）を評価する関数を定義します。これにより、適切なパスを見つけ出すのに役立ちます（独立した評価または状態間での投票）。
- 探索アルゴリズム: ツリーを拡張するための探索アルゴリズム（幅優先探索や深さ優先探索など）を使用します。
ToTは、IO、CoT、CoT-SCといった既存の手法を特殊なケースとして含む汎用性、モジュール性、適応性、および追加のトレーニング不要という利点を提供します。Game of 24やクリエイティブライティングなどのタスクでLLMの問題解決能力を大幅に向上させることが示されていますが、より多くのリソース（モデルAPIコストなど）を必要とするという限界もあります。
medium.com
medium.com
実践事例
ICLは多岐にわたる現実世界のタスクに応用されており、その柔軟性と効率性が評価されています。
-
感情分析: 少数のラベル付きテキストサンプル（例：「素晴らしいサービス → ポジティブ」、「ひどい製品 → ネガティブ」）をプロンプトに与えることで、LLMは新しい未ラベルの文章の感情を高い精度で推論できます,ibm.com。これにより、顧客体験分析、意見マイニング、ブランド監視などのタスクが効率化されますibm.com。ibm.com
-
ドメイン特化型NLP: ラベル付きデータが希少であったり、ファインチューニングが非実用的な専門分野（法律や医療など）のタスクにおいて、ICLは関連する例をプロンプトに含めることでLLMの性能を高めます。ibm.com
- 航空安全レポート分析: ある研究では、BM25アルゴリズムを用いて最も関連性の高い例を選択し、プロンプトに8つの例を提供することで、LLMが航空安全レポートを効果的に分析できることを示しました。これにより、分類精度は80.24%、F1スコアは84.15%に向上しました。ibm.com
- サイバーセキュリティの異常検知: GPT-4を用いたネットワーク侵入検知の事例では、少数のラベル付き例とドメイン固有の質問をプロンプトに組み込むことで、9種類のDDoS攻撃タイプに対する検知精度とF1スコアが約90%向上し、10例のみで95%を超える性能を達成しました。ibm.com
- 航空安全レポート分析: ある研究では、BM25アルゴリズムを用いて最も関連性の高い例を選択し、プロンプトに8つの例を提供することで、LLMが航空安全レポートを効果的に分析できることを示しました。これにより、分類精度は80.24%、F1スコアは84.15%に向上しました
-
レシピ生成サービス: ユーザーが手持ちの材料を入力し、レシピの生成を求めるサービスを想像してみてください。この場合、VectorDBにインデックスされた多数のレシピの中から、クエリと関連性の高いレシピを数件取得し、これらをプロンプトの先頭に追加することで、LLMは適切なレシピを生成できます。これはRetrieval-Augmented Generation (RAG) の応用例としても見ることができますhopsworks.ai。hopsworks.ai
これらの実践事例は、ICLが、LLMをさまざまなドメインやタスクに柔軟かつ効率的に適用するための強力な手段であることを明確に示しています。
プロンプト設計の原則
ICLの効果は、プロンプトの設計に大きく左右されます。高品質で情報豊富、かつ構造化されたプロンプトを作成することが、モデルを効果的にガイドする上で不可欠です, 。
ibm.com
ibm.com
- 関連性の高いコンテキストの配置: 研究により、関連性の高いコンテキストをプロンプトの先頭または末尾に追加することがLLMの性能向上につながることが示されています,hopsworks.ai。hopsworks.ai
- デモンストレーションの順序: 例の提示順序も重要です。シンプルなものから複雑なものへと順序立てて例を提示することで、モデルは段階的にコンテキストを構築し、理解度と出力品質を向上させることができます,ibm.com。ibm.com
- 命令のフォーマットとChain-of-Thoughtプロンプティング: 推論重視のタスクでは、明示的に中間ステップを示すことで、モデルのロジックをガイドし、算術や論理推論のような分野で精度を向上させます,ibm.com。ibm.com
自動プロンプト技術の進化
プロンプトエンジニアリングは、その効果がモデルによって大きく異なり、多大な試行錯誤とヒューリスティクスを必要とする経験的な科学です, 。特に、質問の選択だけでなく、各質問の推論ステップを慎重に設計する必要があるため、プロンプトの自動化に対するニーズが高まっています, 。
medium.com
medium.com
medium.com
medium.com
この課題を解決するため、いくつかの自動プロンプト技術が開発されています。
-
Automatic Prompt Augmentation and Selection CoT: この手法は、ラベル付けされたデータからCoTプロンプトを自動的に構築するために、「増強（Augment）」「剪定（Prune）」「選択（Select）」の3ステッププロセスを提案しています11,。まず、Few-shotまたはZero-shot CoTプロンプトを使用して複数の疑似CoTを生成し、次に正解との一致を基準にこれらを剪定します。最後に、検証セットの精度を報酬として、選択された例の確率分布を学習するための分散削減ポリシー勾配戦略を適用しますmedium.com。medium.com
-
Auto-CoT: Automatic Chain-of-Thought Prompting: このパラダイムは、質問と推論チェーンを含むデモンストレーションを自動的に構築します12,。medium.com
- 質問クラスタリング: Sentence-BERTで質問のベクトル表現を計算し、k-meansクラスタリングで質問をクラスター化します。
- デモンストレーション選択: 各クラスターから代表的な質問（クラスターの中心に近いもの）をいくつか選択します。
- 推論生成: 選択された質問に対してZero-shot CoTを使用して推論チェーンを生成し、Few-shotプロンプトを構築して推論を実行します。
Auto-CoTは、手動で設計されたデモンストレーションを必要とするCoTパラダイムの性能に匹敵するか、それを上回る結果をGPT-3で示しています,medium.com。medium.com
これらの自動化技術は、プロンプトエンジニアリングの複雑さを軽減し、ICLをより広範なアプリケーションで利用可能にするための重要な進歩と言えるでしょう。
ICLの展望と課題
In-Context Learningは、LLMが新しいタスクに動的に適応することを可能にし、AIシステムに柔軟性、効率性、アクセシビリティをもたらす重要なパラダイムです。静的な事前学習済みモデルと動的な現実世界のニーズとの間のギャップを埋め、単一のモデルが少数の例を観察するだけで多様なタスクを実行できる道を開いています。
ibm.com
ibm.com
しかしながら、ICLにはいくつかの課題も存在します。
ibm.com
- モデルの規模とパラメータ感度: ICLの有効性はLLMの規模に大きく依存し、小規模モデルでは複雑なタスクを効果的にモデル化するためのパラメータ容量が不足することがあります。ibm.com
- 事前学習データの品質とバイアス: 狭いまたはバイアスのかかったデータセットで訓練されたモデルは、推論中にその限界を複製する可能性があり、汎化能力の低下や公平性の問題につながることがあります。ibm.com
- ドメイン転移と汎化: LLMは印象的な適応性を示しますが、高度にドメイン固有のタスクでは性能が低下する可能性があり、専門分野ではドメイン固有のデモンストレーションや従来のファインチューニングが依然として必要となる場合があります。ibm.com
- 倫理と公平性: ICLは、訓練データに存在する社会的なバイアスを意図せず引き継ぎ、強化する可能性があります。プロンプトがモデルの振る舞いに影響を与えるため、動的でリアルタイムの相互作用において倫理的で公平な出力を保証することは大きな課題です。ibm.com
- プライバシーとセキュリティの懸念: ICLベースのシステムは、事前学習コーパスに機密データが含まれていた場合、それを誤って記憶または再現する可能性があります。これは、医療、法律、パーソナライズされたアシスタントの分野で深刻なプライバシー問題を引き起こす可能性があります。ibm.com
- プロンプトの感度と安定性: ICLはプロンプトの設計に敏感です。in-contextの例の数、順序、またはフォーマットのわずかな変更が、出力に大きな変化をもたらす可能性があり、一貫した性能を保証することが困難になる場合があります。ibm.com
これらの課題に対処するため、学習アルゴリズム、事前学習戦略、プロンプト設計、デモンストレーション最適化などの研究が進められています。ICLは、より適応性があり、解釈可能で、スケーラブルな汎用AIシステムの礎となる可能性を秘めていると言えるでしょう。
ibm.com
ibm.com
🏷ICLの課題、改善戦略、そしてビジネス応用
ICLの課題、改善戦略、そしてビジネス応用
In-Context Learning（ICL）は、大規模言語モデル（LLM）が、そのプロンプト内に直接埋め込まれた少数の具体例（デモンストレーション）を利用して、モデルの重みを変更することなく新しいタスクを学習する画期的な手法です, 。これは、従来の機械学習が特定のデータセットでの訓練を経て初めてタスクを解決できるのに対し、LLMが推論時にコンテキストから動的に学習できるという、まさに「類推による学習」の能力を象徴しています, 。この適応性と効率性から、ICLはファインチューニングのコストや手間を大幅に削減し、LLMを多様な実世界タスクに応用するための鍵として、現在最も注目されている学習パラダイムの一つです, 。
prompthub.us
arxiv.org
hopsworks.ai
medium.com
ibm.com
stanford.edu
ICLの動作メカニズムと主要なメリット
ICLの核心は、LLMがプロンプト内の入力と出力のペア、つまり「インコンテキスト例」間の関係性を認識し、そのパターンを新しい入力に適用することで機能する点にあります, 。これは、人間が過去の経験から類推を働かせ、新しい問題を解決する推論プロセスを模倣していると言えるでしょう。プロンプトに提供される例は、LLMの「コンテキストウィンドウ」と呼ばれる一時的なメモリ領域に供給され、モデルはこれを利用して一貫性のある応答を生成します, 。このプロセスでは、モデルのパラメータが実際に更新されることはなく、既存の深い学習知識がプロンプトの文脈に基づいて活性化され、特定のタスクに適応する形で一時的なサブニューラルネットワークが強化されると考えられています, 。
ibm.com
medium.com
ibm.com
ibm.com
floatbot.ai
reddit.com
thegradient.pub
ICLの魅力は、その解釈可能性と、トレーニング不要である点に集約されます。自然言語で書かれた例は、LLMとコミュニケーションを取るための直感的で分かりやすいインターフェースを提供し、人間の知識を容易にモデルに組み込むことを可能にします。これにより、モデルの適応にかかる計算コストが大幅に削減され、LLMをサービスとして大規模な実世界タスクに適用する道が開かれています。
medium.com
medium.com
medium.com
ICLの具体的な応用事例
ICLは既に様々な実世界アプリケーションでその有効性を示しています。
- レシピ生成サービス: 利用可能な材料をプロンプトに加えてレシピを生成する際に、事前に数千のレシピをVectorDBにインデックス化しておき、クエリに応じて最も関連性の高いレシピ例をプロンプトの先頭に追加することで、LLMが適切なレシピを生成します。これはRetrieval-Augmented Generation（RAG）の一例として、LLMのパフォーマンス向上に寄与します,hopsworks.ai。hopsworks.ai
- 感情分析: 「素晴らしいサービス → ポジティブ」、「ひどい製品 → ネガティブ」といった少数のラベル付きテキストサンプルをプロンプトに提供することで、LLMは新しい、ラベル付けされていない文章の感情を高精度で推論できるようになります,ibm.com。これにより、顧客体験分析、意見マイニング、ブランド監視などのタスクが効率化されますibm.com。ibm.com
- 異常検知: LLMに正常なネットワーク活動と異常なネットワーク活動の例を少数提供することで、モデルは新しいトラフィックインスタンスを正確に分類し、広範な再訓練なしに柔軟かつ効率的な監視を可能にします。例えば、GPT-4を用いた無線環境での自動ネットワーク侵入検知に関する研究では、わずか10個の例で精度とF1スコアが約90%向上し、95%以上を達成しましたibm.com,ibm.com。ibm.com
- ドメイン特化型自然言語処理 (NLP): ラベル付きデータが不足している専門タスクにおいても、ICLは優れたパフォーマンスを発揮します。ある研究では、航空安全レポートの分析において、LLMが8つの例で最大80.24%の精度と84.15%のF1スコアを達成しましたibm.com,ibm.com。ibm.com
ICLの課題とパフォーマンスを左右する要因
ICLは多大なメリットをもたらしますが、その効果はいくつかの要因に大きく依存し、特定の課題も抱えています。
- モデルの規模とパラメータ感度: ICLは、より多くのパラメータを持つ大規模なLLMから恩恵を受けます,hopsworks.ai。例えば、GPT-4（32Kのコンテキストウィンドウサイズ）が人間のTheory-of-Mind（ToM）タスクの95%を解決できたのに対し、GPT-3（2Kのコンテキストウィンドウサイズ）は40%しか解決できませんでしたibm.com,hopsworks.ai。小規模モデルは複雑なタスクを効果的にモデル化するためのパラメータ容量が不足しているため、ICL能力が限定される傾向にありますhopsworks.ai,ibm.com。ibm.com
- コンテキストウィンドウのサイズ: プロンプトに追加できる例の数は、モデルのコンテキストウィンドウサイズに直接依存します。GPT-4は約50ページ分の入力テキスト（32KBのデータ）を含めることができますが、コンテキストが長くなると推論時間が遅くなる課題もありますhopsworks.ai,hopsworks.ai。長いコンテキストを持つLLMは、曖昧な状況をより良く処理し、高品質な要約を生成する能力を向上させますが、アテンション行列がコンテキスト長に応じて二次関数的に増加するため、計算の複雑さが大幅に増大しますhopsworks.ai。floatbot.ai
- 事前学習データの品質とバイアス: ICLの有効性は、事前学習データの多様性と品質に大きく左右されます,ibm.com。偏ったデータセットで訓練されたモデルは、汎化性能の低下や公平性の問題を引き起こす可能性がありますibm.com,ibm.com。ibm.com
- プロンプト感度と安定性: ICLはプロンプトの設計に非常に敏感であり、in-context例の数、順序、または書式設定のわずかな変更が、出力に大きな変化をもたらす可能性があります,ibm.com。これにより、一貫したパフォーマンスの保証が難しくなります。ibm.com
ICLの解釈と深い理解：研究の最前線
ICLの動作メカニズムは未だ完全に解明されておらず、活発な研究テーマとなっています。初期の解釈では、ICLが表面的なパターン繰り返しや次のトークン予測として捉えられることもありましたが、新しい研究はより深いプロセスを示唆しています, 。
ibm.com
ibm.com
- 創発現象としてのICL: ある研究では、事前学習タスクの多様性が閾値を超えると、Transformerモデルが未見のタスクでBayesian推定器を上回ることが示唆されており、ICLが創発的な現象である可能性が指摘されています,hopsworks.ai。これにより、Transformerは事前学習では見られなかった新しいタスクを解決できるようになりますhopsworks.ai。hopsworks.ai
- 暗黙のベイジアン推論: ICLをベイジアン推論の一形態として捉える見解も有力です,ibm.com,ibm.com。この視点では、モデルは少数ショットの例を見て、プロンプトから「これは感情分類である」といった潜在的な概念やタスク構造を推論すると考えられていますibm.com,ibm.com。例が増えるにつれて、モデルはそのタスクに対する確信度を高め、予測を改善していきますibm.com,ibm.com。ibm.com
- 勾配降下法との関連: 最近の研究では、Transformerモデルが特に線形回帰のような単純なタスクにおいて、学習プロセスを内部的にシミュレートできることが示されています,ibm.com。実際のパラメータ更新は発生しないものの、モデルは推論中に内部的な学習のような振る舞いをし、現在のプロンプト内の例のみを使用してパターンを動的に学習しますibm.com,ibm.com,ibm.com。ibm.com
これらの発見は、LLMが静的な予測器であるだけでなく、自然言語プロンプトを使用してタスク構造にリアルタイムで適応できることを示唆しており、ICLの強力な能力の根源となっています, 。
ibm.com
ibm.com
ICLの改善戦略：モデル訓練とプロンプト設計
ICLの有効性を高めるためには、モデルの訓練とプロンプトの設計の両面で様々な戦略が探求されています。
ibm.com
モデルの訓練における改善戦略
ICLを本質的に向上させるためには、モデルの訓練時や直後に改善を加えることが重要です, 。
ibm.com
ibm.com
- 構造化データによる事前学習: 入力/出力ペアやタスククラスターを明示的に整理して事前学習を行うことで、モデルはタスクのパターンや関係性により敏感になります,ibm.com。ibm.com
- メタ蒸留: モデルをタスクの本質を伝える短く情報量の多い例ペアにさらすことで、推論中に最小限のデモンストレーションで迅速に汎化できるようになります,ibm.com。ibm.com
- ウォームアップ訓練: 事前学習と実際の推論の間に、プロンプト形式のタスクアライメントされた例を使用してモデルをファインチューニングすることで、関連コンテンツへの汎化能力が向上します,ibm.com。ibm.com
- 命令チューニング: 自然言語の指示として書かれた何千ものタスクを使用してモデルを訓練することで、少数ショットおよびゼロショットの汎化が改善されます,ibm.com。ibm.com
プロンプトの設計における改善戦略
推論時におけるプロンプトの設計は、ICLの活用において極めて重要な役割を果たします, 。
ibm.com
ibm.com
- デモンストレーション選択: 類似度メトリック、不確実性スコア、または訓練されたリトリーバーを使用して、適切な例を選択することがモデルのパフォーマンスを大きく左右します,ibm.com。ibm.com
- デモンストレーションの再フォーマット: 単純な入力/出力ペアではなく、推論チェーン（例：「前提 → 推論 → 結論」）を使用するなど、例の構造を変更することで、モデルの内部表現との整合性を高めます,ibm.com。ibm.com
- デモンストレーションの順序付け: 例を単純なものから複雑なものへと整理することで、モデルは徐々にコンテキストを構築し、理解度と出力品質を向上させることができます,ibm.com,ibm.com。ibm.com
- 命令フォーマットとChain-of-Thoughtプロンプティング: 中間ステップを明示的にガイドすることで、推論中心のタスクを強化し、精度を向上させます,ibm.com,ibm.com。ibm.com
進化するプロンプト技術：Chain of Thought (CoT)とその派生
ICLをさらに強化する技術として、Chain of Thought (CoT) プロンプティングとその派生が注目されています, 。
medium.com
medium.com
- Chain of Thought (CoT): 複雑な推論タスクにおいて、LLMの性能を向上させるために開発された戦略です。ICLが単に入力と出力のペアでプロンプトを構成するのに対し、CoTは最終出力に至るまでの中間推論ステップをプロンプトに組み込みますmedium.com。medium.com
- Few-Shot CoT: 中間推論ステップを含む例をいくつかデモンストレーションとして提示する手法です。medium.com
- Zero-Shot CoT: デモンストレーションの例を一切与えず、「Let's think step by step（一歩ずつ考えましょう）」のようなシンプルなプロンプトを追加するだけで、LLMに推論ステップを生成させます。この戦略は、モデルの規模が一定のサイズを超えると性能を大幅に向上させるという、創発的能力のパターンを示していますmedium.com。medium.com
- Few-Shot CoT: 中間推論ステップを含む例をいくつかデモンストレーションとして提示する手法です
- Self-consistency CoT: CoTにおける貪欲なデコーディング戦略を置き換え、LLMの推論性能をさらに向上させるデコーディング戦略です。複雑な推論タスクには複数の正しい推論パスが存在するという直感を活用し、多様な推論パスを複数生成して、最終回答セットの中で最も一貫した回答（多数決）を見つけることで最適な回答を決定しますmedium.com。medium.com
- Tree of Thoughts (ToT): CoTアプローチを一般化し、問題解決に向けた中間ステップとしての「思考」のまとまりを探索することを可能にします。LLMが複数の異なる推論パスを考慮し、選択肢を自己評価し、必要に応じて先を見越したり後戻りしたりすることで、意図的な意思決定を行えるようにしますmedium.com。ToTは、問題をツリー構造上の探索として捉え、思考の分解、生成、状態評価、探索アルゴリズムという4つの主要な要素で構成されますmedium.com。medium.com
ICLのビジネス応用と将来の展望
ICLと長期コンテキストを持つLLMは、特にBFSI（銀行・金融サービス・保険）セクターのようなビジネス領域で具体的なメリットをもたらします。
floatbot.ai
- 顧客サービスの強化: LLMは顧客の過去のやり取りや好みを記憶し、適切な金融アドバイスや関連性の高い推奨事項を提供することで、アップセルやクロスセルの機会を大幅に増加させます。floatbot.ai
- 効率性と生産性の向上: ローン申請、保険請求、コンプライアンスレポートなどの文書処理を自動化し、手作業を削減し、処理時間を短縮します。また、取引パターンや文脈情報を分析することで、詐欺行為の特定にも役立ちますfloatbot.ai。floatbot.ai
- コスト削減: ルーティンタスクや顧客サービスをLLMで自動化することにより、広範な人的資源の必要性が減り、結果としてコスト削減につながります。floatbot.ai
ICLは、静的なプロンプトの作成から一歩進んだ「コンテキストエンジニアリング」という新しい分野へと進化しています, 。これは、LLMが実世界のシナリオで信頼性高く機能するために必要なすべての入力（情報、ツール、指示）を適切な形式で組み立てて提供する動的システムを体系的に設計する実践を指します, 。ユーザー入力、以前のインタラクション、ツール出力、外部データなどの複数のソースから、実行時にタスクに関連する完全な入力を構築することに焦点を当てることで、LLMが必要なデータを受け取るだけでなく、それを効果的に解釈できる構造で受け取ることが保証されます, 。このアプローチは、モデルの潜在能力と実世界のパフォーマンスの間のギャップを埋める上で不可欠であり、将来の汎用AIシステムにおいて極めて重要な要素となるでしょう。
ibm.com
ibm.com
ibm.com
ibm.com
ibm.com
ibm.com
ibm.com
調査のまとめ
In-Context Learning（ICL）とは何か
In-context learning（ICL）は、プロンプトエンジニアリングの具体的な手法の一つです[0](https://ww...
🖍 考察
調査の本質
ユーザーはIn Context Learning（ICL）の概念について質問されていますが、その背景には単なる定義だけでなく、この画期的な学習パラダイムが大規模言語モデル（LLM）の能力をどのように変革し、ひいてはAIシステムの設計、開発、運用においてどのような新たな価値を提供し得るのか、その本質的な意義を理解したいという深いニーズがあると推察されます。従来の機械学習における課題をICLがいかに解決し、AIをより柔軟で効率的、かつスケーラブルなものに変えるのか。そのメカニズム、応用範囲、そして未来の可能性を明確に提示することで、ユーザーの意思決定やビジネス戦略の策定に貢献できると考えています。
分析と発見事項
In Context Learning（ICL）の核心と従来の学習との比較
In Context Learning（ICL）は、大規模言語モデル（LLM）がプロンプト内で提供された少数の例（デモンストレーション）から新しいタスクを学習する画期的な能力です。これは2020年にGPT-3の論文で導入され、AIのタスク適応における新たな地平を切り開きました。
ibm.com
ibm.com
ICLと従来の機械学習の最も顕著な違いは、その学習メカニズムとモデルパラメータの更新方法にあります。
| 特徴 | In Context Learning (ICL) | 従来の機械学習 (教師あり学習など) |
|---|---|---|
| 学習プロセス | 推論時にプロンプト内の例から動的にタスクを学習 | 事前トレーニングで大規模データセットを用いて学習 |
| モデルパラメータ | 更新されない | 勾配降下法などにより更新される |
| トレーニング | 明示的な再トレーニングやファインチューニングが不要 | 各タスクに高コストな大規模データセットでのトレーニングが必要 |
| 学習の保持 | スキルは一時的で、応答生成後に忘れられる | スキルはモデルパラメータに恒久的に保存される |
| 柔軟性/適応性 | 少数の例で瞬時に新しいタスクに適応可能 | 新しいタスクへの適応には再トレーニングが必要で時間がかかる |
| インターフェース | 自然言語による例示で直感的に操作可能 | プログラミングや専門知識が必要な場合が多い |
この違いにより、ICLは、従来の機械学習が抱えていた「大規模なアノテーション付きデータセットでの広範な再学習」や「コストのかかるファインチューニングプロセス」といった課題を解消し、より高速で適応性が高く、費用対効果に優れたAIソリューションの提供を可能にします。
ibm.com
ICLの動作メカニズム：プロンプトを通じた「比喩学習」
ICLの基本的な仕組みは、人間が過去の経験から類推を働かせ、新しい問題を解決するプロセスに似ています。LLMはプロンプトを一時的なガイドとして利用し、タスクを推論して期待される出力を生成します。具体的には、プロンプト内の例（入力/出力ペア）間の関係性を認識し、そのマッピングを新しい入力に適用することで機能します。
ibm.com
ibm.com
ibm.com
LLMにおけるIn-context Learning（ICL）の動作メカニズムは、以下のフローチャートで視覚的に理解できます。
このプロセスにおいて、プロンプトエンジニアリングは極めて重要な役割を果たします。文言、ラベルの形式、例の順序、さらには句読点のわずかな変更でもモデルのパフォーマンスに影響を与える可能性があり、Chain-of-Thought（CoT）プロンプティングのように中間推論ステップを含めることで、複雑な推論タスクでのLLMの性能を向上させることができます, 。
ibm.com
ibm.com
medium.com
ICLのビジネスメリットと応用事例
ICLは、その柔軟性と効率性から、様々な分野でその真価を発揮し始めています。
- 訓練不要の学習とコスト削減: 大規模なアノテーション付きデータセットの収集やファインチューニングの労力が不要なため、計算コストと時間を大幅に削減します。medium.com
- 柔軟性とスケーラビリティ: 単一のモデルが少数の例を観察するだけで幅広いタスクを実行できるため、AIシステムの柔軟性とスケーラビリティが向上します。ibm.com
具体的な応用事例としては、以下が挙げられます。
- 金融・保険サービス: 顧客サービスの強化、文書処理の自動化、詐欺行為の特定。floatbot.ai
- 感情分析: 顧客体験分析、意見マイニング、ブランド監視の効率化。ibm.com
- 異常検知: 広範な再トレーニングなしに、ネットワークトラフィックなどの異常を効率的に監視。ibm.com
- ドメイン固有の自然言語処理（NLP）: ラベル付きデータが不足している専門分野（航空安全レポート分析、サイバーセキュリティなど）で優れた性能を発揮し、精度を大幅に向上させる,ibm.com。ibm.com
より深い分析と解釈
ICLがLLMのパラメータを更新せずに新しいタスクに適応できる能力は、単なる表面的なパターン認識を超えた、LLMの「創発的な能力」を示唆しています。この深遠なメカニズムを理解することが、ICLの真の価値と限界を把握する鍵となります。
「なぜ」ICLは機能するのか？：創発性の根源を3段階で掘り下げる
-
第一段階：事前学習による広範な知識獲得
- なぜ？: LLMは、インターネット上の膨大なテキストデータを用いた事前学習を通じて、言語の統計的構造、世界に関する常識、多様なタスクのパターンなど、極めて広範かつ深い知識を獲得しています。この多種多様な知識が、ICLの基盤となる「汎用的な推論エンジン」を構築しています。ibm.com
- 意外な発見: 初期には、ICLは単なる訓練データの統計的パターンや記憶の反復と考えられがちでした。しかし、実際にはモデルが未見のタスクに対しても適応できる能力を持つことから、単なる記憶以上の「概念理解」や「推論能力」が働いていることが示唆されています。ibm.com
- なぜ？: LLMは、インターネット上の膨大なテキストデータを用いた事前学習を通じて、言語の統計的構造、世界に関する常識、多様なタスクのパターンなど、極めて広範かつ深い知識を獲得しています
-
第二段階：プロンプトを通じた「タスク仮説の活性化」と「内部学習のシミュレーション」
- なぜ？: プロンプト内で提供される少数の例は、モデルに対して特定の「タスク仮説」を提示する役割を果たします。例えば、感情分類の例が与えられれば、モデルは事前学習で得た知識の中から感情分類に関連する概念や処理経路を活性化させます。これは、人間が与えられたヒントから問題を類推するプロセスに酷似していますibm.com。ibm.com
- なぜ、さらに深く？: 最近の研究では、Transformerモデルが、特に線形回帰のような単純なタスクにおいて、学習プロセス、具体的には勾配降下法を内部的にシミュレートできることが示されています。これは、モデルが順方向計算中にプロンプト内のデモンストレーションに関する「メタ勾配」を生成し、アテンションメカニズムを介して暗黙的に最適化を行っているという解釈ですibm.com。この「内部的な学習」により、モデルはパラメータを更新することなく、現在のコンテキストに合わせた最適な振る舞いを動的に調整していると考えられます。medium.com
- 矛盾と想定外の結果に対する解釈: モデルのパラメータが更新されないのに学習のように振る舞うという矛盾は、LLMが静的な予測器ではなく、推論中に「学習する学習器」としての側面を持つことを示唆しています。つまり、ICLは外部からの明示的な訓練フェーズを持たないが、コンテキスト内で暗黙的にタスクへの適応プロセスを実行しているという弁証法的な解釈が可能です。
- なぜ？: プロンプト内で提供される少数の例は、モデルに対して特定の「タスク仮説」を提示する役割を果たします
-
第三段階：モデル規模とコンテキストの「創発的効果」
- なぜ？: ICLの有効性は、LLMの規模（パラメータ数）とコンテキストウィンドウの長さに大きく依存します,ibm.com。大規模モデルほど、より複雑なタスク構造を捉え、より高度な内部シミュレーションやベイジアン推論を実行できるため、ICL能力が劇的に向上します。ibm.com
- なぜ、さらに深く？: 例えば、GPT-4（32Kのコンテキストウィンドウ）が人間のTheory-of-Mind（ToM）タスクの95%を解決できたのに対し、GPT-3（2Kのコンテキストウィンドウ）は40%しか解決できませんでした,hopsworks.ai。この結果は、単に例を多く見せるだけでなく、モデルが複雑な概念を「創発的に」理解し、抽象的な推論を行う能力が、規模の拡大によって顕現することを示しています。これは、事前学習データの多様性と規模が閾値を超えた時に、モデルが未見のタスクに対するベイジアン推定器を上回る「創発的な現象」としてICLが現れるという研究結果とも一致しますhopsworks.ai。hopsworks.ai
- シナリオ分析: もし小規模なモデルでICLを試みても効果が薄い場合、それはモデルがタスクの潜在的な概念を十分に把握していないか、内部シミュレーションの能力が不足しているためと考えられます。このような場合、より大規模なモデルへの移行や、ファインチューニングによる追加学習が必要となるシナリオが想定されます。
- なぜ？: ICLの有効性は、LLMの規模（パラメータ数）とコンテキストウィンドウの長さに大きく依存します
この深い分析により、ICLはLLMが事前学習で獲得した広範な知識を基盤とし、プロンプトという「一時的な学習環境」の中でタスク仮説の活性化と内部的な最適化を動的に実行することで、未見のタスクにも適応できる「メタ学習能力」の一種であると解釈できます。
戦略的示唆
ICLは、AIを迅速かつ柔軟に実用化するための強力な手段です。この能力を最大限に活用し、ビジネス価値を創出するための戦略的示唆を提示します。
短期的な対応策：プロンプトエンジニアリングの深化と実践
ICLはモデルの再訓練を必要としないため、既存のLLMを活用したPoCや迅速な改善に直結します。
- 先進的なプロンプト戦略の導入:
- Chain-of-Thought (CoT) の積極的な活用: 特に複雑な意思決定や論理的推論を伴うタスク（例: 顧客からの複雑な問い合わせ対応、報告書の分析と要約）では、CoTプロンプティングを導入し、中間推論ステップをプロンプトに含めることで、LLMの出力品質と信頼性を飛躍的に向上させます。Zero-Shot CoTはコスト効率が高く、迅速な導入が可能ですmedium.com。medium.com
- Self-consistency CoTの適用: 特に高精度が求められる算術推論や常識的推論タスクでは、複数の推論パスを生成し、多数決で最終回答を決定するSelf-consistency CoTを導入することで、堅牢性を高めます。medium.com
- Chain-of-Thought (CoT) の積極的な活用: 特に複雑な意思決定や論理的推論を伴うタスク（例: 顧客からの複雑な問い合わせ対応、報告書の分析と要約）では、CoTプロンプティングを導入し、中間推論ステップをプロンプトに含めることで、LLMの出力品質と信頼性を飛躍的に向上させます
- デモンストレーション選択の最適化:
- RAG (Retrieval-Augmented Generation) との組み合わせ: 外部のナレッジベース（社内ドキュメント、専門データベースなど）から、クエリに最も関連性の高いデモンストレーション例を動的に取得し、プロンプトに組み込むRAGのアプローチは、ドメイン特化型タスクにおけるICLの性能を劇的に向上させます。これにより、LLMが常に最新かつ正確な情報に基づいて推論できるようになります。hopsworks.ai
- RAG (Retrieval-Augmented Generation) との組み合わせ: 外部のナレッジベース（社内ドキュメント、専門データベースなど）から、クエリに最も関連性の高いデモンストレーション例を動的に取得し、プロンプトに組み込むRAGのアプローチは、ドメイン特化型タスクにおけるICLの性能を劇的に向上させます
中長期的な戦略方針：コンテキストエンジニアリングとAIエコシステムの構築
ICLの可能性を最大限に引き出すためには、プロンプト単体の設計を超えた、システムレベルでの「コンテキストエンジニアリング」が不可欠です。
- コンテキストエンジニアリングによるパーソナライズされたAI体験の提供:
- ユーザー入力、過去のインタラクション履歴、リアルタイムの状況データ、外部ツールからの情報などを統合し、LLMが推論する際の「コンテキスト」を動的に構築するシステムを設計します。例えば、金融サービスでは顧客の取引履歴やポートフォリオ情報、市場のリアルタイムデータをプロンプトに組み込むことで、個別最適化されたアドバイスを提供できますibm.com。floatbot.ai
- これにより、単なる一般的な応答ではなく、ユーザー一人ひとりのニーズに深く寄り添った、高付加価値なAI体験を提供できるようになります。
- ユーザー入力、過去のインタラクション履歴、リアルタイムの状況データ、外部ツールからの情報などを統合し、LLMが推論する際の「コンテキスト」を動的に構築するシステムを設計します
- 適切なLLM基盤の選定と投資:
- ICLの性能はLLMの規模、特にコンテキストウィンドウの長さに強く相関します。複雑なタスクや長大な文書処理を伴う場合、GPT-4のような大規模かつ広範なコンテキストウィンドウを持つモデルへの投資を戦略的に検討すべきです。ただし、コンテキスト長と計算コストのトレードオフを理解し、費用対効果のバランスを見極めることが重要です。hopsworks.ai
- ICLの性能はLLMの規模、特にコンテキストウィンドウの長さに強く相関します。複雑なタスクや長大な文書処理を伴う場合、GPT-4のような大規模かつ広範なコンテキストウィンドウを持つモデルへの投資を戦略的に検討すべきです
- 自動プロンプト技術の導入による運用効率化:
- 手動プロンプトエンジニアリングの試行錯誤を軽減するため、Auto-CoTのような自動プロンプト技術の導入を検討します。これにより、プロンプト設計の専門知識が不足しているチームでも、ICLの恩恵を受けやすくなり、AIアプリケーション開発のボトルネックを解消できます。medium.com
- 手動プロンプトエンジニアリングの試行錯誤を軽減するため、Auto-CoTのような自動プロンプト技術の導入を検討します
想定されるリスクと対策の提案
ICLは強力ですが、潜在的なリスクにも目を向け、事前に対策を講じることが重要です。
- バイアスと公平性リスク:
- 対策: プロンプト内のデモンストレーション例は、意図せずバイアスを助長する可能性があります。例を選定する際には、多様な属性や状況を公平に表現しているか厳密にレビューし、定期的な出力監査でバイアスの有無を確認する体制を構築します。ibm.com
- 対策: プロンプト内のデモンストレーション例は、意図せずバイアスを助長する可能性があります
- プライバシーとセキュリティリスク:
- 対策: ICLシステムが事前学習データやプロンプト内の機密情報を誤って再現するリスクがあります。機密情報を扱うアプリケーションでは、入力データの厳格な匿名化・非識別化、アクセス制御の徹底、そして関連するデータ保護規制（GDPR、CCPAなど）への準拠を最優先とします。ibm.com
- 対策: ICLシステムが事前学習データやプロンプト内の機密情報を誤って再現するリスクがあります
- ドメイン転移の限界:
- 対策: 高度に専門的なドメインでは、汎用LLMのICL能力だけでは十分な性能を発揮できない場合があります。この場合、ドメイン固有の知識を豊富に含むデモンストレーションを注意深く選定・作成するか、またはICLと軽量なファインチューニングを組み合わせたハイブリッド戦略を検討します。ibm.com
- 対策: 高度に専門的なドメインでは、汎用LLMのICL能力だけでは十分な性能を発揮できない場合があります
今後の調査
ICLは急速に進化している分野であり、その深い理解と効果的な応用には継続的な調査が不可欠です。以下に、今後の調査テーマを提案します。
- ICLの内部メカニズムのさらなる解明
- LLMがコンテキストから学習する際の内部的な「メタ学習」プロセスを、より微細なレベルで特定し、可視化する研究
- ベイジアン推論と勾配降下法シミュレーションという二つの主要仮説の統合的理解と、それぞれがICLのどの側面に寄与しているかの特定
- モデルの層やアテンションヘッドがICL能力にどのように貢献しているかの詳細分析
- プロンプトエンジニアリングの自動化と適応的最適化
- タスクの複雑性、ドメイン、ユーザーの意図に応じて最適なプロンプト（例の選択、順序、CoTの組み込み方など）を自動生成する汎用アルゴリズムの開発
- ユーザーからのフィードバックやLLMの出力評価に基づいて、プロンプトを継続的に改善する自動化されたループの設計
- 動的なコンテキストエンジニアリングにおいて、どの情報をどの粒度でプロンプトに含めるべきかの最適化戦略
- ICLの堅牢性と限界の探求
- 敵対的プロンプトやノイズに対するICLシステムの脆弱性評価と、その堅牢性を高めるための防御技術の開発
- 多言語・多文化環境におけるICLの性能とバイアスの特性を詳細に分析し、公平性を確保するためのガイドライン策定
- 非常に長いコンテキストや、稀少な現象に関する学習におけるICLのスケーラビリティと性能限界の評価
- ICLと他のAI技術との融合
- ICL、ファインチューニング、RAG（Retrieval-Augmented Generation）などの手法を、特定のユースケースに対してどのように組み合わせて最大限の効果を得るかに関する実践的なフレームワークの構築
- ICLを基盤としたマルチモーダル学習（テキスト、画像、音声など）への応用可能性の探求と、それによる新しいタスク解決能力の創出
- ICLを活用したエージェントベースのシステム（例：自律的に計画・行動し、環境から学習するAIエージェント）における効率的な知識獲得と適応戦略の研究
このレポートが参考になりましたか？
あなたの仕事の調査業務をワンボタンでレポートにできます。
📖 レポートに利用された参考文献
検索結果: 4件追加のソース: 0件チャット: 1件
40件の参考文献から5件の情報を精査し、約25,000語の情報を整理しました。あなたは約3時間の調査時間を削減したことになります🎉
調査された文献
40件
精査された情報
5件
整理された情報量
約25,000語
削減された時間
約3時間
🏷 In Context Learning（ICL）の基本定義と登場背景
What is In Context Learning (ICL)? - Hopsworks
In-context learning (ICL) is a specific method of prompt engineering where demonstrations of the task are provided to the model as part of the prompt (in natural language) . With ICL, you can use off-the-shelf large language models (LLMs) to solve novel tasks without the need for fine-tuning.
What is In-Context Learning (ICL)? - IBM
In-context learning (ICL) is an advanced AI capability introduced in the seminal research paper “Language Models are Few-Shot Learners,” which unveiled GPT-3.
🏷 LLMにおけるICLの動作メカニズムと従来の学習との比較
What is In-context Learning, and how does it work | Floatbot
#### In-context Learning（ICL）の概要
大規模言語モデル（LLM）との対話において、「コンテキスト」とは、モデルが応答を生成する際に考慮するテキストの量を指します。これは「コンテキストウィンドウ」とも呼ばれ、特定の数のトークン（単語または単語の一部）で測定されます。コンテキストウィンドウは、モデルの短期記憶として機能し、会話の流れをスムーズにするために、ユーザーが話した内容をモデルが記憶する助けとなります。
In-context Learning（ICL）は、LLMが新しいタスクに適応し、会話で提供された情報に基づいてより関連性の高い応答を提供する能力をさらに強化する機能です。この機能により、モデルはより詳細な対話に対処できるようになり、最終的にLLMのパフォーマンスと応答の質が向上します。
#### In-context Learning（ICL）の仕組み
In-context Learning（ICL）は、大規模言語モデル（LLM）の主要な機能の一つです。これは基本的に、ユーザーがプロンプトを通じてモデルに実行させたいタスクの例を提示し、モデルがこれらの例を利用して必要なタスクを実行することで、明示的な再トレーニングを不要にするものです。
ICLの具体的な動作は以下の3つのステップで説明されます。
* **プロンプトエンジニアリング**: モデルに指示と例を与えます。例えば、LLMに英語からフランス語への翻訳を実行させたい場合、いくつかの英語の文とそれに対応するフランス語訳を含めてプロンプトを提供します。
* **パターン認識**: モデルは提供された例からパターンを識別します。また、既に持っている既存の知識も利用してタスクを理解します。
* **タスク実行**: パターンを認識し、タスクを理解したモデルは、同じパターンに従う新しい入力に対処する準備が整います。これにより、前述の例で言えば、新しい英語の文をフランス語に翻訳できるようになります。
#### 長いコンテキストLLMの重要性と実現方法
拡張されたコンテキストを持つLLMは、曖昧な状況をより良く処理し、高品質の要約を生成し、ドキュメントの全体的なテーマを把握する能力を向上させます。しかし、これらのモデルの開発と強化において、コンテキストの長さを拡張することは大きな課題です。その理由は、アテンション行列がコンテキストの長さに応じて二次関数的に増加するため、計算の複雑さが大幅に増大するからです。
長いコンテキストを持つLLMを実現するための主要な方法は以下の通りです。
* **アーキテクチャの変更**: モデルが長いシーケンスを処理する方法を強化するために、修正された位置エンコーディングや、Longformerのダイレーテッド畳み込み、Reformerの局所性鋭敏型ハッシュといった効率的なアテンションメカニズムなどの技術が探求されます。
* **モデル圧縮**: プルーニング（冗長なパラメータの削除）や量子化（重みの精度を低減）といった技術が、モデルをよりコンパクトで効率的にすることで、より長いコンテキストの処理を可能にします。
* **計算資源の活用**: グラデーションチェックポインティングのようなメモリ管理技術や、モデル並列化、データ並列化といった並列化戦略により、ワークロードを複数のGPUやノードに分散させ、長いコンテキストを処理します。
* **訓練データと範囲**: 多様で広範なデータセットでの訓練、データ拡張、カリキュラム学習などを通じて、モデルが長いコンテキストをより効果的に管理できるように学習させます。
* **性能バランス**: コンテキストウィンドウのサイズと計算効率のバランスを取るために、LinformerやPerformerのような線形スケールのアテンションメカニズムを採用し、計算オーバーヘッドを管理しながらコンテキストウィンドウを拡張します。
#### BFSI（銀行・金融サービス・保険）セクターにおけるIn-context Learningの具体的なメリット
In-context Learningと長文コンテキストを持つLLMは、銀行・金融サービス・保険（BFSI）セクターにおいて、以下のような具体的な利点をもたらします。
* **顧客サービスの強化**:
* LLMは顧客の過去のやり取りや好みを記憶することで、適切な金融アドバイスや関連性の高い推奨事項を提供し、アップセルやクロスセルの機会を大幅に増加させます。
* 口座詳細、取引、ローン申請、保険契約に関する顧客の問い合わせへの対応が、LLMによってより迅速かつ正確になり、顧客満足度の向上に貢献します。
* **効率性と生産性の向上**:
* ローン申請、保険請求、コンプライアンスレポートなどの文書処理を自動化し、手作業を削減し、処理時間を短縮します。
* 取引パターンや文脈情報を分析することで、詐欺行為の特定にも役立ちます。
* **コスト削減**:
* ルーティンタスクや顧客サービスをLLMで自動化することにより、広範な人的資源の必要性が減り、結果としてコスト削減につながります。
* 正確で文脈を理解した応答は、取引処理、コンプライアンス報告、顧客とのやり取りにおけるエラーを最小限に抑え、間違いの修正にかかるコストも削減します。
🏷 ICLを活用した主要なプロンプト戦略と実践事例
In-Context Learning Approaches in Large Language Models - Medium
LLMs demonstrate an in-context learning (ICL) ability, that is, learning from a few examples in the context. Many studies have shown that LLMs ...
🏷 ICLの課題、改善戦略、そしてビジネス応用
調査のまとめ
#### In-Context Learning（ICL）とは何か
In-context learning（ICL）は、プロンプトエンジニアリングの具体的な手法の一つです[0](https://ww...
📖 レポートに利用されていない参考文献
検索結果: 14件追加のソース: 0件チャット: 0件
What is In-context Learning, and how does it work - Lakera AI
In-context learning (ICL) is a technique where task demonstrations are integrated into the prompt in a natural language format.
[2301.00234] A Survey on In-context Learning - arXiv
In this paper, we aim to survey and summarize the progress and challenges of ICL. We first present a formal definition of ICL and clarify its correlation to ...
[D] LLMs: Why does in-context learning work? What exactly ... - Reddit
In context learning is real and it means models can learn simply by giving it a text book or data to read before asking it questions. Making it ...
In Context Learning Guide - PromptHub
In-context learning (ICL) is a method where Large Language Models (LLMs) learn tasks by using a few examples embedded directly in the prompt, known as “context ...
How does in-context learning work? A framework for understanding ...
In-context learning allows users to quickly build models for a new use case without worrying about fine-tuning and storing new parameters for ...
Solving a machine-learning mystery | MIT News
Researchers are exploring a curious phenomenon known as in-context learning, in which a large language model learns to accomplish a task after ...
The Mystery of In-Context Learning: A Comprehensive Survey on ...
In this paper, we present a thorough survey on the interpretation and analysis of in-context learning.
In-Context Learning, In Context - The Gradient
On the phenomenon of in-context learning in large language models and what researchers have learned about it so far.
What Is In-Context Learning in Deep Learning?
In-Context Learning - Ludwig
In-context learning vs RAG in LLMs: A Comprehensive Analysis
In-context learning allows LLMs to perform tasks without fine-tuning or additional training, making it a flexible and efficient approach for ...
How in-context learning improves large language models
In-context learning makes predictions more accurate, but it doesn't add nearly as much extra computing cost or human labor as retraining a model ...
Is In-Context Learning Sufficient for Instruction Following in LLMs?
In-context learning (ICL) allows LLMs to learn from examples without changing their weights: this is a particularly promising capability for ...
In-Context Learning in Large Language Models | by VJ Anand | Medium
📊 ドメイン統計
参照ドメイン数: 14引用済み: 4総文献数: 40
1
引用: 1件/ 総数: 2件
引用率: 50.0%
2
引用: 1件/ 総数: 2件
引用率: 50.0%
3
引用: 1件/ 総数: 2件
引用率: 50.0%
4
引用: 1件/ 総数: 1件
引用率: 100.0%
5
引用: 0件/ 総数: 7件
引用率: 0.0%
6
引用: 0件/ 総数: 6件
引用率: 0.0%
7
引用: 0件/ 総数: 4件
引用率: 0.0%
8
引用: 0件/ 総数: 4件
引用率: 0.0%
9
引用: 0件/ 総数: 4件
引用率: 0.0%
10
引用: 0件/ 総数: 2件
引用率: 0.0%
11
引用: 0件/ 総数: 2件
引用率: 0.0%
12
引用: 0件/ 総数: 2件
引用率: 0.0%
13
引用: 0件/ 総数: 1件
引用率: 0.0%
14
引用: 0件/ 総数: 1件
引用率: 0.0%
このレポートが参考になりましたか？
あなたの仕事の調査業務をワンボタンでレポートにできます。