人間とLLMsの驚くほどの類似性

導入: 人間とLLMsの関連性

LLMsの評価と人間の評価の比較

LLMと人間の学習方法の比較に関する議論

大規模言語モデルは人間の評価の代替となり得るか？

言語モデルと人間の信念推論能力の比較

自己教師あり学習によるウェアラブルデバイスの人間活動認識

LLMsの形式的言語能力と機能的言語能力の評価

LLMsの形式的言語能力と機能的言語能力の評価に関する考察

人間とLLMsの知識の比較

脳と自己回帰深層言語モデルの共有された計算原理

大規模言語モデルは私たちを理解しているのか？

言語と思考の混同

形式的言語能力と機能的言語能力

• 形式的言語能力：言語の形を正しく取得する能力であり、言語の規則や統計的規則の知識を含みます。
• 機能的言語能力：言語を使用して世界で目標を達成する能力であり、非言語的な認知機能に重要です。

人間とLLMsの合意文生成に関する研究

LLMsの人間との調整に関する考察

合理性の観点からの人間とLLMsの比較

• LLMsの研究では、微調整を使用して異なる意見を持つ小さなグループの人々と合意する文を生成しています。
• 人間の好みの異質性を受け入れ、異なる意見を持つ人々が合意を見つけるのを支援することを目的としています。
• 70兆パラメータのLLMを微調整して、異なる意見を持つ人々のグループにとって期待される承認を最大化する文を生成しています。
• 人間の参加者は、LLMが生成した候補の合意文を合意と品質について評価しています。
• 報酬モデルが個々の好みを予測し、異なる集計関数に従って全体のグループにとっての魅力を量化およびランク付けしています。
• このモデルは、提示されたLLMsよりも人間のユーザーに好まれる合意文を生成し、最良のモデルの合意文は最良の人間が生成した意見よりも好まれます。
• これらの結果は、LLMsを使用して人々の価値観を互いに調整するための潜在能力を示しています。

• 大規模言語モデル（LLMs）は、広範囲の自然言語処理（NLP）タスクにおいて主要な解決策として台頭しています。
• しかし、これらのモデルは人間の指示を誤解したり、バイアスのあるコンテンツを生成したり、事実に基づかない情報を生成するという限界があります。
• そのため、LLMsを人間の期待に合わせるための調整技術が研究コミュニティで注目されています。
• この調査では、LLMsの人間との調整に関する技術の包括的な概要を提供しています。

• Instruction-tuningは、LLMsを微調整する方法であり、自然言語クエリに対する人間の応答により似た出力を生成させることができます。
• Instruction-tuningがLLMと人間の類似性に与える影響を、脳の整合性と行動の整合性の2つの方法で調査しています。
• Instruction-tuningは一般的に脳の整合性を平均して向上させますが、行動の整合性には同様の効果がありません。
• Instruction-tuningは、LLMsの世界知識表現と脳の整合性の両方を向上させ、LLMsが人間の脳に対する表現の整合性を向上させるメカニズムを示唆しています。

認知プロセスの類似性の要約

認知プロセスの類似性の考察

認知プロセスの類似性の詳細

AIを神経科学の発見のパートナーにする

記憶、意識、および大規模言語モデル

脳は自己監督学習を使用している可能性がある

Scaffolded LLMsは自然言語コンピュータ

結論: 人間とLLMsの驚くほどの類似性

考察: 人間とLLMsの合理性の比較

詳細

Wason Selection Task

• ChatGPTは、人間の参加者と比較して、タスクに対する理解や論理的思考の能力において明らかな不足を示した。一方、人間の参加者はタスクに対する理解と論理的思考を提供し、ChatGPTの回答に欠けていた本質的な原則を示した。

Conjunction Fallacy

• 人間の参加者とLLMsのパフォーマンスは低いままだったが、オンラインの人間参加者が比較的良いスコアを達成した。この認知バイアスが様々な認知システムで広く存在し、その持続的な課題を強調している。

Stereotype Base Rate Neglect

• ChatGPTのスコアが人間に近かったことは、ChatGPTの機能に固有のいくつかの要因に帰因される。LLMsは広範な事前知識を処理でき、新しい情報に直面した際に広範な統計的傾向や歴史的データを考慮できる。また、LLMsは人間のような認知バイアスに影響を受けない。したがって、LLMsは人間と同等の合理性を示している。