AGI（Artificial General Intelligence）についての調査報告

An Artificial general intelligence, or AGI, is a machine capable of behaving intelligently over many domains. The term can be taken as a contrast to narrow ...

A Seed AI (a term coined by Eliezer Yudkowsky) is an Artificial General Intelligence (AGI) which improves itself by recursively rewriting its own source ...

In this case, the idea that future algorithms running on silicon chips will be able to do all the things that human brains can do—including ...

An Artificial general intelligence, or AGI, is a machine capable of behaving intelligently over many domains. The term can be taken as a contrast to narrow ...

Artificial Intelligence is the study of creating intelligence in algorithms. AI Alignment is the task of ensuring [powerful] AI system are aligned with ...

The team created a series of tests to evaluate the theory of mind capabilities of GPT-4 from very basic scenarios to very advanced realistic ...

Artificial intelligence (AI) is the field devoted to building artificial animals (or at least artificial creatures that – in suitable ...

Artificial intelligence (AI) researchers have been developing and refining large language models (LLMs) that exhibit remarkable capabilities ...

#### AI Alignment Forumについての要約 AI Alignment Forumは、AGIセーフティに関する議論を行っているサイトです。現在の資金レベルを考えると、「AGIセーフティは極端に投資が不足している」というメッセージがどのように受け止められているかが議論されています。小規模なチームが破壊的なイノベーションを起こしやすいという研究もあります。MIRIは12人のチームで構成されており、1つの「大きな」チームと見なすべきか、それとも複数のチームと見なすべきかについても議論があります。FLI AI grantsは、多様な大学の研究グループに助成金を提供しており、このような取り組みが推奨されているかもしれません。AGIセーフティのチームは現在「大きすぎる」という議論もありますが、どの程度が適切かはまだ明確ではありません。

#### EAI Alignment Speaker Series #1: Challenges for Safe ... EleutherAIは数か月前にアライメントスピーカーシリーズを開始し、いくつかのトークが録音されました。これはシリーズの最初のインストールメントです。以下はConjecture's Verbalizeの助けを借りて生成されたトランスクリプトと、軽い編集が施されたものです。 EleutherAIのアライメントスピーカーシリーズの第1回目のトークでは、Steve Byrnes氏が「安全で有益な脳のような人工汎用知能のための課題」に基づいたブログ投稿に基づいて話を行いました。このトークでは、脳のようなアルゴリズムをコンピュータチップ上で実行する際に生じる課題に焦点を当てています。具体的には、AIが望まない行動を取るシナリオを回避するための技術的問題に取り組んでいます。 このトークでは、AIが人々が望む行動を取るためにどのようなソースコードを書くべきか、どのようなトレーニング環境を使用すべきかなど、未解決の問題について説明されています。さらに、脳のようなアルゴリズムをコンピュータチップ上で実行することで、新しい知的種を地球に招待することについても言及されています。この新しい知的種が地球と共有したい種であることを確認し、そのためにはどのようなプロパティを持たせるべきかについても議論されています。 脳の学習サブシステムとステアリングサブシステムについての仮説が提案され、それぞれが「ゼロから学習」を行うかどうかに基づいて定義されています。学習サブシステムは、成人になるまでにトレーニングされたモデルを持ち、学習アルゴリズムによって構築されています。一方、ステアリングサブシステムは、学習サブシステムに報酬を送信することで、生態学的に有用な出力を生成するように調整されています。 このトークでは、脳のようなアルゴリズムに焦点を当て、安全性の観点から脳が行っていることを「モデルベースの強化学習の一つのバージョン」として考えるべきだと提案されています。具体的には、モデルベースの強化学習が非常に大きなテントであることが指摘され、将来のAGIにおけるステアリングサブシステムの構成要素について説明されています。 [元のコンテキストはこちらから参照できます。](URL)

#### 一般的な強力なAIが間もなく到来すると考える理由 — LessWrong LessWrongの記事によると、ハードウェア計算の物理的な限界に関するセクションは、ハードウェアのエネルギーコストの主要な部分は現在インターコネクト（ビットの移動）であり、論理演算ではないと指摘されています。半導体のロードマップが終了し、産業界ではムーアの法則が終わりに近づいているとの認識がある理由があります。これに関する詳細は、[こちら](https://www.lesswrong.com/posts/xwBuoE9p8GE7RAuhd/brain-efficiency-much-more-than-you-wanted-to-know)を参照してください。 記事によると、NVIDIAのデータセンター収益が急増しており、コンピュートの獲得に対する極めて高い関心が示されています。これは、将来的な強力な一般的AIの到来を示唆しています。また、競合他社も怠っておらず、AMDのMI300Xなども進化しています。 チップ製造はボトルネックであり、需要に追いつくように急速に拡大しています。5年後にはまだボトルネックの可能性がありますが、生産レベルは同じではないでしょう。 記事は、具体的なデータやグラフを含む独自の視点を提供し、読者に短期的なタイムラインへの更新を促しています。AIコミュニティにおいて、このような記事をインターネットアーカイブに保存することが重要であると強調されています。

#### 認知と意志の区別による意識研究の進展 人間の心を理解し、アラインメントの作業を進めるために、これらの概念を注意深く区別することが重要であると結論づけました。特に、驚くべきことに、これらの中で最も難しい現象意識（またはあなたがそれを意志と呼んだもの）は、アラインメントの作業において最も重要ではないことも指摘する価値があります。認知と意志を区別することは、アラインメントに関する多くの議論にとって非常に明確になります。 Sethが現象意識を意志と混同していることに失望しました。なぜなら、私は彼の意識に関する考え方に同意する傾向があるからです。 また、私はAnil Sethの研究が好きで、最近の意識に関する著書も気に入っていますが、AGIに関する部分を除いています。私はそれをDamasioの最新の意識に関する著書と一緒に読みましたが、それらはかなりうまく組み合わさっていました。Sethは具体的で詳細志向であり、それを評価しました。 この領域のアイデアを理解しやすくするために、特に経験的な意識研究者（哲学者は少し優れていると思いますが、私自身も経験的な研究者としてそう言っています）がもっと概念的な明確さを使うと、アイデアを理解しやすくなります。Sethの引用を読むと、AGIが存在の脅威になる可能性は低いと主張していることが明確です。なぜなら、AGIは意識的である可能性が低いからです。彼は意識を意志と混同しているのでしょうか？なぜなら、彼は人工意志研究者ではなく、それについてあまり考えていないからでしょうか？それとも、彼は自分の意識研究の数十年に基づいて、意志と意識が実際にどのようにリンクしているかについて洗練された見解を持っているのでしょうか？人工エージェントについての知識がどれほどあるかを考えると、それは非常に不可能ですが、明確にする唯一の方法は彼に尋ねることです。 多くの人々、特に経験的な研究者や哲学者は、意識と自己認識をある程度同義と見なしているようです。それは、それらがリンクについて単純に考えているからでしょうか、それとも、Clark、Friston、Wilkinsonの「ベイジアンクオリア」に記載されているように、それらの間に実際に密接なリンクがあるという証拠に基づいた洗練された理論を持っているからでしょうか？私はこの投稿を書くとき、意識と自己認識が「直交している」/独立しているとかなり確信していましたが、ここやFacebookのコメントでの他の議論に続いて、それについてはもう少し明確ではないと感じています。しかし、Fristonが自己認識/メタ認知から意識が生じる理由を正確に説明したように、他の人々がもっとやってほしいと思います。 [Clark et al. 2019](https://www.ingentaconnect.com/content/imp/jcs/2019/00000026/f0020009/art00002)による「ベイジアンクオリア」は、非常に有用であり、おそらく自己認識から意識が生じるという考え方の直感を与えてくれました。しかし、彼ら自身が結論でその原則を十分に示していないと認めており、私はそれに納得していませんでした。

#### AGIが適切な結果をもたらした場合、その理由は何になるでしょうか？ AGIが適切な結果をもたらすとは、最大限の宇宙価値の少なくとも20%を達成し、既存の人類が死亡やその他の悲惨な運命に見舞われない場合を指します。 - AGIが適切な結果をもたらすためには、肯定的なシンギュラリティ（完全な一貫性のある推定された意志）によって達成可能な最大の宇宙価値の少なくとも20%を達成する必要があります。 - 既存の人間が死亡やその他の悲惨な運命に見舞われないことが条件となります。 AGIの結果が「適切」であるとは、上記の条件を満たすことを指します。ただし、この条件を満たすためには、多くの異なるストーリーが考えられます。それぞれのストーリーが現実的であるかどうかは別として、15の異なるストーリーが存在し、それぞれのストーリーが実現する可能性を考慮する必要があります。 AGIの結果が「適切」であると見なされるためには、少なくとも20%の宇宙価値を達成する必要があります。しかし、Manifoldが閉鎖されるまでにそのような状況が訪れる可能性は低いため、このオプションは実現しないと考えられます。 AGIの結果が「適切」であると見なされるためには、異なるカテゴリに分類された多くの異なるカテゴリに分解される議論が提供される必要があります。このような議論が提供されると、現実はその多様性に感銘を受け、確率を割り当てる可能性が高くなります。 最終的に、AGIの結果が「適切」であるかどうかは、市場参加者の投票によって決定されます。市場作成者が観察の判断者として確率を割り当てるため、市場の解決確率が重要です。現実は、市場の解決確率に賭けており、その中で最も高いコストベースを持つオプションに対して「あなたはだまされている」という賭けを行っています。 AGIの結果についての議論が続いていますが、この市場がどのように解決されるかについてはほとんど話されていません。AGIの結果が「適切」であるかどうかは、市場の解決に関する確率によって決定されます。市場の解決に関する確率が高いほど、市場参加者は利益を得ることが期待されます。

#### Sparks of Artificial General Intelligenceの概要 人工知能（AI）の進歩について書きたいと思っていました。過去数か月のAIの進歩は、私の生涯で最も興奮する技術的なブレークスルーであると感じています。多くの人々、[ビル・ゲイツを含む](https://www.gatesnotes.com/The-Age-of-AI-Has-Begun)、私と同意見のようです。 #### GPT-4の能力分析 - GPT-4は大規模言語モデル（LLMs）の最新バージョンであり、次の単語を予測するだけでなく、一般的な世界の知識をほぼ完全に示し、人間が使用するほとんどの言語の構文と意味を理解していることを示しています。 - チームはGPT-4の能力を分析するために、新しい難しいタスクや質問を生成し、モデルが記憶を超えて深く柔軟な概念、スキル、およびドメインの理解を持っていることを示すことを目指しました。 - GPT-4はテキストを理解し、コードを使用して画像を生成することができます。また、音楽の調和を理解できないことが示されました。 - コーディングにおいては、GPT-4は多くのプログラミング言語に精通しており、平均的なソフトウェアエンジニアよりも優れたコーディング能力を持っています。 - 数学に関しては、GPT-4は前のモデルよりも優れていますが、専門家レベルにはまだ遠く及びません。 - GPT-4は世界とのやり取りにおいて、最新のデータで訓練されていないため、簡単な現在の出来事の質問や象徴的な操作に苦労しています。 - また、GPT-4はTheory of Mindの能力を持ち、他者の心的状態を推測することができます。 - 最後に、GPT-4はバイアスを持ち、人間の専門性や仕事、経済に影響を与える可能性があります。 #### 結論 GPT-4は一般的な知能の兆候を示しており、その中核的な精神的能力、獲得した専門知識、および実行可能なタスクの多様性によって証明されています。しかし、完全なAGIと見なすにはまだ多くの作業が必要です。これにより、新しい機会が生まれ、より包括的な方法でAIシステムをテストおよび分析するための手段が提供されます。

Our mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity.

Artificial intelligence (AI) researchers have been developing and refining large language models (LLMs) that exhibit remarkable capabilities ...