人間とLLMsの驚くほどの類似性

#### 導入: 人間とLLMsの関連性 LLM（Large Language Models）と人間の学習方法には量的な違いがあります。人間は新聞の一部を読み、LLMはすべての新聞の単語を読みます。LLMは無制限の人数と対話し、学んだことを共有できます。人間よりも量的に多くを覚えることができます。LLMが人間が公開したコンテンツを学習する際、適切な報酬を支払うべきかが問題となります。 #### LLMsの評価と人間の評価の比較 LLMsが人間の評価の代替手段として使用できる可能性が探求されています。LLMsはオープンエンドのストーリー生成や敵対的攻撃などのNLPタスクで人間の評価と一致することが示されています。しかし、LLMsの利点と欠点、倫理的考慮事項については議論が続いています。LLMsが人間の評価を行うことができるかどうか、適切な報酬を支払うべきかなど、重要な問題が浮上しています。人間の学習を妨げず、他者との学習を促進するために、LLMsの活用方法について慎重に考える必要があります。 #### LLMと人間の学習方法の比較に関する議論 [LinkedIn投稿](https://www.linkedin.com/posts/siilasmaa_a-post-comparing-humans-and-llms-large-language-activity-7146395849827258369-8Qz5)では、LLM（Large Language Models）と人間が新聞を読む際の学習方法と使用方法について比較されています。人間とAIの両者は、読んだ内容の一部をニューラルネットワークに保存し、それをビジネス目的で使用することができます。質的な違いはなく、量的な違いがあります。人間は新聞のすべての単語を読まない一方、LLMはすべての新聞のすべての単語を読み、そこで止まりません。LLMは無制限の人数と対話し、学んだことを共有できます。LLMは量的に異なるレベルにあります。人間と同様に、LLMも一部を忘れる「損失のある」記憶システムを使用しますが、ニューラルネットワークのサイズを調整することで、LLMが覚える量をある程度制御できます。人間よりも量的に多くを覚えることができます。LLMが人間が公開したコンテンツを学習する際、人間が支払う以上の報酬を支払うべきかどうかが問題となります。この量的な違いは別々の経済を正当化するべきかどうか。LLMによって学習されたコンテンツを使用する際、適切な著作権料金を支払うべきですか？その結果、人間が学ぶことを妨げず、他の人と学んだことを共有し、学んだことをより多く覚えることを奨励することが重要です。LLMには良い点があまりにも多くあり、コンテンツ所有者は以前奨励していたものを恐れるようになっています。 #### 大規模言語モデルは人間の評価の代替となり得るか？ [論文](https://aclanthology.org/2023.acl-long.870.pdf)では、大規模言語モデル（LLMs）が人間の評価の代替として使用できる可能性について探求しています。LLMsには、人間の言語をモデル化するために自己教師あり学習を使用してトレーニングされた大規模なモデルが含まれます。LLMsは、タスクの指示のみが与えられた場合に未知のタスクで優れたパフォーマンスを示すことがあります。この能力を活用し、LLMsが人間の評価を行うことができるかどうかを検証しています。 具体的には、オープンエンドのストーリー生成と敵対的攻撃という2つのNLPタスクで、LLM評価と人間の評価を使用してテキストの品質を評価しています。結果として、LLM評価の結果は専門家の人間評価と一致し、LLMsがテキストの品質を評価するのに有効であることを示しています。さらに、LLM評価の結果は、タスク指示の異なるフォーマットや回答を生成するために使用されるサンプリングアルゴリズムの異なるフォーマットに対して安定していることも示しています。 この研究は、LLMsを使用してテキストの品質を評価する可能性を初めて示し、LLM評価の利点と欠点、倫理的考慮事項について議論しています。LLMsが人間の評価の代替手段としてどのように活用できるかについて、興味深い洞察が得られる研究と言えます。 #### 言語モデルと人間の信念推論能力の比較 [論文](https://onlinelibrary.wiley.com/doi/full/10.1111/cogs.13309)では、人間は他者に信念を帰属させることができますが、この能力が生まれつきの生物学的な資質から来るのか、言語を通じた子どもの発達を通じて蓄積された経験から来るのかは未知であると述べています。大量の人間言語にさらされたモデルが、書かれた文章のキャラクターの暗黙の知識状態に対する感受性を示すかどうかを評価して、言語暴露仮説の妥当性を検証しています。 事前登録された分析で、人間参加者と最先端の言語モデルであるGPT-3に言語版の偽信念タスクを提示しています。両者は他者の信念に敏感ですが、言語モデルは偶然の振る舞いを大幅に上回る一方、人間ほど優れたパフォーマンスを発揮しません。これは、言語暴露からの統計的学習が人間が他者の心の状態について推論する能力をどのように発展させるかの一部を説明する可能性がある一方、他のメカニズムも責任を持っていることを示唆しています。 #### 自己教師あり学習によるウェアラブルデバイスの人間活動認識 [論文](https://arxiv.org/html/2404.15331v1)では、ラベル付きデータの量を制限して高精度なHuman Activity Recognition（HAR）を実現するための代替手法を探求しています。具体的には、最近のSelf-Supervised Learning（SSL）アルゴリズムをHAR領域に適応し、その効果を比較しています。 3つの最新のSSL技術（contrastive、generative、predictive）と、認識率に及ぼすニューラルネットワークの影響を評価しています。その結果、Masked Auto Encoder（MAE）アプローチがSimCLRを含む他のSSLアプローチを大きく上回ることが示されました。    [論文のリンク](https://arxiv.org/html/2404.15331v1)