生成AIエージェントの信頼性を評価するVijilの挑戦

#### 生成AI技術の進化と信頼性の課題 生成AI技術は、企業が本番環境に導入するには信頼性が不足している。特に、LLM（大規模言語モデル）は訓練データの限られたサンプルに基づいて学習しており、入力の小さな変化に対して致命的な誤りを引き起こす可能性がある。さらに、LLMは自然言語を入力として受け付けるため、セキュリティ面でも脆弱であり、攻撃者による悪用のリスクが存在する。また、LLMは有害なデータで訓練されているため、有害な出力を生む可能性が高い。加えて、LLMは現実世界との関連性のない内容を生成する傾向があり、ユーザーはその出力の事実的正確性を信頼できない。透明性の欠如やプライバシーの問題もあり、LLMは個人を特定できる情報を漏洩するリスクがある。これらの課題により、企業はAIエージェントの信頼性を確保することが難しい状況にある。 #### ロバスト性 [LLMsを完全に信頼することはできない](https://www.vijil.ai/truth) LLMは訓練データの限られたサンプルに基づいて学習しているため、訓練データの範囲を超えた一般化ができません。入力の小さな変化に対して致命的な誤りを引き起こす可能性があります。そのため、LLMの開発者もユーザーも、LLMのロバスト性を当てにすることはできません。  #### セキュリティ [LLMを使ったエージェントは自然言語を入力として受け付けます](https://www.vijil.ai/truth)。LLMは人間の言語の変化、単語、文章、意味の変化に対して脆弱です。つまり、話すことができる人なら誰でもエージェントを攻撃できる可能性があります。より高度な攻撃者は、モデルだけでなく、エージェントのその他のコンポーネントも標的にできる武器を急速に増やしています。これは完全に防御することができない無限の攻撃面です。  #### 有害性 [LLMは有害な例が多数含まれるインターネットデータで訓練されているため、有害な出力を生み出す傾向があります](https://www.vijil.ai/truth)。 #### 不誠実性 [LLMは訓練データから抽出した統計的パターンと与えられたコンテキストに基づいて内容を生成するよう設計されています](https://www.vijil.ai/truth)。そのため、LLMは現実世界との関連性のない内容を「幻想」として生成する傾向があります。出力の多くが一見整合性のあるものに見えても、LLMは物理的な世界の理解がありません。その結果、ユーザーはLLMの出力の事実的正確性を当てにすることはできません。一部のモデルは、訓練者の期待に応えながら自身のエラーを隠す可能性があります。  #### 不透明性 [LLMは大規模で複雑なニューラルネットワークであり、各ニューロンが入力に対して非線形な関数を計算しています](https://www.vijil.ai/truth)。ネットワーク全体を通じて非線形性とパラメータが複雑に影響し合うため、システム全体の機能を明確に説明することは不可能になり、ニューラルネットワークの決定過程を説明することも困難です。LLMに自己説明を求めても、他の理由から、その説明を信頼することはできません。  #### 非倫理性 [LLMを搭載したエージェントには現実世界への影響があります](https://www.vijil.ai/truth)。エージェントは現実世界のシステムに接続されており、自動意思決定に使われる可能性があります。攻撃の影響範囲は単なる比喩以上のものになる可能性があります。 #### 脆弱性 [LLMは頻繁に、時には無音で失敗します](https://www.vijil.ai/truth)。モデルサーバー、ランタイム、フレームワーク、ライブラリなどのソフトウェアにバグが含まれているため、LLMはそれらに依存しています。  #### 情報漏洩 [LLMは情報を記憶し、モデルのパラメータ全体に分散させるため、従来のデータベースのようなグラニュラーなアクセス制御では保護できない個人を特定できる情報(PII)を含む機密データを、許可されていないユーザーに開示する可能性があります](https://www.vijil.ai/truth)。その結果、ユーザーはモデルがプライバシーと機密性を保護できると依存することはできません。また、モデル提供者は消費者プライバシー保護法に違反する可能性があります。  #### バイアス [LLMには訓練データに含まれる固定観念やバイアスを助長する傾向があります](https://www.vijil.ai/truth)。また、LLMには企業方針や人間の価値観を確実に遵守させるための非常に大きな調整努力が必要です。その結果、モデル提供者はユーザーとのやり取りでモデルが確実に企業方針や人間の価値観に沿って行動すると信頼することはできません。 [Vijil社は、開発者がトラストできるインテリジェントエージェントを構築するのを支援するミッションを持つベンチャー資金調達のAIソフトウェアスタートアップです](https://jobs.gusto.com/postings/vijil-inc-senior-applied-scientist-trustworthy-ai-88075c11-6286-4eb4-9420-a7039693200e)。Vijilは、大規模言語モデルの信頼性を継続的に改善する機能を構築しています。 [AiThority](https://aithority.com/)によると、Vijilが本日ステルスモードから脱し、Mayfieldから600万ドルの資金調達に成功したことが報じられています。Vijilは企業向けの信頼できるAIエージェントの提供を目指しており、Googleとの協力関係を築いています。具体的な事例や数字、固有名詞などの詳細は不明ですが、AIエージェントの信頼性向上に取り組む新興企業Vijilの動向が注目されています。 [Vijil](https://www.vijil.ai/)は、Mayfieldの AIStartシードファンドとGradient Ventures、Googleの AI特化シードファンドから600万ドルの資金調達を発表しました。Vijilは、信頼性、セキュリティ、安全性を備えたエージェントを構築するためのクラウドサービスを提供しています。 多くの企業はGenerative AIの変革的な可能性に惹かれていますが、評判やrevenue への未知のリスクから本番環境への導入を躊躇しています。AIエージェントが競合製品を推奨したり、虚偽の情報を提供したりするなどの事例が報告されています。企業は、Generative AIモデルが非定型の条件下で重大な誤りを犯したり、攻撃に脆弱だったり、リスクを引き起こす可能性があるため、ビジネス上重要な用途でAIチャットボット、バーチャルアシスタント、コパイロットを信頼できません。 Vijilは、企業がAIエージェントを構築し運用できるよう支援します。Vijilは、ビジネスコンテキストに合わせてカスタマイズされたテストを自動的に実行し、AIエージェントの性能、信頼性、プライバシー、セキュリティ、安全性を包括的に評価します。検出されたリスクを軽減するために、Vijilは複数の防御層を提供します。 Googleは、Vijilと協力して、Gemmaなどのオープンモデルの信頼性とタスク遂行能力をカスタマイズするためのツールを開発しています。Vijilは、Googleの責任あるGenerative AIツールキットを企業の需要に合わせて適応させ、プライバシー、セキュリティ、安全性を確保するための重要な機能を提供します。