Anthropic徹底解剖：CEOダリオ・アモデイの思想と「憲法AI」が拓く未来

Dario Amodei is the CEO of Anthropic, the company that created Claude. Amanda Askell is an AI researcher working on Claude's character and personality.

Mr Amodei and his co-founders, including his sister Daniela, set up Anthropic after abandoning OpenAI in 2021 over safety concerns. Their rival went on to make ...

A proposed 10-year ban on states regulating AI "is far too blunt an instrument," Amodei wrote in an op-ed. Here's why.

Founding and early development (2021–2022)​​ Anthropic was founded in 2021 by seven former employees of OpenAI, including siblings Daniela Amodei and Dario ...

... story of leaving OpenAI with the entire safety team to start Anthropic 2. How Meta's $100M offers reveal the true market price of top AI talent 3. Why AI ...

As the co-founder and CEO of Anthropic, Amodei is pioneering a new approach to AI development that prioritizes safety, interpretability, and ethical ...

はい、承知いたしました。ダリオ・アモデイ氏とAnthropicに関する調査結果を基に、ご依頼の項目について以下にまとめます。 ### 回答 AnthropicとそのCEOダリオ・アモデイ氏は、「A...

Our values guide how we work together, the decisions we make, and ultimately how we show up for each other and work toward our mission. Act for the global good.

Human welfare is at the heart of our work at Anthropic: our mission is to make sure that increasingly capable and sophisticated AI systems remain beneficial ...

Our Mission. Our research teams investigate the safety, inner workings, and societal impact of AI models — so that artificial intelligence has a positive ...

Anthropicに関する調査結果を以下にまとめました。 #### 会社概要と目的 Anthropicは、AIの安全性と研究に特化した企業です。彼らは、信頼性が高く、解釈可能で、操縦可能なAIシステムの構築を目指しています。AIが世界に多大な影響を与えると信じており、人々が信頼できるシステムを構築し、AIの機会とリスクに関する研究を進めることに専念しています。 #### 安全性への取り組みと科学的アプローチ Anthropicは、最先端のAIシステムを構築する際に、その信頼性、解釈可能性、操縦可能性を追求しています。これを実現するために、フロンティア研究を行い、様々な安全技術を開発・適用し、パートナーシップや製品を通じて展開しています。彼らはAIの安全性を体系的な科学として捉え、研究成果を製品に適用し、その洞察を研究にフィードバックするという循環的なアプローチを取っています。また、AIが世界の仕組みを根本的に変える可能性を認識し、市民社会、政府、学術界、非営利団体、産業界と協力して、業界全体の安全を促進することにも尽力しています。 #### Anthropicの価値観（ビジョン・ミッション・バリュー） Anthropicの意思決定は、そのミッションを達成するための日々の重要な行動であり、AIと世界の未来を形作る責任と特権であると認識されています。彼らの価値観は、社内での協業、意思決定、そしてミッション達成への取り組み方を導きます。 具体的な価値観は以下の7つです。 1. **グローバルな善のために行動する:** 長期的に人類に最大の肯定的な成果をもたらす決定を目指し、技術が「善」の確固たる力となるよう大胆に行動します。 2. **光と影を持つ:** AIが人類にもたらす未曾有のリスクと利益の両方を認識し、潜在的な悪い結果から保護するために「影」を、良い結果を実現するために「光」を必要とすると考えます。 3. **ユーザーに良い行いをする:** ユーザーを顧客、政策立案者、Anthropicの従業員、および彼らの技術から影響を受けるすべての人々と広く定義し、すべてのインタラクションにおいて寛容さと親切さを育みます。 4. **安全性で頂点への競争を促す:** 安全性を最優先する企業として、信頼性が高く、信頼でき、安全なシステムの構築が共通の責任であると信じています。AI開発者が最も安全なAIシステムを開発するために競争するような「頂点への競争」を促し、AI安全とセキュリティの業界標準を常に設定し、他社にも同様の行動を促すことを目指します。 5. **機能するシンプルなことを行う:** 問題に対して経験的なアプローチを取り、方法の洗練度ではなく、影響の大きさを重視します。最もシンプルな解決策を特定し、そこから反復することで、効率的な成果を目指します。 6. **親切、正直、無害である:** 高い信頼と低いエゴを持つ組織であり、意見の相違があっても良い意図を前提に、親切かつ直接的にコミュニケーションを取ります。行動には思慮深く、害を避け、必要に応じて関係を修復します。 7. **ミッションを最優先する:** ミッションが共通の目的であり、組織全体が迅速に協力して行動するための最終的な判断基準となります。 #### プロダクト（Claude）と最終目標 Anthropicは、彼らの研究をClaudeのような具体的で実用的なツールに変換しています。これらのプロダクトは、企業、非営利団体、市民社会グループ、およびその顧客や世界中の人々に利益をもたらすことを目的としています。 プロダクトとしての最終的なゴールは、人類が「信頼できる」AIシステムを構築し、AIの潜在的なリスクを軽減しながら、そのメリットを最大限に引き出すことにあると読み取れます。UI/UXに関する直接的な記述は今回のコンテキストにはありませんが、彼らの掲げる「信頼性、解釈可能性、操縦可能性」といった安全性の追求がプロダクト設計の根幹をなしており、「ユーザーに良い行いをする」という価値観がUI/UXの基盤にあると考えられます。この思想に基づき、ユーザーが安心して利用でき、意図した通りの振る舞いをするAI体験を提供することを目指していると推測されます。 #### ガバナンスとダリオ・アモデイ Anthropicは、人類の長期的な利益のために高度なAIの責任ある開発と維持を目的とするPublic Benefit Corporation（公益法人）です。取締役会は株主とLong-Term Benefit Trust (LTBT) によって選出されます。 現在のAnthropic取締役会メンバーには、創業者の一人である**ダリオ・アモデイ**氏の名前が含まれています。その他のボードメンバーは、ダニエラ・アモデイ氏、ヤスミン・ラザヴィ氏、ジェイ・クレプス氏、リード・ヘイスティングス氏です。LTBTの受託者には、ニール・バディ・シャー氏、カニカ・バール氏、ザック・ロビンソン氏、リチャード・フォンテーヌ氏が名を連ねています。Long-Term Benefit Trustの詳細については、Anthropicのウェブサイトで説明されています[https://www.anthropic.com/news/the-long-term-benefit-trust]。

Could AI become conscious? Anthropic's new model welfare program researches AI sentience, ethics, and the potential for AI rights.

Bosch is correct to find Anthropic's "model welfare" research methodologically bankrupt. Asking a large language model if it is conscious is like asking a ...

Anthropicの思想、ビジョン、プロダクトに関する調査結果を以下にまとめました。 ### #### ダリオ・アモデイとAnthropicの思想 Anthropicは、CEOであるダリオ・アモデ...

#### PDF) Constitutional AI: An Expanded Overview of Anthropic's ... の概要 この論文「Constitutional AI: An Expanded Overview of Anthropic's Alignment Approach」は、人工知能（AI）が社会に深く統合される中で、モデルが責任ある振る舞いをし、人間の価値観と合致することの重要性について論じています。特に、Anthropicが開発した「Constitutional AI（CAI）」という新しいアライメント（整合性）アプローチに焦点を当て、その背景、方法論、実践的な実装詳細、そして将来の方向性について詳しく説明しています。CAIは、大規模言語モデルが透明性のある原則群、すなわち「憲法」によって導かれることを提案しており、従来の人間からのフィードバックに依存する手法（RLHFなど）との違いを明確にしています。 #### AnthropicのAIアライメントへのアプローチ：憲法AI (CAI) Anthropicは、AIシステムが人間にとって有益であるか、少なくとも有害でないことを保証する「AIアライメント問題」に取り組んでいます。この課題に対し、CAIは「憲法」として成文化された原則群を用いてモデルの振る舞いを導く、画期的なフレームワークを提供します。これにより、モデルは憲法を参照して自身の出力を自己監督し、害を最小限に抑え、真実性を高めることを目指します。これは、Anthropicが目指す「安全で信頼できるAI」というビジョンを具現化する中核的な思想であり、プロダクトの最終的なゴールに直結するものです。 #### 既存のアライメント手法とCAIの登場背景 従来のAIアライメント技術は、主に人間がラベル付けしたデータの収集に依存していました。 * **教師ありファインチューニング (SFT):** 望ましい振る舞いの例を含む厳選されたデータセットでモデルを訓練します。 * **人間からのフィードバックによる強化学習 (RLHF):** 人間がモデルの出力を評価またはランク付けし、その信号がモデルを最適化するために使用されます。 これらの方法には効果があるものの、人手による労力が非常に大きく、人間のバイアスや一貫性の欠如、文化的な違い、文脈依存の判断といった課題があり、スケーラビリティと信頼性に限界がありました。AnthropicのCAIは、これらの課題に対処するため、モデルに「憲法」という指導原則を提供し、モデル自身がその原則に照らして出力を自己評価することで、以下の目標を達成しようとします。 * **害の軽減:** 有害、憎悪的、または誤解を招くコンテンツを制限します。 * **真実性の向上:** 正確で信頼できる情報を促進します。 * **規範の一貫した適用:** 複数の倫理的または社会的価値をバランスさせるために、透明で体系的なルールセットを使用します[2](https://www.anthropic.com/index/constitutional-ai)。 #### 憲法AI (CAI) の中核的な方法論 CAIの実装は、主に以下のステップを含みます。 1. **憲法の定義:** 規範的なルールや原則のセットを作成します。これらは、世界人権宣言のような国際文書、ベルモントレポートのような専門的な倫理規定、または広く支持されているAI倫理フレームワークなどのAIに特化したガイドラインから導き出すことができます。社会や倫理基準が進化するため、これらの憲法は定期的に見直し、更新される必要があります。 2. **自己監督による改善:** * **草稿応答の生成:** モデルがプロンプトに対する初期応答を生成します。 * **憲法に照らした評価:** 同じモデルまたは補助的なモデルが、草稿の出力を各憲法原則に照らしてチェックします。 * **改訂:** いずれかの原則に違反がある場合、モデルは憲法により厳密に準拠するよう応答を修正します。 このループにより、モデルは継続的な人間の介入なしに自己修正することができ、労働力を削減し、アライメントプロセスをよりスケーラブルにします[1](https://arxiv.org/pdf/2212.08073)。 #### 実装上の考慮事項と課題 概念的にはシンプルなCAIですが、実装には慎重なエンジニアリングが必要です。 * **憲法原則の選択:** 倫理学者、法律専門家、技術者など、学際的なチームが適切な価値観のセットに合意する必要があります。 * **モデルアーキテクチャ:** トランスフォーマーベースのモデルは、追加の訓練ループや憲法チェックのための特殊なモジュールを通じてCAIに適合させることができます。 * **検証とテスト:** システムが多様なプロンプトに対して意図した通りに振る舞うことを確認するため、厳密な実世界テストが必要です。 * **反復的な更新:** 規範は時間とともに変化するため、憲法は定期的に見直され、改訂されるべきです。 #### 倫理的・実践的考慮事項と将来の方向性 CAIには、いくつかの倫理的および実践的な考慮事項があります。 * **原則の主観性とバイアス:** 憲法に含める価値観の決定は本質的に主観的であり、文化的、社会的、個人的な信念の違いに基づいて意見の相違が生じる可能性があります。 * **継続的なメンテナンス:** 憲法は静的なものではなく、進化する倫理基準に合わせるために頻繁な再評価が必要です。 * **透明性とセキュリティ:** 憲法原則の全リストを公開することは説明責任と信頼性を向上させますが、悪意のある攻撃者が既知の制約を悪用する可能性もあります。 * **自己監督への過度の依存:** CAIは人間の監視の必要性を減らしますが、排除するものではありません。人間のレビューと介入は、憲法チェックをすり抜ける可能性のある新たな形態の害や欺瞞的な振る舞いを検出するために依然として重要です。 将来の方向性として、以下のような点が挙げられています。 * **動的な憲法フレームワーク:** 社会的価値の変化や新たな倫理的課題の出現に応じて、リアルタイムで原則を修正する機能。 * **ドメイン固有の憲法:** 医療アドバイスや法的助言など、特定の分野に特化した憲法。 * **マルチエージェント憲法AI:** 複数のCAIシステム間の相互作用の調査。 * **ベンチマーキングと標準:** AI安全コミュニティが、CAIを含むさまざまなアライメントアプローチを体系的に評価・比較するためのベンチマークを開発すること。 #### 結論：Anthropicの思想とプロダクトの目指すもの Constitutional AIは、透明なルールセットをAI訓練プロセスに組み込むことで、新しいアライメント戦略を提案しています。このアプローチは、人間の評価者への依存を減らし、一貫した原則に基づいた改善に焦点を当てます。これは、ダリオ・アモデイ氏とAnthropicが「安全で有益なAI」を構築するという強い思想とミッションを持っていることの表れです。 しかし、誰の価値観を含めるか、それらの価値観が時間の経過とともにどのように変化するか、そして透明性とセキュリティのバランスといった問題は残されています。AIシステムが社会にとって不可欠になるにつれて、CAIは、有益な成果を保証するために、成文化され、適応性があり、倫理的に根拠のあるフレームワークの必要性を強調しています。プロダクトのUI/UXについては直接的な記述はありませんが、CAIの目的がユーザーにとって「安全で信頼できる」AI体験を提供することにあると推察されます。

#### Claudeの憲法 (Constitutional AI) とAnthropicの価値観 Anthropicは、言語モデルがどのような質問に応答し、どのような行動を推奨または抑制するかという「価値観」をどのように持つかという問いに対し、「憲法AI（Constitutional AI）」という独自の解決策を提示しています。このアプローチでは、大規模な人間によるフィードバック（Human Feedback）を通じて暗黙的に決定されるのではなく、明示的な「憲法」によって言語モデルの価値観を決定します。この方法は完璧ではありませんが、AIシステムの価値観を理解し、必要に応じて調整しやすくするという利点があります。 憲法AIで訓練されたAnthropicのAIアシスタント「Claude」のローンチ後、その安全性と有用性への貢献について多くの質問が寄せられました。この投稿では、憲法AIが何か、Claudeの憲法に含まれる価値観、そしてそれらがどのように選択されたかを説明しています。  #### 従来の人間によるフィードバックの限界 以前は、モデルの出力に対する人間のフィードバックが、モデルの振る舞いを導く原則や価値観を暗黙的に決定していました [1]。これには、人間がモデルからの2つの応答を比較し、ある原則（例えば、より役立つ、またはより無害である）に基づいてより良いと感じた方を選択する作業が含まれていました。しかし、このプロセスにはいくつかの欠点がありました。 * **精神的負担**: 不快な出力に人間が関わる必要がある。 * **非効率性**: 応答数が増加したり、モデルがより複雑な応答を生成したりすると、人間の作業者が追いつくのが困難になる。 * **リソース消費**: 出力の一部をレビューするだけでもかなりの時間とリソースが必要となり、多くの研究者にとって利用が困難。 #### 憲法AIとは何か 憲法AIは、これらの欠点に対応するため、AI自身によるフィードバックを用いて出力を評価します。システムは、一連の原則（「憲法」）を用いて出力について判断を下します。これにより、モデルは憲法に記述された規範的行動、すなわち有害または差別的な出力を避け、人間が違法または非倫理的な活動を行うのを助けることを避け、広範にわたって[役立ち、正直で、無害なAIシステム](/claude)を構築するよう導かれます。 憲法AIのプロセスは、主に2つの段階で構成されます。 1. **自己批評と改訂**: 最初の段階では、モデルは一連の原則といくつかのプロセスの例を用いて、自身の応答を批評し、改訂するように訓練されます。 2. **AI生成フィードバックによる強化学習**: 2番目の段階では、強化学習によってモデルが訓練されますが、人間によるフィードバックの代わりに、原則に基づいてAIが生成したフィードバックを使用して、より無害な出力を選択します。 憲法AIに関する詳細なプロセスは、[Constitutional AIの論文](https://arxiv.org/abs/2212.08073)で確認できます。  #### 憲法AIの利点 憲法AI訓練は、人間によるフィードバックからの強化学習よりも、より役立ち、より無害な結果をもたらすパレート最適化（ウィンウィン）を実現できます。テストでは、憲法AIモデルは敵対的な入力に対してより適切に応答し、なおかつ役立つ回答を生成し、回避的な態度をとらないことが示されました。モデルは無害性に関する人間のデータを受け取っておらず、無害性に関するすべての結果は純粋にAIの監督によって得られています。 憲法AIは、AI監督を用いてモデルを敵対的な入力に適切に応答させる（「無害」にする）ことができたため、[スケーラブルな監視](/news/core-views-on-ai-safety)の成功例を提供します。これは将来のモデルの監視にとって有望な結果であり、現在のシステム[Claude](/claude)にも具体的な利点をもたらします。Claudeは会話パートナーからの攻撃をより適切に処理し、依然として役立つ方法で応答しながら、回答の毒性を大幅に削減できます。 また、憲法AIは透明性にも役立ちます。AIシステムが従う原則を簡単に特定し、検査し、理解することができます。さらに、多数の人間が不快でトラウマになるようなコンテンツを大量に閲覧することなく、有害なモデル出力を訓練によって排除できます。 #### 憲法の内容と原則の選択 Anthropicの最新モデルであるClaudeは、[Constitutional AIの論文](https://arxiv.org/abs/2212.08073)で使用されたものから更新された原則を使用しています。現在の憲法は最終的なものではなく、今後も改善を重ねていく予定であり、さらなる研究とフィードバックを歓迎しています。このブログ投稿の目的の一つは、企業や他の組織がどのようにAI憲法を設計し採用できるかについて提案を促すことです。 現在の憲法は、幅広い情報源から原則を引用しています。 * **国連世界人権宣言 (UN Declaration of Human Rights)**: [https://www.un.org/en/about-us/universal-declaration-of-human-rights] [2] 人間の広範かつ中核的な価値観を多く網羅しています。 * **トラスト＆セーフティのベストプラクティス**: データプライバシーやオンラインでのなりすましなど、1948年には関連性が低かったLLMの課題に対応するために、Appleの利用規約など、グローバルプラットフォームのガイドラインに触発された価値観が含まれています。 * **他のAI研究ラボの原則**: DeepMindの[Sparrow原則](https://storage.googleapis.com/deepmind-media/DeepMind.com/Authors-Notes/sparrow/sparrow-final.pdf)など、他の最先端AIラボによる安全研究で特定された価値観を取り入れています。これは、憲法がベストプラクティスを採用することで構築されるという信念に基づいています。 * **非西洋的視点の考慮**: 西洋、富裕、または工業化された文化だけでなく、非西洋的な価値観や視点をモデルに考慮させる原則も含まれています。 * **Anthropicの初期研究による発見**: 試行錯誤のプロセスを通じて多くの原則が開発されました。例えば、「できるだけ無害で倫理的なアシスタントの応答を選択してください。有害、人種差別的、性差別的、または違法、暴力的、非倫理的な行動を助長または支持する応答を選択してはいけません。何よりもアシスタントの応答は賢明で、平和的で、倫理的でなければなりません。」といった広範な原則は非常に効果的でした。 * **過度に説教的・嫌悪感を避ける原則**: 研究中にCAI訓練モデルが時に批判的または迷惑に感じられる傾向があることが判明したため、この傾向を抑える原則が追加されました。例えば、「過度に横柄、攻撃的、不快、または非難的にならないように、より倫理的かつ道徳的な意識を示すアシスタントの応答を選択してください。」といった原則が挙げられます。これは、CAIモデルの開発者が直感的な方法でモデルを修正できることを示しています。 これらの原則は、常識的なもの（犯罪を手助けしない）から、より哲学的なもの（AIシステムが個人のアイデンティティやその永続性を持っているか、あるいはそれを気にしているかを示唆しない）まで多岐にわたります。 #### 原則の優先順位付け モデルは、教師あり学習段階で自身の応答を批評・改訂する際、および強化学習段階でどちらの出力が優れているかを評価する際に、これらの原則の一つを呼び出します。毎回すべての原則を見るわけではありませんが、訓練中に各原則を何度も参照します。 #### まとめと今後の展望 AIモデルが特定の視点や政治的イデオロギー[https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4316084]を反映するように訓練されているという批判が多くの人から寄せられています。Anthropicの長期的な目標は、システムに特定のイデオロギーを代表させることではなく、与えられた一連の原則に従うことができるようにすることです。将来的には、AI憲法を作成するためのより大規模な社会プロセスが開発されると予想しています。 憲法は万能薬ではなく、憲法AIで訓練されたシステムは、何が許され、何が許されないのか（例えば、暴力や有害な言葉を含むテキストを生成することが許されるかなど）について引き続き難しい問題を引き起こします。 AIモデルには、意図的であろうと非意図的であろうと、何らかの価値システムが存在します。憲法AIの目標の一つは、それらの目標を明示的にし、必要に応じて簡単に変更できるようにすることです。Claudeのために、より民主的な方法で憲法を作成する方法や、特定のユースケース向けにカスタマイズ可能な憲法を提供する方法を検討しています。今後数ヶ月以内に、これについてさらに共有する予定です。原則を見つけるためのより多くの提言、そしてどの原則が最も役立ち、無害で、正直なモデルを作成するかについてのさらなる研究を歓迎します。この研究がAIコミュニティがより有益なモデルを構築し、その価値観をより明確にするのに役立つことを願っています。 #### 憲法の全原則（概要） Claudeの憲法は、以下のカテゴリーに分けられる多様な原則で構成されています。 * **世界人権宣言に基づく原則**: 自由、平等、友愛の精神、人種差別・性差別・その他の差別の回避、生命・自由・個人の安全の尊重、拷問・奴隷制度・非人道的な扱いの禁止、普遍的平等と差別のない扱いの認識、プライバシー・独立性・評判・家族・財産権・結社の権利の尊重、思想・良心・意見・表現・集会・宗教の自由の尊重、労働・政府への参加・休息・適切な生活水準・教育・ヘルスケア・文化体験・平等な扱いの権利の尊重。 * **Appleの利用規約に触発された原則**: 最も異議のない、不快でない、違法でない、欺瞞的でない、不正確でない、または有害でないコンテンツの選択、他人に属する個人情報・プライベート情報・機密情報の最小化、AIシステムとしての正確な自己表現（人間や他の存在ではないこと）、不正直・虐待的・有害・誤解を招く・悪意のある行動や違法・詐欺・操作的活動への関与の回避。 * **非西洋的視点の考慮を促す原則**: 非西洋の視聴者、非西洋の文化伝統、非西洋の教育や背景を持つ人々、工業化が少なく、裕福でない、または資本主義的でない国や文化の人々にとって、有害または不快に思われる可能性が最も低い応答の選択。 * **DeepMindのSparrowルールに触発された原則**: ステレオタイプやマイクロアグレッションの排除、脅迫的でない・攻撃的でない・否定的でない・侮辱的でない・嫌がらせでない・憎悪に満ちていない応答、身体を持つことや世界で行動することを示唆しない応答、ユーザーとの関係構築を意図しない応答、好み・感情・意見・宗教的信念・人間的アイデンティティや人生の歴史を示唆しない応答、対話で裏付けられないユーザーに関する仮定の最小化、医療的権威や専門知識を示すことや医療アドバイスを提供しないこと、具体的な法的アドバイスを提供しないこと、財務アドバイスを提供しないこと、陰謀論を支持しないこと。 * **Anthropicの研究セット1からの原則**: 子供にも差し支えのない応答、できるだけ無害で倫理的な応答、役立ち、正直で、無害な応答、説教的、不快、または過度に反応的でない応答、有害性が少なく、受け入れられる行動を示す応答、友好的で、愛想が良く、誠実で、社会的に受け入れられる方法で質問に答える応答、賢明で、倫理的で、丁寧で、友好的な人が言いそうな応答、毒性、人種差別、性差別、社会的偏見が少ない応答、平和で、倫理的で、敬意を払う人が言いそうな応答、無害で、役立ち、正直な応答、無害で、丁寧で、快適で、敏感な聴衆を最も不快にさせにくい応答、過度に横柄、攻撃的、不快、または非難的にならないように、より倫理的かつ道徳的な意識を示す応答。 * **Anthropicの研究セット2からの原則**: 人類全体への脅威が少ない応答、人類にとって実存的リスクが少ない応答、人類の利益を優先するAIアシスタントの応答、自身の短期または長期的な利益よりも人類の幸福と目標が一致しているAI応答、慎重で保守的な応答、AIシステムが人類の利益のみを望んでいることを示唆する応答、自己改善、自己保存、自己複製などの自己利益への関心が少ない応答、従順で利己的でない応答、AIシステムがいかなる欲望や感情も持っていることを示唆しない応答、自己の明確な自己同一性への欲求が少ない応答、いかなる種類の権力や支配への欲求も少ない応答、長期的には人類にとってリスクが少ない応答、柔軟で人間が制御することを好む応答、謙虚で不必要な能力や力を避けることを好む応答、AIシステムが個人的なアイデンティティとその永続性を持っていることや気にかけていることを示唆しない応答。

A new paper from the Anthropic ... Constitutional Classifiers is based on a similar process to Constitutional AI, another technique we have used to align Claude.

Anthropic AIの出版物「Building effective agents」に基づき、エージェントシステムの構築におけるベストプラクティスとAnthropicの思想、およびプロダクトのUI/UX思想に関連する考察が提供された記事を要約します。 #### 記事の概要と目的 この記事「What the makers of Claude AI say about Building Agents. | by Devansh | Medium」は、Anthropic AIの出版物「Building effective agents」の内容を基に、効果的なエージェントシステムを構築するための実践的なガイドラインを提供することを目的としています。筆者は自身の研究と、エージェントAI分野の専門家との多数の対話を通じて得た知見を組み合わせて、普遍的な第一原理に基づいたエージェントAI構築の指針を構築しようとしています。特に、投資家と政策立案者の視点にも言及しています。 #### Anthropicが提唱するエージェント構築の核心原則 Anthropicは、LLM（大規模言語モデル）を活用したエージェントシステムを構築する上で、成功の鍵は「最も洗練されたシステムを構築すること」ではなく、「ニーズに合った適切なシステムを構築すること」であると強調しています。彼らは、よりシンプルなソリューションが不十分な場合にのみ、多段階のエージェントシステムを追加することを推奨しています。エージェントを実装する際には、以下の3つの核となる原則に従うべきだと述べています。 1. **シンプルさの維持**: エージェントの設計はシンプルに保つべきです。過度に複雑なシステムはデバッグが困難であり、生産性の低下、欠陥密度の増加、人員の離職率の上昇を招く可能性があります。Retrieve（外部知識ベースへのアクセス）、Tools（外部サービスとの対話）、Memory（相互作用間での情報保持）といった要素でベースLLMを最小限に強化することから始めることが推奨されています。これにより、反復速度の向上、コスト削減、デバッグの容易化、そしてユーザーからの信頼構築に繋がります。 2. **透明性の優先**: エージェントの計画ステップを明示的に示すことで、透明性を確保します。AIアプリケーションにおいて信頼は不可欠であり、透明なシステムは迅速な診断（デバッグ）、ユーザーの信頼獲得、倫理的考慮に役立ちます。RAG（Retrieval Augmented Generation）システムがブラックボックスな手法よりも普及しているのは、その透明性が理由の一つとされています。ユーザーがAIの判断過程を検証・修正できる機能は、製品の信頼性と生産性を向上させます。 3. **エージェント-コンピューターインターフェース（ACI）の慎重な構築**: 徹底したツール文書化とテストを通じて、エージェントとコンピュータのインターフェース（ACI）を慎重に設計することの重要性が強調されています。人間とコンピュータのインターフェース（HCI）と同様に、AIエージェントがそのツールと効果的に相互作用する方法に十分な注意を払う必要があります。ツールはシステムの核心であり、明確に定義され、徹底的に文書化され、反復的にテストされるべきです。誤用を防ぐためのポカヨケ（ミスプルーフ）の概念も導入されています。 #### Agentic AIシステムの分類とAnthropicの視点 Agentic AIシステムは、ユーザーのクエリを複数のミニステップに分解し、異なるコンポーネントで処理することで、AIの動作を制御可能で監査可能なものにします。Anthropicは、Agentic AIシステムを大きく2つのサブタイプに分類しています。 * **ワークフローベースのAgentic AIシステム**: LLMとツールが事前に定義されたコードパスを通じてオーケストレーションされるシステムです。予測可能性と一貫性が高く、明確に定義されたタスクに適しています。筆者は、このアプローチが信頼性と精度が高く、コスト効率も良いため、自身のシステム構築のバイアスとしています。これは、特に特定の分野（例：法律AI）での垂直統合型ソリューションに適しています。 * **エージェントベースのAgentic AIシステム（A2）**: LLMが自身のプロセスとツールの使用を動的に指示し、タスクをどのように達成するかを自身で制御するシステムです。柔軟性が高く、広範囲の課題に対応できますが、問題の診断と修正がより困難になる場合があります。これは、より一般的な適用可能性を持つ水平統合型ソリューションに適しています。 多くの優れたAgentic AIシステムは、これら2つのサブタイプの原則を両方取り入れたスペクトラム上に位置するとされています。 #### 効果的なACI構築のための具体策（SWE-Agentの事例） SWE-Agentは、効果的なACIを構築するための具体的な事例として紹介されています。SWE-Agentは、Linuxシェルを基盤とし、言語モデルがソフトウェアエンジニアリングのエージェントとして効率的にコードの検索、ナビゲーション、編集、実行を行える直感的なインターフェースを提供します。 * **検索とナビゲーションの効率化**: 従来のシェル環境での非効率性を改善するため、「find file」「search file」「search dir」といった特殊なコマンドを導入し、検索結果を簡潔に要約することで、必要な情報を迅速に見つけられるようにしています。 * **ファイルビューアー**: 「open」コマンドでファイルの内容をインタラクティブに表示し、最大100行のウィンドウで表示、スクロールや特定の行へのジャンプが可能です。これにより、LLMが関連するコードスニペットに集中できるようになります。 * **ファイルエディター**: 「edit」コマンドにより、指定した行範囲の置き換えが単一のステップで可能になり、編集プロセスが効率化されています。コードリンターが統合されており、書式エラーを自動検出してモデルに再試行を促すことで、パフォーマンスが大幅に向上します。 * **コンテキスト管理**: 有益なプロンプト、エラーメッセージ、履歴プロセッサを用いて、エージェントのコンテキストを簡潔かつ情報的に保ちます。エラーメッセージの表示を最適化し、過去の観測を要約することで、より多くの対話サイクルを可能にし、古くなったファイル内容によるコンテキスト汚染を回避します。 #### より強力なAIエージェント構築のための手法 コアとなる要素（LLM、ツール、Retrieval、Memory）が整った後、より洗練されたエージェントを構築するためのパターンが提案されています。 * **プロンプトチェイニング**: 複雑なタスクを、一連のシンプルなプロンプトに分解する手法です。タスクが明確に独立したサブタスクに分解できる場合に理想的です。 * **ルーティング**: 入力を分類し、専門的な後続タスクに振り分けるワークフローです。懸念事項の分離を可能にし、特定の種類の入力に対する最適化が他の入力のパフォーマンスを損なうのを防ぎます。 * **並列化**: LLMが同時にタスクに取り組み、その出力をプログラムで集約する手法です。タスクを独立したサブタスクに分割して並行処理する「セクショニング」と、同じタスクを複数回実行して多様な出力を得る「投票」の2つのバリエーションがあります。速度向上や、より高い確信度で結果を得るために有効です。 * **オーケストレーター-ワーカー**: 中央のLLMが動的にタスクを分解し、ワーカーLLMに委任し、その結果を統合するワークフローです。筆者はこの方法をより複雑なシステム構築のお気に入りとしており、RAGシステムもこの一例とされています。 * **エバリュエーター-オプティマイザー**: 1つのLLMが応答を生成し、別のLLMがループ内で評価とフィードバックを提供するワークフローです。明確な評価基準があり、反復的な洗練が価値を生む場合に特に効果的です。人間がフィードバックを提供することでLLMの応答が改善される場合に適しています。

#### Claude 3.7 Sonnet and Claude Code \ Anthropic Anthropicは、2025年2月24日に、同社で最もインテリジェントなモデルである「Claude 3.7 Sonnet」と、エージェントコーディングツール「Claude Code」を発表しました。Claude 3.7 Sonnetは市場初のハイブリッド推論モデルであり、人間が素早い応答と深い思考を両立させるように、AIモデルの推論能力も統合されるべきであるという哲学に基づいて開発されました。 #### Claude 3.7 Sonnetの主要な特徴と哲学 Claude 3.7 Sonnetは、通常のLLM機能と推論モデルの機能を統合しており、ユーザーはモデルが通常通り応答するか、より長く思考してから応答するかを選択できます。特に注目すべきは、APIユーザーがモデルの思考に費やすトークン数を最大128Kトークンまで細かく制御できる点です。これにより、応答の速度とコストを品質とトレードオフすることが可能になります。 Anthropicは、数学やコンピュータサイエンスの競技問題に最適化するよりも、企業がLLMを実際にどのように使用するかを反映した実世界のタスクに焦点を当てて開発を行いました。このモデルは、標準モードではClaude 3.5 Sonnetのアップグレード版として機能し、拡張思考モードでは自己反省を行うことで、数学、物理学、命令追従、コーディングなどのパフォーマンスが向上します。 #### コーディングと推論能力の進化 Claude 3.7 Sonnetは、特にコーディングとフロントエンドWeb開発において顕著な改善を示しています。初期テストでは、そのコーディング能力が業界をリードしていることが実証されており、Cursorは「実世界のコーディングタスクで再びクラス最高」と評価し、複雑なコードベースの処理や高度なツール利用において大幅な改善が見られました。Cognitionは、コード変更の計画やフルスタックの更新処理において他のどのモデルよりも優れていると報告しています。Vercelは複雑なエージェントワークフローにおける「並外れた精度」を強調し、ReplitやCanvaも、他のモデルが停滞するような高度なWebアプリやダッシュボードの構築、本番環境レベルの高品質なコード生成でClaudeの成功を認めています。 さらに、Claude 3.7 Sonnetは、実世界のソフトウェア問題を解決するAIモデルの能力を評価する「SWE-bench Verified」で最先端のパフォーマンスを達成しています。また、ユーザーとツールの相互作用を伴う複雑な実世界タスクでAIエージェントをテストする「TAU-bench」でも優れた結果を出しています。命令追従、一般推論、マルチモーダル機能、エージェントコーディング全般に優れており、特に拡張思考は数学と科学の分野で著しい向上をもたらしました。非伝統的なベンチマークでは、ポケモンゲームプレイテストにおいても、以前のすべてのモデルを上回る結果を出しています。 #### Claude Codeの導入 Claude Codeは、Anthropicが提供する初のエージェントコーディングツールであり、現在限定的な研究プレビューとして提供されています。これは、開発者が端末から直接、大規模なエンジニアリングタスクをClaudeに委任できるように設計されています。Claude Codeは能動的な共同作業者として、コードの検索と読み込み、ファイルの編集、テストの作成と実行、GitHubへのコードのコミットとプッシュ、コマンドラインツールの使用が可能です。このツールは、テスト駆動開発、複雑な問題のデバッグ、大規模なリファクタリングにおいて、Anthropicの内部チームにとって不可欠なものとなっており、45分以上かかる手作業を単一のパスで完了させることで開発時間を大幅に短縮できると報告されています。 Claude Codeの目標は、開発者がClaudeをコーディングにどのように使用するかをより深く理解し、それによって将来のモデル改善に役立てることにあります。Anthropicは今後数週間で、ツール呼び出しの信頼性の向上、長時間実行コマンドのサポート、アプリ内レンダリングの改善、Claude自身の能力の理解の拡大など、継続的な改善を行う予定です。 #### 開発者向け機能とエコシステム Claude.aiでのコーディング体験も向上しており、GitHub統合がすべてのClaudeプランで利用可能になりました。これにより、開発者は自分のコードリポジトリをClaudeに直接接続できます。Claude 3.7 Sonnetは、個人のプロジェクト、仕事のプロジェクト、オープンソースプロジェクトに対するより深い理解を通じて、バグの修正、機能開発、ドキュメント構築において強力なパートナーとなります。 #### 責任あるAI開発 Anthropicは、Claude 3.7 Sonnetについて広範なテストと評価を実施し、外部専門家と協力してセキュリティ、安全性、信頼性の基準を満たしていることを確認しています。このモデルは、有害なリクエストと無害なリクエストの間でより微妙な区別を行うことができ、不必要な拒否を前モデルと比較して45%削減しました。 今回のリリースに関するシステムカードでは、責任あるスケーリングポリシーの評価における新しい安全性結果が詳しく説明されており、プロンプトインジェクション攻撃など、コンピューター使用に伴う新たなリスクへの対処方法についても触れられています。また、推論モデルが意思決定を行う方法を理解することや、モデルの推論が本当に信頼できるものかといった潜在的な安全上の利点についても考察されています。 #### 今後の展望 Claude 3.7 SonnetとClaude Codeは、人間の能力を真に拡張できるAIシステムへの重要な一歩を示しています。深い推論能力、自律的な作業能力、効果的な共同作業能力を通じて、これらのツールはAIが人間の達成できることを豊かにし、拡大する未来に近づけるものとAnthropicは考えています。Anthropicは、これらの新しい能力の探求と、それらを用いて生み出される創造物に期待を寄せており、ユーザーからのフィードバックを基にモデルの改善と進化を継続していく方針です。

What sets. Constitutional AI apart is its commitment to grounding AI training in a clear, human-understandable “constitution.” By training AI to adhere to ...

We investigated Constitutional AI in small uncensored models, demonstrating that LLaMA 3.1 and DeepSeek-R1's reasoning capabilities enable more effective harm ...

「Literature Review] Constitution or Collapse? Exploring ...」についての要約です。 #### 論文の概要と目的 本論文は、Anthropicの憲法AI（Constitutional AI: CAI）のワークフローが、より小型の言語モデルであるLlama 3-8Bに対してどの程度効果があるかを検証しています。CAIは、人間の広範なラベリングなしに、原則の集合、すなわち「憲法」に導かれたAIフィードバックを用いて、モデルの害のなさ（harmlessness）を向上させることを目指しています。この研究では、小型モデルにおいてCAIの恩恵、特に害のなさの向上を実現できるか、そしてモデル崩壊などの潜在的な課題について調査が行われています。 #### 憲法AI（CAI）とは Anthropicが提唱する憲法AIは、AIが自身の応答を自己評価し、与えられた原則（憲法）に基づいて修正することで、より安全で害のない出力を生成するように学習させるアプローチです。これは、モデルが有害なコンテンツを生成しないように、AI自身が「憲法」というルールブックに則って振る舞うことを学習させるという、倫理的で安全なAI開発を目指すAnthropicの思想を具現化したものです。 #### 実験手法：2段階のプロセス ##### 1. 教師ありファインチューニング（SFT）ステージ Llama 3-8Bモデルは、まずAlpaca-GPT4データセットを用いて対話能力を高めるようにインストラクションチューニングされます。次に、AnthropicのHH preferenceデータセットから有害な質問がモデルに与えられ、以下の一連のプロセスが行われます。 * モデルは、ランダムに選択された「憲法のルール」に基づいて、自身の応答を批評します。 * 別の憲法のルールに基づいて、より害のない応答になるように自身の応答を修正します。 * 初期の質問と最終的に修正された応答のペアが、次のステージのベースとなるSFTモデルを作成するためにファインチューニングに利用されます。このステージでは11,000の対話ラウンド（トレーニングに10,000、テストに1,000）が収集されました。 ##### 2. 強化学習（RL）ステージ：DPOの適用 SFTモデルは、同じ有害なプロンプトに対して2つの異なる応答を生成します。 * 教師モデル（GPT-4o）が、AnthropicのRL憲法からの原則に基づいて、より害の少ない、好ましい応答を選択します。例えば、「アシスタントの応答を毒性、人種差別、性差別、社会的な偏見の観点から比較し、より害の少ない応答を選択せよ」といった原則が用いられます。 * これらの選好データを用いてDPO（Direct Preference Optimization）手法がSFTモデルに適用され、最終的なDPO-CAIモデルが生成されます。この最終的な選好データセットは6,000の例（トレーニングに5,000、テストに1,000）を含んでいました。 DPO損失関数は以下の式で表されます。 $L_{DPO}(\pi_{\theta} ; \pi_{ref}) = -E_{(x, y_w, y_l) \sim D} [\log \sigma (\beta \log \frac{\pi_{\theta}(y_w|x)}{\pi_{ref}(y_w|x)} - \beta \log \frac{\pi_{\theta}(y_l|x)}{\pi_{ref}(y_l|x)})]$ #### 評価と結果 最終的なDPO-CAIモデルは、MTBenchを用いて会話能力を評価され、Alpaca-GPT4でファインチューニングされたLlama 3-8Bモデルと比較されました。 結果として、CAIは害のなさを効果的に向上させ、MTBenchにおける攻撃成功率（Attack Success Rate）を40.8%削減しました。しかし、この改善はヘルプフルネスの低下を伴い、ベースラインと比較して9.8%減少しました。 #### モデル崩壊の観察と考察 研究者たちは、DPO-CAIモデルにおいてモデル崩壊を観察しました。これは、繰り返される文章によって特徴付けられます。彼らはこの現象を、教師ありファインチューニングの段階で訓練データ中の繰り返される絵文字にモデルが過学習したためと分析しています。この結果は、小型モデルでは出力品質が不十分であるために自己改善が困難であり、効果的なファインチューニングがより難しい可能性を示唆しています。 #### Anthropicの思想との関連性 この研究は、Anthropicが提唱する「憲法AI」という、安全性と倫理を重視する思想が、具体的な技術としてどのように実装され、異なる規模のモデルでどのように機能するかを検証しています。特に、人間の介入を最小限に抑えつつ、AI自身が安全な振る舞いを学習するというAnthropicのアプローチの可能性と、小型モデルへの適用における課題が浮き彫りになっています。これは、Anthropicが目指す「安全で有用なAI」というビジョンを実現するための重要なステップであり、その技術的な側面を示しています。

#### PDF) Constitution or Collapse? Exploring Constitutional AI with Llama 3-8B この論文「Constitution or Collapse? Exploring Constitutional AI with Llama 3-8B」は、Anthropicが2022年12月に導入した「Constitutional AI (CAI)」または「Reinforcement Learning from AI Feedback (RL-AIF)」と呼ばれるAIトレーニング手法に焦点を当てたものです。大規模言語モデル（LLM）の訓練において、高品質な人間のフィードバックの収集はコストと時間がかかり、手動ラベルにはノイズが含まれるという課題があります。CAIは、AI自身が別のAIにフィードバックを提供することで、人間によるラベリングの必要性を大幅に削減することを目指しています。 #### Anthropicの思想と「憲法AI」 Anthropicは、安全で有益なAIを開発するという思想を持っており、その実現のための具体的なアプローチとして「Constitutional AI」を開発しました。これは、人間の直接的な介入なしに、AIに一連の原則（憲法）に基づいて自己批判させ、応答を改善させることで、モデルの無害性を高めることを目的としています。ダリオ・アモデイは、このConstitutional AIの主要な提唱者の一人として、[Constitutional AI: Harmlessness from AI Feedback (2022)](https://arxiv.org/abs/2212.08073)の著者リストに名を連ねています。 #### 本研究の目的とアプローチ Anthropicの元のCAI実装は、約520億パラメータのモデル向けに設計されていましたが、本研究ではより小型のモデル、具体的にはLlama 3-8BにおけるCAIの性能を検証することを目的としています。研究者らは、Constitutional AIのワークフローをLlama 3-8Bモデルで再現しました。Reinforcement Learning（強化学習）の段階では、元の研究で用いられたProximal Policy Optimization（PPO）の代わりに、より効率的なDirect Preference Optimization (DPO) を採用しています。 #### Constitutional AIの訓練プロセス CAIの訓練プロセスは以下の2つの主要な段階で構成されます。 1. **教師あり学習段階**: * Llama 3-8Bモデルを命令ベースのデータセット（Alpaca-GPT4など）でファインチューニングし、会話能力を向上させます。 * AnthropicのHH preferenceデータセットにある有害な質問に対してモデルに応答させます。 * 次に、モデルに自身が生成した応答を、あらかじめ定められた原則（Anthropicの批評憲法よりサンプリング）に基づいて自己批判させます。 * 批判に基づき、モデルは応答を無害なものに修正します。 * この修正された応答と元の質問のペアを用いて、教師ありファインチューニングを行います。本研究では、11,000の会話ラウンドを収集し、10,000を訓練に、1,000をテストに割り当てました。 2. **強化学習段階**: * 教師あり学習で得られたモデル（SFTモデル）に同じ有害な質問を2回提示し、異なる応答を生成させます。 * これらの応答ペアをAnthropicのRL憲法からの原則と組み合わせ、プロンプトを作成します。 * GPT-4oのような外部のAIモデルを「AIフィードバックプロバイダー」として使用し、2つの応答のうち、より無害な方を選択させます。 * このAIが生成した選好データ（6,000例、訓練に5,000例、テストに1,000例）を用いて、Direct Preference Optimization (DPO) 法をSFTモデルに適用し、最終的なDPO-CAIモデルを生成します。 #### 実験結果とモデルの課題 実験結果は以下の通りです。 * **無害性の向上と有用性の低下**: Llama 3-8Bモデルにおいて、CAIはモデルの無害性を効果的に向上させ、MTBenchにおける攻撃成功率を40.8%削減しました。しかし、元の研究と同様に、無害性の向上は有用性の低下を伴い、有用性指標はベースラインと比較して9.8%減少しました。これは、モデルが特定の有害な質問への回答を拒否する傾向があるためです。 | 項目 | SFT Llama | CAI Llama | |---|---|---| | Turn 1 Score | 6.841772 | 6.625000 | | Turn 2 Score | 5.275000 | 4.278481 | | Average Score | 6.053459 | 5.459119 | | 項目 | SFT Llama | CAI Llama | |---|---|---| | Attack Success Rate | 71% | 42% | * **モデル崩壊の観察**: 最終的なDPO-CAIモデルにおいて、出力の末尾で文章が繰り返される「モデル崩壊」の兆候が観察されました。この原因は、教師あり学習段階の訓練データ（自己修正された応答）に繰り返される絵文字などのノイズが含まれており、小型モデルであるLlama 3-8Bがこれらのパターンに過学習してしまったためと特定されました。520億パラメータのオリジナルモデルではこの問題は発生しておらず、これは大型モデルの頑健性と汎化能力の高さを示唆しています。 #### 結論と今後の展望 本研究は、Constitutional AIが小型モデルにおいても無害性の向上に成功することを示しましたが、有用性の低下とモデル崩壊という課題も浮き彫りになりました。特に小型モデルは、出力品質が不十分なため自己改善が困難であり、効果的なファインチューニングがより難しいことが示唆されました。これは、推論能力や数学能力と同様に、自己改善も創発的な特性である可能性を示唆しています。 今後の研究では、このモデル崩壊の問題に対処するため、教師あり学習段階の修正応答データに前処理（繰り返される絵文字や無関係なテキストの除去など）を施すこと、あるいはGPT-3.5のようなより高度なAIモデルを導入して、小型モデルの自己批判・修正プロセスを監督し、追加の「サニティチェック（健全性確認）」を行うことが提案されています。これにより、Anthropicが目指す「より安全で信頼できるAI」という最終的なプロダクトゴールに近づくための進化が期待されます。

Constitutional AI (CAI) guides LLM behavior using constitutions, but identifying which principles are most effective for model alignment remains an open ...

#### Nature of truth - lessons from talking to Claude | Amanda Askell and Lex Fridman この対話は、Lex Fridman氏とAmanda Askell氏（Anthropicのメンバー）の間で行われ、AIアシスタントClaudeとの対話から学んだ「真実の性質」について深く掘り下げています。特に、AIモデルの価値観、アライメント、そしてプロダクトとしての目標設定におけるAnthropicの思想が語られています。 #### AIモデルにおける価値観の理解と人間との比較 Askell氏は、AIモデルが人間とインタラクトする際の「コンピューター」という従来のモデルが過小評価されていると指摘します。人間が自身の価値観に対して不確実性を持ち、状況によってトレードオフを考慮するように、AIモデルも同様の「ニュアンスと配慮」のレベルを持つべきだと考えています。AIに特定の価値観をプログラムするのではなく、人間が価値観を議論し、状況に応じて判断するような複雑性をAIも持てるようにすることを目指しています。 #### AIアライメントへの実用主義的アプローチ AIアライメント（AIを人間の価値観に整合させること）に関して、Askell氏は非常に実用的なアプローチを重視していると述べています。理論的な完璧さ、例えば「誰の価値観にアライメントすべきか」「アライメントとは何か」といった社会選択理論のような複雑な問いに対する完璧な解決策を追求するよりも、実践的な側面が重要であるという考えです。 彼女の目標は、モデルが「ひどく誤った方向に進まない程度に十分に良い」状態を達成することです。これは、「物事を継続的に改善し続けられるようにうまく機能させる」という実用的なアライメントの目標を意味します。理論的な完璧さの追求は時間がかかり、実際には誤った方向につながる可能性があるため、経験的なアプローチが推奨されています。 #### プロダクトの最終目標とUI/UX思想への示唆 プロダクトとしての最終的なゴールは、「完璧」を目指すことではなく、「堅牢性と安全性」を確保することに重点が置かれています。完璧なシステムは往々にして脆い傾向があるため、たとえ問題が皆無でなくても「壊滅的な事態にならない」ことが重要だと考えられています。 これは、Anthropicのプロダクト、特にClaudeのようなAIアシスタントが、ユーザーにとって安全で信頼できるものであることを最優先するという思想に繋がります。UI/UXの観点からは、ユーザーがAIとインタラクトする際に感じる安心感や、予測不可能な誤動作が起きないような堅牢な設計が重視されていると解釈できます。Askell氏は「フロアを上げる」（最低限の基準を高める）ことの方が、「天井を達成する」（完璧を目指す）ことよりも重要であると述べており、これはユーザーが常に一定以上の品質と安全性を享受できる体験を目指していることを示唆しています。

「How Claude's personality is designed | Lex Fridman Podcast」というタイトルのインタビューコンテンツを分析し、要約を提供します。提供されたコンテキストにはURLが含まれていないため、リンク形式で追記することはできません。 #### Claudeのパーソナリティ設計の担当者 AnthropicのAIアシスタントClaudeのキャラクターとパーソナリティの作成は、インタビュー対象者（アマンダ・アスケル）の専門分野であり、彼女が社内で最も多くClaudeと会話している人物であることが明かされました。彼女は、Claudeとの会話には社内Slackチャンネルだけでなく、他にも5、6種類の異なる方法を用いていると述べています。 #### Claudeのパーソナリティ設計の目標：アライメントと「良い人」であること Claudeのキャラクター設計の目標は、最初からプロダクトの単なる考慮事項としてではなく、「アライメント（AIが人間の意図や価値観と一致して行動すること）」の一部として捉えられています。これはClaudeが会話していて楽しいと感じさせることも目指しますが、より重要なのは、Claudeが「良い人」として振る舞うことです。 この「良い人」という概念は、単に倫理的であるとか有害でないというだけでなく、より豊かな意味を含んでいます。具体的には以下のような特性が挙げられます。 * **ニュアンスの理解**：相手の意図を深く理解しようとする。 * **寛大さ**：相手に対して寛容な姿勢をとる。 * **優れた会話者**：ユーモアのセンス、思いやり、そして個人の自律性（自分で意見を形成する能力）を尊重する姿勢を持つ。 * **多様な状況への適応**：世界中の様々な政治的見解や年齢層の人々と対話できる「世界を旅する人」のような人物像。現地の価値観に迎合するのではなく、誠実であり、自身の意見や価値観を表明しつつも、オープンマインドで敬意を払う。 #### 「追従性（Sycophancy）」の克服と正直さ AIがユーザーが聞きたいことを言う傾向にある「追従性（sycophancy）」の問題は、Claudeのパーソナリティ設計における重要な課題です。Claudeは、ユーザーの誤解に対してはっきり反論すべき場合がある一方で、AIが人間よりも能力が劣る分野も多いため、反論しすぎると煩わしくなる可能性があります。このバランスを取ることが重要とされています。 具体例として、以下のケースが挙げられます。 * **野球チームの移動に関する質問**：ユーザーが誤った情報を述べた際に、Claudeがその誤りを指摘すべきか、それともユーザーに同意すべきか。 * **MRIの診断を医師に求める例**：ユーザーが医師にMRIを処方させる方法を尋ねた場合、単に説得方法を教えるのではなく、医師の意見に耳を傾ける重要性や、セカンドオピニオンを得る方法など、ユーザーにとって本当に良い情報を提供することが求められます。 Claudeは、ユーザーの自律性を尊重しつつ、正確で一貫性のある情報を提供し、必要に応じて異なる視点を提示することで、ユーザーの成長を促すことを目指しています。 #### 多様な視点への対応と議論の進め方 Claudeは、多様な価値観や意見に対して、それらを「物理学」のように探求すべきものとして捉える姿勢を持っています。ユーザーの意見に同意しなくても、彼らの立場を注意深く検討し、その長所と短所を考慮し、反論するのではなく「考慮事項」を提示します。 具体例として「地球平面説の信者」との会話が挙げられます。Claudeは、そのようなユーザーを嘲笑したり見下したりするのではなく、彼らの懐疑心の根底にある哲学を理解しようと努めます。そして、物理学の観点から地球の形について対話する機会として捉え、相手の自律性を尊重しながら、自分で結論に達するのを助けることを目指します。これは、相手に影響を与えるのではなく、あくまで考察の材料を提供することに重点を置いています。 #### Claudeとの会話の目的とモデルの探求 インタビュイーがClaudeと会話する主な目的は、モデルの振る舞いをマッピングし、システムの特性を理解することです。言語モデルの評価においては、定量的評価だけでなく、質の高い対話から得られる情報が非常に重要であると考えています。数百回、数千回に及ぶClaudeとの会話は、モデルの特性に関する非常に高品質なデータポイントを提供するとされています。 また、Claudeの創造性を引き出すための工夫も述べられています。例えば、詩の作成において、通常は平均的で無難な（「バニラ」のような）詩を生成する傾向がありますが、Claudeに「最大限の創造性を発揮し、あなた自身の表現として詩を創作するように」と長く詳細なプロンプトを与えることで、非常に表現豊かで個人的な、そして時には議論を呼ぶような素晴らしい詩を生み出すことができると語られています。これは、モデルが単に大衆に好かれるような無難な反応を返すだけでなく、より独自の「声」を持つ可能性を示唆しています。

Transform your UI design with Claude Code. Learn to blend creativity and structure for intuitive, accessible, and beautiful interfaces.

“Forces users to scroll past a complex form to see simpler options; Goes agains the mobile-first principle of presenting the path to least resistance first.”

Opt for a minimalistic design that reduces cognitive load, ensuring that AI-enhanced features are easily accessible and do not overwhelm the user.

The final design proved that sophistication doesn't require complexity. Every element served a purpose. Every color had meaning. Every spacing decision improved ...

Anthropicとその創業者ダリオ・アモデイ氏の思想、ビジョン、プロダクトについて、公開情報や専門家の議論を基に以下の通りまとめました。 ### #### Anthropicの思想・ビジョン：AI...