Amazon Bedrock の評価

Amazon Bedrock には、生成 AI アプリケーションの導入を促進するための評価ツールが用意されています。モデル評価により、ユースケースの基盤モデルを評価、比較、選択できます。取得関数または取得関数と生成機能を評価して、Amazon Bedrock ナレッジベースまたは独自のカスタム RAG システムに基づいて構築された RAG アプリケーションを本番環境用に準備しましょう。

取得評価と生成評価を使用して、アプリケーションのエンドツーエンド検索拡張生成 (RAG) 機能を評価しましょう。生成されたコンテンツが正しく完全であり、ハルシネーションを抑えて責任ある AI の原則に従っていることを確認できます。Bedrock ナレッジベースのパフォーマンスを評価するか、カスタム RAG システムから独自の推論応答を用意します。Amazon Bedrock ナレッジベースでジャッジとして使用する LLM を選択するか、カスタム RAG 出力に使用する LLM を選択し、データセットをアップロードして、評価において最も重要なメトリクスを選択するだけです。

RAG 取得評価を使用して、Amazon Bedrock ナレッジベースやカスタム RAG システムのストレージと取得の設定を評価しましょう。取得したコンテンツに関連性があり、そのコンテンツがユーザークエリ全体をカバーしていることを確認できます。ジャッジとして使用する LLM を選択し、Bedrock ナレッジベースを選択して評価するか、カスタム RAG システム取得をプロンプトデータセットに含め、メトリクスを選択するだけです。

Amazon Bedrock のモデル評価では、自動評価と人間による評価を使用して、特定のユースケースに合う FM を選択できます。自動 (プログラムによる) モデル評価では、厳選されたデータセットとカスタムデータセットを使用し、精度、堅牢性、毒性などの事前定義されたメトリクスを提供します。主観的なメトリクスの場合は、Amazon Bedrock を利用して、簡単ないくつかのステップを実行するだけで、人間による評価ワークフローを設定できます。人間による評価では、独自のデータセットを持ち込んで、関連性、スタイル、ブランドボイスとの整合性などのカスタム指標を定義できます。人間による評価ワークフローでは、自社の従業員をレビュー担当者としたり、AWS が管理するチームを関与させたりして、人間による評価を行うことができます。この場合、AWS は熟練した評価者を採用し、お客様に代わって完全なワークフローを管理します。また、LLM-as-a-Judge を使用すると、正確性、完全性、忠実性 (ハルシネーション) などのメトリクス、さらには回答拒否や有害性などの責任ある AI のメトリクスを使用して、データセットの質の高い評価を行えます。入力プロンプトデータセットに独自の推論応答を取り込むことで、Bedrock モデルやその他のモデルをどこでも評価できます。

評価で比較機能を使用することにより、プロンプト、評価中のモデル、カスタム RAG システムや Bedrock ナレッジベースに加えた変更の結果を確認できます。