#開発AIサービス評価・改善支援

AIの回答を評価し、指示文を改善

AIの出力を確認する5つの評価を設計。AIを評価者として使い、結果の分析からサービスの根幹となる指示文の改善まで担当しました。

BEFORE / AFTER

改善の全体像

掲載許可を得た定性情報のみ掲載

BEFORE

AIの出力を評価し、改善点を整理したい

サービスの振る舞いを定めるシステムプロンプトを対象に、生成された出力を評価し、改善が必要な点を整理する取り組みです。

AFTER

評価結果を指示文の改善に反映

AIの出力を確認する5つの評価を設計。AIを評価者として使い、結果の分析からサービスの根幹となる指示文の改善まで担当しました。

サービスの振る舞いを定めるシステムプロンプトを対象に、生成された出力を評価し、改善が必要な点を整理する取り組みです。

5つの評価を設計・作成し、LLM-as-a-Judge（AIを評価者として使う手法）で出力を評価しました。評価結果から改善点と修正方針を整理し、システムプロンプトへ反映しました。

この事例の関連サービス

まずは無料相談で、いま困っていることをお聞かせください。