スピーカー

LLMプロダクトの品質保証のプロセスとチームを考える

LLMプロダクトは、マルチエージェント構成、ツール連携、メモリ機能、人格設定の導入により急速に複雑化しています。従来のように個別機能や単発回答の正誤を確認するだけでは、会話全体としてユーザーに価値を提供できているかを捉えきれません。実際には、各チームが個別機能を改善しているにもかかわらず、プロダクト全体では文脈保持、一貫性、タスク完遂率などの体験品質が少しずつ劣化していくことがあります。本発表では、LLMプロダクトにおける品質保証を「ワークフローが正しく動くか」だけでなく、「複雑な会話を通じて、ユーザーの目的達成にどれだけ貢献し続けられるか」「同時に、安全性を同時実現し続けられるか」という観点から捉え直します。評価観点の設計、専門家レビューやRed teamingの組み込み方、チーム横断で品質を継続的に可視化する仕組みを通じて、LLMプロダクトに対してQAが果たすべき役割を問い直します。