どんな内容がこのnotionに書いてあるかの全体感です。
生成AIやLLMを業務へ導入するとき、評価の失敗は「数字を間違えること」だけではない。
精度を正確に測ったのに、実用性を誤って判断する。業務成果が出たのに、AIの効果だと説明できない。PoCでは動いたのに、本番で再現しない。大量のKPIを取得したのに、継続・改善・限定導入・停止のどれを選ぶべきか分からない。
こうした失敗は、モデルの性能不足ではなく、評価対象、比較方法、集計単位、現場運用、観測方法、意思決定との接続が曖昧なことによって起こる。
本書は、生成AI／LLMの評価を「採点」ではなく、実用化に必要な事実を誤解なく明らかにし、次の意思決定へ接続する仕事として捉えるための知識とフォーマットをまとめたものである。
生成AI／LLMの評価設計とは、AIに点数をつけることではない。AI、人間、既存システムが混ざった業務の現実を誤解なく観測し、どの条件なら何を任せられるのかと、次にどの意思決定を行うのかを定める仕事である。
評価設計では、少なくとも以下を扱う必要がある。