この記事は何？

AIを評価する人が、数字を正しく測ったつもりで現実を誤認しないための知識です。

一言サマリー

評価設計の専門性とは”KPIを作ること”そのものではない。

• どんな事柄をどこまで的確に測る必要性があるか
• 実用性の過小評価、過剰評価に陥るリスクケースは何があるか
• 的確に測るために前準備や仕分け方をどうするべきか

それらを特定し、合意し、実現可能な内容へ落とし込む役割及び技術である。

サマリー

1. AIの評価で最終的に必要なのは、性能の合否ではなく事業上の意思決定ができることである
2. システムの処理能力と、AIを含む業務全体の成果は別の事象として存在する
3. 評価に使う数字には「良し悪しを判断する数字」と「その数字を誤解しないための数字」がある
4. 評価の価値は、与えられた成功条件を測ることだけでなく、何を測れば正しい判断になるかを見極めることにある

評価という行為に関する知識

1. AIの評価で最終的に必要なのは、性能の合否ではなく事業上の意思決定ができることである

2. システムの処理能力と、AIを含む業務全体の成果は別の事象として存在する

3. 評価に使う数字には「良し悪しを判断する数字」と「その数字を誤解しないための数字」がある

4. 評価の価値は、与えられた成功条件を測ることだけでなく、何を測れば正しい判断になるかを見極めることにある