やりとり

senko:

• dx界隈としてもaiがつけた絶対値をパラメータチューニングなくそのまま使う（KADOKAWAの初期でやっていたスコアリングやスイス式などの形式がそれにあたる）のは、ほぼ御法度として扱っている動きが国内でも既に多いと思います！
• あくまでも特徴量評価と分類タスク以外は実務上はさせないのが基本かと思います！

konpyu:

• バイアスの抑制を相当に工夫しないと意味のある評価にならず、コスパ良い方法なのか怪しい　という感じでしょうか。ここでいう"特徴量評価"とはどういうworkloadでしょうか

senko:

deep leaningでいう特徴量の意味と同じです！根本的な話でいうと、llmで何かを判定させる時に数字を出力をさせるという行為が出来るが故に誤解が多いのですが

これはどう？1か2で答えて

という依頼に

1

• という出力が出たときに、それはあくまでも定量的には扱えない定性的なものであるという視点で出力を扱わないと誤差範囲が落ち着かないよね。っていう話ですね。
• 人間が求める曖昧な理想に対する処理なので、誤差ゼロには出来ないんですが、

あくまでも機械が行った人間では理解しきれない謎の評価軸での定性的な程度評価である。

• っていう前提で
  • 再試行させ確率論的にばらつきを減らす
  • 確定化のために複数の出力で軸をつくり総合的に値を特定する
  • 評価させる要素については評価行為単位では可能な限り狭くする
• あたりを踏襲するのが今出来ることって感じかと思います。

曖昧なものを人間がよく使う尺度である程度当てる

• っていう業務能力自体はかなり高くはあるんですが、やらせる仕事のN数が多いなら向き合う精度（認められる誤差範囲）が厳しくなるので、それ相応にリスクヘッジをする。みたいなフラットに見れば理系的な当たり前な観点ともいえます！

senko:

• バイアスがあるよね。というよりは自然言語で指示が出来るが人間と同様に確定的な論理的な処理が出来ない。っていう前提で見れればある程度のケースは対策は事足りるかと思います！