AI処理の実用化を目指す上では様々なAIのミスを見つけながら改善していく。
様々な出力や参照の間違いは異なる原因から生じていることが多い。。
原因が違えば、当然ながら必要な対策も違う。
良いDXエンジニア、良いFDEはうまく行っていない処理や要素を一色単に扱わない。
これらがそのスコープを実用化へ導けるPDCAを回す力である。
処理・検査・役割分担を分けて設計を見直し続ける必要がある。**
ハルシネーションとは、本来、入力や参照情報に存在しない内容を、あたかも事実であるかのように生成することである。
前処理で情報が欠落しているなら、どれだけプロンプトを改善しても解決しない。
参照すべき業務ルールを渡していないなら、モデルの性能を上げても正しい変換はできない。
形式の正規化に失敗しているだけなら、そもそも生成AIではなく、通常のプログラムで処理すべきかもしれない。
| 誤り | 例 | 主に疑う場所 |
|---|---|---|
| 存在しない情報の生成 | 書かれていない値を出す | ハルシネーション、出力制約、検査 |
| 取りこぼし | PDFにある項目を取得できない | OCR、前処理、抽出範囲 |
| 取り違え | 今年度ではなく前年度を読む | 候補抽出、位置・構造認識、選択処理 |
| 解釈・変換ミス | AをA'に変換すべきなのにできない | 参照知識、業務ルール、処理ロジック |
| 形式変換ミス | 全角・半角、CSV形式の不一致 | 後処理、システム処理 |
これを全部ハルシネーションとして扱うと、「プロンプトを強くする」「モデルを変える」という間違った改善に流れます。
同じ処理を再実行して成功しても、