AIプロジェクトの要件定義は「問題設定」から始める

前提事項

• AIを用いた生成モデルの技術開発段階では、最終的な中長期的な品質や安定性よりも、新しいアイデアの探索やモデルの方向性の試行錯誤に重点を置くべきです。
• 生成AIの実装自体は比較的安価かつ素早く行えるため、頻繁にスクラップし再構築する開発サイクルが可能です。
• ただし、改善過程で「どの改善がどの性能向上に寄与しているか」が不明瞭になる「精度の迷子」の発生を避けることが重要です。
• 十分な探索と検証がなされた上で初めて実用レベルのパフォーマンスが確認でき、その後に処理効率の向上や運用面を考慮したバージョンアップを進めるのが理想的な流れです。
• 言い換えれば、最初の段階でアーキテクチャの完成形が明確でなくても許容し、試行錯誤を重ねて構築していくことが前提となります。

1. 支配的な問題設定の確立

最も重要なのは、プロジェクトが解決すべき根本的な問題を明確に捉え、それに基づく成果の定義を行うことです。業務ドメインの深い理解をもとに、成果の指標や評価基準となる公式を作り込みます。

例えばコールセンターのAIプロジェクトなら「人的リソースを使わずに顧客問題をどれだけ解決できたか」を成果とすることが考えられます。

2. 探索プロセスに基づく評価設計

AIモデルの性能評価において、どの程度のデータ量を用い、どのように体系的に評価を行うかを計画します。評価対象は以下の観点を考慮します。

• 大量の問い合わせに対し一括で評価できるインフラが必要かどうか（例えば数千件単位のCSVデータから入出力を自動処理し検証する仕組み）。
• NP（ネットプロテクションズ）内での評価は、回答文の禁止事項や対応方針に合わせて個別化される必要があり、汎用的な評価指標だけでなくプロジェクト特有のルールを踏まえて設計します。
• 二次対応（一次対応後にAIが追加的に行う対応）の評価体系も導入し、リアルな対応シナリオに即した精度検証を行います。

さらに、開発スコープに応じて評価するフェーズを検討することが大切です。自己完結的な大型モデルの構築に着手するのか、既存モデルのチューニングやデータセットの更新にフォーカスするのかを明確にします。案件によってはモデル構築自体は行わず、応用面の最適化に集中することもあります。

実用化に向けた問題設定の具体例

（コールセンタープロジェクト）

成果定義

• 成果の目標：
  • AI搭載チャネル上で、人的対応を介さずに顧客問題をどれだけ解決できるか。