Eval（評価データセット・評価ハーネス）とは
Eval（評価）とは、AIプロダクトの出力品質を測るためにあらかじめ用意した入力と期待される出力の組（評価データセット）と、それを自動で流して採点する仕組み（評価ハーネス）のことです。モデルの更新やプロンプトの変更で品質が落ちていないかを検知する唯一の手段であり、Evalが無い事業は買収後に品質を再現できません。
ソフトウェアの品質はテストで守られますが、LLMの出力は同じ入力でも毎回同じとは限らず、「正しいか」を機械的に判定できないことが多くあります。そのため、AIプロダクトでは代表的な入力（顧客からの質問、処理すべき文書、生成すべき文章の条件）と、それに対する期待出力や採点基準を集めた評価データセットを用意し、モデルやプロンプトを変えるたびに流して点数を出す運用が品質管理の実体になります。これが無い事業は、「なんとなく良さそう」で出荷しているのと同じです。
M&Aで問題になるのは、Evalが無い事業を引き継いだ買主が、品質を維持できないことです。プロバイダは旧モデルを廃止するので、買主はいずれモデルを切り替えなければなりません。その時、旧モデルで動いていたプロンプトが新モデルで同じ品質を出す保証はなく、劣化を検知する手段が無ければ、顧客の解約で初めて気づきます。売主の頭の中にしかない「この応答なら合格」という基準は、属人性の一形態です。逆に、評価データセットと採点の仕組みが整備されていれば、買主はモデル更新・コスト削減のための軽量モデルへの切り替え・プロンプトの改善を、数字を見ながら安全に進められます。
技術デューデリジェンスでは、リポジトリに評価用のデータとスクリプトが存在するか、CIで自動実行されているか、採点基準が文書化されているかを確認します。RIKKA M&Aの技術DDはコードの構造・依存・セキュリティを検査するもので、Evalの有無はその副産物として読み取れることがありますが、品質の判断そのものは買主が行う必要があります。当社自身のAI利用でも、正解ラベル付きのコーパスで検出精度を測ってから判定ロジックを変更する運用をとっています。