Evalがない事業は買収後に品質を再現できない
AIプロダクトのデモは、たいてい感動的です。質問を投げれば的確に答え、文章を整え、要約し、分類する。買い手はその滑らかな挙動を見て「これは完成された製品だ」と評価します。ところが、買収後にモデルを少し新しいものへ差し替えた瞬間、あるいはプロンプトをほんの少し直した瞬間、出力の品質が静かに崩れ始める── そして誰も、それが「崩れた」ことに気づけない。AI事業の買収で繰り返される、最も静かで深刻な事故です。
原因は明快です。その事業に「品質を測る仕組み（Eval）」が存在しなかったからです。Evalとは、AIの出力品質を客観的に評価し、変更の前後で良くなったか悪くなったかを判定する仕組みのことです。これがなければ、モデルを更新しても、プロンプトを変えても、品質がどう動いたかを誰も把握できません。動いているように見えても、品質を保証する土台がない事業は、買収後に改善も維持もできないブラックボックスとして買い手の手に残ります。
本記事は、AIプロダクトのDDで決定的に見落とされやすい「品質を測る能力そのものの有無」を論点として剥がしていきます。Evalとは何か、それがない事業で何が起きるか、買い手が検証すべき項目と、売り手がEvalを品質の証明書に変える方法までを整理します。
1. 「動いている」と「品質が保証されている」は別物
1-1. デモの品質は「都合のいい入力」で作られている
AIプロダクトのデモや営業資料で示される出力は、開発者が品質を確認済みの入力に対するものです。実際の運用では、想定外の質問、曖昧な指示、誤字、悪意ある入力など、デモには現れない多様な入力が降り注ぎます。「うまくいく例」を見せられても、それがどれだけの割合で成立するかは別問題です。品質とは個別の良い出力ではなく、多様な入力に対する成功率の分布として捉えるべきものです。
1-2. 確率的な挙動は「たまたま良かった」を含む
LLMの出力は確率的で、同じ入力でも実行のたびに結果が変わり得ます。つまり、デモで見た優れた出力が「たまたま良かった一例」である可能性を排除できません。従来のソフトウェアなら、同じ入力に同じ出力が返ることがテストの前提でしたが、AIプロダクトでは「再現性のある品質評価」そのものが設計を要する課題になります。動いている事実は、品質が安定していることを意味しません。
1-3. 品質の劣化は「静かに」進行する
システムが停止すれば誰でも気づきます。しかしAIの品質劣化は、エラーを出さずに「もっともらしいが質の低い出力」を返し続ける形で進行します。画面は正常に動き、ユーザーも明確には気づかず、しかし回答の的確さだけが落ちていく。この沈黙の劣化は、それを検知するEvalがなければ、解約率の上昇という形で数ヶ月後に初めて顕在化します。買い手が引き継ぐのは、この見えない劣化を検知できない事業です。
2. Evalとは何か ── 評価データセット・指標・回帰テストの三層
2-1. 第一層：評価データセット（何で測るか）
Evalの土台は、「入力と、期待される出力（あるいは満たすべき条件）」をセットにした評価データセットです。実運用で現れる多様な入力を代表するように作られたこのデータセットがあって初めて、品質を一貫した基準で測れます。評価データセットは事業の運用知見が凝縮された資産であり、これがなければ品質測定の出発点に立てません。
2-2. 第二層：評価指標（どう良し悪しを決めるか）
次に必要なのが、出力の良し悪しを判定する指標です。正解との一致率、要件の充足、禁止事項に触れていないか、別のAIによる採点（LLM-as-a-judge）など、プロダクトの性質に応じた評価方法が設計されている必要があります。「何をもって良い出力とするか」が定義されていなければ、品質は議論すらできません。この指標設計は、その事業がAIの品質をどれだけ真剣に捉えてきたかを映します。
2-3. 第三層：回帰テスト（変更で壊れないか）
評価データセットと指標が揃えば、モデルやプロンプトを変更するたびに自動で品質を測り、「変更前より悪化していないか」を検証する回帰テストが回せます。これがあれば、モデルの差し替えやプロンプト改善を安全に行えます。逆に回帰テストがなければ、あらゆる変更が品質に対するギャンブルになります。Evalのこの三層が揃って初めて、AIプロダクトは継続的に改善できる状態になります。
3. Evalがない事業で起きること ── 更新で静かに劣化する
3-1. モデルの差し替えが品質のギャンブルになる
ベースモデルは廃止され、新バージョンへの移行を迫られます。Evalがあれば、新モデルで品質が維持されるかを移行前に検証できます。しかしEvalがなければ、買い手は「動くことは確認したが、品質が保たれているかは分からない」状態で本番を切り替えるしかありません。モデル廃止という外部要因が、品質保証の欠如と結びついて、買収後の事業を直撃します。
3-2. プロンプト改善が「改善のつもりの改悪」になる
プロンプトを少し変えれば、ある入力では良くなり、別の入力では悪くなる── これはAIプロダクト開発の日常です。Evalがあれば、変更の総合的な影響を数値で確認できます。Evalがなければ、目の前の1例が良くなったことを根拠に変更を本番投入し、気づかないうちに全体の品質を下げる事態が起こります。改善と改悪を区別できないまま運用される事業は、変更のたびにリスクを積み上げています。
3-3. 品質劣化が「解約」としてしか観測できない
Evalがない事業では、品質の問題を直接観測する手段がありません。結果として、品質劣化は解約率の上昇やクレームの増加という遅行指標としてしか現れず、原因の特定も困難になります。買い手は、なぜ解約が増えたのか、いつから品質が落ちたのかを後追いで調べる羽目になり、しかも比較すべき過去の品質基準すら存在しません。これは事業の健全性を根底から脅かす構造的欠陥です。
4. 属人的な「目視確認」の限界とブラックボックス化
4-1. 「担当者が見て確認しています」の危うさ
多くのAI事業では、品質チェックが「開発者が出力を目で見て問題なさそうか確認する」という属人的な運用に依存しています。これは少量なら機能しますが、再現性も網羅性もなく、その担当者の感覚と記憶に品質基準が閉じ込められている状態です。担当者が離脱すれば、品質を判断できる人間が事業からいなくなります。これはAI機能依存度とは別の、品質判断能力の属人化という固有のリスクです。
4-2. 「なんとなく良くなった気がする」での意思決定
Evalがなければ、改善の意思決定は印象に基づきます。「前より良くなった気がする」「こっちのプロンプトのほうが自然だ」── こうした主観は、数値の裏付けを欠いたまま本番に反映されます。品質という最重要の指標が、計測されずに感覚で運用されている事実は、その事業のAI開発が成熟していないことを示す明確なサインです。
4-3. 改善が止まり、競合に置いていかれる
品質を測れない事業は、安全に改善することもできません。変更が怖くて手を入れられず、プロダクトは現状維持のまま固着します。一方で、Evalを備えた競合は、モデルの進化を取り込みながら品質を上げ続けます。測れないことは、改善できないことと同義であり、それは中長期的な競争力の喪失を意味します。買い手は「成長できない事業」を掴まされるリスクを負います。
5. 品質DDの実務 ── Eval資産の有無と移管可能性を検証する
5-1. 「品質をどう測っていますか」と直接問う
買い手DDの初手は、対象事業に「AIの出力品質をどのような仕組みで測定し、変更時にどう検証しているか」を直接尋ねることです。明確な評価データセット・指標・回帰テストの存在を示せるか、それとも「担当者が確認している」という回答に留まるか── この問いへの回答の質が、その事業のAI開発の成熟度を端的に表します。曖昧な回答は、品質保証の不在を意味します。
5-2. 評価データセットが「引き継げる資産」かを確認する
Evalが存在する場合、その評価データセット・指標の定義・テストの実行環境が、買い手に引き継げる形で整備されているかを確認します。評価データセットは事業の運用知見が凝縮された無形資産であり、それが文書化・バージョン管理され、買い手の環境で実行できる状態なら、品質を継承できます。逆に特定個人のローカルにしかなければ、Evalがあっても移管できません。
5-3. 実地でEvalを回して品質基準を確認する
可能であれば、クロージング前に開示されたEvalを買い手側で実際に実行し、現在のモデル・プロンプトでどの程度の品質スコアが出るかを確認します。これにより「買収時点の品質基準」が数値で固定でき、買収後の品質維持の判断基準になります。基準値を持って引き継ぐことが、後の沈黙の劣化を検知する唯一の備えです。Evalを回せること自体が、その事業が継承可能であることの実地証明になります。
6. 売り手がEvalを「品質の証明書」として価値に変える
6-1. Evalの整備が、そのまま品質の客観的証明になる
売り手にとって、評価データセット・指標・回帰テストが整い、品質スコアの推移を提示できる状態は、最高の信頼材料です。「この事業は品質を客観的に測定し、変更のたびに検証する体制で運営されている」という事実が、デモの印象に頼らない、再現可能な品質の証明になります。「使ってみれば分かります」と主観に訴えるより、スコアで品質を語れる事業のほうが、構造的に高く評価されます。
6-2. 評価データセットは「運用知見の結晶」として価格に乗る
実運用から丁寧に作り込まれた評価データセットは、簡単には再現できない事業固有の資産です。これを引き継げる形で整備しておけば、買い手は品質を継承でき、その価値が譲渡対価に反映されます。「動くプロダクト」だけでなく「品質を測り続ける能力」までを引き渡せる売り手が、AI事業の価値を最大化できます。
6-3. 「動く」を超えて「測れる・改善できる」事業へ
ここまで、動いていることと品質が保証されていることの違い、Evalの三層構造、Evalがない事業で起きる静かな劣化、目視確認の限界、品質DDの実務を順に剥がしてきました。共通するのは、AIプロダクトの価値は「今うまく動いていること」ではなく「品質を測り、安全に改善し続けられること」によって決まるという事実です。財務DDは売上を見ます。デモは出力を見せます。しかし、その品質が再現可能で、更新に耐え、継承できるのかを問うのは、Evalという仕組みを理解する人間だけです。動くを超えて、測れる・改善できる事業に変える── その作業こそが、AIプロダクトを買収後も劣化しない資産にします。
