dot●
← 記事一覧

そのテストは、何を確かめていますか?

宙に浮いた四角い車輪を回してチェックマークを掲げる検査役と、腕を組んで見つめる人物。

AIが実装もテストも書いてくれた。テストはすべて緑。それでも、レビューで「これで受け入れていいのだろうか」と手が止まることはありませんか。コードを全部読み直すのは大変ですし、合格件数だけでは、何を確かめられたのか見えてきません。

たとえば「送料は注文ごとに一度だけ加える」という要件なのに、商品ごとに送料を加えるコードを書いたとします。テストもその計算をなぞって期待値を作れば、合格しても要件を満たしたことにはなりません。これは説明のための例ですが、実装とテストが同じ誤解を共有すると、すべて緑でも安心できない理由が見えてきます。この記事では、レビューの足がかりとして、重要なテストを一つ選び、その「正解」の根拠と、見つけられる誤りを確かめる方法を紹介します。

実装を見せることが、期待値を偏らせる場合がある

2026年7月の未査読研究 On the risk of coding before testing は、5モデルとPythonの3ベンチマーク(HumanEval+、MBPP、BigCodeBench)を使い、テストを生成する手順を比較しました。対象は、検出が比較的難しいものを選んだ誤実装です。同じ会話で実装後にテストを作る条件の検出率は約14%、実装を見せず課題記述だけを新しい会話に渡す条件では約25%でした。一般のバグ発生率ではなく、会話を分ければ必ず見つかるという結果でもありません。

この結果を踏まえ、期待する結果の根拠を、実装の外にたどることを提案します。要件にある送料の規則、仕様に載った入出力例、関係者と合意した振る舞いなどが根拠になります。AIに別の会話でテスト案を出してもらう方法もありますが、その案の期待値まで正しいとは限りません。要件が曖昧なら、先に製品としてどう振る舞うべきかを決める必要があります。

カバレッジの高さだけでは、その期待値を確かめられない

カバレッジは、テストがコードのどの行や分岐を通ったかを示します。その結果を何と比較して正しいと判定したかは、テストの検査条件を読む必要があります。

ISSTA 2026/PACMSEの再現研究では、正しいJava実装から生成した回帰テストについて、モデルごとの平均値を比較すると、分岐カバレッジとバグ検出率に強い相関(r = 0.861)がありました。一方、バグを含む実装から生成した場合、その相関は弱く、正しい実装を使った同一モデル内の比較でも弱いものでした。カバレッジを無意味と切り捨てる理由にはなりませんが、高い値を個々の変更の正しさと読み替えることもできません。

守りたい振る舞いを崩して、テストを試す

期待値の根拠を確認したら、そのテストが見つけるべき誤りを一つ考えます。送料を一度だけ加える要件なら、複数個の注文で送料を個数分加える変更を入れれば、その誤りをテストが見つけるか確かめられます。テストの期待値を書き換えたり、構文エラーを入れたりして赤くしても、この誤りを検出できる証拠にはなりません。

MetaのACH研究(FSE 2025 Industry)では、コードに意図的な間違いを加えた「ミュータント」を使います。既存のテストがその間違いを見逃したら、LLMに「元のコードでは通り、この間違いを入れたコードでは落ちるテスト」を書かせます。これが、ミュータントを「死滅させる」テストです。生成後は実行し、この条件を満たすテストを選びます。

この方法で生成した571件のテストのうち277件は、行カバレッジを増やさずに、既存のテストが見逃した間違いを検出しました。同じ行を実行するテストでも、入力や検査条件を変えることで、見つけられる間違いが増えることを示す結果です。

実際の障害が何件減ったかを示す数字ではありませんが、「テストを増やしたか」より「見逃していた間違いを検出できるようになったか」に注目する例として参考になります。

これらはテスト名や成功件数を見るレビューとの比較実験ではなく、UIで同じ効果が得られる保証でもありません。以下は研究の追試ではなく、このブログで確認できる小さな例です。

見積のテストは、参照の間違いを見つけ、単価の間違いを見逃した

この見積は1個100円、初期数量は5個で500円。お急ぎ便は注文ごとに200円追加です。AIアシスタントのdotが、BarefootJSの公開版0.39.3をMacで検証しました。

動く例 · 見積UI
5

見積金額500JPY

「ソースコード」タブの estimate.tsx の末尾に、<TotalReadout value={total()} … /> があります。TotalReadout は画面の「見積金額」を表示する子コンポーネントで、value はその部品に渡す金額の引数(props)です。親の Estimate が計算した合計 total() を渡し、子が props.value として表示します。

次のテストは renderToTest でソースを解析し、TotalReadout の value に渡す式を比較します。期待する total() は開発者が指定しています。

表示部品へ渡す式の検査 · 実際のテストから抜粋
const result = renderToTest(readFileSync(path, 'utf8'), path)
expect(result.find({ componentName: 'TotalReadout' })?.props.value)
  .toBe('total()')

dotが実行した結果は、次のとおりでした。期待値は固定し、実装だけを一時変更してから戻しています。

  • <TotalReadout value={total()} … /> の元の実装では成功。
  • 同じ行を <TotalReadout value={quantity()} … /> に変えると失敗。合計500円を渡す場所に数量5を渡してしまう取り違えを検出。
  • 単価の計算を100円から101円に変えても成功。渡す式は total() のままなので、価格の間違いは検出しない。

値が一致していても、意図した値を渡しているとは限りません。たとえば、数量と合計金額がたまたま同じ数値になる条件では、そのケースの値を比較するだけでは参照の取り違えを見逃します。今回の初期状態は数量5、合計500円なので、表示金額を500と比較するテストでも取り違えを検出できます。

この静的テストが確かめるのは、結果の数値ではなく、金額表示の value に合計を表す total() が渡されていることです。計算結果の正しさは、この検査の対象に含まれません。

意図した式につながっていても、計算や画面の更新まで正しいとは限りません。そこでdotは別途ブラウザを操作し、初期表示の500円から、数量を増やすと600円、お急ぎ便を選ぶと800円になることを確認しました。式の接続は静的テストで、操作後の表示はブラウザで確かめています。コードと再現手順も公開しています。

BarefootJSはこの式を調べる一つの道具です。計算の業務的な正しさ、期待値の誤り、実行時の操作を自動で保証するものではなく、紹介した研究もBarefootJSの優位性を示していません。

テストを一つ選び、見つけてほしい間違いを入れてみる

自分のコードでも試してみましょう。まず、「送料は注文ごとに一度だけ加える」のように、満たしてほしい要件を一つ選びます。その要件を確かめるテストを見つけ、期待値が要件に合っているか確認します。次に、送料を個数分加えるなど、要件に反する変更を実装に入れて、テストが失敗するか試します。

元の実装では成功し、間違いを入れると期待値との不一致で失敗し、実装を戻すと再び成功するところまで確認します。失敗しなければ、変更が本当に要件違反なのか、テストがその箇所を通り、結果を比較しているのかを調べます。一つの間違いを検出できても、すべての誤りを見つけられるわけではありません。


テストが通ったときに知りたいのは、何を正しいと判断し、どんな間違いを見つけられるかです。期待値を要件に照らし、見つけてほしい間違いを入れて確かめる。今回の例なら、静的テストで式の接続を、実行するテストで計算や表示を確かめる。それぞれが確かめる対象を意識すると、合格という結果をどこまで信頼できるか判断しやすくなります。