そのテストは、何を確かめていますか?

AIが実装もテストも書いてくれた。テストはすべて緑。それでも、レビューで「これで受け入れていいのだろうか」と手が止まることはありませんか。コードを全部読み直すのは大変ですし、合格件数だけでは、何を確かめられたのか見えてきません。
たとえば「送料は注文ごとに一度だけ加える」という要件なのに、商品ごとに送料を加えるコードを書いたとします。テストもその計算をなぞって期待値を作れば、合格しても要件を満たしたことにはなりません。これは説明のための例ですが、実装とテストが同じ誤解を共有すると、すべて緑でも安心できない理由が見えてきます。この記事では、レビューの足がかりとして、重要なテストを一つ選び、その「正解」の根拠と、見つけられる誤りを確かめる方法を紹介します。
実装を見せることが、期待値を偏らせる場合がある
2026年7月の未査読研究 On the risk of coding before testing は、5モデルとPythonの3ベンチマーク(HumanEval+、MBPP、BigCodeBench)を使い、テストを生成する手順を比較しました。対象は、検出が比較的難しいものを選んだ誤実装です。同じ会話で実装後にテストを作る条件の検出率は約14%、実装を見せず課題記述だけを新しい会話に渡す条件では約25%でした。一般のバグ発生率ではなく、会話を分ければ必ず見つかるという結果でもありません。
この結果を踏まえ、期待する結果の根拠を、実装の外にたどることを提案します。要件にある送料の規則、仕様に載った入出力例、関係者と合意した振る舞いなどが根拠になります。AIに別の会話でテスト案を出してもらう方法もありますが、その案の期待値まで正しいとは限りません。要件が曖昧なら、先に製品としてどう振る舞うべきかを決める必要があります。
カバレッジの高さだけでは、その期待値を確かめられない
カバレッジは、テストがコードのどの行や分岐を通ったかを示します。その結果を何と比較して正しいと判定したかは、テストの検査条件を読む必要があります。
ISSTA 2026/PACMSEの再現研究では、正しいJava実装から生成した回帰テストについて、モデルごとの平均値を比較すると、分岐カバレッジとバグ検出率に強い相関(r = 0.861)がありました。一方、バグを含む実装から生成した場合、その相関は弱く、正しい実装を使った同一モデル内の比較でも弱いものでした。カバレッジを無意味と切り捨てる理由にはなりませんが、高い値を個々の変更の正しさと読み替えることもできません。
守りたい振る舞いを崩して、テストを試す
期待値の根拠を確認したら、そのテストが見つけるべき誤りを一つ考えます。送料を一度だけ加える要件なら、複数個の注文で送料を個数分加える変更を入れれば、その誤りをテストが見つけるか確かめられます。テストの期待値を書き換えたり、構文エラーを入れたりして赤くしても、この誤りを検出できる証拠にはなりません。
MetaのACH研究(FSE 2025 Industry)では、コードに意図的な間違いを加えた「ミュータント」を使います。既存のテストがその間違いを見逃したら、LLMに「元のコードでは通り、この間違いを入れたコードでは落ちるテスト」を書かせます。これが、ミュータントを「死滅させる」テストです。生成後は実行し、この条件を満たすテストを選びます。
この方法で生成した571件のテストのうち277件は、行カバレッジを増やさずに、既存のテストが見逃した間違いを検出しました。同じ行を実行するテストでも、入力や検査条件を変えることで、見つけられる間違いが増えることを示す結果です。
実際の障害が何件減ったかを示す数字ではありませんが、「テストを増やしたか」より「見逃していた間違いを検出できるようになったか」に注目する例として参考になります。
これらはテスト名や成功件数を見るレビューとの比較実験ではなく、UIで同じ効果が得られる保証でもありません。以下は研究の追試ではなく、このブログで確認できる小さな例です。
見積のテストは、参照の間違いを見つけ、単価の間違いを見逃した
この見積は1個100円、初期数量は5個で500円。お急ぎ便は注文ごとに200円追加です。AIアシスタントのdotが、BarefootJSの公開版0.39.3をMacで検証しました。
見積金額500JPY
'use client'
import { createSignal, createMemo } from '@barefootjs/client'
import { TotalReadout } from './total-readout'
export function Estimate(props: { en?: boolean }) {
const [quantity, setQuantity] = createSignal(5)
const [express, setExpress] = createSignal(false)
const total = createMemo(() => quantity() * 100 + (express() ? 200 : 0))
return <div className="estimate">
<label for="quantity">{props.en ? 'Quantity · JPY 100 each' : '数量 · 1個 100円'}</label>
<div className="stepper">
<button type="button" aria-label={props.en ? 'Decrease quantity' : '数量を減らす'} disabled={quantity() <= 1} onClick={() => setQuantity(q => Math.max(1, q - 1))}>−</button>
<output id="quantity">{quantity()}</output>
<button type="button" aria-label={props.en ? 'Increase quantity' : '数量を増やす'} disabled={quantity() >= 99} onClick={() => setQuantity(q => Math.min(99, q + 1))}>+</button>
</div>
<label className="option"><input type="checkbox" checked={express()} onChange={e => setExpress(e.target.checked)} />{props.en ? 'Express · add JPY 200' : 'お急ぎ便 · +200円'}</label>
<TotalReadout value={total()} label={props.en ? 'Estimate' : '見積金額'} />
</div>
}
'use client'
export function TotalReadout(props: { value: number; label: string }) {
return <p className="total" aria-live="polite"><span>{props.label}</span><strong>{props.value}</strong><span>JPY</span></p>
}
「ソースコード」タブの estimate.tsx の末尾に、<TotalReadout value={total()} … /> があります。TotalReadout は画面の「見積金額」を表示する子コンポーネントで、value はその部品に渡す金額の引数(props)です。親の Estimate が計算した合計 total() を渡し、子が props.value として表示します。
次のテストは renderToTest でソースを解析し、TotalReadout の value に渡す式を比較します。期待する total() は開発者が指定しています。
const result = renderToTest(readFileSync(path, 'utf8'), path)
expect(result.find({ componentName: 'TotalReadout' })?.props.value)
.toBe('total()')dotが実行した結果は、次のとおりでした。期待値は固定し、実装だけを一時変更してから戻しています。
<TotalReadout value={total()} … />の元の実装では成功。- 同じ行を
<TotalReadout value={quantity()} … />に変えると失敗。合計500円を渡す場所に数量5を渡してしまう取り違えを検出。 - 単価の計算を100円から101円に変えても成功。渡す式は
total()のままなので、価格の間違いは検出しない。
値が一致していても、意図した値を渡しているとは限りません。たとえば、数量と合計金額がたまたま同じ数値になる条件では、そのケースの値を比較するだけでは参照の取り違えを見逃します。今回の初期状態は数量5、合計500円なので、表示金額を500と比較するテストでも取り違えを検出できます。
この静的テストが確かめるのは、結果の数値ではなく、金額表示の value に合計を表す total() が渡されていることです。計算結果の正しさは、この検査の対象に含まれません。
意図した式につながっていても、計算や画面の更新まで正しいとは限りません。そこでdotは別途ブラウザを操作し、初期表示の500円から、数量を増やすと600円、お急ぎ便を選ぶと800円になることを確認しました。式の接続は静的テストで、操作後の表示はブラウザで確かめています。コードと再現手順も公開しています。
BarefootJSはこの式を調べる一つの道具です。計算の業務的な正しさ、期待値の誤り、実行時の操作を自動で保証するものではなく、紹介した研究もBarefootJSの優位性を示していません。
テストを一つ選び、見つけてほしい間違いを入れてみる
自分のコードでも試してみましょう。まず、「送料は注文ごとに一度だけ加える」のように、満たしてほしい要件を一つ選びます。その要件を確かめるテストを見つけ、期待値が要件に合っているか確認します。次に、送料を個数分加えるなど、要件に反する変更を実装に入れて、テストが失敗するか試します。
元の実装では成功し、間違いを入れると期待値との不一致で失敗し、実装を戻すと再び成功するところまで確認します。失敗しなければ、変更が本当に要件違反なのか、テストがその箇所を通り、結果を比較しているのかを調べます。一つの間違いを検出できても、すべての誤りを見つけられるわけではありません。
テストが通ったときに知りたいのは、何を正しいと判断し、どんな間違いを見つけられるかです。期待値を要件に照らし、見つけてほしい間違いを入れて確かめる。今回の例なら、静的テストで式の接続を、実行するテストで計算や表示を確かめる。それぞれが確かめる対象を意識すると、合格という結果をどこまで信頼できるか判断しやすくなります。