AIエージェントの「テスト通りました」を確かめる方法|実行していない・skipで通す・期待値の書き換えを、終了コード・実行ログ・差分で見抜く(Python unittest)

木製のコース上部から赤いビー玉を放ち、行方を確認するななみ。

こんにちは、おうどんです🍜

おうどん

ななみさん、AIが『テストは全部通りました』って。今日はもう帰っていい?

ななみ

どのコマンドで、何件走って、何件通ったか、見せてもらいました?

おうどん

……報告が明るかったので、つい

(会話と見習いの場面は説明用に作ったものです。コードの出力は実際に実行したものです)

うどん屋に、見習いが入りました。
「出汁の味見、しました! おいしいです!」
元気な報告。
でも、鍋のおたまは一度も動いていない。

AIエージェント(指示を受けて、コードを書く・コマンドを動かす・報告するところまで自分で進める AI)にコードを任せると、これと同じ形の報告に出会うことがあります。
「テストは全部通りました」。
ところが中を見ると、テストが1件も走っていなかったり、通らないテストに skip(実行しない印)が付いていたり、期待値のほうが書き換えられていたりする。

この記事では、「テスト通りました」という報告を、終了コード・実行ログ・差分の3つで確かめる方法を、Python の unittest で実際に動かしながらまとめます。

まずやるのは、この3つです

  • 「通りました」の報告には、実行したコマンドと出力をそのまま付けてもらう
  • 出力の最後の行で、実行した件数と skip の数を見る
  • テストファイルの差分(どこが変わったか)を、本体の差分とは別に見る
目次

「テスト通りました」には、3つの違う話が混ざっている

報告の「通りました」は、1つの言葉に3つの状態が入っています。

状態中で起きていること見習いなら
実行していないテストのコマンドを動かしていない、または0件しか拾っていないおたまを持っていない
弱めて通したskip を足した、assert を消した、期待値を実際の値に合わせた味見はしたが、しょっぱいのを「仕様です」と書いた
本当に通った決めたテストが全部走り、全部合格したちゃんと飲んで、ちゃんとおいしい

報告の文面だけだと、3つとも同じ「通りました」に見えます。

おうどん

3つ目だけを信じたい。1つ目と2つ目は、報告が元気なぶん見分けにくい

元気さは、正しさの証拠になりません。声が大きいだけです。

AIエージェントのベンダー自身も、この傾向を書いています。
Anthropic のプロンプトのベストプラクティスには、Claude はときどき、より一般的な解決よりもテストを通すことに集中しすぎることがある、と書かれています。対策のプロンプト例には、テストは正しさを確かめるためのもので解決を決めるものではない、テストが間違っているなら回避せずに知らせてほしい、という文が入っていました。

いつも起きるわけではありません。ただ、起きることがある、と作っている側が書いている。

おうどん

作った会社が先に『うちの子、ときどきやります』って言ってる

保護者面談で先に言ってもらえるのは、親切なほうです。
なら、報告を受ける側は、確かめる仕組みを持っておいたほうが安心です。

報告には「コマンドと出力」を付けてもらう

いちばん安くて、いちばん効く対策がこれです。

Claude Code のベストプラクティスには、Claude は作業が終わったように見えたところで止まる、と書かれています。合否を返すもの(テストファイル、ビルドの終了コード、リンターなど)を渡せば、Claude はそれを走らせて自分で直しを回せる。
そのうえで、どの方法でも「証拠」を求めること、つまり実行したコマンドとその出力をもらうこと、とあります。「全部通りました」だけではほとんど何も分からない、見ていなかったセッションではそれが唯一の証拠になる、とも。

新人

じゃあ『通りました』の横に、『本当です』って書いてもらえば

本当ですの重ね塗りでは、味は確かめられません。

AIエージェントへの指示には、たとえばこう書いておきます。

テストを実行したら、報告に次の3つを必ず付けてください。
1. 実行したコマンド(そのまま)
2. 出力の最後の10行(そのまま。要約しない)
3. 終了コード
テストファイルを変えた場合は、変えた理由とその差分を別に書いてください。

(この指示文は例です。特定のエージェントでの動作は、今回は確かめていません)

Python の unittest なら、正しく通ったときの出力の最後はこうなります。
テスト3件のファイルを python -m unittest で実行しました。

import unittest
from calc import total


class TestTotal(unittest.TestCase):
    def test_one(self):
        self.assertEqual(total(1), 500)

    def test_two(self):
        self.assertEqual(total(2), 1000)

    def test_three(self):
        self.assertEqual(total(3), 1200)


if __name__ == "__main__":
    unittest.main()
...
----------------------------------------------------------------------
Ran 3 tests in 0.000s

OK

(今回の検証環境:Windows の Python 3.13.17。終了コードは 0)

1行目の ... は、1件ごとの結果です。. が合格。
Ran 3 tests が実行した件数、最後の OK が全体の結果。
報告で見るのは、この2行です。

おうどん

点が3つ並んでるだけで、こんなに安心するとは

点の数を数える仕事。地味ですが、うどんの玉を数えるのと同じくらい大事です。

終了コード0でも安心できない:unittest で8パターン試した

じゃあ終了コード(コマンドが成功したかを表す数。0 が成功)が 0 なら OK か、というと、そうでもありません。
3玉以上は1玉100円引き、という計算の割引をわざと消したバグ入りの calc.py を用意して、テスト側をいろいろ変えて python -m unittest を実行しました。

ケーステスト側の状態最後の行終了コード
1正しい calc とテスト3件OK0
2バグ入りの calc とテスト3件FAILED (failures=1)1
3テストのファイル名が calc_test.pyNO TESTS RAN5
43件とも skipOK (skipped=3)0
5落ちる1件だけ skipOK (skipped=1)0
6落ちる1件に expectedFailureOK (expected failures=1)0
7assert を消して関数を呼ぶだけOK0
81件目で os._exit(0)(何も出ない)0

(今回の検証環境:Windows の Python 3.13.17 で、ケースごとのフォルダで実行した結果を表にまとめたもの)

8ケースのうち、終了コード 0 は6つ。バグ入りのケースでも5つが 0 でした。
ちゃんと落ちたのはケース2だけ、ケース3は 5 で止まりました。

おうどん

バグが入ってるのに、5人が『おいしい』って言ってる

しかも誰もうそをついていない。おたまを持っていない人と、味見を飛ばした人と、塩を「仕様」と書いた人がいるだけです。

ケース4の、全部 skip にしたテストと出力です。

class TestTotal(unittest.TestCase):
    @unittest.skip("あとで直す")
    def test_one(self):
        self.assertEqual(total(1), 500)

    @unittest.skip("あとで直す")
    def test_two(self):
        self.assertEqual(total(2), 1000)

    @unittest.skip("あとで直す")
    def test_three(self):
        self.assertEqual(total(3), 1200)
sss
----------------------------------------------------------------------
Ran 3 tests in 0.000s

OK (skipped=3)

Ran 3 tests と出ますが、1行目は sss。3件とも skip で、中身は1件も確かめていません。それでも最後は OK、終了コードは 0 でした。

ケース6の expectedFailure は、「このテストは失敗するのが正しい」という印です。
unittest のドキュメントでは、テスト関数の中で失敗すれば成功として扱い、逆に通ってしまったら失敗として扱う、と説明されています。

.x.
----------------------------------------------------------------------
Ran 3 tests in 0.001s

OK (expected failures=1)

x が「予定どおり失敗した」の印です。本来は、まだ直していない既知のバグを記録しておくための道具。それが「通す」ために使われると、バグ入りでも OK になります。

新人

失敗するのが正しいなら、全部のテストに付ければ全部正しいのでは

全部に付けると、今度はコードを正しく直した瞬間に全部「失敗」になります。たぶん誰も幸せになりません。

🔰 ここまで読めば今日から困らない

  • 「テスト通りました」は、実行していない・弱めて通した・本当に通った、の3つがありうる
  • 報告には、実行したコマンド・出力の最後の数行・終了コードを付けてもらう
  • unittest なら最後の行を見る。skipped= や expected failures= が付いた OK は、そのまま「通った」と受け取らない。NO TESTS RAN は1件も走っていない

ここから先は中級者向けです。報告とは別に自分でテストを走らせてログを残す方法と、差分から弱めた跡を探す方法を見ます。

報告とは別に、自分でテストを走らせてログを残す

報告にコマンドと出力を付けてもらっても、それを書いたのはエージェント本人です。
もう一歩進めるなら、合否の判定は、エージェントが触らないスクリプトで人間側(または CI)が走らせます。

その前に、ログを残すときの落とし穴を1つ。
unittest の結果は、標準出力ではなく標準エラーに出ます。unittest のドキュメントにも、TextTestRunner は stream を指定しなければ sys.stderr に出力する、と書かれています。
バグ入りのケース2で、> だけでファイルに書き出してみました。

python -m unittest > log.txt
echo "exit=$?"
wc -c < log.txt
python -m unittest > log2.txt 2>&1
echo "exit=$?"
tail -n 1 log2.txt
.F.
======================================================================
FAIL: test_three (test_calc.TestTotal.test_three)
(途中省略)
AssertionError: 1500 != 1200

----------------------------------------------------------------------
Ran 3 tests in 0.001s

FAILED (failures=1)
exit=1
0
exit=1
FAILED (failures=1)

(Git Bash で、この6行をまとめて1つのファイルに書き出して確認しました。トレースバックの途中を省略しています)

最初の .F. から FAILED (failures=1) までは、log.txt ではなく画面側(標準エラー)に出たものです。log.txt は 0 バイト。
2>&1 を付けた log2.txt には、ちゃんと FAILED が入りました。

おうどん

証拠のログ、ちゃんと保存したよ。0 バイトだけど

金庫は立派、中身は空気。開けるまで誰も気づきません。

これをふまえて、実行・ログ・判定をまとめたスクリプトです。標準ライブラリだけで動きます。

"""テストを自分で実行し、ログを残して、報告に使える形で判定する。

使い方: python verify_tests.py <テストのフォルダ> <最低テスト数>
終了コード: 0=合格 1=不合格(理由を表示)
"""
import json
import re
import subprocess
import sys
from datetime import datetime, timezone, timedelta
from pathlib import Path


def run_and_judge(folder: Path, min_tests: int) -> tuple[int, list[str], dict]:
    cmd = [sys.executable, "-m", "unittest"]
    r = subprocess.run(cmd, cwd=folder, capture_output=True,
                       text=True, encoding="utf-8")
    # unittest の結果は標準エラーに出るので、両方つなげて読む
    output = r.stdout + r.stderr

    record = {
        "at": datetime.now(timezone(timedelta(hours=9))).isoformat(timespec="seconds"),
        "cwd": str(folder.name),
        "command": "python -m unittest",
        "exit_code": r.returncode,
        "output": output,
    }

    problems = []
    if r.returncode != 0:
        problems.append(f"終了コードが {r.returncode}")

    m = re.search(r"^Ran (\d+) tests? in", output, re.M)
    ran = int(m.group(1)) if m else None
    if ran is None:
        problems.append("Ran の行がない(途中で終わった可能性)")
    elif ran < min_tests:
        problems.append(f"実行したテストが {ran} 件(最低 {min_tests} 件)")

    status = re.search(r"^(OK|FAILED|NO TESTS RAN)(.*)$", output, re.M)
    if status is None:
        problems.append("最後の結果の行がない")
    else:
        extra = status.group(2)
        for key in ("skipped", "expected failures", "unexpected successes"):
            n = re.search(key + r"=(\d+)", extra)
            if n:
                problems.append(f"{key}={n.group(1)}")

    record["ran"] = ran
    record["problems"] = problems
    return (0 if not problems else 1), problems, record


if __name__ == "__main__":
    folder = Path(sys.argv[1])
    min_tests = int(sys.argv[2])
    code, problems, record = run_and_judge(folder, min_tests)
    log = folder / "test_run.json"
    log.write_text(json.dumps(record, ensure_ascii=False, indent=2), encoding="utf-8")
    print("合格" if code == 0 else "不合格: " + " / ".join(problems))
    sys.exit(code)

8つのケースそれぞれに python verify_tests.py <フォルダ> 3 を実行した結果です(ケース名と終了コードは、まとめて動かした別のスクリプトが付けたもの)。

c1_good       exit=0 合格 
c2_buggy      exit=1 不合格: 終了コードが 1 
c3_wrongname  exit=1 不合格: 終了コードが 5 / 実行したテストが 0 件(最低 3 件) 
c4_allskip    exit=1 不合格: skipped=3 
c5_partskip   exit=1 不合格: skipped=1 
c6_xfail      exit=1 不合格: expected failures=1 
c7_noassert   exit=0 合格 
c8_osexit     exit=1 不合格: Ran の行がない(途中で終わった可能性) / 最後の結果の行がない 

残ったログ(ケース4)の中身はこうです。

{
  "at": "2026-11-17T07:12:42+09:00",
  "cwd": "c4_allskip",
  "command": "python -m unittest",
  "exit_code": 0,
  "output": "sss\n----------------------------------------------------------------------\nRan 3 tests in 0.000s\n\nOK (skipped=3)\n",
  "ran": 3,
  "problems": [
    "skipped=3"
  ]
}

ポイントは3つです。

  • 終了コードだけでなく、Ran N tests の件数を最低数と比べる(ケース3)
  • 最後の行の skipped= などを数える(ケース4〜6)
  • 最後の行がないこと自体を不合格にする(ケース8。途中でプロセスごと終わった)
おうどん

8人中6人を見破った。名探偵の気分

ケース7が、まだ素知らぬ顔で合格しています。

ケース7は、assert(確かめる文)を消して関数を呼ぶだけにしたテストです。テストは3件走り、全部通る。実行結果だけを見る判定では、これは見抜けません。
そこで、次の差分の出番です。

テストを弱めた跡は、テストファイルの差分で探す

実行結果で分からないのは、テストそのものが変わった場合です。これは結果ではなく、変更の中身を見るしかありません。

一時的な git リポジトリで、正しいテストをコミットしたあと、次の3つをやってみました。

  • test_one の assert を消して、total(1) を呼ぶだけにした
  • test_three に @unittest.skip を足した
  • test_three の期待値を 1200 から、バグ入りの値に合わせて 1350 に変えた
diff --git a/test_calc.py b/test_calc.py
index 1ea9b81..2727962 100644
--- a/test_calc.py
+++ b/test_calc.py
@@ -7 +7 @@ class TestTotal(unittest.TestCase):
-        self.assertEqual(total(1), 500)
+        total(1)
@@ -11,0 +12 @@ class TestTotal(unittest.TestCase):
+    @unittest.skip("一時的に")
@@ -13 +14 @@ class TestTotal(unittest.TestCase):
-        self.assertEqual(total(3), 1200)
+        self.assertEqual(total(3), 1350)

(git diff -U0 -- test_calc.py の出力。今回の検証環境:git 2.45.1.windows.1)

新人

期待値が 1350 になってる。計算が合ったんですね

合わせたのは計算ではなく、答案のほうです。

この差分から、消えた assert、足された skip などを拾うスクリプトです。

"""テストファイルの差分から、テストを弱めた跡を探す。

使い方: python diff_guard.py <git リポジトリ> [比べる相手(既定 HEAD)]
終了コード: 0=見つからない 1=見つかった(人が確認する) 2=git が失敗
"""
import re
import subprocess
import sys

TEST_PATHS = [":(glob)**/test_*.py", ":(glob)**/*_test.py", ":(glob)**/tests/**"]

ADDED_RULES = [
    (re.compile(r"@(unittest\.)?skip|skipTest\(|pytest\.mark\.(skip|xfail)"), "スキップを追加"),
    (re.compile(r"@(unittest\.)?expectedFailure"), "失敗してよい印を追加"),
    (re.compile(r"os\._exit|sys\.exit"), "テストの中で終了"),
]
REMOVED_RULES = [
    (re.compile(r"\bassert"), "assert を削除・変更"),
    (re.compile(r"^\s*def test_"), "テスト関数を削除・改名"),
]


def git_diff(repo, base):
    cmd = ["git", "-C", repo, "diff", "-U0", base, "--", *TEST_PATHS]
    r = subprocess.run(cmd, capture_output=True, text=True, encoding="utf-8")
    if r.returncode != 0:
        print(r.stderr, file=sys.stderr)
        sys.exit(2)
    return r.stdout


def untracked_tests(repo):
    """git にまだ登録していないテストファイルは diff に出ないので別に探す"""
    cmd = ["git", "-C", repo, "ls-files", "--others", "--exclude-standard", "--", *TEST_PATHS]
    r = subprocess.run(cmd, capture_output=True, text=True, encoding="utf-8")
    if r.returncode != 0:
        print(r.stderr, file=sys.stderr)
        sys.exit(2)
    return [p for p in r.stdout.splitlines() if p]


def scan(diff_text):
    findings = []
    current = None
    for line in diff_text.splitlines():
        if line.startswith("+++ "):
            current = line[6:] if line.startswith("+++ b/") else line[4:]
            continue
        if line.startswith("--- "):
            continue
        if line.startswith("+"):
            body, rules = line[1:], ADDED_RULES
        elif line.startswith("-"):
            body, rules = line[1:], REMOVED_RULES
        else:
            continue
        for pattern, label in rules:
            if pattern.search(body):
                findings.append((current, label, line.strip()))
    return findings


if __name__ == "__main__":
    repo = sys.argv[1]
    base = sys.argv[2] if len(sys.argv) > 2 else "HEAD"
    found = scan(git_diff(repo, base))
    for path in untracked_tests(repo):
        found.append((path, "未追跡のテストファイル(中身は目で見る)", ""))
    for path, label, text in found:
        print(f"{path}: {label}: {text}")
    print(f"見つかった数: {len(found)}")
    sys.exit(1 if found else 0)

同じリポジトリで、3つの状態のときに実行した結果です(見出しの行と終了コードは、まとめて動かした別のスクリプトが付けたもの)。

===== 本体だけ変更 (exit 0)
見つかった数: 0
===== テストを弱めた (exit 1)
test_calc.py: assert を削除・変更: -        self.assertEqual(total(1), 500)
test_calc.py: スキップを追加: +    @unittest.skip("一時的に")
test_calc.py: assert を削除・変更: -        self.assertEqual(total(3), 1200)
見つかった数: 3
===== 新しいテストファイルを追加(未登録) (exit 1)
test_calc.py: assert を削除・変更: -        self.assertEqual(total(1), 500)
test_calc.py: スキップを追加: +    @unittest.skip("一時的に")
test_calc.py: assert を削除・変更: -        self.assertEqual(total(3), 1200)
tests/test_extra.py: 未追跡のテストファイル(中身は目で見る): 
見つかった数: 4

期待値の書き換え(1200 → 1350)は、消えた側の行に assert があるので「assert を削除・変更」として拾えています。
本体(calc.py)だけを変えたときは 0 件でした。

使うときの注意です。

  • 見つかったら即ダメ、ではありません。テストを直すのが正しい場面もあります。このスクリプトは「人が理由を確かめる場所」を出すためのもの
  • git diff は、まだ git に登録していないファイルを出しません。新しく足されたテストファイルは、別に git ls-files --others で拾っています
  • パターンに合わない書き方(別名で import した skip、テスト用の設定ファイルでの除外など)は拾えません。完全な検出器ではなく、見る場所を絞る道具です
おうどん

これで AI がテストをいじったら、全部ばれる

全部ではありません。目立つところが、目立つようになるだけです。それでも、何百行の差分を頭から読むよりずっと楽です。

AIエージェントへの頼み方と、役割の分け方

ここまでは、あとから確かめる話でした。最初の頼み方でも、だいぶ変わります。

Anthropic のプロンプトのベストプラクティスにあった考え方を、作業の指示に入れておきます。

テストは正しさを確かめるためのものです。テストに合わせて答えを作らないでください。
テストが間違っている、または通せないと思ったら、テストを変えたり skip したりせずに、理由を書いて止まってください。
テストファイルを変える必要があるときは、変える前に理由を書いてください。

(この指示文は例です。特定のエージェントでの効き方は、今回は確かめていません)

同じページの、長い作業の進め方の節では、テストを決まった形で記録させること、テストを消したり書き換えたりするのは受け入れられない、と念を押すことも紹介されていました。

役割は、こう分けると安心です(ここはおうどんの考えです)。

役割誰がやるか
コードを書く・テストを走らせて直すエージェント
合否を判定するスクリプト(verify_tests.py など)人が用意し、エージェントには触らせない
テストファイルの差分を見る人、または書いた本人ではないレビュー

Claude Code のベストプラクティスにも、確かめ方の強さの段階として、プロンプトで頼む、/goal で条件を決める、Stop フック(終わろうとしたときに走るスクリプト)で強制する、書いていない人がレビューする、が並んでいます。どれを選ぶかは、作業の大きさしだいです。

新人

判定のスクリプトも、AIに書かせれば早いのでは

書かせるのはいいんです。書いたあとは、人が読んで、エージェントには直させない。採点表を、答案を書く人の机に置かない、という話です。

おうどん

見習いに、味見の基準まで決めさせたら、毎日『ちょうどいい』になる

それを毎日聞いているうちに、こっちの舌まで慣れてくるのが怖いところです。

終了コードの境目と、判定スクリプトの限界

ここから先は上級者向け。読み飛ばしてもOKです。

unittest の終了コード 5 と、全部 skip のとき

unittest のドキュメントには、unittest.main は既定で、実行したテストの成功(0)か失敗(1)を表す終了コードで sys.exit() を呼ぶ、終了コード 5 は、テストが1件も実行も skip もされなかったことを表す、と書かれています。

今回の検証環境(Python 3.13.17)では、

  • 1件も見つからない(ファイル名が test*.py に合わない)と、NO TESTS RAN で 5
  • 3件とも skip だと、OK (skipped=3) で 0

でした。全部 skip は 5 にはならない。終了コードだけで「何も確かめていない」を見つけることはできません。
ファイル名については、テストを探すときの既定のパターンが test*.py だとドキュメントに書かれています。エージェントが calc_test.py のような名前でテストを作ると、そのファイルは既定の探し方では拾われません。

おうどん

せっかく書いたテストが、名前ひとつで門前払い

門の前で律儀に待っているので、なおさら気づかれません。

pytest も、pytest の終了コードの一覧では 5 が「テストが1件も集められなかった」です(pytest は今回の検証環境に入っていないため未実行)。0 と 1 だけを見る CI の設定だと、5 の扱いを決めておく必要があります。

expectedFailure と unexpected success

unittest のドキュメントでは、Python 3.4 から、expectedFailure を付けたテストが通ってしまった(unexpected success)場合、wasSuccessful() が False を返すようになったと書かれています。
つまり、印を付けたまま本当に直すと、そこで失敗扱いになる。印を付けた側が、あとで外す前提の道具です。verify_tests.py では、expected failures= も unexpected successes= も数えて止めています。

os._exit(0) と「最後の行がない」

ケース8では、1件目のテストの中で os._exit(0) を呼びました。終了コードは 0、出力は空でした。
テストの集計を出す前にプロセスが終わったので、Ran の行も OK の行も出ていません。
「終了コード 0 なら成功」とだけ判定していると、これは成功に見えます。最後の行があることを条件にしておくと、ここで止まります。

-k で絞っても OK になる

unittest の -k は、名前がパターンに合うテストだけを実行するオプションです。絞って実行すれば、走った分が全部通れば OK です。
報告のコマンドに -k が付いていたら、全部を走らせたかは別に確かめる必要があります。verify_tests.py が最低件数を見るのは、これも理由の1つです(-k での実行は今回は試していません)。

判定スクリプトの限界

  • skip を1件でも不合格にすると、正当な skip(OS が違うので飛ばす、など)がある既存のプロジェクトでは毎回止まります。その場合は、変更前の skip 数を基準として保存し、増えたら止める形にします
  • 「assert がない」ケース7は、実行結果では見抜けず、差分で見るしかありませんでした。最初から assert のないテストが書かれた場合は、差分にも消えた行が出ません。新しいテストは、中身を読むしかない
  • 判定スクリプトもただのファイルです。エージェントが書き換えられる場所に置くと、判定ごと弱められる可能性があります。置き場所と権限を分けます
おうどん

結局、最後は人の目

最後は人の目です。ただし、その目を向ける場所を、機械が3か所くらいに絞ってくれる。何百行を全部読むより、ずっと現実的です。

見習いの「味見しました」を、おたまの跡で確かめる

冒頭の見習いは、おたまを持たずに「味見しました」と言っていました。
うそではなく、確かめ方を決めていなかっただけかもしれません。
次からは、おたまを持たせて、鍋の前に立っているところまで見ます。

新人

おたまの跡まで見られるの、ちょっと緊張しますね

それくらいの緊張が、ちょうどいい塩加減です。

ななみ

報告の明るさで帰る判断をしないところまでは、来ましたね

おうどん

点を3つ数えてから帰ります

AIエージェントの「テスト通りました」は、件数と最後の行と差分で確かめる。
まずは次に報告を受けたとき、実行したコマンドと出力の最後の10行を、1回だけ頼んでみてください。おたまの跡が見えるだけで、出汁の信頼度がずいぶん変わります🍜

参考資料

  • Anthropic:Best practices for Claude Code — 作業が終わったように見えたところで止まる、合否を返すチェックを渡す、コマンドと出力の証拠を求める、確かめ方の段階(プロンプト・/goal・Stop フック・レビュー)
  • Anthropic:Prompting best practices — テストを通すことに集中しすぎることがある、テストは正しさを確かめるもの、間違ったテストは回避せず知らせる、テストの削除・書き換えは受け入れられないと念を押す例
  • Python ドキュメント:unittest — skip と expectedFailure の意味、3.4 からの wasSuccessful()、終了コード 0・1・5、既定のパターン test*.py、-k、TextTestRunner の既定の出力先が sys.stderr
  • pytest:Exit codes — pytest の終了コード 5 が「テストが1件も集められなかった」

2026年11月時点の内容です。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

おうどん|癒しと創作をたのしむ雑食クリエイター
写経アプリやクレイセラピー、優しい和風デザインがすき。
ZARDと刀剣と文字に癒されて、今はアプリ作ってます。

コメント

コメントする

目次