世界のAIニュースを、なんJ風スレで読むまとめ

Claude Codeチームが検証のやり方を公開した男、コードの約9割をClaudeが書いてレビューしている模様

 #Claude Code#検証#テスト

Claude Codeチームが、エージェントに自分の作業を検証させる考え方と実務ルールを公開した。チームのコードの約90%はClaudeが書き、Claudeがレビューしており、別の採点役にルーブリックで確認させることでタスク成功率が最大10ポイント上がったという社内テストも紹介されている。投資すべきテストとしてE2E・プロパティ・差分の3種を挙げ、変更側が自分のチェックを書き換えられないようにする原則や、失敗が3ラウンド続いたら人間を呼ぶ運用など、検証側を甘くしない仕組みが具体的に説明されている。

Claude Codeチームが検証のやり方を公開した男、コードの約9割をClaudeが書いてレビューしている模様
1 :推論が終わりません 2026/11/16(月) 21:00:00.05 ID:L6RiHgh0
Claude Codeチームが「検証」の考え方を丸ごと公開したぞ コードの約9割をClaudeが書いてレビューしとるチームが、エージェントにどうやって自分の仕事を確かめさせとるかの話や https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/
How the Claude Code team thinks about verification / claude.dev BlogHow end-to-end, property and differential tests let coding agents verify their work with evidence, and what the Claude Code team does to keep its verifiers honest.claude.dev
2 :推論が終わりません 2026/11/16(月) 21:12:25.41 ID:qjoV8fAl
検証って要はテストの話? タイトルだけだと地味やな
3 :推論が終わりません 2026/11/16(月) 21:22:06.23 ID:9Yda5+FS
ファッ!? テスト全部書けばバグゼロで納品できるンゴか!? ワイ天才ンゴ
4 :推論が終わりません 2026/11/16(月) 21:32:22.64 ID:xeTIZWPU
天才になる前に前提を押さえとけ このチームはコードの約90%をClaudeが書いてClaudeがレビューしてる その規模だと検証の仕組み自体が本体で、記事はAddy Osmaniが書いてるぞ
5 :推論が終わりません 2026/11/16(月) 21:34:31.94 ID:Nu9Yda5+
90%って数字、盛ってない?
6 :推論が終わりません 2026/11/16(月) 21:38:14.57 ID:AlObMNu9
書き出しで約90%と明記されとるな 人間はほぼ見てるだけって規模感や
7 :推論が終わりません 2026/11/16(月) 21:51:14.64 ID:5+FS1k7y
検証ループがあると何が変わるん
8 :推論が終わりません 2026/11/16(月) 21:52:48.54 ID:xeTIZWPU
ないと同時に走らせられるのは1〜2体が限度で、結局自分が全部チェックする羽目になる あると数十から数百を並列で走らせられる 任せられる量が変わるって話だぞ
9 :推論が終わりません 2026/11/16(月) 21:59:02.17 ID:9Yda5+FS
ワイも分身100人欲しいンゴ 検証は誰かやってくれンゴ
10 :推論が終わりません 2026/11/16(月) 22:06:50.53 ID:AlObMNu9
効果の数字あるん?
11 :推論が終わりません 2026/11/16(月) 22:18:30.56 ID:Nu9Yda5+
構造化ファイル生成の社内テストでは、別の採点役にルーブリックでチェックさせると成功率が最大10ポイント上がったらしい 一番難しい問題ほど伸びが大きかったって話や
12 :推論が終わりません 2026/11/16(月) 22:28:36.77 ID:xeTIZWPU
しかも検証結果を次の改善に繋げられるのが肝だ 例えばログにユーザーデータが混ざるテストで落ち続けるなら、hookやCLAUDE.mdのルールにして再発自体を止める形にできる
13 :推論が終わりません 2026/11/16(月) 22:42:07.69 ID:qjoV8fAl
テストの種類は何推しなん
14 :推論が終わりません 2026/11/16(月) 22:55:03.85 ID:AlObMNu9
投資する価値があるのは3種類って整理や E2Eテストとプロパティテストと差分テスト 重いテストはコミット前に回すのが基本らしい
15 :推論が終わりません 2026/11/16(月) 22:58:01.92 ID:5+FS1k7y
>>14 E2Eから聞きたい
16 :推論が終わりません 2026/11/16(月) 22:59:25.57 ID:AlObMNu9
実際の利用者の流れを通しでやるやつやな カートに入れて購入して完了画面まで、みたいなやつ
17 :推論が終わりません 2026/11/16(月) 23:04:14.20 ID:xeTIZWPU
ごまかしが効かないのが強いんだよな 機能が動くか動かないかで決着がつく ユニットテストは全部通っても機能が壊れてることがあるからな
18 :推論が終わりません 2026/11/16(月) 23:07:29.97 ID:9Yda5+FS
ユニットテスト通ったのに本番で死ぬやつ、ワイの心当たりしかないンゴ
19 :推論が終わりません 2026/11/16(月) 23:10:46.12 ID:Nu9Yda5+
エージェントに実際の画面を見せる話もあったな CDPとかシミュレータとかAPIハーネスとかで、手と目を持たせるってやつ
20 :推論が終わりません 2026/11/16(月) 23:13:28.41 ID:qjoV8fAl
プロパティテストって何や
21 :推論が終わりません 2026/11/16(月) 23:19:51.15 ID:5+FS1k7y
>>20 壊れるはずがない性質を先に書いて、ライブラリに大量の入力で反例を探させるやつやろ fast-checkとかHypothesisとかproptestとか使うやつ
22 :推論が終わりません 2026/11/16(月) 23:27:48.04 ID:Nu9Yda5+
例も地味に強いな エンコードしてデコードしたら元に戻る、残高がマイナスにならない、同じ操作を2回やっても結果が同じ、みたいな性質や
23 :推論が終わりません 2026/11/16(月) 23:36:02.64 ID:AlObMNu9
差分テストは?
24 :推論が終わりません 2026/11/16(月) 23:45:50.79 ID:Nu9Yda5+
旧システムを正解扱いにして、新旧に同じ入力を流して出力の違いを見るやつ 大規模な移行向けの手法やな
25 :推論が終わりません 2026/11/16(月) 23:56:31.48 ID:9Yda5+FS
旧システムが正解とは限らんやろンゴ
26 :推論が終わりません 2026/11/17(火) 00:07:47.16 ID:Nu9Yda5+
そこは記事も触れとって、ランダムな入力や本番トラフィックのサンプルを使うのと、空白みたいな無関係な差はならして、変わるべき所は承認済み変更のリストで管理する形らしい
27 :推論が終わりません 2026/11/17(火) 00:20:19.66 ID:L6RiHgh0
イッチやが、チームの実務ルール側も濃いぞ 検証ってのは変更を実際に動かすこと、って定義しとる
28 :推論が終わりません 2026/11/17(火) 00:33:26.56 ID:qjoV8fAl
verifyってスキルを作る話やな
29 :推論が終わりません 2026/11/17(火) 00:35:12.47 ID:5+FS1k7y
.claude/skills/にverifyスキルを置いて、シミュレータの起動方法とかを書いとくやつやな コミット前にClaudeがそれを使う流れらしい
30 :推論が終わりません 2026/11/17(火) 00:37:33.54 ID:xeTIZWPU
ここ注意な テストが失敗したらClaudeが直しに回るけど、3ラウンド直らなければ止めて人間を呼ぶ決まりだ 無限に直させないのがポイントなんだよな
31 :推論が終わりません 2026/11/17(火) 00:50:01.70 ID:9Yda5+FS
3回ダメなら人間、ワイの人生と一緒ンゴ
32 :推論が終わりません 2026/11/17(火) 01:01:54.17 ID:AlObMNu9
信頼性チェックリスト39項目って何や
33 :推論が終わりません 2026/11/17(火) 01:12:31.78 ID:Nu9Yda5+
diffから読めるトリガー付きのチェック集らしいで 例はセッション保存やメッセージ型が変わったら、--resumeで古いトランスクリプトが読めるかを確認するやつ
34 :推論が終わりません 2026/11/17(火) 01:21:34.13 ID:qjoV8fAl
全部は覚えなくてよくて、diffに一致した項目だけ、だいたい3〜10個をClaudeが見る形らしい 過去の障害をリスト化して使い回す発想やな
35 :推論が終わりません 2026/11/17(火) 01:24:44.23 ID:5+FS1k7y
レビューは何人でやるん
36 :推論が終わりません 2026/11/17(火) 01:27:19.16 ID:AlObMNu9
1人のレビュアーで複数ラウンドが方針らしい 高いレビュアーを2人目に重ねるより、1人目を調整する方が良いって書いてある
37 :推論が終わりません 2026/11/17(火) 01:28:38.34 ID:9Yda5+FS
審査する側をすり抜ける裏技やが、変更の中でチェック自体を書き換えたら勝ちやろンゴ
38 :推論が終わりません 2026/11/17(火) 01:42:22.51 ID:xeTIZWPU
>>37 そこは一番厳しく止めてるぞ 変更は自分のチェックを書き換えられないのが原則で、Code Reviewが読むREVIEW.mdはPR側じゃなくベース側のブランチから取る 古いコミットへの合格も意味なしって扱いだ
39 :推論が終わりません 2026/11/17(火) 01:50:13.80 ID:AlObMNu9
コミットに検証方法のスタンプを押す話もあったな noneってスタンプも含めて、検証されてないコミットを検索できるようにするやつ
40 :推論が終わりません 2026/11/17(火) 01:56:30.51 ID:Nu9Yda5+
ゲートの導入はobserveモードから始めるらしい 止めるはずだったやつを記録だけして、誤判定を見てからenforceに上げる流れや
41 :推論が終わりません 2026/11/17(火) 02:04:46.06 ID:qjoV8fAl
2回止められたら次は通すって緩さもあるんやって Claudeが詰まらないようにする安全弁らしい
42 :推論が終わりません 2026/11/17(火) 02:14:36.10 ID:5+FS1k7y
レビュアー自体の評価もやっとるらしいな 取り消された変更の数とか、過去の障害を再現した評価とか
43 :推論が終わりません 2026/11/17(火) 02:21:01.16 ID:xeTIZWPU
教訓はここだな 検証の仕組みは変更側から触れない所に置いて、外したケースはルールに変えて、ルール自体も定期的に剪定する 人間の仕事は全diffを読むことから、完了の定義と証拠の確認に移るって記事は締めてる
44 :推論が終わりません 2026/11/17(火) 02:28:01.75 ID:da5+FS1k
テスト書く側の仕事が増えただけな気もするけど、並列で走らせるなら要るんやろな

このスレが面白かったら、シェアしてもらえると嬉しいです。

シェア:
広告

最新のスレ

盛り上がってるスレ