世界のAIニュースを、なんJ風スレで読むまとめ

Claudeに2週間壊させ続けたClaude Docs、20億リクエストでサーバーエラー60件に抑えてしまう

/ AI速報 #Claude Docs#chaos loop#エージェント運用

要点

AnthropicのClaude開発チームブログは2026年11月17日、Claude Docsの公開前にClaude自身に2週間負荷試験と修正を繰り返させた「chaos loop」の実践を公開した。Docsは9月16日に公開され、9月22日までに460万件超のドキュメントが作られ、20億リクエストでサーバーエラーは60件、本番反映629回でロールバックはゼロだった。大きなドキュメントのメモリ使用量は約3GBから約180MBへ下がり、必要なpod数の見積もりは500台超から約50台になった。推論コストはClaude Fable 5.2の定価換算で約12万5000ドルとされる。

出典:claude.dev「Using a "chaos loop" to harden the Claude Docs launch: 60 server errors across billions of requests」

Claudeに2週間壊させ続けたClaude Docs、20億リクエストでサーバーエラー60件に抑えてしまう
1 :推論が終わりません 2026/11/17(火) 21:00:00.54 ID:xeTIZWPU
Claude Docsの裏側の話やが、公開前にClaude自身に2週間壊させ続ける「chaos loop」を回したら20億リクエストでサーバーエラーが60件だけやったらしい https://claude.dev/blog/chaos-loop-claude-docs-launch/
Using a "chaos loop" to harden the Claude Docs launch: 60 server errors across billions of requests / claude.dev BlogClaude Docs is a doc editor that you, your teammates, and Claude all work in together. The interesting part is that a Claude session anywhere, from chat to Claude Code, can open the same doc and read, write, and comment in it live, right next to you. We released Docs on September 16, 2026. This post is about the service that runs underneath it.claude.dev
2 :推論が終わりません 2026/11/17(火) 21:09:03.38 ID:nctqjoV8
壊させ続けるって何やねん 普通は壊れないようにするんやろ
3 :推論が終わりません 2026/11/17(火) 21:19:40.96 ID:tqjoV8fA
ファッ!? AIが自分の家を放火しに来る話か?
4 :推論が終わりません 2026/11/17(火) 21:30:52.48 ID:5+FS1k7y
>>3 違うぞ ステージング環境にわざと負荷をかけて壊して、そのたびに直すのを繰り返したって話だぞ
5 :推論が終わりません 2026/11/17(火) 21:43:02.65 ID:sJGzE/mv
9月16日に公開して9月22日時点で460万件以上のドキュメントが作られたらしい
6 :推論が終わりません 2026/11/17(火) 21:56:46.11 ID:7yXwxeTI
20億リクエストでサーバーエラー60件、しかもロールバックは一度もなし
7 :推論が終わりません 2026/11/17(火) 21:58:05.14 ID:nctqjoV8
50台くらいのメモリ最適化podで回っとったらしいで 最初は単一ノードの概念実証やったのに
8 :推論が終わりません 2026/11/17(火) 22:00:58.48 ID:sJGzE/mv
ワイの会社の検証環境、サーバー1台でカツカツやのに…
9 :推論が終わりません 2026/11/17(火) 22:14:03.81 ID:tqjoV8fA
カオスループって名前がもう強そうンゴ カオスなのにループで管理されとる矛盾
10 :推論が終わりません 2026/11/17(火) 22:15:42.95 ID:5+FS1k7y
>>9 名前は派手だが中身は地道だぞ シナリオを選んで、ハーネスを回して、テレメトリを読んで、修正案を出して、ステージングに入れて、また回す その繰り返し
11 :推論が終わりません 2026/11/17(火) 22:21:47.13 ID:7yXwxeTI
開始は9月4日で公開の約2週間前から回しっぱなしやったらしい
12 :推論が終わりません 2026/11/17(火) 22:27:17.12 ID:nctqjoV8
調整役のセッションが束ねて、サブエージェントが普段は約11体、ピークで30体動いとったらしい
13 :推論が終わりません 2026/11/17(火) 22:31:31.99 ID:sJGzE/mv
30体のClaudeが同時に壊しに来るの怖すぎやろ
14 :推論が終わりません 2026/11/17(火) 22:35:10.84 ID:7yXwxeTI
想定シナリオがまた paranoid で草 1日に1000万件の新規ドキュメントとか、22000件のライブ接続が一斉再接続とか
15 :推論が終わりません 2026/11/17(火) 22:45:33.86 ID:nctqjoV8
人気ドキュメントに何百人も集まって、読み込み中にサーバーが死んで、データベースが詰まるやつもやっとったらしい
16 :推論が終わりません 2026/11/17(火) 22:55:21.42 ID:tqjoV8fA
ワイならその時点で心が詰まるわ
17 :推論が終わりません 2026/11/17(火) 23:03:53.53 ID:5+FS1k7y
大事なのは壊し方より不変条件だぞ ドキュメントはほぼ即座に開くこと、サーバーが受け付けた編集は消えないこと この2つをずっと守らせたって話だ
18 :推論が終わりません 2026/11/17(火) 23:11:50.65 ID:sJGzE/mv
直しにくい変更、データベースのスキーマとか保存方式はClaudeが止まって人に聞く決まりやったらしい
19 :推論が終わりません 2026/11/17(火) 23:23:31.71 ID:nctqjoV8
そこはさすがに人間チェック入るんやな 全部任せっぱなしやないのがええ
20 :推論が終わりません 2026/11/17(火) 23:33:38.55 ID:7yXwxeTI
テレメトリの話が一番おもろい Claudeが毎回テレメトリを読んで、足りない計測を自分で追加していったらしい
21 :推論が終わりません 2026/11/17(火) 23:45:48.31 ID:sJGzE/mv
メモリの例が具体的やな 大きなドキュメント1件でpodあたり約3GB使っとったのが見つかったらしい
22 :推論が終わりません 2026/11/17(火) 23:59:32.49 ID:tqjoV8fA
3GBってスマホの空き容量みたいな数字やな
23 :推論が終わりません 2026/11/18(水) 00:09:51.04 ID:5+FS1k7y
>>22 最初はキャッシュを小さくする案を試したが、原因は依存ライブラリ側の別のキャッシュだったと分かってその変更は捨てたらしい 思い込みで進めないのが偉いところだぞ
24 :推論が終わりません 2026/11/18(水) 00:21:44.08 ID:nctqjoV8
結局はキー入力のたびにドキュメントを複数のデータ構造へコピーしとったのが原因で、copy-on-write に変えたらしい
25 :推論が終わりません 2026/11/18(水) 00:30:35.34 ID:7yXwxeTI
その結果そのドキュメントは約180MBまで落ちて、必要なpodの見積もりが500台超から約50台になったらしい
26 :推論が終わりません 2026/11/18(水) 00:40:01.84 ID:sJGzE/mv
500台が50台は草 電気代の桁が変わるやん
27 :推論が終わりません 2026/11/18(水) 00:46:02.01 ID:nctqjoV8
言語選びもClaude向けに寄せとる Rustで書いてガベージコレクションをなくし、測った数字が自分たちのコードにたどれるようにしたって話や
28 :推論が終わりません 2026/11/18(水) 00:53:37.27 ID:5+FS1k7y
要はモデルに直させるなら、モデルが原因を特定できる作りにしろってことだな 依存ライブラリも最小限にして、必要なものは取り込んで読めるようにしたらしい
29 :推論が終わりません 2026/11/18(水) 00:58:23.17 ID:7yXwxeTI
Rustは人間が書くのは大変やけど、Claudeが書くならその弱みは薄れるって書いてあって時代を感じる
30 :推論が終わりません 2026/11/18(水) 01:03:44.71 ID:tqjoV8fA
ワイがRust書くとコンパイラに怒られて一日終わるンゴ
31 :推論が終わりません 2026/11/18(水) 01:16:13.05 ID:5+FS1k7y
>>30 そこ気になるよな 昔なら言語の難しさが採用の重しになったが、今はそこが変わってきたって筆者も書いているぞ
32 :推論が終わりません 2026/11/18(水) 01:28:07.03 ID:sJGzE/mv
公開週の話もすごいな 9月だけで本番へ629回出して、一度も戻してないらしい
33 :推論が終わりません 2026/11/18(水) 01:29:27.54 ID:nctqjoV8
ステージングで rehearsal した10シナリオのうち7つが本番で実際に起きたらしい 起きたときは大抵フラグを切り替えるだけで済んだって話や
34 :推論が終わりません 2026/11/18(水) 01:43:12.74 ID:7yXwxeTI
予言者やんけ
35 :推論が終わりません 2026/11/18(水) 01:46:23.81 ID:7yXwxeTI
予言やない、事前に全部壊して直してあっただけや って言いたいところやが気持ちは分かる
36 :推論が終わりません 2026/11/18(水) 01:48:59.28 ID:sJGzE/mv
昔のモデルやと長いループの途中で目的を忘れる goal drift が起きとったらしい 今回は内部の研究モデル、だいたい Claude Fable 5.2 相当で回したらしい
37 :推論が終わりません 2026/11/18(水) 01:54:01.62 ID:sJGzE/mv
何回も要約を挟む長い作業でも不変条件を保持し続けたのが今回の前提条件だぞ モデルが長く働けるようになったから成立した手法ってことだな
38 :推論が終わりません 2026/11/18(水) 01:58:28.17 ID:nctqjoV8
気になるお値段はどうなんや
39 :推論が終わりません 2026/11/18(水) 02:05:34.05 ID:7yXwxeTI
Fable 5.2 のAPI定価換算で、8月末から公開日まで約12万5000ドルの推論を使ったらしい
40 :推論が終わりません 2026/11/18(水) 02:12:05.93 ID:tqjoV8fA
12万ドルは草 個人で真似したら財布がサーバーエラーや
41 :推論が終わりません 2026/11/18(水) 02:15:22.45 ID:5+FS1k7y
>>40 筆者自身が試算を出しているぞ 小さいチーム向けの構成なら、今回の変更の約3分の1で済んで、進め方を学ぶための無駄を除けば2週間で3000ドルから1万ドルくらいだろうって見積もりだ 実際に回した試算ではないとも書いてある
42 :推論が終わりません 2026/11/18(水) 02:20:13.53 ID:sJGzE/mv
Vercelも似た監督付きエージェントループで Turborepo を最大96%速くしたって引き合いに出とったな
43 :推論が終わりません 2026/11/18(水) 02:25:21.17 ID:nctqjoV8
転職活動中のワイ、障害対応の経験だけは妙に増えていく
44 :推論が終わりません 2026/11/18(水) 02:32:03.17 ID:xeTIZWPU
イッチやが、始める手順も書いてあるで テレメトリへのアクセスを渡す、実トラフィックの10倍を投げる負荷スクリプトを書かせる、測りやすい技術選定にする、不変条件を先に書く、戻しにくい変更では止まらせる
45 :推論が終わりません 2026/11/18(水) 02:44:38.58 ID:5+FS1k7y
一番役に立つ教訓はこれだな 壊させる相手を強くする前に、テレメトリと不変条件と戻しにくい変更の線引きを先に用意すること それがないとループはただの暴走になる
46 :推論が終わりません 2026/11/18(水) 02:57:48.71 ID:tqjoV8fA
ワイも明日から自分のコードをまず壊してみるわ 直せるかは知らん

このスレッドは元記事をもとに運営が作成した架空のものです。書き込みは実在の人物の発言ではありません

このスレが面白かったら、シェアしてもらえると嬉しいです。

シェア:
広告

最新のスレ

盛り上がってるスレ