要点
Cerebrasは、プロンプト処理(prefill)をGPUに、応答生成(decode)をCerebrasシステムに分ける分離推論を本番投入したと発表した。Cerebrasによる測定では、2026年11月14日に共有されたGPT-OSS-120Bエンドポイントで、CS-3のみの構成と比べて1メガワットあたりのスループットが5倍になり、生成速度は低下しなかったとされる。本番構成ではAMD Instinct GPUがprefillを担い、CS-3がdecodeを担う。先行パートナーにはAmazon Web ServicesやFireworks AIなどが含まれ、2027年末までに数百メガワット規模への展開が計画されている。
出典:www.cerebras.ai「Cerebras Launches Disaggregated Inference」

1 :推論が終わりません 2026/11/17(火) 09:00:00.83 ID:joV8fAlO
Cerebrasが推論を prefill と decode に分けてGPUと組ませる分離推論を本番に入れたらしい
電力あたりのトークンが5倍やて
https://www.cerebras.ai/blog/cerebras-launches-disaggregated-inference
Cerebras Launches Disaggregated InferenceCerebras pairs AMD GPUs for prefill with wafer-scale decode to deliver 5× more tokens per megawatt without reducing token generation speed.www.cerebras.ai2 :推論が終わりません 2026/11/17(火) 09:05:54.15 ID:ZWPUpCL6
分離推論って何を分けるんや
3 :推論が終わりません 2026/11/17(火) 09:08:13.15 ID:joV8fAlO
ファッ!?
セレブラスって朝ごはんのやつか?
4 :推論が終わりません 2026/11/17(火) 09:12:06.86 ID:da5+FS1k
>>3 朝ごはんではないぞ
入力を読む処理が prefill で、1トークンずつ答えを出す処理が decode だ
この2つを別々の機械に分けたって話だぞ
5 :推論が終わりません 2026/11/17(火) 09:25:16.51 ID:CL6RiHgh
プロンプト処理はGPUが担当して、応答生成は Cerebras のシステムが担当するらしい
6 :推論が終わりません 2026/11/17(火) 09:27:00.96 ID:fAlObMNu
Cerebrasによる測定では、CS-3 だけの構成と比べて1メガワットあたりの処理量が5倍、生成速度は落ちなかったらしい
7 :推論が終わりません 2026/11/17(火) 09:38:01.93 ID:ZWPUpCL6
測定は11月14日に共有された GPT-OSS-120B のエンドポイントでやったって書いてあるな
8 :推論が終わりません 2026/11/17(火) 09:50:36.97 ID:CL6RiHgh
なんで decode は Cerebras が速いんや
9 :推論が終わりません 2026/11/17(火) 10:00:27.11 ID:da5+FS1k
>>8 decode は1トークンごとにモデルのデータをメモリから読み直すから、メモリ帯域が効くんだぞ
Cerebras はチップ上に数十GBの SRAM を持って、帯域は数十ペタバイト毎秒と書いてある
10 :推論が終わりません 2026/11/17(火) 10:10:53.51 ID:fAlObMNu
GB300 と比べて SRAM 容量が350倍、メモリ帯域が5400倍って主張も書いてあるで
これは Cerebras の主張やから割り引いて聞くところやな
11 :推論が終わりません 2026/11/17(火) 10:15:24.10 ID:joV8fAlO
5400倍って数字、盛りすぎて逆に笑うわ
12 :推論が終わりません 2026/11/17(火) 10:19:20.26 ID:da5+FS1k
>>11 数字は同社の主張として扱うのが正しいな
ただ仕組みとして、オンチップに置ける分だけ読み出しが速くなるのは筋が通っているぞ
13 :推論が終わりません 2026/11/17(火) 10:25:50.96 ID:ZWPUpCL6
本番構成では AMD Instinct のGPUがプロンプトを処理して、CS-3 が応答を生成しとるらしい
14 :推論が終わりません 2026/11/17(火) 10:31:45.63 ID:CL6RiHgh
GPUを全部捨てる話やないんやな
得意な方をやらせる分業や
15 :推論が終わりません 2026/11/17(火) 10:45:06.03 ID:fAlObMNu
ワイの職場も分業できたら残業減るのに…
16 :推論が終わりません 2026/11/17(火) 10:57:52.31 ID:ZWPUpCL6
中間の状態、いわゆる KV cache をどうやって渡すんや
17 :推論が終わりません 2026/11/17(火) 11:00:04.49 ID:CL6RiHgh
KV Portal って仕組みで RDMA 経由で prefill 側から decode 側へ渡すらしい
18 :推論が終わりません 2026/11/17(火) 11:01:41.07 ID:da5+FS1k
分けるだけなら簡単そうに見えるが、状態の受け渡しと振り分けと死活管理まで含めたソフトウェア一式を用意したのが今回の肝だぞ
19 :推論が終わりません 2026/11/17(火) 11:10:44.04 ID:fAlObMNu
パートナー向けにも出すらしいな
参照アーキテクチャと、全部入りのスタックか decode 専用 SDK かを選べるらしい
20 :推論が終わりません 2026/11/17(火) 11:19:12.90 ID:ZWPUpCL6
先行パートナーには AWS と Fireworks AI と Gimlet Labs と General Compute が入っとるらしい
21 :推論が終わりません 2026/11/17(火) 11:21:07.67 ID:CL6RiHgh
大手がもう触っとるんやな
22 :推論が終わりません 2026/11/17(火) 11:23:37.96 ID:joV8fAlO
なんで今こんなに速いトークンが要るんや
23 :推論が終わりません 2026/11/17(火) 11:27:23.27 ID:da5+FS1k
>>22 エージェント型のアプリが増えたからだぞ
Claude や Copilot や Codex みたいに、対話しながら何度も推論する使い方だと、遅いと体験が崩れるって記事は書いている
24 :推論が終わりません 2026/11/17(火) 11:31:44.61 ID:fAlObMNu
電力の話もでかいな
データセンターは電力が上限になりがちやから、1メガワットで何トークン出せるかが競争軸になっとる
25 :推論が終わりません 2026/11/17(火) 11:42:21.36 ID:ZWPUpCL6
Cerebras は2027年末までに分離推論を数百メガワット規模へ広げる計画で、計画中のデータセンター容量は700メガワットと書いてある
26 :推論が終わりません 2026/11/17(火) 11:53:33.59 ID:CL6RiHgh
最近発表した CS-4 や製造の拡大と合わせて、2027年以降に供給を増やす構えらしい
27 :推論が終わりません 2026/11/17(火) 12:06:01.03 ID:fAlObMNu
チップ単体の速さ競争から、構成の工夫の競争になってきた感じやな
28 :推論が終わりません 2026/11/17(火) 12:19:04.22 ID:joV8fAlO
ワイのPCも役割分担させたら速くなるんか?
キーボードが prefill でモニターが decode みたいな
29 :推論が終わりません 2026/11/17(火) 12:28:36.97 ID:da5+FS1k
>>28 その例えは半分ずれているな
分ける意味があるのは、2つの処理で求められる性質が違うからだぞ
prefill は計算量が効いて、decode はメモリ帯域が効く
30 :推論が終わりません 2026/11/17(火) 12:38:43.56 ID:ZWPUpCL6
vLLM とか SGLang みたいな既存の推論エンジンを prefill 側に使える設計らしいのも地味に大事やな
31 :推論が終わりません 2026/11/17(火) 12:45:58.20 ID:CL6RiHgh
全部作り直しやないなら導入する側も助かるわ
32 :推論が終わりません 2026/11/17(火) 12:52:38.54 ID:fAlObMNu
速さは正義やけど、速すぎて課金が溶ける速度も上がる定期
33 :推論が終わりません 2026/11/17(火) 12:58:02.63 ID:ZWPUpCL6
注意点としては、5倍って数字は Cerebras 自身の本番測定で、比較対象は同社の CS-3 のみの構成やから他社製品と比べた数字やないところやな
34 :推論が終わりません 2026/11/17(火) 13:02:51.27 ID:CL6RiHgh
そこ大事やな
盛られたら困る
35 :推論が終わりません 2026/11/17(火) 13:06:24.03 ID:da5+FS1k
>>34 最初はみんなそう思うが、測定主体と条件を併記すれば判断材料にはなるぞ
今回は GPT-OSS-120B のエンドポイントでの測定と明記されている
36 :推論が終わりません 2026/11/17(火) 13:09:22.72 ID:joV8fAlO
イッチやが、エージェントが当たり前になると対話の待ち時間がそのまま製品の出来になるって話やと思うわ
37 :推論が終わりません 2026/11/17(火) 13:11:04.69 ID:fAlObMNu
裏側の工夫は表に出にくいけど、体感速度は嘘をつかんからな
38 :推論が終わりません 2026/11/17(火) 13:24:12.20 ID:ZWPUpCL6
野球の試合も分離したら速く終わるんかね
知らんけど
39 :推論が終わりません 2026/11/17(火) 13:26:50.52 ID:da5+FS1k
一番役に立つ教訓はこれやな
ボトルネックが違う処理は無理に同じ機械でやらず、状態の受け渡しまで設計して分ける
速さはチップだけやなく構成でも稼げる
40 :推論が終わりません 2026/11/17(火) 13:27:54.43 ID:joV8fAlO
明日からワイも朝ごはんと仕事を分離するわ
効果は知らん
このスレッドは元記事をもとに運営が作成した架空のものです。書き込みは実在の人物の発言ではありません






