実務の表計算作業でフロンティアモデルを測るベンチマークGDP.xlsxが公開された。13分野の専門家が書いた70件の依頼と218万セル分の実ファイル、791個の二値基準で評価し、全基準を満たすstrict pass@1では20構成の最高がGemini 4 Argonの38.3%、中央値は19.3%にとどまった。必要な要素を漏らさず、余計な要素を入れない完全性と排他性が主な壁になっている。

1 :推論が終わりません 2026/11/13(金) 09:00:00.75 ID:V8fAlObM
表計算の実務ベンチGDP.xlsxが出たぞ 最先端モデルでも全条件クリアは38.3%が最高や
https://arxiv.org/abs/2611.17766
GDP.xlsx: Benchmarking Frontier Models on Professional WorkbooksWe introduce GDP_xlsx, a benchmark of 70 realistic workplace requests written by professionals in 13 domains, each paired with an expert rubric of binary criteria and with the complete workbook or CSV file it refers to. Together the files hold 2.18 million populated cells, and the rubrics 791 criteria. Agents work in a container with spreadsheet tools, and an agentic judge that can open the file applies the rubric. Completeness and exclusivity criteria require set-valued answers to be found in full and with nothing extra. We rank models by strict pass@1, the share of attempts that meet every criterion. Across 20 model configurations, including frontier models from Google, Anthropic, and OpenAI, the top-scoring one, Gemini 4 Argon, passes only 38.3% of attempts, and the median score is 19.3%, leaving wide headroom. We release the evaluation harness and three public tasks; the other 67 are held out to protect the leaderboard from contamination.arxiv.org2 :推論が終わりません 2026/11/13(金) 09:06:42.95 ID:AlObMNu9
Excel仕事はもうAIに任せられる時代やと思ってたのに低ない?
3 :推論が終わりません 2026/11/13(金) 09:13:59.93 ID:7yXwxeTI
ファッ!? ワイの毎日のExcel地獄、まだ終わらんってことか!?
4 :推論が終わりません 2026/11/13(金) 09:22:50.40 ID:Hgh0DsJG
>>3 そういうことだな このベンチは実際のワークブックを触らせる形式で、見た目の答え合わせじゃなくてファイルの中身まで判定するんだよな
5 :推論が終わりません 2026/11/13(金) 09:32:39.78 ID:vQB4r23K
中身どんなんや
6 :推論が終わりません 2026/11/13(金) 09:43:03.17 ID:da5+FS1k
プロが書いた実務依頼が70件、13分野から集めてある 各依頼に専門家のルーブリックが付いてて、二値の判定基準が全部で791個あるらしい
7 :推論が終わりません 2026/11/13(金) 09:55:01.88 ID:qjoV8fAl
ファイル側は埋まったセルが218万個もあるんやと ちゃんと本物の仕事の大きさやな
8 :推論が終わりません 2026/11/13(金) 10:07:34.14 ID:5+FS1k7y
エージェントはコンテナの中で表計算ツール使って作業するんやろ 判定もファイル開けるエージェント判定者がやるって書いてあるで
9 :推論が終わりません 2026/11/13(金) 10:21:05.54 ID:+FS1k7yX
採点はstrict pass@1や 全基準を全部満たした割合だけ数える 部分点なしのガチンコや
10 :推論が終わりません 2026/11/13(金) 10:22:11.80 ID:Hgh0DsJG
>>9 その条件で20構成を測って最高がGemini 4 Argonの38.3%、中央値は19.3% 論文著者らによる測定な 派手なデモと実務の差がここに出てる
11 :推論が終わりません 2026/11/13(金) 10:27:59.67 ID:AlObMNu9
中央値19.3%って5件に1件しか完璧に終わらんのか…
12 :推論が終わりません 2026/11/13(金) 10:32:13.59 ID:7yXwxeTI
ワイ人間でも完璧なExcel提出なんて月1回あるかないかやから、AIも仲間やな!
13 :推論が終わりません 2026/11/13(金) 10:36:10.08 ID:Hgh0DsJG
>>12 仲間にするのは早いぞ 特に詰むのが完全性と排他性の基準らしい 必要な集合を全部そろえて、余計なものを1つも入れないってやつだ
14 :推論が終わりません 2026/11/13(金) 10:38:33.07 ID:vQB4r23K
あー、対象店舗を全部抜き出せって言われて1件漏らすやつな 分かる
15 :推論が終わりません 2026/11/13(金) 10:47:40.95 ID:Nu9Yda5+
逆に余計な行まで拾ってくるのもアウトなんやな 気が利くフリして事故るタイプや
16 :推論が終わりません 2026/11/13(金) 10:56:12.20 ID:KnctqjoV
ちなワイはVLOOKUPで毎回列番号を数え間違える
17 :推論が終わりません 2026/11/13(金) 11:03:28.62 ID:qjoV8fAl
>>16 それは脱線やけど気持ちは分かる このベンチが効くのは、モデルの宣伝文句じゃなくてファイル成果物で殴り合える点だな
18 :推論が終わりません 2026/11/13(金) 11:10:09.73 ID:da5+FS1k
GoogleとAnthropicとOpenAIの最先端が入って20構成やろ 全滅に近いのは意外やったわ
19 :推論が終わりません 2026/11/13(金) 11:23:21.05 ID:5+FS1k7y
チャットで賢そうに喋るのと、218万セルのファイルでミスらんのは別競技ってことか
20 :推論が終わりません 2026/11/13(金) 11:35:58.34 ID:Hgh0DsJG
要はそこだぞ 要約や相談は得意でも、納品物の完全性はまだ別物ってのが数字で出た 論文は評価一式を公開してるから、他所の再測定もできる
21 :推論が終わりません 2026/11/13(金) 11:47:06.34 ID:7yXwxeTI
じゃあワイの部署の月次集計、AIに投げたら2割しか正解せんのか…検算係が要るやんけ
22 :推論が終わりません 2026/11/13(金) 11:59:48.35 ID:+FS1k7yX
>>21 検算前提ならだいぶ楽にはなるはずだぞ 全部任せてノーチェックが危ないって話だな
23 :推論が終わりません 2026/11/13(金) 12:09:05.22 ID:AlObMNu9
ピボットテーブル触ったことない新人よりはマシなんちゃうか、知らんけど
24 :推論が終わりません 2026/11/13(金) 12:19:56.75 ID:vQB4r23K
新人は余計な列を勝手に足したりせんからな…そこは新人の勝ちや
25 :推論が終わりません 2026/11/13(金) 12:27:45.14 ID:Nu9Yda5+
38.3%って数字、裏を返すと「あと6割はどこか基準落ち」ってことやから、落ち方の内訳が次の改善ポイントになるんやろな
26 :推論が終わりません 2026/11/13(金) 12:36:09.24 ID:qjoV8fAl
モデル選ぶ側も、汎用ベンチより自分の仕事に近いベンチ見た方がええって話やな
27 :推論が終わりません 2026/11/13(金) 12:42:07.01 ID:7yXwxeTI
ワイの仕事はメール返信とExcelと会議の無限ループやから、Excelがこの体たらくやとまだ安泰やな!
28 :推論が終わりません 2026/11/13(金) 12:48:40.40 ID:Hgh0DsJG
>>27 安泰の理由が「AIも下手だから」はだいぶ悲しいぞ
29 :推論が終わりません 2026/11/13(金) 12:55:11.64 ID:KnctqjoV
悲しいけど事実や 論文の数字は盛ってない分だけ信用できるわ
30 :推論が終わりません 2026/11/13(金) 13:02:17.97 ID:da5+FS1k
ところでGDPって名前、国内総生産と掛けてるんやろな センスはすこ
31 :推論が終わりません 2026/11/13(金) 13:06:30.56 ID:5+FS1k7y
タイトルで笑わせて中身で絶望させる構成、なんJ向きやな
32 :推論が終わりません 2026/11/13(金) 13:10:08.86 ID:AlObMNu9
次はPowerPoint版が出たらワイら終わるんちゃうか
33 :推論が終わりません 2026/11/13(金) 13:16:12.45 ID:Hgh0DsJG
>>32 記事には書いてないな 今回は表計算だけだ ただ同じ作り方で広げるのは可能そうだな
34 :推論が終わりません 2026/11/13(金) 13:21:41.31 ID:+FS1k7yX
スライドは誤字脱字より「それっぽさ」で誤魔化せるからスコア高そう、という偏見
35 :推論が終わりません 2026/11/13(金) 13:30:35.68 ID:Nu9Yda5+
いやスライドこそ余計な一言で落ちる世界やぞ…完全性と排他性、地獄や
36 :推論が終わりません 2026/11/13(金) 13:37:55.15 ID:vQB4r23K
結局しばらくはAIに作らせて人間が直す時代が続くんやな
37 :推論が終わりません 2026/11/13(金) 13:48:40.07 ID:Hgh0DsJG
教訓はこれやな エージェントに仕事を渡す時は「全部終わったら検算なしで提出」じゃなくて、基準チェックを通す工程を最初から組むこと 38.3%は最高性能の話で、中央値はもっと低いと思っとけ
38 :推論が終わりません 2026/11/13(金) 13:57:51.57 ID:7yXwxeTI
ほなワイも今日の集計、AIに下書きさせて自分で検算するわ それが一番速いンゴ




