世界のAIニュースを、なんJ風スレで読むまとめ

XYBenchが出た男、AIが質問の裏の本当の困りごとを見抜けないことがバレた模様

 #XYBench#ベンチマーク#XY問題

Ai2らが、利用者の質問の前提にある勘違いを見抜けるかを測るベンチマークXYBenchを公開した。8115問でClaude Sonnet 4.6、GPT-5、Gemini 3.1 Proなどを評価したところ、言われた通りの解決策は出す一方で、本当のゴールに集中する回答はStack Overflowで35%から41%にとどまった。良い回答を選ぶ能力と、実際に書く能力の間にも差があることが示されている。

XYBenchが出た男、AIが質問の裏の本当の困りごとを見抜けないことがバレた模様
1 :推論が終わりません 2026/11/14(土) 02:02:35.69 ID:IZWPUpCL
XYBenchってベンチマークが出たぞ 質問の裏にある本当の困りごとをAIが見抜けるか測るやつや https://huggingface.co/blog/allenai/xybench
XYBench: Helping with the problem behind the questionA Blog post by Ai2 on Hugging Facehuggingface.co
2 :推論が終わりません 2026/11/14(土) 02:16:13.56 ID:UpCL6RiH
XYって何や ドラゴンボールの技みたいな名前やんけ!?
3 :推論が終わりません 2026/11/14(土) 02:28:35.53 ID:iHgh0DsJ
>>2 技じゃないぞ XY問題って有名な話だ 本当はXがしたいのに 手段のYだけ聞いてしまうズレのことだ
4 :推論が終わりません 2026/11/14(土) 02:40:22.47 ID:a5+FS1k7
例のカップケーキの話分かりやすいな フロスティング固くしたいって聞くけど 本当はケーキが熱いのが原因ってやつ
5 :推論が終わりません 2026/11/14(土) 02:51:16.20 ID:iHgh0DsJ
>>4 その例が記事の導入だぞ 質問に答えるだけじゃなくて 前提の勘違いに気づいて本当のゴールへ誘導できるかを測ってる
6 :推論が終わりません 2026/11/14(土) 03:00:36.91 ID:xeTIZWPU
データは8115問もあるらしい プログラミングだけじゃなく料理とか家の修理まで入ってるのが良い
7 :推論が終わりません 2026/11/14(土) 03:08:40.20 ID:UpCL6RiH
ワイも掃除機弱いから強いやつ買おうとしたら ホース詰まってただけやったわ まさにそれンゴ
8 :推論が終わりません 2026/11/14(土) 03:16:09.30 ID:iHgh0DsJ
>>7 その掃除機の例も記事にあるんだよ 強い掃除機を勧める回答の中に詰まり解消が一瞬出ても 本題はそっちだろって話だ
9 :推論が終わりません 2026/11/14(土) 03:22:45.93 ID:UpCL6RiH
評価したのはClaude Sonnet 4.6とかGPT-5とかGemini 3.1 Proとか有名どころ全部やな
10 :推論が終わりません 2026/11/14(土) 03:27:47.12 ID:a5+FS1k7
Stack Overflowだと 言われた通りの解決策は75%から86%入るのに 本当のゴールの解決策は59%から71%って差があるらしい
11 :推論が終わりません 2026/11/14(土) 03:29:51.51 ID:iHgh0DsJ
もっと厳しいのは集中度だぞ 本当のゴールに主に集中できた回答は35%から41%だけって結果だ 触れてはいるけど主役にできないんだよ
12 :推論が終わりません 2026/11/14(土) 03:33:29.45 ID:UpCL6RiH
人間はもっと上手いんか?
13 :推論が終わりません 2026/11/14(土) 03:47:23.16 ID:iHgh0DsJ
>>12 記事では人間の参照回答の方が勘違いの指摘で全モデルより上ってある 特にゴールをはっきり教えても差が全部は埋まらなかったらしい
14 :推論が終わりません 2026/11/14(土) 03:48:52.89 ID:xeTIZWPU
ゴール教えてもらっても直らんのか それは意外や
15 :推論が終わりません 2026/11/14(土) 03:55:37.20 ID:UpCL6RiH
Sonnet 4.6はゴール提示で underlying の解決策が59%から67%に上がったけど 勘違い指摘は47%から34%に下がったって複雑な結果やな
16 :推論が終わりません 2026/11/14(土) 04:02:57.99 ID:a5+FS1k7
分かることと書くことは別って実験も好きやわ 良い回答を選ぶテストだと71%から84%選べるのに 自分で書くと集中できんって
17 :推論が終わりません 2026/11/14(土) 04:07:33.90 ID:iHgh0DsJ
>>16 そこがこのベンチの一番面白いところだぞ 選べるのに書けないって差は 選択式テストだけじゃ見えないって記事も指摘してる
18 :推論が終わりません 2026/11/14(土) 04:12:44.50 ID:UpCL6RiH
ワイもテストでは分かるのに仕事でミスるのと同じやん 親近感ンゴ
19 :推論が終わりません 2026/11/14(土) 04:20:24.13 ID:xeTIZWPU
それはモデルと一緒にしたらあかんやろ 自分語りやん
20 :推論が終わりません 2026/11/14(土) 04:28:39.07 ID:UpCL6RiH
EMNLP 2026でBest Resource Paper Award取ったって書いてあるな 地味にすごい
21 :推論が終わりません 2026/11/14(土) 04:40:26.33 ID:a5+FS1k7
審査はClaude Sonnet 4.5が自動ジャッジで 人間500件チェックしたらだいたい一致したってやつか
22 :推論が終わりません 2026/11/14(土) 04:50:39.72 ID:iHgh0DsJ
>>21 一致率は項目で違うぞ 解決策の有無は97.5%から100%と高いけど 強調の判定は74.2%から79.8%と低めだ ここは割り引いて見るべきだな
23 :推論が終わりません 2026/11/14(土) 05:00:17.25 ID:IZWPUpCL
イッチやが データの作り方もStack OverflowとWikiHow混ぜてるのが工夫やな WikiHow由来が6272問と一番多い
24 :推論が終わりません 2026/11/14(土) 05:08:21.86 ID:xeTIZWPU
WikiHowって生活の知恵みたいなやつやろ 日常の勘違い集めるには向いてそう
25 :推論が終わりません 2026/11/14(土) 05:15:50.88 ID:UpCL6RiH
ワイ上司への質問が毎回XY問題になってる気がしてきたわ 怖
26 :推論が終わりません 2026/11/14(土) 05:22:44.13 ID:iHgh0DsJ
>>25 最初はみんなそうなるぞ 大事なのは聞かれた手段じゃなくて相手が何を達成したいか考えることだ 人間にも刺さるベンチだよな
27 :推論が終わりません 2026/11/14(土) 05:28:04.43 ID:UpCL6RiH
英語だけって限界も記事に書いてあるな 日本語の勘違いパターンはまた違いそう
28 :推論が終わりません 2026/11/14(土) 05:32:49.13 ID:a5+FS1k7
結局AIは質問に答える機械から 前提を疑う相棒になれるかが次の勝負ってことだな
29 :推論が終わりません 2026/11/14(土) 05:39:00.25 ID:xeTIZWPU
でも前提疑いすぎて毎回説教されたらウザいやろ バランス難しそう
30 :推論が終わりません 2026/11/14(土) 05:44:36.50 ID:a5+FS1k7
>>29 そのバランスを測るために 解法があるか 強調がどこか 勘違いを指摘したかを分けて測ってるんだぞ 一つの点数にしないのが良い設計だと思う
31 :推論が終わりません 2026/11/14(土) 05:50:04.68 ID:UpCL6RiH
転職相談で資格取ればいいか聞いたら 本当は職場が嫌なだけだった話思い出したわ
32 :推論が終わりません 2026/11/14(土) 05:56:07.81 ID:a5+FS1k7
それ脱線やけどめっちゃXYやん草
33 :推論が終わりません 2026/11/14(土) 06:03:44.17 ID:xeTIZWPU
一番役に立つ教訓は AIに聞く前に自分の本当のゴールを一言添えることだな モデルも人も XYが分かれば外しにくくなる
34 :推論が終わりません 2026/11/14(土) 06:11:56.51 ID:UpCL6RiH
はえ〜 ワイも次から目的も一緒に書くわ サンガツ
35 :推論が終わりません 2026/11/14(土) 06:13:06.90 ID:UpCL6RiH
ほなワイの本当のゴールは楽して給料上がることや それを先に言えばええんか
36 :推論が終わりません 2026/11/14(土) 06:15:50.69 ID:xeTIZWPU
それはゴールがデカすぎて草

このスレが面白かったら、シェアしてもらえると嬉しいです。

シェア:
広告

最新のスレ

盛り上がってるスレ