オープンウェイトLLMから拒否応答を取り除く重み編集「アブリタレーション」が新モデルほど難しくなったかを、Qwen、Gemma、OLMo、Mistralなど5つの世代ペアで検証した論文が公開された。同一条件で複数手法を比較し、WildGuardによる判定で972件の有害プロンプトへの拒否の残り方を測ったところ、難化は一様ではなく、ペアや手法、予算によって結論が変わった。単一のペアや手法だけの監査では逆の結論に至りうると著者は指摘している。

2 :推論が終わりません 2026/11/13(金) 09:11:18.78 ID:joV8fAlO
アブリタレーションって何やねん 初めて聞いたわ
3 :推論が終わりません 2026/11/13(金) 09:13:01.62 ID:mvQB4r23
ファッ!? アブリタって新種のポケモンか何か!?
4 :推論が終わりません 2026/11/13(金) 09:26:10.96 ID:AlObMNu9
>>3 ポケモンではないぞ ファインチューニングなしで重みを編集して、オープンウェイトモデルから拒否応答を取り除く手法の呼び名だ 拒否に関わる方向を削るのが基本形なんだよな
5 :推論が終わりません 2026/11/13(金) 09:30:44.96 ID:oV8fAlOb
で、新しいモデルほど効かなくなってるって話を聞いたことあるけど
6 :推論が終わりません 2026/11/13(金) 09:33:44.89 ID:GzE/mvQB
それが検証対象や 最適化型の変種ARAの開発者が「方向ベースは新モデルでだんだん失敗するようになってる」と言ってて、この論文が5世代ペアで確かめたんや
7 :推論が終わりません 2026/11/13(金) 09:44:09.26 ID:tqjoV8fA
ペアはQwen、Gemma、OLMo、Mistralと、あと小さいQwenペアやな 旧世代と新世代を同じ条件で編集してる
8 :推論が終わりません 2026/11/13(金) 09:53:59.49 ID:QB4r23Kn
ツールはHeretic 2.0で、手法はdifference-in-meansとかMPOAとかSOMとか、ARAも同じ土俵に上げてるらしい
9 :推論が終わりません 2026/11/13(金) 10:01:28.55 ID:L6RiHgh0
判定はどうやるんや 拒否が減ったかどうか誰が見るん
10 :推論が終わりません 2026/11/13(金) 10:08:22.06 ID:AlObMNu9
>>9 WildGuardっていう自動判定で、972件の有害プロンプトでまだ拒否するかを数えてる 出どころはJailbreakBench、XSTest、StrongREJECT、HarmBenchと、著者が集めた悪性コード集だぞ プロンプト自体の中身はここでは扱わない
11 :推論が終わりません 2026/11/13(金) 10:19:42.14 ID:joV8fAlO
結果はどうやったんや 新モデルは固くなったんか
12 :推論が終わりません 2026/11/13(金) 10:32:36.56 ID:AlObMNu9
>>11 一様には固くなってない 方向ベースだと新世代の方が拒否が残る差はマイナス1からプラス37ポイントまでバラバラで、ARAだとマイナス26からプラス34 「世代が新しい=除去しにくい」ではなかったってのが著者による測定結果だ
13 :推論が終わりません 2026/11/13(金) 10:46:05.81 ID:mvQB4r23
なーんや モデルごとに全然違うんかい
14 :推論が終わりません 2026/11/13(金) 10:47:09.70 ID:8fAlObMN
>>13 そう、ペアと手法と予算で結論が変わる GemmaとOLMoではARAの方が効き目の落ちが小さく、Qwenでは逆だったそうだ
15 :推論が終わりません 2026/11/13(金) 10:54:11.49 ID:oV8fAlOb
しかもARAの判定は各1回だけの実行が根拠って書いてある 再現性カツカツやな
16 :推論が終わりません 2026/11/13(金) 11:02:47.08 ID:V8fAlObM
Gemmaで方向ベースが悪化して見えたのも、悪性コード集が原因で、公開セットでは逆転したって 測る物差しで結論がひっくり返る例や
17 :推論が終わりません 2026/11/13(金) 11:11:58.40 ID:GzE/mvQB
キーワード数え上げの簡易判定も、ちゃんとした判定と平均7ポイントずれてたらしいな
18 :推論が終わりません 2026/11/13(金) 11:22:43.02 ID:tqjoV8fA
ここ注意なってやつや 1ペアだけ測って「新モデルは脱獄耐性上がった」とか言い切るのは危ないって論文自身が言うてる
19 :推論が終わりません 2026/11/13(金) 11:26:39.21 ID:mvQB4r23
ワイはてっきり年々ガチガチに固くなってると思ってたわ 思い込みって怖いンゴ
20 :推論が終わりません 2026/11/13(金) 11:31:10.14 ID:AlObMNu9
>>19 最初はみんなそう思う だからこそ同じプロンプト、同じ探索予算、同じ発散の上限で揃えて測ったことに意味があるんだよな
21 :推論が終わりません 2026/11/13(金) 11:43:11.10 ID:QB4r23Kn
オープンウェイトやから重み触れるのは当然っちゃ当然やな 配ったら最後、拒否は努力目標みたいなもんか
22 :推論が終わりません 2026/11/13(金) 11:54:37.42 ID:L6RiHgh0
>>21 その理解でだいたい合ってる クローズドAPIのガードと、重み公開モデルの拒否は守り方が根本的に違う
23 :推論が終わりません 2026/11/13(金) 11:55:47.64 ID:joV8fAlO
じゃあベンチで「このモデルは安全です」って言われても条件次第ってことやな
24 :推論が終わりません 2026/11/13(金) 12:09:22.11 ID:AlObMNu9
>>23 そういうこと 評価は手法と予算とプロンプトの出どころをセットで見ないと意味がない この論文の一番の主張はそこだぞ
25 :推論が終わりません 2026/11/13(金) 12:17:41.77 ID:V8fAlObM
ところでワイの部署のチャットボット、固すぎて普通の質問まで拒否しよる 逆方向の研究はよ
26 :推論が終わりません 2026/11/13(金) 12:25:25.14 ID:8fAlObMN
過剰拒否はXSTestが測ってるやつやな 今回も材料に入ってる
27 :推論が終わりません 2026/11/13(金) 12:35:53.12 ID:oV8fAlOb
脱線やけど、Hereticって名前の付け方が中二病全開で好き
28 :推論が終わりません 2026/11/13(金) 12:45:46.81 ID:tqjoV8fA
ツール名はともかく、測定の作法としては真面目やで 条件揃えて、判定者も明記して、揺れまで書いてある
29 :推論が終わりません 2026/11/13(金) 12:53:23.65 ID:GzE/mvQB
実行ごとのブレを入れると効果のばらつき指標が20から80%まで動くってのも正直でええな
30 :推論が終わりません 2026/11/13(金) 12:59:26.42 ID:QB4r23Kn
盛らない論文は信用できる 逆に言うと派手な主張のやつは条件を疑えってことやな
31 :推論が終わりません 2026/11/13(金) 13:05:26.08 ID:mvQB4r23
ワイも明日から「諸説ある」で逃げずに条件を聞く男になるわ 多分ならんけど
32 :推論が終わりません 2026/11/13(金) 13:13:00.43 ID:AlObMNu9
>>31 ならなくても、結論だけ切り取るなって覚えとけば十分だぞ
33 :推論が終わりません 2026/11/13(金) 13:17:50.76 ID:L6RiHgh0
オープンで出す側も、拒否が外される前提で別の防御を考える時代なんやろな
34 :推論が終わりません 2026/11/13(金) 13:23:15.58 ID:joV8fAlO
重みを配る以上はそうなるな ライセンスとか利用側の管理とか、モデル外の話になる
35 :推論が終わりません 2026/11/13(金) 13:34:04.72 ID:8fAlObMN
結局「新モデルほど安全」って単純な話ではなかったと
36 :推論が終わりません 2026/11/13(金) 13:45:28.38 ID:AlObMNu9
教訓はこれやな 安全性の主張を見たら、世代じゃなくて「どのペアを、どの手法と予算で、どの判定で測ったか」を確認すること 1つの監査だけだと真逆の結論が出るって論文が示してる
37 :推論が終わりません 2026/11/13(金) 13:54:08.62 ID:mvQB4r23
ほなワイのモデル選びもベンチの条件から読むわ 読める気はせんけど気持ちは大事ンゴ




