KEN’S CAT LOG
▣

0.8BのLLMを20言語のRAG用に追加学習してみた。正解率74%→94%、CPUで1問7秒

CPU で動く、多言語の RAG 用モデルがほしい。文章を渡して質問したら、文章の中から答える。文章に答えがなければ、でっち上げずに「答えがない」と断る。そんなモデルを、Qwen3.5 の 0.8B(8 億パラメータ)に追加学習して作ってみた。対象は 20 言語。

先に結論。

  • 正解率は 73.8% → 93.8%。 追加学習していない Qwen3-4B(94.7%)に、5 分の 1 の大きさであと 1 点まで迫った
  • 一番効いたのは「でっち上げ」が直ったこと。 元の 0.8B は、答えのない長い文章を渡すと 4 割近くで何かしら答えてしまっていた
  • CPU で 1 問 7 秒。 2,500 トークンくらいの文章を読んで答えるまで。4B だと 60 秒かかる
  • 95% は越えられなかった。 学習率・周回数・データ量をいじっても 94% 台で止まった。0.8B の大きさの限界っぽい

何で測ったか

20 言語(日本語・英語・中国語・クロアチア語・ヒンディー語など)の Wikipedia から問題を作った。1 問につき、4 種類の文章を渡して答えさせる。

  • 段落:答えが入っている短い段落
  • 長文脈:答えが入った段落を、関係ない記事に混ぜた数千トークンの文章
  • 答えなし(短・長):答えが入っていない文章。「答えがない」と断れたら正解

この 4 つの平均を「正解率」と呼んでいる。問題作りと採点は Qwen3-32B。採点が Qwen 寄りになっていないか、別の系統の gpt-oss-120b でも採点し直したら、差は 0.5 点以内だった。

ほかに、型の違う問題でも確かめた。

  • XQuAD:人が書いた質問の 8 言語版
  • hr0:前に別のモデルで作ったクロアチア語のテスト

学習データと同じ作り方の問題だけだと、「その型に慣れただけ」なのか区別がつかないので。

元の 0.8B は、答えがないと作り話をする

追加学習の前の Qwen3.5-0.8B で測ると、こうなった(20 言語の平均)。

段落 長文脈 答えなし短 答えなし長
68.9 71.0 87.9 63.2

答えのない長い文章を渡すと、4 割近くで何かしら答えてしまう。ヒンディー語だと 15 点しかなかった。RAG でこれは困る。

試したこと

学習は vast.ai で借りた RTX PRO 6000(96GB)でやった。

1. 20 言語の RAG データで LoRA

学習データは 20 言語 × 500 問。そこから 4 種類の文章をつけた例を作って、合計 18,025 例にした。正解は 1 文の回答で、答えがないときはその言語の「答えがない」の決まり文句にした。

LoRA(rank 64)で 1 周、1.7 時間。

段落 長文脈 答えなし短 答えなし長
元の 0.8B 68.9 71.0 87.9 63.2
LoRA 後 91.7 89.0 98.4 93.4

これだけで一気に上がった。答えなし長は 63 → 93 で、作り話はほぼ直った。

ちなみに 2B で先に試したときは、3 言語(クロアチア語・ドイツ語・トルコ語)だけで学習しても 20 言語すべてが上がった。元のモデルの弱さは知識や読解力じゃなくて、「指示どおりに答える・断る」癖の問題だったみたい。

2. 人が書いた質問だと、すぐ断る

人が書いた質問の XQuAD で試すと、答えがあるのに「答えがない」と断る例が多かった。

たとえば「回転子の別名は?」と聞いても、段落には「回転する円盤」としか書いていない。こういう、質問と段落で言い回しが違う問題で断ってしまう。

原因は学習データにあった。質問を作った Qwen3-32B は、段落の言い回しをそのまま質問に使いがち。だから「同じ言葉が見つからなければ断る」と覚えてしまったっぽい。

そこで、gpt-oss-120b に毛色の違うデータを 1 言語 400 問作らせて足した。

  • 段落と言い回しを変えた質問
  • 検索結果みたいな、ぶつ切りの断片
  • 関係はあるけど答えは入っていない、紛らわしい記事
  • 1K〜8K トークンの長い文脈

これで、XQuAD の段落が 79.6 → 83.6、長文脈が 75.5 → 79.2 に上がった。今回効いたのは、ほぼこれだけ。

なお、ここからは LoRA ではなく全パラメータで学習している。同じデータなら、どちらでも結果はほぼ同じだった。

3. 効かなかったこと

試したこと 結果
学習率を 3 倍(1e-5 → 3e-5) 検証の loss が明らかに悪化して打ち切り
2 周学習 検証の loss は下がったのに、正解率は同じ。XQuAD は少し下がった
毛色の違うデータを倍に 自前の問題で +0.1。XQuAD と hr0 は下がった
人が書いた質問(SQuAD・TyDi QA)を追加 逆効果。 XQuAD の答えなし長が 99.8 → 91.2

人が書いた質問は効くと思ったんだけど、逆だった。XQuAD は SQuAD の段落から作られている。だから SQuAD で学習すると、「SQuAD っぽい段落なら答えがある」と覚えてしまったみたい。評価に近すぎるデータは危ない。

4. 量子化は Q4 だと 1 点落ちる

CPU で動かすので、llama.cpp の GGUF に変換して量子化した。

2B だと Q4_K_M でもほぼ落ちなかった。でも 0.8B は約 1 点下がった。小さいモデルほど量子化に弱い。Q6_K か Q8_0 にすると戻って、クロアチア語の問題では 95.4 まで行った。

結果

最終版の 0.8B を、元のモデルや大きいモデルと比べた。どれも 4 種類の平均で、0.8B と 2B は CPU で使う形(Q4_K_M)。

モデル 大きさ 20 言語の問題 XQuAD(人が書いた質問) hr0
Qwen3.5-0.8B(元) — 73.8 74.8 72.7
0.8B(追加学習) 0.67GB 93.8 89.9 90.0
2B(同じ作り方で追加学習) 1.56GB 96.4 92.4 93.5
Qwen3-4B-Instruct-2507(追加学習なし) 2.3GB 94.7 94.0 91.2
  • 0.8B は 20 点上がって、4B まであと 1 点。 2B なら 4B を抜く
  • 人が書いた質問(XQuAD)では、まだ 4B に 4 点負ける。 言い回しの違う質問への弱さは、直りきっていない
  • 0.8B が間違えた問題の 64% は、2B なら正解する。 残りはモデルの大きさの限界だと思う。正確さ優先なら 2B

速さ(ノート PC の CPU)

i7-11800H の 8 スレッドで測った。長く回すとクロックが半分くらいに落ちるノート PC なので、遅めの数字。

文章の読み込み(4K トークン) 生成 長文脈 1 問
0.8B 314 tok/s 53 tok/s 約 7 秒
2B 97 tok/s 21 tok/s 約 25 秒
4B 42 tok/s 11 tok/s 約 60 秒

段落だけなら 1 秒かからない。

費用

vast.ai で全部で約 75 ドル。2B の学習や、評価用のデータ作りの分も入っている。

まとめ

  • 0.8B でも、RAG 用に追加学習すれば正解率 94% 前後まで行く。特に、答えがないときの作り話はほぼ直る
  • 効いたのは、学習データの「種類」を増やすこと。量・周回・学習率は効かなかった
  • 正確さなら 2B、速さなら 0.8B。どちらも、追加学習していない 4B より実用的だと思う