
0.8BのLLMを20言語のRAG用に追加学習してみた。正解率74%→94%、CPUで1問7秒
CPU で動く、多言語の RAG 用モデルがほしい。文章を渡して質問したら、文章の中から答える。文章に答えがなければ、でっち上げずに「答えがない」と断る。そんなモデルを、Qwen3.5 の 0.8B(8 億パラメータ)に追加学習して作ってみた。対象は 20 言語。
先に結論。
- 正解率は 73.8% → 93.8%。 追加学習していない Qwen3-4B(94.7%)に、5 分の 1 の大きさであと 1 点まで迫った
- 一番効いたのは「でっち上げ」が直ったこと。 元の 0.8B は、答えのない長い文章を渡すと 4 割近くで何かしら答えてしまっていた
- CPU で 1 問 7 秒。 2,500 トークンくらいの文章を読んで答えるまで。4B だと 60 秒かかる
- 95% は越えられなかった。 学習率・周回数・データ量をいじっても 94% 台で止まった。0.8B の大きさの限界っぽい
何で測ったか
20 言語(日本語・英語・中国語・クロアチア語・ヒンディー語など)の Wikipedia から問題を作った。1 問につき、4 種類の文章を渡して答えさせる。
- 段落:答えが入っている短い段落
- 長文脈:答えが入った段落を、関係ない記事に混ぜた数千トークンの文章
- 答えなし(短・長):答えが入っていない文章。「答えがない」と断れたら正解
この 4 つの平均を「正解率」と呼んでいる。問題作りと採点は Qwen3-32B。採点が Qwen 寄りになっていないか、別の系統の gpt-oss-120b でも採点し直したら、差は 0.5 点以内だった。
ほかに、型の違う問題でも確かめた。
- XQuAD:人が書いた質問の 8 言語版
- hr0:前に別のモデルで作ったクロアチア語のテスト
学習データと同じ作り方の問題だけだと、「その型に慣れただけ」なのか区別がつかないので。
元の 0.8B は、答えがないと作り話をする
追加学習の前の Qwen3.5-0.8B で測ると、こうなった(20 言語の平均)。
| 段落 | 長文脈 | 答えなし短 | 答えなし長 |
|---|---|---|---|
| 68.9 | 71.0 | 87.9 | 63.2 |
答えのない長い文章を渡すと、4 割近くで何かしら答えてしまう。ヒンディー語だと 15 点しかなかった。RAG でこれは困る。
試したこと
学習は vast.ai で借りた RTX PRO 6000(96GB)でやった。
1. 20 言語の RAG データで LoRA
学習データは 20 言語 × 500 問。そこから 4 種類の文章をつけた例を作って、合計 18,025 例にした。正解は 1 文の回答で、答えがないときはその言語の「答えがない」の決まり文句にした。
LoRA(rank 64)で 1 周、1.7 時間。
| 段落 | 長文脈 | 答えなし短 | 答えなし長 | |
|---|---|---|---|---|
| 元の 0.8B | 68.9 | 71.0 | 87.9 | 63.2 |
| LoRA 後 | 91.7 | 89.0 | 98.4 | 93.4 |
これだけで一気に上がった。答えなし長は 63 → 93 で、作り話はほぼ直った。
ちなみに 2B で先に試したときは、3 言語(クロアチア語・ドイツ語・トルコ語)だけで学習しても 20 言語すべてが上がった。元のモデルの弱さは知識や読解力じゃなくて、「指示どおりに答える・断る」癖の問題だったみたい。
2. 人が書いた質問だと、すぐ断る
人が書いた質問の XQuAD で試すと、答えがあるのに「答えがない」と断る例が多かった。
たとえば「回転子の別名は?」と聞いても、段落には「回転する円盤」としか書いていない。こういう、質問と段落で言い回しが違う問題で断ってしまう。
原因は学習データにあった。質問を作った Qwen3-32B は、段落の言い回しをそのまま質問に使いがち。だから「同じ言葉が見つからなければ断る」と覚えてしまったっぽい。
そこで、gpt-oss-120b に毛色の違うデータを 1 言語 400 問作らせて足した。
- 段落と言い回しを変えた質問
- 検索結果みたいな、ぶつ切りの断片
- 関係はあるけど答えは入っていない、紛らわしい記事
- 1K〜8K トークンの長い文脈
これで、XQuAD の段落が 79.6 → 83.6、長文脈が 75.5 → 79.2 に上がった。今回効いたのは、ほぼこれだけ。
なお、ここからは LoRA ではなく全パラメータで学習している。同じデータなら、どちらでも結果はほぼ同じだった。
3. 効かなかったこと
| 試したこと | 結果 |
|---|---|
| 学習率を 3 倍(1e-5 → 3e-5) | 検証の loss が明らかに悪化して打ち切り |
| 2 周学習 | 検証の loss は下がったのに、正解率は同じ。XQuAD は少し下がった |
| 毛色の違うデータを倍に | 自前の問題で +0.1。XQuAD と hr0 は下がった |
| 人が書いた質問(SQuAD・TyDi QA)を追加 | 逆効果。 XQuAD の答えなし長が 99.8 → 91.2 |
人が書いた質問は効くと思ったんだけど、逆だった。XQuAD は SQuAD の段落から作られている。だから SQuAD で学習すると、「SQuAD っぽい段落なら答えがある」と覚えてしまったみたい。評価に近すぎるデータは危ない。
4. 量子化は Q4 だと 1 点落ちる
CPU で動かすので、llama.cpp の GGUF に変換して量子化した。
2B だと Q4_K_M でもほぼ落ちなかった。でも 0.8B は約 1 点下がった。小さいモデルほど量子化に弱い。Q6_K か Q8_0 にすると戻って、クロアチア語の問題では 95.4 まで行った。
結果
最終版の 0.8B を、元のモデルや大きいモデルと比べた。どれも 4 種類の平均で、0.8B と 2B は CPU で使う形(Q4_K_M)。
| モデル | 大きさ | 20 言語の問題 | XQuAD(人が書いた質問) | hr0 |
|---|---|---|---|---|
| Qwen3.5-0.8B(元) | — | 73.8 | 74.8 | 72.7 |
| 0.8B(追加学習) | 0.67GB | 93.8 | 89.9 | 90.0 |
| 2B(同じ作り方で追加学習) | 1.56GB | 96.4 | 92.4 | 93.5 |
| Qwen3-4B-Instruct-2507(追加学習なし) | 2.3GB | 94.7 | 94.0 | 91.2 |
- 0.8B は 20 点上がって、4B まであと 1 点。 2B なら 4B を抜く
- 人が書いた質問(XQuAD)では、まだ 4B に 4 点負ける。 言い回しの違う質問への弱さは、直りきっていない
- 0.8B が間違えた問題の 64% は、2B なら正解する。 残りはモデルの大きさの限界だと思う。正確さ優先なら 2B
速さ(ノート PC の CPU)
i7-11800H の 8 スレッドで測った。長く回すとクロックが半分くらいに落ちるノート PC なので、遅めの数字。
| 文章の読み込み(4K トークン) | 生成 | 長文脈 1 問 | |
|---|---|---|---|
| 0.8B | 314 tok/s | 53 tok/s | 約 7 秒 |
| 2B | 97 tok/s | 21 tok/s | 約 25 秒 |
| 4B | 42 tok/s | 11 tok/s | 約 60 秒 |
段落だけなら 1 秒かからない。
費用
vast.ai で全部で約 75 ドル。2B の学習や、評価用のデータ作りの分も入っている。
まとめ
- 0.8B でも、RAG 用に追加学習すれば正解率 94% 前後まで行く。特に、答えがないときの作り話はほぼ直る
- 効いたのは、学習データの「種類」を増やすこと。量・周回・学習率は効かなかった
- 正確さなら 2B、速さなら 0.8B。どちらも、追加学習していない 4B より実用的だと思う



