社内RAGを入れたのに使われない｜足りないのは精度ではなく知識のほう
回答精度が上がらないとき、モデルを替えても、文書の分割方法を調整しても、たいてい直りません。原因の多くは、答えのもとになる知識が社内に書かれていないことか、書かれていても新旧が混ざっていることです。
結論から
- まず「答えられなかった質問」を分類する。モデルの問題か知識の問題かはそこで分かれる
- 知識の問題なら、検索の調整ではなく、書き足しと版の整理が先
- 使われない理由が精度ではなく導線であることも多い。どこから呼ぶかを見直す
答えられない質問を3つに分ける
「精度が低い」と言われる状態の内訳を数えると、多くの場合1番目と3番目が大半を占めます。ここを飛ばして検索の調整に時間を使うと、費用だけがかかります。
| 分類 | 見分け方 | 打つ手 |
|---|---|---|
| 書かれていない | 社内の誰かに聞けば答えられるが、文書に存在しない | 担当者に書いてもらう。ここが本丸 |
| 書いてあるが見つからない | 人が探せば見つかる | 検索とタグ付けの調整。技術的な調整が効くのはここだけ |
| 書いてあるが古い | 新旧の版が両方ヒットする | 正とする版を決め、旧版を検索対象から外す |
RAGで足りる場合と、その先が要る場合
「検索して答える」で終わるならRAGで十分です。「判断させる」「処理させる」に進むなら、判断基準と権限を設計する段階に入ります。この段階を指す言葉としてCompany Brainが使われています。
| やりたいこと | RAGで足りるか |
|---|---|
| 規程やマニュアルの内容を聞きたい | 足りる |
| 過去の似た案件の条件を知りたい | 文書化されていれば足りる |
| この見積を承認していいか判断させたい | 足りない。判断基準を書く必要がある |
| 申請を受け取って処理まで進めたい | 足りない。実行の権限と手順の設計が要る |
使われない理由が精度ではないとき
- 専用の画面を開かないと使えない(普段いるチャットツールから呼べない)
- 答えの根拠が示されず、確認のために結局もとの文書を探している
- 答えられなかったときに人へ回す導線がなく、一度離れたきり戻ってこない
- 導入時の説明が「AIが何でも答えます」で、期待と実物がずれた
- 対象範囲が知らされておらず、範囲外の質問をして「使えない」と判断された
よくあるご質問
- モデルを新しいものに替えれば改善しますか
- 知識が書かれていない場合は変わりません。まず答えられなかった質問を分類して、どの割合が知識側の問題かを見てください。
- 作り直しになりますか
- 多くの場合は作り直しません。取り込む文書の整理と判断基準の書き足しで改善する部分が大きく、仕組みはそのまま使えます。