情報検索コラム

三月うさぎのティールーム/情報検索コラム

情報検索・調査・利用について
“知っていると便利”“こんなときどうする”“コレにはご注意!”などなど思いつくままに書かせていただきます。

ちなみに「三月うさぎ」はルイス・キャロル著『不思議の国のアリス』に出てくる「いつまでも終わらないお茶会をしている」ちょっとヘンなうさぎです。

「ティールーム」は、お仕事の休憩時間のお茶といっしょに読んでいただけるくらいの長さと内容というコンセプトを、アリスの三月うさぎの「お茶会」にかけてあります。(毎月1回更新します)

>コラムバックナンバー 一覧へ

コラム第80号(2009/9/8UP)

情報検索するときに知っておきたい考え方 -再現率・適合率-

注意:記載内容やリンクは執筆時点での情報です。

情報検索するときの考え方として、
「広くモレ無く網羅的にヒットさせる」 という点を重視するのか、それとも
「適切な情報を重点的にヒットさせる」 という点を重視するのか、という
“2つの方向のどちらを重視するか” を考慮して、戦略を考える方法があります。

検索をするときは当然ながら、どのようにすれば自分の必要とする情報がヒットするかを
考えながら行うわけです。
その際、情報検索用の「考え方」を知っておくと、検索式が立てやすくなります。
今、上に書いた “2つの方向のどちらを重視するか” という考え方も、そのひとつです。

これはやや専門的な考え方ではありますが、
このような考え方を知っていると検索や調査が混乱せず、整理しながら行うことができます。
というわけで今回は「再現率」と「適合率」について説明したいと思います。

再現率と適合率については、今までにもこのコラムで何度か簡単な説明をしてきていますが、
実はキチンと説明したことが無かったのです。 
しかし皆さんとお話ししていると、
「再現率」は、専門用語っぽくて、自分と無関係な言葉のように感じるかたが多いようだし、
「適合率」は、「適合性」とか「精度」との違いなどがゴッチャになっているかたが多いようだし・・・。
というわけで “一度ちゃんと説明しないといけないな” と思っていたんです、じつは。

再現率と適合率は専門的な考え方ではありますが、そんなに難しい考え方ではありません。
知っておくと普段にも役に立ちます。 
今回は図が多い関係もあり、長めのコラムになってしまいましたが、
できれば一度で通読していただいたほうが、理解しやすいのではないかと思います。
ですので、お時間があるときに読んでいただくのがいいかもしれません。

「再現率」と「適合率」の基本的な考え方

◎再現率(recall ratio):情報全体から、調査目的に「適合する情報」が拾い出せた「割合」

例えば下の図1で、
=調査目的に適合する情報、=不要な情報(ノイズ)です。
▼図1

この図1ではヒットさせたい情報が全部で「5件」あります。
この5件のを全て確実にヒットさせる、つまり確実に「再現率100%」にするならば、
極端に言えば「情報の全て」を検索すれば「100%」です。
図にすると、下の図2の「検索A」です。
▼図2

しかし、これは大変非現実的です・・・ていうか、
こんなことをするくらいなら、そもそも検索することに意味がないわけです (^^;

さて、これを次の図3に示す「検索B」でを「4件」ヒットさせることができました。
▼図3

この「検索B」では、適合する情報5件のうち4件が拾い出せたわけですから、
「再現率80%」ということになります。
そして、拾い出せなかった「1件」のが「検索モレ」です。

◎適合率(precision ratio):拾い出した情報中に、調査目的に「適合する情報」が存在する「割合」

上の図3の「検索B」では、全部で「10件」の情報を拾い出しています。
10件の内訳は次のとおりです。
4件:調査目的に適合する情報
6件:不要な情報

この検索は「適合率40%」です。

というわけで、この「検索B」の再現率と適合率は次のとおりです。
再現率:80%
適合率:40%

以上が、基本的な考え方です。
いかがですか。用語は専門用語ですが、用語の示す意味は全然難しくありませんよね。

「再現率」も「適合率」も上げるには・・・

さて上の「検索B」は、適合率がやや低い40%です。
簡単に言えば、適合率が低いということは、
「適合する情報」もヒットしてるけど、「不要な情報」に埋もれてしまっている状態です。

実際の調査においては、ヒットした情報から、さらに手作業(スクリーニング)で
「適合する情報」を見つけ出す時間がかかります。
適合率が低い場合、多くの不要な情報の中から少数の適合する情報を拾い出す作業を行うことになるので、
仕事の効率が悪い。
そこで「適合率を上げる」ために検索BをAND演算で絞り込んで、下の図4に示す「検索C」を行いました。
▼図4

この「検索C」は、拾い出せた情報が「5件」。
そのうち「適合する情報」が「3件」。「不要な情報」が2件。
よって適合率は40%から「60%」に上がりました。
でも逆に検索Bでヒットした「適合する情報」を1つ検索モレさせてしまったので、
再現率は80%から「60%」に落ちてしまいました。

“この「検索C」では、必要な情報を拾い落としてしまったようだ”と思って、
今度は「再現率を上げる」ために、下の図5に示す「検索D」を行いました。
▼図5

今度は、なんと再現率100%!
でも、拾い出せた情報は「20件」。そのうち「適合する情報」は「5件」。
よって適合率は25%にガタ落ちしてしまいました。
さっきの「検索B」よりも、さらにスクリーニング作業に時間がかかります。
「不要な情報」を、「不要である」と確認して除いていく作業が延々と続く・・・わけです。

このように一般的には、
適合率を上げると再現率が下がり、再現率を上げると適合率が下がる、というように
両者は「反比例」の関係にあります。

しかし、実際は再現率も適合率も両方とも上げたい。
そこで、私たちサーチャーは、いろいろと方法を考えるわけです。
例えば上の「検索D」をもとに、下の図6に示す「検索D-1」と「検索D-2」を考えます。
▼図6

ようするに再現率の高い「検索D」を利用して、
「検索D-1」と「検索D-2」を別々に行う方法です。
これならば再現率は100%のまま、適合率は50%(ヒット10件中、適する情報が5件)に上がります。

前回のコラム79号で紹介した次の式は、実はこの考え方に基づいてたてた式です。
(スポーツ+運動)&(シューズ+靴) ・・・「検索D」例
((スポーツ+運動)&(シューズ+靴))&(素材+材料)・・・「検索D-1」例
((スポーツ+運動)&(シューズ+靴))&(衝撃&緩衝)・・・「検索D-2」例

これも再現率と適合率の両方を上げる検索戦略の一例です。

一般的に再現率と適合率が反比例する中で、
いかに「適合する情報」を漏らさずに、「不要な情報」を拾い出さないようにするか。
つまり再現率と適合率の両方を上げる方法を考えていきます。

とはいうものの、
図6の例は、あくまでも検索を分かりやすく「モデル化」しています。
実際には、やはりどうしても検索モレは発生しがちです。
特に実際に「再現率が100%」の検索を行うことは、かなり難しいです。

再現率と適合率を、実際の現場でどう考えるか

上でご案内したように、一般的に再現率と適合率は反比例の関係にあります。
ですから基本的考え方として、
自分の調査目的に適した検索は、再現率と適合率のどちらを重視すべきかを考えます。

再現率重視=広くモレ無く網羅的にヒットさせるという点を重視
適合率重視=適切な情報を重点的にヒットさせるという点を重視

例えば、
新規に企画している「テーマ」がある、と。そのテーマについて「企画書を作成する」とします。
それにあたって、まずは現在公開されている先行する報告や企画等の情報を網羅的に調査する必要がある。
この場合は「網羅的に調査」ですから、「再現率重視」で行うべきです。

しかしながら新規に企画しているわけですから、
現在の自分は、その分野の専門用語や最近の動向に詳しくない。
だから、どのような用語や分類や固有名詞等を使って検索すれば適切なのか自信が無いわけです。

そういう場合に、まずは「適合率重視」で行います。
そして、ピンポイントにヒットさせた文献に使われている用語や分類、
また研究者名や会社名などの固有名詞なども手掛かりに、最終的な再現率重視の式を考える。

皆さんも既にインターネットの検索で、このような方法を行っているのではないかと思いますが、
自分が今するべき検索は、どちらを重視するのかを意識しながら進めてみると、
整理しながら検索を行うことができると思います。
そして調査を進めながら、できるだけ再現率・適合率の両方が上がる方法を考えていきます。

また現実問題として、実際にデータベース中に適合する情報が何件あるかは、
全データを確認してみないと分からないわけです。全データの確認は、当然ながら非現実的です。
ですからヒット件数や、ヒットするであろう情報を予想し、
ヒット件数や適合率などを検証しながら、式を立て直すなどの戦略を練ります。

・・・ちなみに、参考として書くと
特許調査における再現率重視の調査例として「無効資料調査」が挙げられます。
無効資料調査とは、簡単に言えば他社が持っている特定の特許を無効にする資料を見つけることです。
なぜ無効にする必要があるかというと、その特許権を持つ技術を使いたい場合に
特許権の使用料(ロイヤルティ)を支払わなくてはいけないからです。
無効にすれば使用料を支払わなくて済む。つまり、コストが削減できるわけです。
だから、その特許を無効にすることができる資料を探すわけです。

しかしながら、既に特許調査のプロ中のプロである特許審査官が調査して、
「この技術思想は、今までに公開された文献に存在しない新規な技術思想である」として、
国レベルでお墨付きを与えた(つまり特許権を与えた)ものを覆すのですから、簡単なことではありません。

つまり「無効資料調査」では、
審査官が見つけられなかった文献を、なんとかして発見する必要があります。
例えば、IPCなどの特許分類に用語をAND演算するなどの絞り込んだ式でヒットするような文献ならば、
とっくに審査官が見つけているわけです。
そのようなAND検索した際にモレた文献の中に、無効化が可能な文献があるかもしれない。
だから無効資料調査においては、極力モレの起きにくい検索(=再現率重視)を行います。

例えば極端な調査方法では、IPCでヒットした数千件の文献を、いっさい絞り込まずに
全件スクリーニングする等の調査を行うこともあります。
もしかしたらヒットした数千件の文献中の、たった1行の記述、または図面のほんの一部に
無効化が可能な情報があるかもしれない。
さきほど図5の「検索B」の説明で、
「不要な情報を不要であると確認して除いていく作業が延々と続く・・・」と書きましたが、
実際には、そういう調査を行う場合もあるわけです。
ですから無効資料調査では「不要な情報を不要であると確認して除いていく作業」を
延々と行うことがあります。目の下を真っ黒にしながら・・・

このような調査をして、見つかることもあります。しかし、残念ながら見つからないこともある。
でも、たとえ見つからなかったとしても、
これだけ一切絞り込まない情報群(=再現率重視の検索結果)を全て見ても「無い」ということは、
大変残念だけれども、やはり新規な思想であると思われる、と結論付けることができるでしょう。

具体例として特許の無効資料調査を挙げさせていただきましたが、一般文献でも同様な場合があります。
例えば上で例にとったような、新規に企画しているテーマで企画書を作成する場合に、
企画を成功させるためには「失敗例」も収集したいとします。
しかし一般的に、「成功例」の情報は多くヒットするけれども、「失敗例」の情報は少ない。
また「成功例」の情報を詳細に読むと、「失敗」の部分が含まれていることもある。
しかも「失敗例」は、キーワードなどでヒットしにくい面がある。

例えば、
“当初は年間利用者数を×××人見込んだが、実際は××人に止まった”とか、
“○○○により△△が改善される予定だったが、効果は無かった”などの書き方の場合、
「失敗例」とか「不成功」などのワードを使っても、基本的にはヒットしませんし、
キーワードの設定自体が、チョット難しいでしょう。
また失敗や不成功を重点的に取り上げている文献でない限り、
「失敗例」「不成功」が索引語になる可能性も低い。
このような場合に、失敗例を多く収集するためには、失敗例の検索モレを避けるために
なるべく絞り込まずに、再現率が高いデータを“しらみ潰し”にチェックしていくのも調査方法のひとつです。

適合率、適合性、精度・・・どう違うのか?

◎適合性(relevance):検索された各情報の、「調査目的に適合する度合い」

まず「適合性」について、確認しましょう。
今までの説明では単純に「=調査目的に適合する情報」として説明してきましたが、
上の図1-図6に示す5件のは、それぞれ別個の情報です。
5件のそれぞれの情報内容は、それぞれ固有の内容を持っています。
この固有の情報内容を持つ各が、「どの程度調査目的に適合しているか」。
これが「適合性」です。

例えば、検索テーマが「スポーツシューズの衝撃緩衝に使われる素材、材料」とします。
そして仮に“情報A”として「医療用リハビリシューズの衝撃緩衝に使われる素材」がヒットしたとします。

この場合、
「シューズの衝撃緩衝に使われる素材」としては関連しているものの(適合している)、
「スポーツシューズではない」という点が相違します(適合しない)。
つまり“情報A”は、「調査目的に適合する部分」と「しない部分」がある。
この「調査目的に適合する部分」の「度合い」が「適合性」です。

実際の検索においては、適合性の高い情報をヒットさせることが重要です。
例えば、Googleなどの検索エンジンや、国立情報学研究所のWebcat Plusなどの連想検索では、
適合性の高い情報を上位に表示させるしくみをもっています。

さて、では「精度」とは何か。

◎精度(precision):拾い出した情報中に、調査目的に「適合する情報」が存在する「割合」

つまり、「適合率」と同じ意味です。

同じ意味を指す言葉として、なぜ「適合率」を使わずに「精度」を使うかというと、
「適合率」という言葉は「適合性」と混同されやすいという考え方もあり、
この混同を避けるために「精度」という言葉を使うかたが多いようです。

また、もともと「精度」はコンピュータ用語として使われています。
データベース検索に関する用語には、コンピュータ用語を使ったほうが相性が良い
という考え方もあるようです。

ただし、「精度」という言葉は「適合率」という言葉と違って一般用語です。
「検索における精度」が、
「拾い出した情報中に調査目的に適合する情報が存在する割合」である、と定義せずに
「精度の高い検索結果」という言葉を使った場合、
一般的な感覚としては、
「再現率と適合率の高い結果」が「精度の高い結果」である、とか
「適合率と適合性の高い結果が」が「精度の高い結果」である、とか
「適合性の高い結果」が「精度の高い結果」である、とか
様々にイメージされる可能性があります。
現に様々な本やインターネットでの記述において、
「精度」は多様な意味(言い換えると「曖昧に」)で用いられています。

そのような観点から、「拾い出した情報中に、調査目的に適合する情報が存在する割合」という意味を
確実に伝える言葉として「適合率」という専門用語を使う、という考え方もあります。
私は、この後者の観点から「適合率」という言葉を主に使っていますが、
上に書いたとおり「適合率」も「精度」も用語としては一長一短です。
特にGoogle検索が浸透している現在において、
「適合率」と「適合性」は混同しやすい点が大きな短所のように思います。
というわけなので「適合率」「精度」とも、どちらを使うのが正しいとは言い切れないと思っています。

実は私自身、「適合率」が専門用語なため一般のかたには抵抗があると判断して、
講習会などでは「適合性」という言葉で「適合率」を説明することがあります。
今回、このコラムで改めて用語の意味を整理して書いてみると、
多少は抵抗があっても、やはり正確な用語で説明したほうが良いかな、と思いました。

今回は、やや長いコラムになってしまいましたが、読んでくださって有難うございます。
本来、再現率や適合率は「検索結果の評価」に使う考え方ですが、
検索するにあたって、自分の行おうとする方法を考えていくうえで、
「再現率重視」「適合率(精度)重視」という考え方を知っていると、
戦略が立てやすくなるのではないかと思います。お役立ていただければ幸いです。

>コラムバックナンバー 一覧へ

お問い合わせ
メール
情報サロン味岡
〒430-0812
静岡県浜松市南区
本郷町1329−4−201
三月うさぎのティールーム/情報検索のお役立ちコラム
このページのトップへ