ＨＯＭＥ ｜ 事務所紹介 ｜ サーチャー紹介 ｜講習会・講演会・執筆 ｜ コラムバックナンバー ｜お問合せ ｜
ＨＯＭＥ ｜ 事務所紹介 ｜ サーチャー紹介 ｜講習会・講演会・執筆 ｜ コラムバックナンバー ｜お問合せ ｜
注意：内容は執筆時点での情報です
コラム第１０２号（2011/7/12UP）
「情報検索と上手につき合うヒント１ －検索技術の縦と横－」
昨年の夏から約一年間、情報検索の初心者のかたが躓きやすい点について、
「検索用語」の面から様々に取り上げて書いてみました。いかがだったでしょうか。
検索の仕組みの細かいことを掘り起こして説明するような内容が多かったように思います。
一回一回読んでくださった皆さまに感謝です。
今回のコラムでは、検索のテクニック的な面からチョット離れて、
「情報検索」そのものについて、一般的な視点から書いてみたいと思います。
というのも、現在の日常において「検索」は特別なものではありません。
「検索画面」の使いこなしは一般的に、どなたもできるようになっています。
そして日常、一般的に検索する場合は、
“検索ボックスに検索語を入力して、検索ボタンを押せば検索できるから、これで良し” ではあるのですが、
これからも「情報検索」を利用していくにあたって、
“こういう見方ができると、情報検索と上手につき合っていける” というヒントがいくつかあります。
“情報検索の教養的部分” と言い換えても良いかもしれません。
今回のコラムは、そんな面からヒントのひとつをご紹介してみました。
情報検索技術の「縦の流れ」と「横のつながり」
皆さんが仕事で様々な検索システムを使われる場合、
基本的には、まずその検索システムの画面操作を学ばれると思います。
もしも皆さんが、このような基本的な「学び」を起点にして、
情報検索について “もう少し詳しくなりたい” と思われるのであれば、
情報検索技術を 「縦の流れ」 と 「横のつながり」 でとらえてみると良いかもしれません。
様々な検索システムを、情報処理や情報管理などの「技術面」から見た場合、
どんな技術も、単独で存在しているわけではないのです。
まずは、過去の様々な技術の積み重ねや、移り変わりの末に現在の技術が存在している。
これが 「縦の流れ」 です。
そして、様々な技術は相互に影響しあいながら存在している。
これが 「横のつながり」 です。
具体的に見てみしょう。
以下で例にとるGoogleの「PageRank」や「クローラー」などは、
ご存じのかたが多いと思います。
これらの、よく知られた技術を
「縦の流れ」や「横のつながり」の中で、とらえ直してみるとどうなるでしょうか。
そんな点に注意して、お読みいただけると良いかなと思います。
縦の流れ：情報検索システムは一日にして成らず
具体例として、インターネット検索エンジンのGoogleを見てみたいと思います。
★例１：Googleの PageRank（ページランク）★
PageRankはウェブページの「重要度」や「信頼性」を評価する技術です。
皆さんがGoogleで検索した結果は、 「PageRankの高い順＝重要度や信頼性の高い順」 に表示されます。
GoogleのPageRankの考え方では、
「多くのページから引用されるページは重要度が高い」 と判断され、
さらに、「重要度の高いページからから引用されるページも重要度が高い」 と判断されます。
そして、そのウェブページの「PageRank」が決まります。
このとき、Googleの検索システムだけを学んで、PageRankをとらえると、
Google独自の技術のように思えるのですが、
じつはPageRankの考え方は、学術文献を評価する方法と非常に似ているわけです。
学術文献は一般的に、「多くの論文から引用される文献は重要度が高い」 と判断されます。
そして、「重要度の高い論文からから引用される文献も重要度が高い」 と判断されます。
つまり、PageRankの考え方は、Googleの検索システムで、いきなり出現したわけではなくて、
過去に似たような考え方があって、その流れの末に存在していると、とらえることができます。
そして、ここでGoogleの優秀な点は、
この「学術文献の評価」の考え方を、「ウェブページの評価」に使ったという発想だと思います。
現在、私たちはPageRankに気軽に接しているので、PageRankを「アタリマエの技術」と思っています。
でももし、このPageRankの技術が無い状態だった場合、ウェブページのリンクに着眼して、
「リンク」を「文献の引用」に置き換えて、ページの重要度が評価できそうだと考えられるひとが、どのくらいいるでしょうか。
なかなか、いないのではないかと思います。
その点がGoogleの優秀さを示していると思います。
・・・念のため書くと、
PageRankについてGoogle社が実際に「文献の引用」を参考にしたかどうかは定かではありません
（この点について詳しくご存じの方がいらっしゃったら、教えて頂けると嬉しいです）。
でも「先行技術に対する進歩性である」と考えることができると思います。
というわけで、
「GoogleのPageRankって何？」を学ぶ場合も、
単にGoogleという検索システムの技術として学ぶのではなく、
過去から存在する「学術文献の評価」の流れの末の技術と理解すると、
さらにPageRankの発想の優秀さも理解できてきます。
・・・ちなみに、
コラム７４号「“芋づる式調査”を体験してみる」でもご紹介した、
Google Scholarは、「文献の引用」での評価が、よく分かるシステムです。
「多くの論文から引用される文献は重要度が高い」が、実際にランク表示されます。
また、Google Scholarのさらに優秀な点は（コラム７４号でも書きましたが）、
「その文献を引用して書いた文献」のデータをデータベース化し、
無料で利用できるようにした点だと思います。
各文献において、「その文献が引用している文献」は
その論文の最後に「引用文献」として記載されるので分かるのですが、
「その文献を引用して書いた文献」は、データベースを使わないと分かりません。
このデータベース化は、無料で提供できるほどの低コストではないことが多いので、
商用データベースでの提供になることが多いのですが、
Google Scholarでは無料で利用することができます。
（厳密に言えばGoogleも広告収入などで運営されているので、
全く無料というわけではないのですが、検索は無料です）
Google社も、社会的な面では様々な問題点を指摘されていますが、
純粋に「技術」の面から見ると、かなり優秀な企業であることは確かだと思います。
★例２：Googleの クローラー(スパイダー)★
クローラー(スパイダー)は、Googleのデータファイルに収録するウェブページを収集するプログラムです。
Googleでは各サーバに入っているウェブページのデータを、収集するために、
各サーバを巡回し、ハイパーリンクを利用して各ウェブページを探し出しています。
これを行っているのが 「クローラー(スパイダー)」 と称するプログラム（ソフトウェア）なのです。
ここで、
コラム９８号でご紹介した「データベースの流通経路」の図を思い出してください。
データベースのプロデュユーサ（作成機関）がデータファイルを作る際、
データファイルへ収録する 「収録基準」 がありました。
これは、どんなデータファイルの作成の場合も行われていて、
データベースでは過去から様々な収録基準が用いられています。
Googleのクローラーは、この収録基準の位置にある技術といえます。
つまり、
「データベースに収録すべきデータを集める基準」という考え方は、古くから存在する考え方であって、
「クローラー」は、その考え方を「ハイパーリンク（←これが基準）を利用して自動収集する」という発想で行った点が
優れているのではないかと思います。
これが他の検索エンジン、例えばYAhoo! JAPANの「Yahoo!カテゴリ」に収録される場合は、
YAhoo! JAPANへ登録（収録）の申込みをして、
YAhoo! JAPANのスタッフがページ内容を確認して、「登録可」と判断されたサイトが収録されるしくみです。
この点は、ご存じのかたも多いと思います。
この「収録基準」において Yahoo!カテゴリ と Google を比較した場合、
まずはYahoo! のほうが、信頼性の高いデータが収録されている可能性が高いです。
でも、収録データ数はYahoo!のほうが圧倒的に少ない。そして収録までのタイムラグもYahoo!のほうが大きい。
そして、スタッフ（人の目）を使うので、「高コスト」になります。
これがＧｏｏｇｌｅの場合は、まず低コストで行える。そして収録までのタイムラグも小さい。
さらに収録データ数は桁違いに多くなります。
ただし、収録データは玉成混交。信頼性の低いデータ（ページ）も収録されてしまう。
この点を、先にの「★例１」でご案内した「PageRank」で補っているといえます。
今、簡単にGoogleとYahoo!を比較しましたが、
ここで分かって頂きたい点は比較上の違いではなくて （もちろんそれはそれで大事なのですが（＾＾； ）、
“データファイルの「収録基準」の位置の技術” を比較した、という点です。
Googleのクローラーも、YAhoo!カテゴリ掲載も、
古くから存在する「収録基準」の考え方として理解できてくると、
広い視野で理解できるようになるのではないかと思います。
簡単に言えば、
“データファイルの収録するための選別ってのは昔からあって、
Googleではクローラーが勝手に見つけてくるし、YAhoo!は人が選んでるんだよね”
と、とらえると良いということです。はい。
横のつながり：検索システムの「技術」は単独で存在しない
情報検索技術に限らず、「技術」はお互いに影響しあい、参考にしあいながら発達しています。
これだけ言えば、細かい説明はしなくてもお分かりいただけるとは思いますが（＾＾；
具体例として「同義語検索」を見てみたいと思います。
★例：同義語を自動的に検索する★
前回のコラム１０１号の最初に部分も書きましたが、検索システムの最も基本的な仕組みは、
「入力した “語” と “同じ語” を持つデータがヒットする」 という仕組みです。
この基本を発展させた技術のひとつとして、
「入力した “語” の “同義語” を持つデータもヒットする」 という仕組みを持つ検索システムがあります。
「同義語」は、「表記は異なるけれど意味が同じである語」です。「同意語」や「異表記」とも言います。
例えば「着物＝和服＝呉服＝きもの＝キモノ」などがそうです。
また化学物質も「二酸化炭素＝ＣＯ２＝炭酸ガス」が同義語ですよね。
この同義語での検索について、
例えば商用データベース「日経テレコン２１」の「記事検索」では、「同義語展開」の機能があります。
同じく商用データベース「JDreamⅡ」の「JSTシソーラスブラウザ」にも、同義語を案内する機能があります。
そして、ご存じのかたも多いとは思いますがGoogleでも同義語が検索されます。
試しにGoogleの検索ボックスへ 「炭酸ガス」 と入力して検索してみてください。
「炭酸ガス」だけでなく、「二酸化炭素」もヒットしていると思います。
これらの技術を「横のつながり」でとらえてみましょう。
まず、
“検索の機能として「同義語展開」という考え方がある” ということを認識することが基本です。
これは、特定の検索システムに固定せず、広く情報検索の方法としてとらえることができます。
この「同義語展開」について、「日経テレコン２１」や「JDreamⅡ」などの商用データベースの多くは、
同義語の「辞書」を作っている場合が多いのです。
この辞書の作成は、人手を介する部分も多く、高コストになるのが一般的です。
だから、商用（有料）データベースでないと同義語検索機能が無い場合が多いです。
しかし、人手を介しているので、精度の高い同義語展開を利用できます。
これをGoogleでは、Webなどの大量のデータから自動的に学習した知識を使って低コストで提供しています。
無料の検索で同義語展開できる点が優れていると思います。
しかし、機械的な展開なので、精度の高い検索は期待できません。
でも参考検索としては、かなり役立てることができます。
つまり、「同義語展開」を基本として、
「辞書」を利用する技術と、「自動学習」を行う技術とがある、と理解できます。
この「辞書」 と 「自動学習」 が 「横のつながり」としての理解です。
また、同義語に展開する検索システムでは、
別途、関連技術として「形態素解析（けいたいそ かいせき）」の技術が使われている場合も多いです。
「形態素解析」は自然語を単語単位へ分割し、分割した各単語の品詞を判別する技術です。
ここで 「同義語検索」 と 「形態素解析」 も 技術の「横のつながり」として理解していくことができます。
かなり簡単に説明してしまいましたが、
どんな技術でも、やはり単独では存在していない場合が多いわけです。
ここで例にとった「同義語を自動的に検索する技術」も、
基本としての「同義語展開」という考え方、
同義語検索は「辞書」を使う方法なのか、「自動学習」したものを使う方法なのか、
また関連技術として「形態素解析」は、どのように使われているのか、と
横のつながりを意識しながら理解していくと、
各個別の検索システムの特徴（例：高コストだけど精度は良い、など）を
明確にとらえることができるようになるのではないかと思います。
今回はやや観念的なハナシになってしまいましたが、いかがだったでしょうか。
皆さんは仕事で様々な検索システムを使われていると思いますが、
その際、どうやら「その検索システム固有の使い方」を学ぶことにこだわってしまっていると
感じることが多いのです。
なるべく広い視野をもって、ご自分の使われている検索システムの機能の特徴を
理解できるようになっていただけると良いかな、と思いつつ書いてみました。
参考にしていただける点があれば幸いです。
ＨＯＭＥ