ＨＯＭＥ ｜ 事務所紹介 ｜ サーチャー紹介 ｜講習会・講演会・執筆 ｜ コラムバックナンバー ｜お問合せ ｜
ＨＯＭＥ ｜ 事務所紹介 ｜ サーチャー紹介 ｜講習会・講演会・執筆 ｜ コラムバックナンバー ｜お問合せ ｜
注意：内容は執筆時点での情報です
コラム第９７号（2011/2/8UP）
「初心者泣かせの検索用語 －８：重複除去－」
情報検索用語としての「重複除去」。
じつは、この「重複除去」という検索用語の意味は、とても簡単でシンプルなのです。
だから、今回この「重複除去」を“初心者泣かせの検索用語”として取り上げるのは、
用語として意味が分かりにくいからではないのです。
では何故、この「重複除去」という検索用語が初心者泣かせなのか。
という説明をする前に、
皆さん、今ここで 「情報検索における重複除去とは？」 と質問されたなら、どのように回答しますか。
もし、この質問を教室などで複数のかたに行えば、
たぶん多様な回答があると思います・・・って、ちょっとヘンですよね。
情報検索の専門用語なら、“知ってる” か “知らない” か、どちらかのはず。
「多様な回答がある」って、どういうことでしょうか。
この理由を簡単に言えば、
「重複除去」という用語は 「誤解しがちな用語」、 または 「混同しがちな用語」 なんです。
しかしながら、
最初に書いたように情報検索用語としての「重複除去」の意味は、とても簡単でシンプル。
だから情報検索関連の本や、データベースのマニュアルなどでは、「分かりきった言葉」として扱われることが多いし、
検索初心者を指導するかた（情報室の担当者など）も「重複除去されますので・・・」と、サラッと説明してしまうことが多い。
そのため 「正しい意味」 をキチンと理解する機会が無かったりするのです。
だから例えば、新規に導入しようとする検索システムの説明書に「重複するレコードが除去される」などと書いてあっても、
その説明の意味が正しく読み取れていなかったりするのです。
しかも始末が悪いことに、正しく読み取れていないことを自覚できにくい。
というわけで今回は、
情報検索初心者のかたが、どんなふうに誤解したり、混同したりするのか、という点も含めて、
「重複除去」について書きたいと思います。
「重複除去」の意味が充分理解できているかたも、初めて「重複除去」という言葉に接するかたも、
皆さん、それぞれの立場で、お読みいただけたらと思います。
なお今回は、検索例での詳細データ確認しながら読む部分などもあって、
かなり長いコラムになってしまいました。
もし宜しければ、お時間に余裕のあるときに読んでいただくと良いかもしれません。
情報検索における「重複除去」の意味
例えば文献検索する場合、
まず検索Ａで、つぎのように５件がヒットしたとします。
検索Ａ：ヒット５件
０１ 文献ａ
０２ 文献ｂ
０４ 文献ｄ
０５ 文献ｅ
０６ 文献ｆ
次に検索Ｂで、次のように３件がヒットしたとします。
検索Ｂ：ヒット３件
０３ 文献ｃ
０４ 文献ｄ
０６ 文献ｆ
ここで検索Ａと検索ＢをＯＲ演算し、単純に番号順に表示させると、本来は次のようになります。
検索Ａ ＯＲ 検索Ｂ ： ５件＋３件＝８件
０１ 文献ａ
０２ 文献ｂ
０３ 文献ｃ
０４ 文献ｄ
※０４ 文献ｄ
０５ 文献ｅ
０６ 文献ｆ
※０６ 文献ｆ
ここで「※」のついた「０４ 文献ｄ」 と 「０６ 文献ｆ」 は、ダブってますよね。
これが「重複」です。 データベースでは、特に「重複レコード」と称する場合が多いです。
このような場合に、
「※」のついた「０４ 文献ｄ」 と 「０６ 文献ｆ」 は「除去」して、ヒット件数を表示し、
検索結果を表示させる機能が 「重複除去」 です。
なお、検索システムによっては「重複削除」という言葉を使っている場合もありますが、同じことです。
重複除去機能により、検索Ａと検索ＢをＯＲ演算すると、
一般的な検索システムでは、次のようにヒット件数「６件」が表示され、結果が表示されます。
検索Ａ ＯＲ 検索Ｂ：ヒット件数６件
０１ 文献ａ
０２ 文献ｂ
０３ 文献ｃ
０４ 文献ｄ
０５ 文献ｅ
０６ 文献ｆ
一般的な検索システムでは、この重複除去の機能（プログラム）が働くために、
この例のように 「５件＋３件」 のＯＲ演算を行うと 「８件以下の件数」 になるのです。
これを図で表すと次のとおりです。
この機能は、すでに皆さん、よくご承知だと思います。
多くのかたは、このようなＯＲ演算の裏で、重複除去の機能が働いている点を意識していない場合が多いと思います。
しかし実際には、もしも重複除去機能が働かない検索システムであった場合は、
上で例にとった「※」の付いたデータ（レコード）が、そのまま表示されてしまうことになります。
なお、
上の例では、単純に「１つのファイル」を検索した場合で説明しましたが、
「複数のファイル」を一括検索（マルチファイル検索）した場合、
ファイル間で重複するデータも削除する機能をもつ検索システムもあります。
分かりやすい例としては、「JDreamⅡ（ジェイドリームツー）」のマルチファイル検索があります。
JDreamⅡでは例えば、
「JSTPlus」のファイルに収録されている科学技術文献のデータと、
「JMEDPlus」のファイルに収録されている医学関連の文献のデータを、
一括（マルチファイル）で検索できる機能があります。
例えば「医療機器」に関する文献を検索したい場合、
医療機器の「技術面」からの文献も、「医療面」からの文献も、両方必要です。
このような場合に、このマルチファイル検索は大変便利です。
さて、この場合に
「JSTPlus」のファイルと 「JMEDPlus」のファイルの 両方のファイルに重複して収録されている論文誌があります。
ですので、JDreamⅡでマルチファイル検索した場合、両方のファイルからヒットするデータ（レコード）があります。
この場合も、ファイル間で重複するデータ（レコード）が削除されます。
JDreamⅡをご利用のかたは、マルチファイル検索した場合のヒット件数が
「ヒット件数：○○件 （重複削除前ヒット件数：○○○件）」 と表示されるので、すでにお馴染みではないかと思います。
これを最初に説明した例に照らせば、
「ヒット件数：○○件」は「６件」、「（重複削除前ヒット件数：○○○件）」は「８件」です。
・・・ちなみに、
JDreamⅡをご利用でないかたで、
“JDreamⅡのマルチファイル検索での、実際のヒット件数表示画面を見てみてみたい” という場合、
手前味噌で恐縮ですが、もしも拙著『社会人・学生のための情報検索入門』をお持ちでしたら、
１２３頁の「図１７－７」で、実際の表示画面がご確認頂けます。よろしかったらご参照ください。
・・・もう１つ ちなみに、
コラム９３号「初心者泣かせの検索用語 －４：データベースの「ファイル名」と「システム名」－」で、
“データベースに関する説明文を読むとき、「ファイル名」と「システム名」を区別しながら考えると、
かなり理解がしやすくなるのではないかと思います” と書きましたが、
この点について、今回のJDreamⅡでのマルチファイル検索の説明部分などで、
実感して頂けたかもしれません。 いかがだったでしょうか。
重複除去されない例
「重複除去」を理解するには、逆に「重複除去されない例」を見てみると、理解が深まるかもしれません。
例えば、国立情報学研究所の「ＮＩＩ論文情報ナビゲータ ＣｉＮｉｉ（サイニィ）」を見てみましょう。
（注意：以下の検索例は、２０１１年２月８日現在の検索結果をもとに書いています）
ＣｉＮｉｉトップページの大きな検索ボックスに、検索例として 「微細手術 制御」 と入力して（「微細手術」と「制御」の間にスペースを入れます）、
右側の「論文検索」のボタンをクリックすると、６件程度の論文がヒットすると思います。
（「論文検索」のボタンが表示されていない場合は、検索ボックスの上のタブで「論文検索」を選択すると表示されます）
検索結果表示画面は、基本的には「論文名降順」でリスト表示されていると思います。
このリストを確認すると、１番目と２番目は同じタイトルです。
タイトルは 「微細手術のための環境との干渉状態を考慮したバイラテラル制御」 です。 確認できましたか？
著者は 「大原 直幸 , 中澤 和夫 , 森川 康英」の各氏、
収録刊行物は 「日本機械学會論文集. C編」、 巻号と頁は 「76(766), 1470-1475, 2010-06-25」。 全く同じです。
ちなみに巻号と頁として記載される、数字と記号の羅列（！） 「76(766), 1470-1475, 2010-06-25」 は、
「2010年06月25日刊行」 の 「ｖｏｌ.76（76巻6号）」 の 「1470-1475頁」 を表しています。
これ、ダブってますね。 検索者（人間！）の目で見ると明らかに「重複」です。
そこで、この２つのタイトルをそれぞれクリックして詳細表示してみてください。
詳細表示したら画面右端（下方）の 「各種コード」 の 「NII論文ID」 を見てみます。
すると、一方のNII論文IDが「110007642546」、もう一方のNII論文IDが「10026664375」。
機械にとっては「別の論文」と認識されているのです。
さて、CiNiiではなぜ、このようなことが起こるのかというと・・・
まず、ＣｉＮｉｉは複数のデータベースを統合して検索するシステムなんですね。
国立情報学研究所の「NII-ELS」、各大学の共同入力である「NII-ELS」、
国立情報学研究所の引用文献索引データベースである「CJP書誌」「CJP引用」、
国立国会図書館の雑誌記事索引データベース「NDL」、
各大学の機関リポジトリとして「IR」、
独立行政法人科学技術振興機構（JST）の「J-STAGE」「Journal@rchive」
このように様々な機関が作成した個別のデータベースが収録されています。
で、基本的にはＣｉＮｉｉの「ＣｉＮｉｉについて」のページに説明されているように、
「同じ論文が複数のデータベースに登録されている場合、判定の上、１つの論文として表示します」
ということなのですが、残念ながら上でご紹介したように、完全に判定できない面もあるようで、
「同じ論文」が「別の論文」と認識され、このように重複して表示される例を時々見かけます。
そこで、もう一度それぞれの詳細表示をよく確認してみると、
先ほど見た「各種コード」の最下段に「収録DB」の項があって、
一方は「NDL」と「NII-ELS」、もう一方は「CJP書誌」です。 ・・・こういうコトなんですね。
というわけなので、複数のデータベースを統合したものを検索した場合などは、
このように重複したままヒットし、表示される例もあるということを知っておかれると良いと思います。
まぁ基本的には「論文名順」などで表示させれば、重複していることはスグ分かるし、
ＣｉＮｉｉのように無料で利用できる検索システムは、重複表示で重複課金されることもないし（＾＾；
大きな問題は無いのではないかと思います。
そして逆に、このような「重複している例」を見ると、
「自分の使っている検索システムでは複数のファイルを一括検索しても、重複除去の機能が働いているんだね」
という理解が深まるのではないかと思います。
例えば、JDreamⅡで「JSTPlus」と「JMEDPlus」をマルチファイル検索した場合は、
同一の論文は、どのファイルに収録されていても「同一の論文である」と認識されるため、
重複除去されるわけです。
・・・ちなみに、
非常に大雑把な説明をしてしまうと、
インターネットのＧｏｏｇｌｅ検索でも重複除去や、逆に重複表示があります。
このことは皆さんも、ご経験済みではないかと思います。
Ｇｏｏｇｌｅも「HTMLレベルで見て似たような形になっている」などの識別方法で、
「似たページ（重複）」が除かれてヒットするようですが、
逆に人間の目で見て「同じページ（重複）」でも、
HTMLレベルでの機械的判断で「似ていない」と判断されると、
重複したページがヒットしてしまいます。
実際、皆さん普段のＧｏｏｇｌｅ検索で、
“どうして「似たページ」として除かれてしまうんだろう” とか、
“同じページがいっぱいヒットしてる・・・（泣）” とか、感じているかたも多いと思います。
そんなイライラ（！）が生じたとき、
今回のＣｉＮｉｉでの重複表示の例ように、機械のデータ識別は、なかなか完璧にはできなくて、
特に「複数のファイル」からデータを集めて統合して検索する場合（大まかに言えばＧｏｏｇｌｅ検索もコレにあたります）、
重複が生じやすいという点を参考にしていただくのも良いかと思います。
「重複除去」を、初心者はどのように誤解するのか？
ここまで読んできて・・・いかがでしたか、
あなたの思っていた「重複除去」と一致する説明でしたか。
それならば良かったです。
でも、“自分の思っていた「重複除去」とはチョット違っていた” というかたもいらっしゃるのではないでしょうか。
情報検索の初心者のかたが始めて「重複除去」という用語を見た場合、
「重複するレコードが除去されます」 という説明を素直に読んでしまうと、
じつは “検索の結果に重複するレコードが生じた場合、そのレコードは全て除かれてしまうの？”
と思ってしまうかたが結構いらっしゃるんですね。
これは、どういう理解のしかたかというと
上の図で重複していいる文献「０４」と「０６」は、除かれてしまって、
検索結果は「０１」「０２」「０３」「０５」の「４件」になる、と思ってしまう。
そんなことをしたらＡＮＤ演算なんて、どんな場合も全て「０件」になってしまう。
でも 「重複するレコードが除去されます」 というシンプルな説明文のみを読むと、
確かに、そういう誤解も生じるなぁ、と思います。
そういうかたへの説明方法は、大きく２通りあって、
１つは、「重複というのは２件目以降のことであって、最初の１件は残ります」 という説明方法。
もう１つは、上のような「図」が頭に思い浮かんでいるかたの場合、
「重なった部分（重複）は１つにまとまってヒットします」 という説明方法です。
意外に、この後者の説明方法が分かりやすいようです。
また、別の「初心者理解（誤解）」の代表例としては、
「自分の知っている重複除去と混同するため理解しにくい」という例があります。
「データの重複を除く」という概念は、じつは情報検索以外の分野でも使われる概念（言葉）なんですね。
例えば
“パソコンのファイルで重複して保存されてしまったファイルを除去する”とか、
“Excelなどで作成したデータ中に重複するデータがあったら削除する”とか、
様々な場合に「重複除去」という言葉が使われます。
このようなかたの場合、
新規に導入しようとする検索システムの説明書に「重複するレコードが除去されます」などと書いてあると、
“データ作成機関が重複したデータを作成した場合に、その重複データを除いて提供するっていうこと？”
というように理解しようとする。
こういうかたへの説明は、
「情報検索した場合、検索Ａと検索Ｂそれぞれの結果の両方に存在するデータが“重複”なので、
検索Ａ＋検索Ｂを行った場合、重複したデータは除去されるということです」 と説明すれば良いようです。
説明のポイントは「検索するときの機能」という点が、分かるように説明することだと思います。
以上、とりあえず代表的な「誤解例」を２つ挙げてみました。
情報検索での「重複除去」という用語は、ぶっちゃけ漢字で書いてあるし（＾＾；
そのまま読んでも何となく分かったような気がする、という点で要注意かもしれません。
例えばコラム９０号でご案内した「アップポスティング」や、コラム９１号で説明した「ＦＩ」や「Ｆターム」などの場合は、
初めてこれらの用語を見た場合、何だか全然分からないから意味をしっかり調べますよね。
でも「重複除去」は、何となく分かったような気がしてしまう。
そんな点からも、後輩や、情報室利用者のかたなどに検索案内する場合、
「重複除去」がキチンと理解できたかどうか気を付けてあげると良いかもしれません。
また、
最初に書きましたが「重複除去」という用語の意味をキチンと理解できていない場合、
自分では誤解していることを自覚できにくいんですよね。
これが何故かというと、実際に検索システムを使うにあたって、
重複除去はシステム側が勝手に（？）行っていることなので、
検索者側が重複除去されていることを知らなくても、検索に支障が生じないからです。
これが「ＦＩ」や「Ｆターム」などは、意味が理解できなければ検索できない。
でも「重複除去」のようにシステム側が行う機能の用語、
また「アップポスティング」のように情報作成機関側が行うことを表す用語は、
検索者側は特にに知らなくても、検索できないような事態は生じないわけです。
でも、コラム８４号にも少し書きましたが、
検索システムの基本を体系的に知っていると知らないとでは、検索時の判断や応用が全く違ってきます。
例えば「応用」の面から言うと、 「重複除去」を理解することにより、
今回ご紹介したようなCiNiiでの重複ヒットの理由を理解する際に役立つでしょうし、
またGoogle検索で同じページが複数ヒットする理由も、なんとなく分かってくる。
そのような面からも、検索を学ぶにあたって 「画面操作ができれば良し」 ではなく、
情報検索の用語の意味を正しく理解しておくということが大事かなと思います。
かなり長い説明になってしまいましたが、読んでくださって有難うございます。
ご自分で検索なさるかたのほか、検索指導する立場のかたの参考になる点があればと思いつつ
書いてみました。いかがだったでしょうか。
ＨＯＭＥ