情報検索コラム

三月うさぎのティールーム/情報検索コラム

情報検索・調査・利用について
“知っていると便利”“こんなときどうする”“コレにはご注意!”などなど思いつくままに書かせていただきます。

ちなみに「三月うさぎ」はルイス・キャロル著『不思議の国のアリス』に出てくる「いつまでも終わらないお茶会をしている」ちょっとヘンなうさぎです。

「ティールーム」は、お仕事の休憩時間のお茶といっしょに読んでいただけるくらいの長さと内容というコンセプトを、アリスの三月うさぎの「お茶会」にかけてあります。(毎月1回更新します)

>コラムバックナンバー 一覧へ

コラム第245号(2023/10/10UP)

情報の信頼性判断のヒント -大規模言語モデルを使う-

注意:記載内容やリンクは執筆時点での情報です。

今回のコラムも書籍執筆の経験を中心に、情報の信頼性判断のヒントになりそうなことを書いてみたいと思います。

かなり以前(2009年)のことですが出版社・ひつじ書房から依頼を頂き『社会人・学生のための情報検索入門』という本を書かせて頂きました。書籍執筆は執筆経験の内容が濃くて深かったので、いつかこのコラムでその経験を書きたいと思っていました。そんななかで最近は、信頼してはいけない記事の拡散や、AIが自動で作成した記事の信頼性の問題などが広く取り上げられるようになってきました。そこで「一般に公開される情報の信頼性」という観点から書くならば、執筆にあたって経験した様々な事柄も皆さんの役に立つかもしれないと思います。そんな経緯からここ数回のコラムでは情報の信頼性判断のヒントになりそうなことを書いています。

前回のコラム244号では複数の情報がお互いに関連しあうことによる利点と問題点を、情報の信頼性の面から書きました。今回のコラムでは生成AIの大規模言語モデルを使うことに関連する信頼性について、現時点(2023年10月)で感じていることを書いてみたいと思います。

大規模言語モデルを使ってみる

昨年(2022年)11月にサービスが開始された大規模言語モデルの生成AIである ChatGPT が、今年に入ってからかなり話題に上りました。2023年10月現在、有料版(ChatGPT Plus)と無料版があります。また Microsoft社の Windows Copilot も Windows 11 で無料のプレビューが使えるようになりました。これらの無料版を使ってみた感想を書いてみます。

ChatGPT も copilot も様々な使い方ができるようですが対話型AIということで、まずは知りたいことを単純に質問してみました。

質問:特許サーチャーに必要なスキルは何でしょうか。

------------------以下、ChatGPT からの回答を転載------------------
特許サーチャーとして成功するために必要なスキルは多岐にわたります。以下に、特許サーチャーに必要な主要なスキルと能力をいくつか示します:

1.法的知識: 特許に関する法的知識が不可欠です。特許法や特許制度についての理解が必要であり、特許の有効性や侵害の評価を行う際に法的規定を適用できる能力が求められます。

2.科学的知識: 特許は技術的な発明や革新に関連していますので、科学的知識が非常に重要です。特に特許サーチャーは特定の技術分野に精通していることが求められます。

3.情報検索スキル: 特許文献を効果的に検索し、評価するための情報検索スキルが必要です。特許データベースの使い方を熟知し、正確な情報を見つける能力が求められます。

4.分析力: 特許文献を分析し、特許の有効性や競合特許との比較評価を行うための分析能力が必要です。論理的思考や問題解決能力が重要です。

5.コミュニケーション能力: 特許サーチャーは顧客やクライアントと連絡を取り、説明を行う必要があります。明確で効果的なコミュニケーション能力が不可欠です。

6.プライバシーと機密情報の尊重: 特許サーチャーはクライアントのプライバシーと機密情報を守る義務があります。機密情報を適切に取り扱う能力が求められます。

7.テクノロジー利用能力: 特許サーチには特許データベースや専門ソフトウェアの使用が必要です。これらのテクノロジーを効果的に活用できる能力が求められます。

8.継続的学習: 特許法や技術は変化し続けています。特許サーチャーは常に最新の情報を追跡し、新しいスキルや知識を習得する姿勢が求められます。

9.時間管理能力: 特許サーチは時間に制約があることが多いため、効率的な時間管理が不可欠です。

10.詳細志向: 特許文献には細かい情報が含まれており、詳細を見落とさないための注意力と忍耐力が必要です。

特許サーチャーは専門知識と多くのスキルを組み合わせて、特許に関する重要な情報を提供し、クライアントのビジネス戦略に貢献する役割を果たします。
------------------以上、ChatGPT からの回答を転載------------------

これら10項目をスラスラと回答してくれました(混み合っているときは時間がかかることもあるようです)。すばらしく優秀な回答です。例えば私が講演などの質疑で「特許サーチャーに必要なスキルは何でしょうか」と質問されても、こんな優秀な回答はできません。そして思ったのは拙著『社会人・学生のための情報検索』の執筆時に生成AIがあったなら使いたかったな、です。

本を書くときは構想を練って、何を書くか、どういう順番で書くか、どこまで詳しく説明するか、何を書かないか、など様々に検討を重ねながら書きます。この構想を練るときは、どうしても自分の考えの内から外に出ていけない面があります。できれば出版社との打合せでアドバイスなどがあると良いのですが、私の場合はコラム241号に書いたとおり出版社は情報検索について詳しくなかった。だから書籍執筆時に生成AIで項目と説明の列挙があったなら、ずいぶん助かったと思います。自分では思いつかなかったことや見落としていたことなどを生成AIで確認しながら書けたら、執筆内容の向上につながったと思います。

もうひとつ copilot の回答を紹介します。

------------------以下、copilot からの回答を転載(各項頭の●は味岡付記)------------------
特許サーチャーになるには、以下のようなスキルが必要です。

●コンピュータやインターネットの知識:特許調査には、様々なデータベースや検索ツールを使うことが多いので、それらを効率的に操作できることが求められます。また、インターネット上の情報を適切に収集・分析できることも重要です。

●データベースの高度な知識:特許調査では、特許庁や国際機関が提供する特許データベースだけでなく、商業的な特許データベースや非特許文献データベースも利用します。それらのデータベースの特徴や機能を理解し、目的に応じて最適なデータベースを選択できることが必要です。

●法律の知識:特許調査では、特許法やその他の関連法規を適用して、特許の新規性や進歩性、有効性や侵害性などを判断します。そのため、法律の知識を持ち、法的な論理で調査結果を分析・評価できることが求められます。

●読解力や語学力:特許調査では、多くの文献を読み解く必要があります。その中には、専門的な用語や図表が多用されたり、曖昧さや二重性があったりするものもあります。また、海外の文献も多く含まれることがあります。そのため、読解力や語学力を持ち、文献の内容を正確に理解できることが必要です。

●コミュニケーションスキル:特許調査では、情報要求部署やクライアントとのコミュニケーションが重要です。調査依頼内容から真のニーズを把握するためのヒアリングスキルや、調査結果を分かりやすく伝えるためのプレゼンテーションスキルなどが必要です。また、情報から一歩進んで提言や提案ができることも期待されます。

以上のスキルは、一般的なサーチャーに求められるものですが、企業や業界によっては、さらに専門的な技術知識や事業理解などが必要になる場合もあります。サーチャーになりたい方は、自分が目指す分野や職場に合わせてスキルを磨くことが大切です。

参考文献:
1 第4章 サーチャー育成の標準モデル - INPIT
2 特許調査従事者(サーチャー) の育成に向けて - Japio
3 【サーチャーになるには】仕事内容と年収 | Indeed (インディード)
4 特許サーチャーに必要なスキルは何ですか - Bing
5 【6】サーチャーはいらない;検索スキルがすべてではない …
6 研究者・技術者が特許を出せるようになるまでのロードマップ …
------------------以上、copilot からの回答を転載-----------------

全体的には ChatGPT のほうが網羅的で詳細に回答していますが copilot の特徴は参考文献のリンクが示されることです。これらのリンクはインターネットの検索エンジンで「特許サーチャー AND スキル」で検索した結果とほぼ同じです(2023年10月現在)。

大規模言語モデルの生成AIは間違った回答をするか?

ChatGPT が話題なった今年(2023年)前半くらいから、大規模言語モデルの生成AIが事実と異なる回答をするという問題点がメディアなどで様々に指摘されています。この点について私が使った無料版では今のところ間違った回答は無いです。また特許関連の質問をした場合は「私の知識は2021年までのものであり、・・・」という回答とともに、具体的な特許公報は回答してもらえません。回答してもらえないということは間違った回答も無いということです。非特許文献の論文なども具体的に教えてくれることはなく、データベースで検索することを勧められます。ただしデータベースで検索するときのキーワードをなどは示してくれます。

例えば「風力発電の技術面での問題点について論文検索する場合のキーワードを、問題点ごとに教えてください」という質問には、次のとおりの回答でした。

------------------以下、ChatGPT からの回答を転載------------------
風力発電の技術面での問題点について論文を検索する際に、特定の問題点に焦点を当てたキーワードを使用することで、効果的な検索結果を得ることができます。以下に、いくつかの風力発電技術の問題点別にキーワードを挙げてみます:

1.風の変動と不安定性:
Wind Power Variability
Wind Energy Forecasting
Wind Farm Output Fluctuations
Wind Speed Variation
Wind Power Ramp Events

2.風力発電の可視化と予測モデリング:
Wind Power Visualization
Wind Power Prediction Models
Wind Energy Forecast Accuracy
Wind Power Forecasting Techniques

3.風力発電の効率向上と新しい設計手法:
Wind Turbine Efficiency
Wind Turbine Design Optimization
Wind Turbine Blade Shape Optimization
Wind Turbine Control Systems

4.風力発電の環境への影響と持続可能性:
Environmental Impact of Wind Power
Wildlife Impact of Wind Farms
Wind Power Environmental Sustainability
Wind Energy and Ecosystem Conservation

5.風力発電の統合と電力ネットワークへの影響:
Grid Integration of Wind Power
Wind Power Grid Stability
Wind Power Transmission Challenges
Wind Power and Smart Grids

これらのキーワードを論文検索エンジンや学術データベースで使用することで、特定の問題点に焦点を当てた最新の研究論文を見つけるのに役立ちます。また、これらのキーワードを組み合わせて検索することで、より具体的なテーマに関する論文を絞り込むことができます。
------------------以上、ChatGPT からの回答を転載------------------

ChatGPT は基本は英語のキーワード回答されることが多いです。列挙されるキーワードには漏れがあったり、自分の調査するテーマには不要なキーワードがあったり、また日本語での検索には不向きな用語もあるとは思います。でも間違った情報の提供はしていないと思います。検索するときに自分では思いつかなかったキーワードが示されるなどの参考になる面があると思います。「論文検索エンジンや学術データベースで使用する」などの案内も適切だと思います。

というわけで GPT-3.5(無料版)について、私の使用方法では今のところ問題無しなのですが、弁理士のかたが GPT-3.5 や GPT-4(有料版)、また Bing Chat で特許に関する質問を試した例が紹介されていました(※参考1、参考2)。全く存在しない特許について「自信満々で回答する」などの問題点が指摘されています。日本特許の特許番号のいい加減さには笑いましたが、つい信じてしまいそうなくらいキレイな回答です。

デタラメの回答を生成することについて弁理士のかたは記事のタイトルでは「妄想癖」と書かれていますが、記事中では「ハルシネーション(幻覚)」という専門用語で説明しています。大規模言語モデルについて書かれた書籍(※参考3)でも「大規模言語モデルには、存在しない情報を作り出してしまうという致命的な問題がある。これは、専門用語で「幻覚(hallucination:ハルシネーション)」とよばれる」とのことで、大規模言語モデルのリスクや課題の筆頭に挙げられています。

大規模言語モデルの生成AIを使うなら

大規模言語モデルの生成AIについて、上の項で紹介した弁理士のかたの結論は「大雑把に言うと、ChatGPTは「ファクト」に関する仕事には使いにくいが、「表現」に関する仕事ではきわめて有能」とのことでした。では私の結論はどうかというと、コラム242号コラム243号でウィキペディアの信頼性について書いた結論と同じです。生成AIの優秀さは使ったほうが良いが、生成AIだけを使うのはお勧めしない、です。

ウィキペディアも改めて検証してみると優れた内容が書かれていたりする。その点では使ったほうが良いけれど、信頼性に欠ける内容も存在する。だから他の情報と併用するのが好ましい使い方だと書きました。サーチャーの立場から言えば、生成AIは何回か使ってみて上手な使い方を自分で見つけることが大事だと思います。ただし生成AIの回答だけを頼るのではなく、他の情報と併用する。例えば今回は論文検索に関するキーワードを回答させましたが回答はあくまでも参考です。他の情報への手がかりとして上手に使いたい。

また弁理士のかたが「「ファクト」に関する仕事には使いにくい」と書かれているように、特に「事実」に関する回答内容については、他の情報も十分に確認しながら注意して使うべきだと思います。今回のコラムでは長くなるので詳しく書きませんが、例えば特定の特許分野に関する主要な出願人を生成AIに10社列挙してもらったところ、私が特許検索した結果とはかなり相違する結果となりました。AIの回答と私の検索結果からのランキングでは、10社中で3社しか一致しませんでした。ただしまるっきり存在しない会社名は回答されませんでした。またその分野に全く関係しない会社も回答されませんでした。しかしその技術分野では出願件数が少なくて主要な出願人として回答するのはどうかと思わる会社は多数含まれていました。その会社のホームページなども確認しましたが、紹介される製品にその技術分野に関する製品は含まれていませんでした。AIの回答はどうしてその回答になるのかが不明です。ただし参考になるうえ、全くのウソが回答されるわけではないレベルです。

※参考URL、参考文献

※参考1(インターネット記事)
「妄想癖」が治らない限りChatGPTは調査業務には使えない
YAHOO! JAPAN ニュース 2023/3/30
https://news.yahoo.co.jp/expert/articles/9ca5fafee9740ffcb6867c3e6d50f14e8dd717e3

※参考2(インターネット記事)
ChatGPTは弁理士業務に使えるか?
栗原 潔のIT弁理士日記 2023/3/19
https://techvisor.jp/blog/archives/6276

※参考3(書籍)
書名:大規模言語モデルは新たな知能か : ChatGPTが変えた世界
著者:岡野原 大輔
出版者:岩波書店
出版年月 :2023年6月

※参考4(雑誌記事)
タイトル:弁理士業務とAI特許作成
著者:白坂 一
掲載誌名:パテント(75巻2号, 17-26頁)
出版者:日本弁理士会
発行年月:2022年2月

生成AIについて知ったときに真っ先に思ったのは、これからは特許明細書作成に生成AIが使われるようになるんだろうな、でした。特許公報は読むのも大変ですが書くのはもっと大変なはずで、良質の明細書作成の労力削減になるのなら好ましいと思いました。心配なのは出願件数を増やすための明細書乱造(?!)にならなければいいけど・・・です。生成AIを特許明細書作成に使うことについて、弁理士のかたのレポート(※参考4)なども読ませて頂きました。大雑把に言って今のところはスピードは速いけど、内容には難点があるということのようです。ただしこのレポートは2022年2月発行のもので、既に1年半以上以前の内容です。生成AIの技術進歩もあり、現在ではもっと状況が進んでるのではないかと思われます。というのも今回このコラムを書くにあたって、現時点での生成AIを使ってみましたが、コラム本文中で引用した弁理士のかたの生成AI使用感に比べて、かなり正確性が向上しているように感じました。また機会があれば生成AIについて、このコラムで書いてみたいとも思います。

>コラムバックナンバー 一覧へ

お問い合わせ
メール
情報サロン味岡
〒430-0812
静岡県浜松市南区
本郷町1329−4−201
三月うさぎのティールーム/情報検索のお役立ちコラム
このページのトップへ