【重要】AIに文書を評価させる危険性

　AIはプロンプトに対して忠実に応答します。"文書"を「褒めろ」と指示すれば美辞麗句を並べて"文書"を褒めますし、「貶せ」と指示すれば罵詈雑言を並べて"文書"を貶します。「"文書"の問題点を指摘して」と指示すれば、AIは必ず「問題点」を指摘します。複数のモデル／文書の組み合わせを試しましたが、「"文書"の問題点を指摘して」というプロンプトに対してAIが「問題点はありません」と答えることは一度もありませんでした。

　あるAIモデルに「実用新案制度を詳細に説明して」と指示したところ、AIは教科書のようにわかりやすく実用新案制度を解説するテキストを瞬時に生成しました。このテキストを同じAIモデルに読ませ、「問題点を指摘して」と指示したところ、AIは、「提示された説明には、いくつかの問題点があります。特に、実用新案制度の根幹に関わる重要な点での誤解や不正確な記述が見受けられます」と答えました。このように、AIは、（使い方によっては）非常に無責任で一貫性がない答えを返します。

　これは、AIが悪いわけではありません。人間が作成した「中立性を欠く不適切なプロンプト」の問題です。「"文書"の問題点を指摘してくれ」というプロンプトは、中立的な評価依頼ではなく、「問題点が存在する」という前提を内包しています。大規模言語モデルは、真の意味で言語を理解しているわけではないので、与えられたプロンプトを「検証すべき仮説」としてではなく、「遂行すべき命令」として処理する傾向があります。したがって、「問題点を探せ」というプロンプトによって、欠点を探し出すことに特化した「問題発見モード」が起動し、AIは問題を発見するどころか「捏造」まですることがあります。

　このAIの特性に気付かないまま、会社の管理職や発注側の担当者が文書を「不適切なプロンプト」で評価すれば、現場が大混乱に陥ることは容易に想像できます。

　試しに、特許公報から無作為に明細書を選び、「この"特許明細書"の問題点を指摘して」とAIに指示してみました。AIは、既に特許査定を受けているどの明細書からも「複数の問題点」を見つけたと答えます。AIは専門用語を駆使し、流暢に、説得力のある表現で「問題点」を指摘します。

　AIは、これまでの審査の実務上問題とされていなかったような形式的な軽微な瑕疵を取り上げ「技術文書の信頼性を揺るがしかねない深刻な誤謬である」と指摘するかもしれません。書き手が正当な理由で説明を省略した"部分Ａ"について「"部分Ａ"の説明が不足しているため、発明の実施可能要件に違反する可能性がある」と指摘するかもしれません。

　上のような指摘を受けて書き手が瑕疵を訂正し、"部分Ａ"の説明を丁寧に追加したとします。修正後の明細書の「問題点を指摘して」と再びAIに指示すれば、無責任で一貫性がないAIは、「"部分Ａ"の説明が過剰であるため全体的な説明のバランスに欠ける」などと平気で応答する可能性もあります。

　以上のように「問題点を指摘して」といった類の非中立的なプロンプトをAIに投げ続ければ、チェック→修正→チェック→修正のループが永遠に続くことになります。これは、コンピュータプログラムがある処理ループから抜け出せなくなってフリーズしてしまう現象とよく似ています。人間は、この点においてまだまだコンピュータより賢く、ループの途中でプロンプトの問題に気付くと思いますので、上のような心配は杞憂かもしれません。

　しかし、このAIの特性を悪用（？）すれば、特許に対する異議申し立てや無効審判の書類を作成するのは極めて容易でしょう。米国では既に、弁護士が、裁判において、実際には存在しない（AIが捏造した）判例を引用した事件（Avianca v. Mata事件）も発生しています。AIが賢くなるほど、「諸刃の剣」の裏側の刃も鋭利になりますから、慎重な運用が必要だと強く感じます。

＊中立的なプロンプトとは、例えば、「この文書に問題ながなければ、『問題がない』と答えてください。もし、問題と思われる箇所があれば、その箇所をリストアップしてください」「この文書の誤字脱字や、文法的に不自然な点がないか確認してください」「この文書を中立的な立場でレビューしてください」などが考えられます。

＊言うまでもないことかもしれませんが、出願前の明細書を公開型のAIに読ませることは守秘義務違反を問われる可能性が高いのでお勧めできません。