最速レビュー「自然言語判例検索LEAGLES」〜「あらゆる法曹関係者に寄り添った判例検索サービス」は実用に堪えるのか？

入門 自然言語処理

１．趣味は判例検索です！
　人の趣味には色々な趣味があるだろうが「趣味は判例検索です！」という人はあまりいないのではなかろうか。私は数少ないそういう「変な趣味」を持っており、

　サイ太先生が大噓判例八百選を書かれた際には、メジャーな判例データベースのクロスレビューに参加させて頂いたりした。
年齢認証

２．期待したい判例検索
ここで、判例データベースの検索方式が、３０年遅れというのは昔から思っていたことである。例えば、判例を検索する時に我々が知りたいのは、「システム開発でベンダーが敗訴した事件」とか「慰謝料が高額な離婚訴訟」の判決なのであるが、これをそのまま入力しても何も求めたい判例は出てこない。例えば、システム開発であれば「システム」「プログラム」等のキーワードを自分で考えて検索する必要があり、大変面倒くさい訳である。

　ここで、２０１５年５月２０日にサービスインした「自然言語判例検索LEAGLES」は、自然文検索を可能とすることによって、より検索が容易になることをうたっている。

http://joyonews.jp/smart/?p=5252

あらゆる法曹関係者に寄り添った判例検索サービス
といううたい文句は、なかなか魅力的である。

これは使ってみなければ！

　ということで、しばらく使ってみた。

３．収録判例が少ないです。。。
　まず、実務でまともに使える判例データベースは公刊判例を最低限網羅していないといけない。例えば、判例タイムズや判例時報といった一般的な判例雑誌に掲載されている判例を知らないで準備書面なんかを書くと、後で相手方から、この判決は高裁でひっくり返っていますよねとか裁判例の大勢は逆の判断をしていますよね等といわれて恥ずかしい思いをする。　
　その観点からすると、例えば、最高裁判所が提供している判例データベースは、「司法の透明性」や「裁判の公開」という趣旨で提供されているに過ぎず、商用データベースを契約しなくても、最高裁HPがあるからいいや等というのは、まともな実務家であれば口が裂けても言ってはならないだろう*1。

　この観点からは、「自然言語判例検索LEAGLES」は判例の網羅性に欠けている。

　例えば、単純な話だが、代表的な商用データベースの１つであるWestlawで「アニメ」で検索すると、２０１５年５月２０日現在２７７件が出て来る。。上述のように網羅性に欠ける最高裁HPすら１３０件である。

　これに対し、「自然言語判例検索LEAGLES」はなんと驚きの７１件である。

　最高裁HP掲載判例の一部をデータベースとして収録しているだけであると理解される。

　もしも、有料にして実務に使って欲しいのであれば収録判例を大幅に増強する必要があるだろう。収録件数を概ね４倍に増して約２０万件にまで増やせば実用に堪えると思われるので、この点を期待したいところである。

４．検索精度が悪いです。。。
　基本的には、自然言語検索はアルゴリズムが勝負であろう。つまり、「人間が自然言語で書く内容」と「データベースに対するデータ呼び出し命令」をどのように対応させるかという検索アルゴリズム次第で、精度は高くなったり低くなったりする。

　初歩的な自然言語検索アルゴリズムは、助詞等を削除し、名詞と動詞を取り出して、それをキーワードとしてキーワード検索をかけるというものであるが、それだと当然検索精度は上がらない。LEAGLESはどうだろうか。

　上記の２つの事例でLEAGLES検索をやってみた結果を紹介しよう。

まず、「システム開発でベンダーが敗訴した事件」だが、これは全くダメである。出て来たのは２件で、１件目は札幌高判平成21年3月26日であるが、これは「配転無効確認請求」であって、システム開発訴訟ではない（！）。検索結果画面を見る限り、「社内システム」というキーワードと「敗訴部分を取り消す」というキーワードに反応したと思われるが、全く違う。２件目は知財高判平成２０年９月２９日であるが、これは特許権侵害差止請求控訴事件であり、「敗訴部分を取り消す」というキーワードと「カードベンダ」という被告名に反応したようである。

次に「慰謝料が高額な離婚訴訟」だが、一応２５件出て来た。しかし、離婚訴訟事件がなかなか見つからない。
２５件のうち離婚訴訟は１件、岡山地判平成１５年２月１８日であった。まあ、確かにこの事案は「慰謝料が高額な離婚訴訟」なので、その意味では当りといえば当りなのだが、いくらなんでも、１件だけというのはないのではなかろうか。

　一応出て来るタグ等を見ると、単に名詞と動詞を取り出して、それをキーワードとしてキーワード検索をかけるというのではなく、裁判年、参照法条、賠償金額、裁判所、権利種別、訴訟類型、裁判結果等で一応各判例を分類（タグ付け？）し、それに基づき最適化を試みているというような努力の跡は見られるが、まだまだ実用に堪える検索精度ではないだろう。

まとめ
あらゆる法曹関係者に寄り添った判例検索サービスを作りたいとして、判例データベースに自然言語検索を持ち込んだLEAGLESの発想は正しいし、非常にワクワクする構想である。
ただし、収録判例数と検索精度の問題から、法曹実務家が実務で必要な判例検索を行う上で利用可能なものにはなっていないのは大変残念である。
どうも現在は無料お試しキャンペーンであり、８月２０日から本格的にサービスが提供される（有料化）そうである。それまでの間にこの２つの課題を解決できるのか、これがLEGALESが本当に法曹関係者に寄り添えるかの試金石と思われる。
これから３ヶ月、LEGALESの頑張りにおおいに期待したい！

*1:なお、即独の方等が「弁護士会の図書館等で判例データベースを調べるので、自分では判例データベースを契約しません」といった選択肢自体はありえると思われる。