スクレイピング

気合とRで、国会で行われた首相の所信表明演説をスクレイピングしてみたのでやり方を紹介します。 正直for文とかリストの使い方とか、うまい人がやればもっと綺麗にできるとは思いますが、一応備忘録程度にメモしておきます。 APIの仕組みを理解する 発言単位：http://kokkai.ndl.go.jp/api/1.0/speech?{検索条件} 会議単位：http://kokkai.ndl.go.jp/api/1.0/meeting?{検索条件} APIを使うことによって発言単位や会議単位で、誰がどんな発言をしたかを抽出することができます。ちなみに検索条件を指定したあと、URLのエンコード・デコードツールを使って、日本語URLを変換する必要があります。 首相の所信表明演説は、nameOFMeetingに「本会議」での、anyに「所信についての演説」「所信に関する演説」をいれて、それぞれURLに反映してやればいいわけです。 注意ポイントとしては検索条件は「=」で指定し、検索条件間は「&」で繋ぐ必要があり、エンコードしたときにこれらが上の様に変換されているのに注意しておく必要があります。最近のブラウザは優秀なので&と=がデコードされていれば、後は日本語でもうまく検索してくれるようです。 指定した通りに動かないAPI 追記：「所信についての演説」と「所信に関する演説」問題 臨時国会の冒頭 特別国会で内閣総理大臣が指名・任命された後 国会の会期途中で内閣総理大臣が交代した場合 「所信についての演説」と「所信に関する演説」の二種類があるので、検索する際には注意しないといけません。特にこれは最近でも混在しているので注意。 期間を区切る必要あり 例えば上記の様に指定した場合、「所信についての演説」をすべて抜き出してくれるのかと思いきや、たったの25年分。スクレイピングする際は期間指定を5年から10年ごとに区切るにする必要があります。 speech or meeting問題 もう一つの問題は、リンクに"speech"を使うか"meeting"を使うかという問題。 speechを使うと数回分の議事録の目次が取得できます。あくまで目次。meetingを使うと会議内での発言をそのまま取得できますが、一回あたり2会議分程度。発言はすべてタグに入っているので、首相の発言の選別が煩雑です。 そこで解決策として目をつけたのが"speech"を使う際に取得できる""。""のリンク先には、会議中の発言がまとめられておりリンクを取得していれば安定的に抜き出すことができます。 "meeting"でも取得できますが、"speech"の方が安定して複数年取得しやすいのでこちらを使用することにしました。 スクレイピングをする リンクリストを作る まず、リンクの作成規則に従って、「本会議」「所信についての演説」を含む10年ごとのリンクを作成します。今回は戦後に絞って期間指定は「1940-01-01~1945-01-01」「1945-01-01~1950-01-01」...という風にリンクを作成しcsvファイルとして保存しました。Rでリストを作ってもいいと思います。 meetingURLの取得 "snurl_list.csv"と"skurl_list.csv"に、naomeOFMeetingに「本会議」、anyに「所信に関する演説」又は「所信についての演説」、fromとuntilで「from=1940-01-01&until=1950-01-01」のように10年ごとに年限を区切ったリンクのリストをExcelで作ります。 for文とhtml_nodesを使って、最終的には"media1_01"と"media1_02"というリストに、それぞれ1940年以降の「所信についての演説」「所信に関する演説」があった会議のリンクを取得しています。 ちなみに"meetingURL"は末尾が"a.html"で終わりますが、これだとヘッダー部分だけなので本文を取得するために"c.html"にリンクを置き換えています。 あとは国会の回数順にリンクを並べ替えspeech_listに保存しています。 上で作成したmeetingURLが入ったリストを元にfor文を回して、"media2_1"というリストに発言内容が入るようにしています。 発言内容から首相の発言を抽出する 第２００回国会 本会議 第１号 令和元年十月四日（金曜日） ――――――――――――― "meetingURL"のリンクにアクセスしてもらえればわかると思いますが、抜き出した発言内容の中には、第何回の国会であるとか日付とか、議事進行の目次とか、議長とか議員さんの発言、細かな「拍手」まで含まれており、ここから首相の所信表明演説を抜き出す必要があります。 首相演説が「○内閣総理大臣（」という文字列から始まるので、その前に何文字あるか、各ページごとにカウントしてリストを作成。 リストを元にfor文でカウントした数字ごと、各ページから頭から削除 首相演説の終わりが「（拍手）\n-----◇」（古いものは（拍手）○議長” or “――――◇―――――○議長“)がどの位置にあるか確認・リスト作成。 for文で末尾削除 そこで僕のとった方法はこれ。首相演説は「○内閣総理大臣（」という文字列でスタートするので、それが何文字目かを検索。ちなみに戦後数年は「○国務大臣（」でスタートします。その何文字目かを元に、頭から文字をカット。後ろも基本的には「（拍手）\n-----◇」で終わるので何文字目かを取得、うしろから文字をカットします。 各回によって何文字目から首相発言が始まるかは異なるので、そのリストを作ります（"naisou_list"）。ちなみに「○内目総理大臣」の回が存在します。1〜14行目は「○国務大臣」です。 「○内閣総理大臣」より前の文字を消去しています。 先に述べた「○内閣総理大臣」より前の文字を消去の同様、終わりに合わせて削除しています。1~6回、7回は所信表明演説の終わり方が違うのでその分を分けています。 ○内閣総理大臣（hogehoge君）{発言内容} ○内閣総理大臣（hogehoge2君）{発言内容} ○内閣総理大臣（hogehoge3君）{発言内容} . . . の様なリストができているはず。勿論gsub関数を使って「）君」までの文字数をカウントして削除すれば、余計なものは消えますし、誰の発言かを合わせたリストも作成することが可能だと思います。stringrパッケージの"str_split_fixed"を使えばもっと簡単にできるかもしれません。 Source:国会会議録検索システム

気合とRで、戦後の首相の所信表明演説をスクレイピングした話