第三回では複数キーワードを順番に検索してExcelシートにキーワード、検索順位、ページタイトルを入力するところまでできました。
今回は検索結果一番下にある「次へ」を押していく機能です。 これが実装できれば1キーワード100位までとか取得できるようになりますね。
一回目と二回目
続きを読む第二回では1キーワードを検索してExcelシートにキーワード、検索順位、ページタイトルを入力するところまでできました。
今回やっていくのは以下の内容。ここまでできれば検索結果のスクレイピングとしては十分な機能かな。
この記事でできるようになること
ExcelVBAでWebページから情報を自動収集（スクレイピング）する時に超便利なメソッド querySelectorとquerySelectorAll 。
CSSセレクタがそのまま使えて超便利だが、何故かquerySelectorAllに対してFor Eachを使ってループ処理を行うと処理を終えるタイミングで謎のエラーが発生して切断される事象に頭を悩ませていました。
会社の人に相談しながらどうにか回避策を見つけたので共有したい。
続きを読む第一回ではGoogleを表示するところまででしたが、今回はスクレイピングの肝となるデータを抜き出す部分です。
もうちょっと間空けて投稿しようかと思ったけど勢いで公開。ここらへんまでやらないと面白くないもんね。
前回のプログラムの処理フローを再確認します。
これらの動きをVBAで書いたものが以下のプログラムです。
Public Declare PtrSafe Sub Sleep Lib "kernel32" (ByVal dwMilliseconds As Long) Sub web_scraping() Dim oIE As InternetExplorer 'oIEという変数はInternet Explorerが入ると宣言 Set oIE = New InternetExplorer 'oIEに新しいIEを起動して定義 oIE.Visible = True 'IEを表示させる oIE.Navigate2 "https://www.google.co.jp/" 'URLにアクセス slepp 3000 '3秒待機 oIE.Quit 'IEを閉じる End Sub
これに「Googleでキーワードを検索する」「検索結果が表示されるのを待つ」「検索結果から情報を取得」「取得した情報をシートに書き込む」という処理を加えていきます。
続きを読むウェブスクレイピング。ウェブサイトのHTMLから欲しい情報を指定して取得すること。
簡単に言うと手作業でウェブサイトからExcelにデータをコピペコピペコピペ・・・という地獄の作業を自動化してしまおうというものです。最近流行りの業務の自動化という考え方 RPA（Robotic Process Automation）にも通ずる というかRPAツール使わなくてもVBAでRPAできるってこと。
そもそもプログラム勉強するの嫌だけど仕事は自動化したいという人のために作られたのがRPAツールなので、プログラム勉強するモチベーションがある人は、是非とも仕事を自動化するプログラムを作ることに全力を注いでほしいです。（ただし、自分以外の仕事を自動化するという場合はメンテナンスが問題になるのでそこはご注意ください
さて、本連載ではmarumoの得意分野をさらに磨くべく、ExcelVBAでここまでできるんだぞと布教するべく、検索順位チェックツールのようなものを作っていきます。今回はデータ取得が主ですが、リンクをクリックするメソッドなどもあるのでWEBベースのシステムを使った業務であれば応用次第で割と簡単に業務自動化を実現できるかもしれませんね。
API使えや・・・という意見もあるかと思いますが、やっぱりブラウザ経由のスクレイピングは汎用性が高くて便利。あとJSONのパースとかしなくていい。APIキー取得しなくていい。APIで提供されていない項目も取得できる。 などの理由もあり今回はわかりやすい題材として検索順位を取得対象にしています。
APIでのデータ取得もそのうちやりたいな。楽天市場の検索APIとかね。
第一回目では「Googleで検索する」ところまでをやっていきたいと思います。
一気に記事書くと説明が雑になりそう、後半力尽きて雑になりそう、飽きてきて雑になりそうなどの理由です。楽しくなってくるのは第二回目でシートに情報を書き込んで行くところからかなーと思います。
続きを読む
