TaillookTech

モバイルアプリ開発を追っています

PythonでGoogleニュースから記事情報を取得する [ウェブスクレイピング]

なにをした?

暇なときにニュース記事をすぐ探せるものが欲しかったのでGoogleニュースから記事情報を取得するものを作った.
単純にウェブスクレイピングがしたかった.

なにをつかった?

  • Python3
  • requests
  • argparse
  • HTMLParser

結果

$ python get_news.py --topic t --amount 10
Title: 「Appleは自動運転システムに注力している」ティム・クックCEO、開発を認める 
Link: http://www.gizmodo.jp/2017/06/tim-cook-accepts-developing-selfdriving-car.html

Title: ランサムウェアに影響されない安全なOSとは? 
Link: http://gigazine.net/news/20170617-microsoft-ransomware-against-windows-10-s/

Title: いつの間にかiPhoneの画面が点いている? という現象を防ぐには 
Link: http://news.livedoor.com/article/detail/13218777/

Title: イーロン・マスクが描く「火星移住」計画 100万人規模を視野に 
Link: https://forbesjapan.com/articles/detail/16633

Title: 「E3」で発表されたゲーミングギアまとめ。最先端技術からレトロなものまで 
Link: http://top.tsite.jp/news/technology/o/35933635/?sc_int=tcore_news_recent

Title: Galaxy Note 8のパネルとされる画像がリークされる!S8と変化なし? 
Link: http://iphone-mania.jp/news-172076/

Title: 【噂】iPhone 8のディスプレイサイズが判明か? 
Link: http://www.appps.jp/266777/

Title: MacBook Proユーザーの私が、任天堂スイッチに救われた話 
Link: http://japanese.engadget.com/2017/06/16/macbook-pro/

Title: 「Pixel」シリーズ、出荷台数はようやく100万台を突破か 
Link: http://ggsoku.com/2017/06/app-install-number-on-play-store-implies-the-actual-shipment-number-of-pixel-series/

Title: 目指すは「一家に一台」 SIEJA盛田厚プレジデントにインタビュー 
Link: https://mainichi.jp/articles/20170617/dyo/00m/200/028000c

Github

Githubにコードを公開しています.
たまに更新します.