"スクレイピング"

プログラミング

【Python】会社四季報をスクレイピングして株価や会社情報を取得する

会社四季報オンラインをスクレイピングします。株価はもちろん、会社情報をスクレイピングして取得します。この記事では、会社四季報オンラインをスクレイピングするための準備から、実際にスクレイピングするための考え方まで解説しています。コピペで使えるサンプルコードも載せています。
プログラミング

株探(kabutan)をスクレイピングして上場企業サイトURLを取得

上場企業のサイトURL一覧は、一般的には公開されていません。そのため、そこそこの金額により有料で販売されることもあります。この記事では、株探(kabutan)をスクレイピングをすることにより、上場企業サイトURL一覧を作成する方法を解説しています。
プログラミング

WebスクレイピングのためにBeautiful Soupをインストールする

PythonはWebスクレイピングに適した言語と言われます。そのように言われるのは、Beautiful Soupのおかげだと考えています。この記事では、そんなBeautiful Soupについて説明しています。インストールから動作確認までも解説しています。
プログラミング

PythonでOGPを確実に取得する方法を解説【スクレイピング】

PythonでOGPを取得するために複数のライブラリを検証しました。結論としては、ライブラリは使えないです。最も使えるのは、Seleniumによるスクレイピングということになります。この記事では、OGPを確実に取得する方法をサンプルコードを載せて解説しています。
プログラミング

【Python】YahooニュースのAPIがないのでスクレイピングする

Yahooニュースをスクレイピングします。YahooニュースのAPIは2014年に廃止されています。しかし、RSSはいまだに公開されています。この記事では、RSSを利用せずに、スクレイピングする理由を説明しています。もちろん、コピペで使えるサンプルコードも載せています。
プログラミング

iタウンページをスクレイピングする方法を解説【準備編】

iタウンページを覚えていますか?まだ、現役でサービスも公開されています。需要は年々下がっているけども、まだiタウンページの情報を求める声は存在しています。この記事では、その声に応えるためにiタウンページのスクレイピングを説明しています。今回は、準備段階です。
プログラミング

netkeibaをバレることなくスクレイピングする【競馬レース結果の抽出】

netkeibaスクレイピングの完成版です。この記事では、レース情報や全着順はもちろん、払い戻しやラップタイムもスクレイピングで取得する方法を解説しています。様々なパターンでのスクレイピングを実践しているため、他のサイトやページをスクレイピングする場合にも役に立つノウハウとなるでしょう。
プログラミング

PythonによるnetkeibaのWebスクレイピング【レースIDの抽出】

JRA-VANが有料であることに疑問を感じませんか?そもそも、JRAは税金で設立した公的な機関です。それなのになぜ競馬レースのデータが有料なのでしょうか?本来なら、オープンデータとして無料公開すべきです。と言っても無駄なので、スクレイピングを普及させることで合法的に異議を唱えます。
プログラミング

netkeibaのWebスクレイピングをPythonで行う【競馬開催日の抽出】

競馬のレース結果は本来はオープンデータとして無料で公開されるべきです。その理由は、JRAはそもそも税金で設立され、法律で守られた特殊法人だからです。データが公開されていないなら、スクレイピングです。しかし、JRAのサイトはスクレイピングには向きません。その代わりに、競馬の恩恵を受けるnetkeibaをスクレイピングしましょう。
プログラミング

netkeibaをスクレイピングする方法を解説【準備編】

競馬データが欲しい場合、JRAのサイトをスクレイピングするのは止めておきましょう。JRAのサイトはスクレイピング対策が盛りだくさんです。それなら、netkeibaの方が圧倒的に簡単にスクレイピングできます。この記事では、netkeibaのスクレイピングに関して解説しています。
タイトルとURLをコピーしました