読者です 読者をやめる 読者になる 読者になる

或阿呆のブログ

Pythonを好んで使っているプログラマです。Ruby,Perl,PowerShell,VBAなどでもたまに書いています。おバカなことが大好きです。

クローラーを作成するなら何言語か?

スクレイピング

言語選びは難しいけど面白い。

さて、クローラーを何言語で実装するかは、かなり幅があると思われる。Perl,PHP,Ruby,Python,JavaScriptと有名どころのスクリプト言語であればどれでもOKだろう。逆に、どれでもOKというところが選びずらい。ちょっとライブラリやサービスを触ってみればいいと思う。Rubyなんかは、言語経験がそこそこだとしても、さっくりとクローリング出来てしまう。Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例を読めば一発だ。それとくらべて、PHPクローラーを書くには、HTMLをある程度知っていないといけない。なぜなら、PHPは汎用言語ではなく、HTMLを動的に拡張させるために作られた言語だからだ。その点では、使いづらい。だが、クローリングしたコンテンツをWordPressに投稿するなどの目的であれば、PHPを選ぶのはなかなか良いチョイスだ。