使用Perl語言寫個簡單的爬蟲

之前用Scala和Go語言分別都寫了一個爬蟲，最近看了Perl，就來寫個功能相同的版本。使用到了LWP::Simple模塊，使用 cpan LWP安裝即可（Ubuntu 13.04沒有隨Perl一同提供這個重要模塊，太可惜了）。代碼如下：

#!/usr/bin/perl
use LWP::Simple qw/get/;

my %pages;
print "Processing the index.\n";
$_ = get("http://www.yifan100.com/dir/15136/");
while(m#<a target="_blank" href="/article/(.*?)\.html" title="(.*?)" >#g){
    $pages{$1}=$2;
}
for(keys %pages){
    my ($l, $f) = ("http://www.yifan100.com/article/$_.html", "$_.txt");
    open F, ">$f";
    print "Processing $l.\n";
    if(get($l) =~ m#<div class="artcontent">(.*)<div id="zhanwei">#s){
        $_ = $1;
        s#<br>#\n#g;
        s#<.*?>##gs;
        s#^\s+##g;
        print "Writing to $f.\n";
        print F;
    }
    close F;
}

顯然，代碼中用的是單線程（或者說單進程），全部執行完時間還是很多的（猜想主要是http下載時間比較長），之前用其他版本的測試時間也忘了。時間如下：

    real    3m58.753s
    user    0m0.900s
    sys    0m0.632s

很明顯使用Perl，代碼少了很多（和Scala和Go相比），處理文本是Perl的優勢所在。