文章详情

  • 游戏榜单
  • 软件榜单
关闭导航
热搜榜
热门下载
热门标签
php爱好者> php文档>Perl 程序 网页爬手

Perl 程序 网页爬手

时间:2010-12-03  来源:neobilly

需求:从某个站点下载一组连续的网页,用wget下载,perl完成
源代码如下:
#!/usr/bin/perl -w
use strict;
my $pageno = 0;
my $cmd = "";
for($pageno = 1; $pageno < 210; $pageno ++){
    $cmd = "http://www.server.com/page.jsp?pageno=$pageno&xxxxx";
    system("wget -O $pageno.html \'$cmd\'");
}
注意的地方:动态页面通过Get方式在链接上传参数,?之后的就是参数,在wget的URL上,应该把
整个地址用单引号包起来,不然的话 wget 读到问号就停住了。。。

运行perl
考虑到文件较多,决定将下载放到后台,命令如下
>(nohup) perl htmlfetcher.pl 2>/dev/null &

>ps -e#查看进程

>kill pid #杀进程
相关阅读 更多 +
排行榜 更多 +
ooxe官方版下载

ooxe官方版下载

金融理财 下载
ooxe

ooxe

金融理财 下载
OXE交易app安卓版下载

OXE交易app安卓版下载

金融理财 下载