wget 使用方法
时间：2006-06-30 来源：zqy2000zqy
wget [参数列表] URL
首先来介绍一下wget的主要参数：
· -b：让wget在后台运行，记录文件写在当前目录下"wget-log"文件中；
· -t [nuber of times]：尝试次数，当wget无法与服务器建立连接时，尝试连接多少次
。比如"-t
120"表示尝试120次。当这一项为"0"的时候，指定尝试无穷多次直到连接成功为止，这个 设置非常有用，当对方服务器突然关机或者网络突然中断的时候，可以在恢复正常后继续 下载没有传完的文件；
·
-c：断点续传，这也是个非常有用的设置，特别当下载比较大的文件的时候，如果中
途意外中断，那么连接恢复的时候会从上次没传完的地方接着传，而不是又从头开始，使
用这一项需要远程服务器也支持断点续传，一般来讲，基于UNIX/Linux的Web/FTP服务器
都支持断点续传；
· -T [number of seconds]：超时时间，指定多长时间远程服务器没有响应就中断连接
，开始下一次尝试。比如"-T 120"表示如果120秒以后远程服务器没有发过来数据，就重新尝试连接。如果网络速度比 较快，这个时间可以设置的短些，相反，可以设置的长一些，一般最多不超过900，通常 也不少于60，一般设置在120左右比较合适；
· -w [number of seconds]：在两次尝试之间等待多少秒，比如"-w 100"表示两次尝试 之间等待100秒；
· -Y on/off：通过／不通过代理服务器进行连接；
· -Q [byetes]：限制下载文件的总大小最多不能超过多少，比如"-Q2k"表示不能超过2K 字节，"-Q3m"表示最多不能超过3M字节，如果数字后面什么都不加，就表示是以字节为单 位，比如"-Q200"表示最多不能超过200字节；
· -nd：不下载目录结构，把从服务器所有指定目录下载的文件都堆到当前目录里；
· -x：与"-nd"设置刚好相反，创建完整的目录结构，例如"wget -nd http://www.gnu.org"将创建在当前目录下创建"www.gnu.org"子目录，然后按照服务器 实际的目录结构一级一级建下去，直到所有的文件都传完为止；
· -nH：不创建以目标主机域名为目录名的目录，将目标主机的目录结构直接下到当前目 录下；
· --http-user=username
· --http-passwd=password：如果Web服务器需要指定用户名和口令，用这两项来设定；
· --proxy-user=username
· --proxy-passwd=password：如果代理服务器需要输入用户名和口令，使用这两个选项 ；
· -r：在本机建立服务器端目录结构；
· -l [depth]：下载远程服务器目录结构的深度，例如"-l 5"下载目录深度小于或者等 于5以内的目录结构或者文件；
· -m：做站点镜像时的选项，如果你想做一个站点的镜像，使用这个选项，它将自动设 定其他合适的选项以便于站点镜像；
· -np：只下载目标站点指定目录及其子目录的内容。这也是一个非常有用的选项，我们 假设某个人的个人主页里面有一个指向这个站点其他人个人主页的连接，而我们只想下载 这个人的个人主页，如果不设置这个选项，甚至--有可能把整个站点给抓下来，这显然是
我们通常不希望的；
ü 如何设定wget所使用的代理服务器
wget
可以使用用户设置文件".wgetrc"来读取很多设置，我们这里主要利用这个文件来是
设置代理服务器。使用者用什么用户登录，那么什么用户主目录下的".wgetrc"文件就起
作用。例如，"root"用户如果想使用".wgetrc"来设置代理服务器，"/root/.wgert"就起
作用，下面给出一个".wge trc"文件的内容，读者可以参照这个例子来编写自己的"wgetrc"文件：
http_proxy = 111.111.111.111:8080
ftp_proxy = 111.111.111.111:8080
这两行的含义是，代理服务器IP地址为：111.111.111.111，端口号为：80。第一行指定
HTTP协议所使用的代理服务器，第二行指定FTP协议所使用的代理服务器。
首先来介绍一下wget的主要参数：
· -b：让wget在后台运行，记录文件写在当前目录下"wget-log"文件中；
· -t [nuber of times]：尝试次数，当wget无法与服务器建立连接时，尝试连接多少次
。比如"-t
120"表示尝试120次。当这一项为"0"的时候，指定尝试无穷多次直到连接成功为止，这个 设置非常有用，当对方服务器突然关机或者网络突然中断的时候，可以在恢复正常后继续 下载没有传完的文件；
·
-c：断点续传，这也是个非常有用的设置，特别当下载比较大的文件的时候，如果中
途意外中断，那么连接恢复的时候会从上次没传完的地方接着传，而不是又从头开始，使
用这一项需要远程服务器也支持断点续传，一般来讲，基于UNIX/Linux的Web/FTP服务器
都支持断点续传；
· -T [number of seconds]：超时时间，指定多长时间远程服务器没有响应就中断连接
，开始下一次尝试。比如"-T 120"表示如果120秒以后远程服务器没有发过来数据，就重新尝试连接。如果网络速度比 较快，这个时间可以设置的短些，相反，可以设置的长一些，一般最多不超过900，通常 也不少于60，一般设置在120左右比较合适；
· -w [number of seconds]：在两次尝试之间等待多少秒，比如"-w 100"表示两次尝试 之间等待100秒；
· -Y on/off：通过／不通过代理服务器进行连接；
· -Q [byetes]：限制下载文件的总大小最多不能超过多少，比如"-Q2k"表示不能超过2K 字节，"-Q3m"表示最多不能超过3M字节，如果数字后面什么都不加，就表示是以字节为单 位，比如"-Q200"表示最多不能超过200字节；
· -nd：不下载目录结构，把从服务器所有指定目录下载的文件都堆到当前目录里；
· -x：与"-nd"设置刚好相反，创建完整的目录结构，例如"wget -nd http://www.gnu.org"将创建在当前目录下创建"www.gnu.org"子目录，然后按照服务器 实际的目录结构一级一级建下去，直到所有的文件都传完为止；
· -nH：不创建以目标主机域名为目录名的目录，将目标主机的目录结构直接下到当前目 录下；
· --http-user=username
· --http-passwd=password：如果Web服务器需要指定用户名和口令，用这两项来设定；
· --proxy-user=username
· --proxy-passwd=password：如果代理服务器需要输入用户名和口令，使用这两个选项 ；
· -r：在本机建立服务器端目录结构；
· -l [depth]：下载远程服务器目录结构的深度，例如"-l 5"下载目录深度小于或者等 于5以内的目录结构或者文件；
· -m：做站点镜像时的选项，如果你想做一个站点的镜像，使用这个选项，它将自动设 定其他合适的选项以便于站点镜像；
· -np：只下载目标站点指定目录及其子目录的内容。这也是一个非常有用的选项，我们 假设某个人的个人主页里面有一个指向这个站点其他人个人主页的连接，而我们只想下载 这个人的个人主页，如果不设置这个选项，甚至--有可能把整个站点给抓下来，这显然是
我们通常不希望的；
ü 如何设定wget所使用的代理服务器
wget
可以使用用户设置文件".wgetrc"来读取很多设置，我们这里主要利用这个文件来是
设置代理服务器。使用者用什么用户登录，那么什么用户主目录下的".wgetrc"文件就起
作用。例如，"root"用户如果想使用".wgetrc"来设置代理服务器，"/root/.wgert"就起
作用，下面给出一个".wge trc"文件的内容，读者可以参照这个例子来编写自己的"wgetrc"文件：
http_proxy = 111.111.111.111:8080
ftp_proxy = 111.111.111.111:8080
这两行的含义是，代理服务器IP地址为：111.111.111.111，端口号为：80。第一行指定
HTTP协议所使用的代理服务器，第二行指定FTP协议所使用的代理服务器。
用法: wget [选项]... [URL]...
命令的引数使用长项目与短项目相同.
启动:
-V, --version显示Wget的版本并且离开.
-h, --help显示这个说明档.
-b, -background在启动之後跳到背景去.
-e, -execute=COMMAND执行一个`.wgetrc'里面的COMMAND指令.
纪录档与输入的档案:
-o, --output-file=FILE纪录讯息到FILE去.
-a, -append-output=FILE增加讯息到FILE去.
-d, --debug显示除错的输出.
-q, --quiet安静模式(不输入任何讯息).
-v, --verbose冗长模式(这是内定值).
-nv, --non-verbose关闭verboseness,但不是安静模式.
-i, --input-file=FILE从FILE读取URL .
-F, --force-html把输入的档案当作HTML.
下载:
-t, --tries=NUMBER设定重复尝试NUMBER次(0是无限制).
-O --output-document=FILE把文件写到FILE里.
-nc, --no-clobber不破坏已经存在的档案.
-c, --continue重新取得一个已经存在的档案.
--dot-style=STYLE设定取回状况的显示风格.
-N, --timestamping不取回比本地旧的档案.
-S, --server-response显示伺服器回应状况.
--spider不下载任何东西.
-T, --timeout=SECONDS设定读取时超过的时间为SECONDS秒.
-w, --wait=SECONDS在取回档案时等待SECONDS秒.
-Y, --proxy=on/off开启或关闭Proxy.
-Q, --quota=NUMBER设定取回档案的定额限制为NUMBER个.
目录:
-nd --no-directories不建立目录.
-x, --force-directories强制进行目录建立的工作.
-nH, --no-host-directories不建立主机的目录.
-P, --directory-prefix=PREFIX把档案存到PREFIX/...
--cut-dirs=NUMBER忽略NUMBER个远端的目录元件.
HTTP选项:
--http-user=USER设http使用者为USER.
--http0passwd=PASS设http使用者的密码为PASS.
-C, --cache=on/off提供/关闭快取伺服器资料(正常情况为提供).
--ignore-length忽略`Content-Length'标头栏位.
--proxy-user=USER设USER为Proxy使用者名称.
--proxy-passwd=PASS设PASS为Proxy密码.
-s, --save-headers储存HTTP标头成为档案.
-U, --user-agent=AGENT使用AGENT取代Wget/VERSION作为识别代号.
FTP选项:
--retr-symlinks取回FTP的象徵连结.
-g, --glob=on/off turn file name globbing on ot off.
--passive-ftp使用"passive"传输模式.
使用递回方式的取回:
-r, --recursive像是吸入web的取回--请小心使用!.
-l, --level=NUMBER递回层次的最大值(0不限制).
--delete-after删除下载完毕的档案.
-k, --convert-links改变没有关连的连结成为有关连.
-m, --mirror开启适合用来映射的选项.
-nr, --dont-remove-listing不要移除`.listing'档.
递回式作业的允许与拒绝选项:
-A, --accept=LIST允许的扩充项目的列表.
-R, --reject=LIST拒绝的扩充项目的列表.
-D, --domains=LIST允许的网域列表.
--exclude-domains=LIST拒绝的网域列表(使用逗号来分隔).
-L, --relative只跟随关联连结前进.
--follow-ftp跟随HTML文件里面的FTP连结.
-H, --span-hosts当开始递回时便到外面的主机.
-I, --include-directories=LIST允许的目录列表.
-X, --exclude-directories=LIST排除的目录列表.
-nh, --no-host-lookup不透过DNS查寻主机.
-np, --no-parent不追朔到起源目录.
范例一：mirror一个网站
wget -r www.redhat.com
范例二：mirror一个网站下的某个目录：
wget -r www.redhat.com/mirrors/LDP
export http_proxy="166.111.53A.167:3128"
export ftp_proxy="166.111.53A.167:3128"
2、对于wget可以单独建立.wgetrc
http-proxy = 166.111.53.167:3128
ftp-proxy = 166.111.53.167:3128
3、用wget下载整个站点
#wget -k -m -np -d --proxy-user=usrname --proxy-passwd=passwd http://www.hq.nasa.gov/office/pao/History/SP-468/contents.htm
-k, --convert-links 将绝对链接转换为相对链接。
-m 就等价于 递归下载+除非远程文件较新，否则不再取回+最大递归深度无限+不删除“.listing”文件。
-np, --no-parent 不搜索上层目录。
注意其中-d只是输出下载信息，换成-q就变成“安静”下载了。
另外还有两个选项可能会有用到。
-b：让wget在后台运行
-c：断点续传
相关阅读 更多 +
