shell中使用wget命令

前端之家收集整理的这篇文章主要介绍了shell中使用wget命令前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

wget命令用来从指定的URL下载文件。wget非常稳定,还可以加--spider选项用来检测url是否正常。

wget (选项) (参数:url)
实例:

使用wget下载单个文件

wgethttp://www.linuxde.net/testfile.zip


下载并以不同的文件名保存

wget-Owordpress.ziphttp://www.linuxde.net/download.aspx?id=1080


wget限速下载

wget--limit-rate=300khttp://www.linuxde.net/testfile.zip



使用wget断点续传

wget-chttp://www.linuxde.net/testfile.zip

使用wget后台下载

wget-bhttp://www.linuxde.net/testfile.zip

Continuing in background,pid 1840. Output will be written to `wget-log'. 对于下载非常大的文件的时候,我们可以使用参数-b进行后台下载,你可以使用以下命令来察看下载进度:

tail-fwget-log

伪装代理名称下载

wget--user-agent="Mozilla/5.0(Windows;U;WindowsNT6.1;en-US)AppleWebKit/534.16(KHTML,likeGecko)Chrome/10.0.648.204Safari/534.16"http://www.linuxde.net/testfile.zip

有些网站能通过根据判断代理名称不是浏览器而拒绝你的下载请求。不过你可以通过--user-agent参数伪装。
你可以在以下几种情况下使用--spider参数,使用--tries增加重试次数

定时下载之前进行检查

间隔检测网站是否可用

检查网站页面的死链接

wget--spiderURL

下载多个文件

wget-ifilelist.txt

首先,保存一份下载链接文件

cat > filelist.txt

url1

url2

url3

url4

接着使用这个文件和参数-i下载。

批量下载文件:wget --input-file=wget-list --continue --directory-prefix="存放目录"

wget--input-file=ftp://ftp.lfs-matrix.net/pub/lfs/lfs-packages/7.7-systemd/--continue--directory-prefix=/root/toot/

镜像网站

wget--mirror-p--convert-links-P./LOCALURL

下载整个网站到本地。 --miror开户镜像下载。 -p下载所有为了html页面显示正常的文件。 --convert-links下载后,转换成本地的链接。 -P./LOCAL保存所有文件和目录到本地指定目录。
过滤指定格式下载

wget--reject=gifurl

下载一个网站,但你不希望下载图片,可以使用这条命令。
把下载信息存入日志文件 wget -o download.log URL 不希望下载信息直接显示在终端而是在一个日志文件,可以使用。
限制总下载文件大小

wget-Q5m-ifilelist.txt

当你想要下载的文件超过5M而退出下载,你可以使用。注意:这个参数对单个文件下载不起作用,只能递归下载时才有效。
下载指定格式文件

wget-r-A.pdfurl

可以在以下情况使用该功能: 下载一个网站的所有图片。 下载一个网站的所有视频。 下载一个网站的所有PDF文件
FTP下载 ;可以使用wget来完成ftp链接的下载。

使用wget匿名ftp下载:

wgetftp-url


使用wget用户名和密码认证的ftp下载:

wget--ftp-user=USERNAME--ftp-password=PASSWORDurl

猜你在找的Bash相关文章