必威电竞|足球世界杯竞猜平台

wget
來源:互聯網

wget是一個從網絡上自動下載文件的自由工具,支持通過HTTP、HTTPS、斷點續傳三個最常見的TCP/IP協議下載,并可以使用HTTP代理。"wget"這個名稱來源于“World Wide Web”與“get”的結合。

所謂自動下載,是指wget可以在用戶退出系統的之后在繼續后臺執行,直到下載任務完成。

啟動參數

這一類參數主要提供軟件的一些基本信息。

-V,--version顯示軟件版本號然后退出;

-h,--help顯示軟件幫助信息;

-e,--execute=COMMAND執行一個“.wgetrc”命令

以上每一個功能有長短兩個參數,長短功能一樣,都可以使用。需要注意的是,這里的-e參數是執行一個.wgettrc的命令,wgettrc命令其實是一個參數列表,直接將軟件需要的參數寫在一起就可以了。

文件參數

這類參數定義軟件log文件的輸出方式等。

-o,--output-file=FILE將軟件輸出信息保存到文件;

-a,--append-output=FILE將軟件輸出信息追加到文件;

-d,--debug顯示輸出信息;

-q,--quiet不顯示輸出信息;

-i,--input-file=FILE從文件中取得URL;

例1:下載首頁并且顯示下載信息

wget -d

例2:下載首頁并且不顯示任何信息

wget -q

例3:下載filelist.txt中所包含的鏈接的所有文件

wget -i filelist.txt

wget -np -m -l 5不下載本站所鏈接的其它站點內容,5級目錄結構

下載參數

下載參數定義下載重復次數、保存文件名等。

-t,--tries=NUMBER是否下載次數(0表示無窮次)

-O --output-document=FILE指定下載目錄和文件名

-nc, --no-clobber不要覆蓋已經存在的文件

-N,--timestamping只下載比本地新的文件

-T,--timeout=SECONDS設置超時時間

-Y,--proxy=on/off關閉代理

例:下載的首頁并將下載過程中的的輸入信息保存到test.HTML文件中

wget -Otest.html

目錄參數

目錄參數主要設置下載文件保存目錄與原來文件(服務器文件)的目錄對應關系;

-nd --no-directories不建立目錄

-x,--force-directories強制建立目錄

可能我們對這里的目錄還不是很了解,我們來看一個舉例

例:下載的首頁,并且保持網站結構

wget -x

HTTP參數

HTTP參數設置一些與HTTP下載有關的屬性。

--http-user=USER設置HTTP用戶

--http-passwd=PASS設置HTTP密碼

--proxy-user=USER設置代理用戶

--proxy-passwd=PASS設置代理密碼

以上參數主要設置HTTP和代理的用戶、密碼;

遞歸參數設置

在下載一個網站或者網站的一個目錄的時候,我們需要知道的下載的層次,這些參數就可以設置。

-r,--recursive下載整個網站、目錄(小心使用)

-l,--level=NUMBER下載層次

例:下載整個網站

wget -r

拒絕選項參數

下載一個網站的時候,為了盡量快,有些文件可以選擇下載,比如圖片和聲音,在這里可以設置。

-A,--accept=LIST可以接受的文件類型

-R,--reject=LIST拒絕接受的文件類型

-D,--domains=LIST可以接受的域名,用逗號分隔

--exclude-domains=LIST拒絕的域名,用逗號分隔

-L,--relative下載關聯鏈接

--follow-ftp只下載FTP鏈接

-H,--span-hosts可以下載外面的主機

-I,--include-directories=LIST允許的目錄

-X,--exclude-directories=LIST拒絕的目錄

服務器

wget可以使用用戶設置文件".wgetrc"來讀取很多設置,我們這里主要利用這個文件來是設置代理服務器。使用者用什么用戶登錄,那么什么用戶主目錄下的".wgetrc"文件就起作用。

例如,"root"用戶如果想使用".wgetrc"來設置代理服務器,"/root/.wgetrc"就起作用,下面給出一個".wgetrc"文件的內容,讀者可以參照這個例子來編寫自己的"wgetrc"文件:

http-proxy=111.111.111.111:8080

ftp-proxy=111.111.111.111:8080

這兩行的含義是,代理服務器IP地址為:111.111.111.111,端口號為:8080。第一行指定HTTP協議所使用的代理服務器,第二行指定斷點續傳協議所使用的代理服務器。

代碼總表

啟動:

-V, --version顯示wget的版本后退出

-h, --help打印語法幫助

-b, --background啟動后轉入后臺執行

-e, --execute=COMMAND執行`.wgetrc'格式的命令,wgetrc格式參見/etc/wgetrc或~/.wgetrc

wget默認會根據網站的robots.txt進行操作

使用-e robots=off參數即可繞過該限制

記錄和輸入文件:

-o, --output-file=FILE把記錄寫到FILE文件中

-a, --append-output=FILE把記錄追加到FILE文件中

-d, --debug打印調試輸出

-q, --quiet安靜模式(沒有輸出)

-v, --verbose冗長模式(這是缺省設置)

-nv, --non-verbose關掉冗長模式,但不是安靜模式

-i, --input-file=FILE下載在FILE文件中出現的URLs

-F, --force-HTML把輸入文件當作HTML格式文件對待

-B, --base=URL將URL作為在-F-i參數指定的文件中出現的相對鏈接的前綴

--sslcertfile=FILE可選客戶端證書

--sslcertkey=KEYFILE可選客戶端證書的KEYFILE

--egd-file=FILE指定EGD socket的文件名

下載:

--bind-address=ADDRESS指定本地使用地址(主機名或IP,當本地有多個IP或名字時使用)

-t, --tries=NUMBER設定最大嘗試鏈接次數(0表示無限制).

-O --output-document=FILE把文檔寫到FILE文件中

-nc, --no-clobber不要覆蓋存在的文件或使用.#前綴

-c, --continue接著下載沒下載完的文件

--progress=TYPE設定進程條標記

-N, --timestamping不要重新下載文件除非比本地文件新

-S, --server-response打印服務器的回應

--spider不下載任何東西

-T, --timeout=SECONDS設定響應超時的秒數

-w, --wait=SECONDS兩次嘗試之間間隔SECONDS秒

--waitretry=SECONDS在重新鏈接之間等待1...SECONDS秒

--random-wait在下載之間等待0...2*WAIT秒

-Y, --proxy=on/off打開或關閉代理

-Q, --quota=NUMBER設置下載的容量限制

--limit-rate=RATE限定下載速率

目錄:

-nd --no-directories不創建目錄

-x, --force-directories強制創建目錄

-nH, --no-host-directories不創建主機目錄

-P, --directory-prefix=PREFIX將文件保存到目錄PREFIX/...

--cut-dirs=NUMBER忽略NUMBER層遠程目錄

HTTP選項:

--http-user=USER設定HTTP用戶名為USER.

--http-passwd=PASS設定http密碼為PASS.

-C, --cache=on/off允許/不允許服務器端的數據緩存(一般情況下允許).

-E, --HTML-extension將所有text/html文檔以.html擴展名保存

--ignore-length忽略`Content-Length'頭域

--header=STRING在headers中插入字符串STRING

--proxy-user=USER設定代理的用戶名為USER

--proxy-passwd=PASS設定代理的密碼為PASS

--referer=URL在HTTP請求中包含`Referer:URL'頭

-s, --save-headers保存HTTP頭到文件

-U, --user-agent=AGENT設定代理的名稱為AGENT而不是Wget/VERSION.

--no-http-keep-alive關閉HTTP活動鏈接(永遠鏈接).

--Mini Cookies=off不使用cookies.

--load-cookies=FILE在開始會話前從文件FILE中加載cookie

--save-cookies=FILE在會話結束后將cookies保存到FILE文件中

斷點續傳選項:

-nr, --dont-remove-listing不移走`.listing'文件

-g, --glob=on/off打開或關閉文件名的globbing機制

--passive-ftp使用被動傳輸模式(缺省值).

--active-ftp使用主動傳輸模式

--retr-symlinks在遞歸的時候,將鏈接指向文件(而不是目錄)

遞歸下載:

-r, --recursive遞歸下載--慎用!

-l, --level=NUMBER最大遞歸深度(inf或0代表無窮).

--delete-after在完畢后局部刪除文件

-k, --convert-links轉換非相對鏈接為相對鏈接

-K, --backup-converted在轉換文件X之前,將之備份為X.orig

-m, --mirror等價于-r -N -l inf -nr.

-p, --page-requisites下載顯示HTML的所有圖片

參考資料 >

生活家百科家居網