斷點續(xù)傳就是當爬蟲軟件遇到錯誤、線路中斷或者遇到意外強制關(guān)閉后，下次開啟程序依然可以從上一個斷點處繼續(xù)運行，這樣可以在一定程度上減少用戶的煩惱。對于網(wǎng)頁抓取技術(shù)而言，斷點續(xù)傳是實現(xiàn)爬行綱軟件中必要的手段之一。
實現(xiàn)斷點續(xù)傳的方法為：每當程序執(zhí)行到一定程度，例如系統(tǒng)抓取了1000條數(shù)據(jù)時，系統(tǒng)就將當前的參數(shù)保存到一個文件中，這個文件可以保存到本地，也可以保存到服務(wù)器上，文件中需要寫入本次執(zhí)行的全部必要參數(shù)，如檢索的關(guān)鍵詞、網(wǎng)址、開始檢索的頁數(shù)、當前檢索到多少頁、檢索結(jié)果總頁數(shù)、輸出文件路徑等。每次寫斷點時更新這個文件，如果程序關(guān)閉，下次執(zhí)行時就先預(yù)讀這個斷點文件，然后從上次的斷點位置重新開始抓取。
斷點續(xù)傳包括FTP協(xié)議的斷點續(xù)傳和HTTP協(xié)議的斷點續(xù)傳。
用途
有時用戶上傳下載文件需要歷時數(shù)小時，萬一線路中斷，不具備斷點續(xù)傳的FTP服務(wù)器或下載軟件就只能從頭重傳，比較好的FTP服務(wù)器或下載軟件具有FTP斷點續(xù)傳能力，允許用戶從上傳下載斷線的地方繼續(xù)傳送，這樣大大減少了用戶的煩惱。
IE瀏覽器默認下載方式不支持斷點續(xù)傳。
常見的支持斷點續(xù)傳的上傳、下載軟件：QQ旋風(fēng)、迅雷、快車（迷你快車）、web迅雷、影音傳送帶、快車、BitComet、電驢eMule、哇嘎Vagaa、RF[RaySourse/RayFile]、酷6、土豆網(wǎng)、優(yōu)酷、百度視頻、新浪視頻、騰訊視頻、百度智能云等都支持斷點續(xù)傳。
在 *nix(Linux/Unix)系統(tǒng)下，常用支持斷點續(xù)傳的FTP客戶端軟件是Lftp。
特點
斷點續(xù)傳支持從文件上次中斷的地方開始傳送數(shù)據(jù)，而并非是從文件開頭傳送。
斷點續(xù)傳下載軟件具有以下特點：
1、斷點續(xù)傳功能，既可節(jié)約時間又可以節(jié)約金錢。
2、定時下載功能，可以為將要下載的軟件制定一任務(wù)列表，讓下載軟件在規(guī)定的時間自動撥號上網(wǎng)并下載軟件，下載完畢后再自動掛起Modem，斷開與internet的連接，甚至自動關(guān)閉計算機。
3、多文件同時下載。
4、支持拖放式操作，可將下載文件的URL超鏈接用鼠標拖放到下載軟件的窗口上，即可激活下載軟件，同時開始文件的下載。
5、自動捕捉剪貼板上的URL并激活下載軟件，可以捕捉到剪貼板中的URL，甚至瀏覽器中單擊下載文件超鏈接，即可激活程序?qū)崿F(xiàn)文件的下載。
6、致命錯誤發(fā)生時的關(guān)閉機制。
7、預(yù)防病毒侵害的安全機制，文件下載完畢，即可自動將其發(fā)送到指定的病毒的檢測軟件進行病毒掃描。
斷點續(xù)傳下載軟件包括Thunder、NetAnts、FlashGet、Net Vampire、Download Manager、GetRight、Go!Zilla、WinDownload、Internet Download Manager等。
相關(guān)內(nèi)容
解決四載波基站一對一版本升級的復(fù)雜性和不穩(wěn)定性，傳統(tǒng)近端升級的方法遠遠不能滿足四載波基站軟件版本頻繁升級的需求。研究無線網(wǎng)絡(luò)設(shè)備升級的方法，提出了對四個小區(qū)同時遠程升級的設(shè)計方案，遠程升級過程中網(wǎng)絡(luò)出現(xiàn)異常，并且支持斷點續(xù)傳。經(jīng)過多次頻繁地對四載波基站進行遠程升級，實驗數(shù)據(jù)表明，提高了四載波基站版本升級的穩(wěn)定性和簡潔性，并且廣泛地應(yīng)用于移動通信設(shè)備中??。
風(fēng)電場與集控中心，一般通過電力專線或運營商專線連接。當專線中斷或通信異常時，風(fēng)機數(shù)據(jù)無法傳輸?shù)郊刂行模斐杀緯r段風(fēng)機數(shù)據(jù)的缺失。數(shù)據(jù)斷點續(xù)傳技術(shù)，在數(shù)據(jù)通信恢復(fù)時，可將中斷時段的風(fēng)機數(shù)據(jù)傳輸至集控中心，并插補至集控中心的歷史數(shù)據(jù)庫。為了保證數(shù)據(jù)傳輸?shù)乃俣扰c質(zhì)量，將電力102規(guī)約應(yīng)用到風(fēng)機斷點數(shù)據(jù)續(xù)傳之中，進一步提高了數(shù)據(jù)的傳輸速度，保證了數(shù)據(jù)質(zhì)量??。
參考資料 >
斷點續(xù)傳和下載原理分析 - LOVE SHARE - 博客園.博客園.2021-07-27