Heritrix是一款基于Java開(kāi)發(fā)的開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)工具，具有優(yōu)秀的可擴(kuò)展性和靈活性，允許用戶自定義抓取邏輯。該工具旨在從互聯(lián)網(wǎng)上抓取所需資源，并已成功應(yīng)用于構(gòu)建大型網(wǎng)絡(luò)數(shù)字圖書(shū)館。
特征
Heritrix的主要特征包括：
1. 支持多站點(diǎn)并發(fā)遞歸爬取。
2. 能夠從指定種子開(kāi)始，精準(zhǔn)地采集特定網(wǎng)站或主機(jī)下的URL。
3. 使用廣度優(yōu)先算法進(jìn)行處理。
4. 各組件高效且可擴(kuò)展。
5. 提供豐富的配置選項(xiàng)，如日志位置、歸檔文件位置、臨時(shí)文件位置等。
6. 可設(shè)定下載大小上限、下載文檔數(shù)量上限及下載時(shí)間上限。
7. 可調(diào)整工作線程數(shù)和帶寬上限。
8. 包含多種可配置的過(guò)濾機(jī)制和表達(dá)式。
9. 對(duì)于未在范圍內(nèi)的情況，提供重試功能。
10. 提供了多種類型的爬行綱，如寬帶爬蟲(chóng)、主題爬蟲(chóng)、持續(xù)爬蟲(chóng)和實(shí)驗(yàn)爬蟲(chóng)。
局限性
Heritrix的一些限制包括：
1. 單一實(shí)例爬蟲(chóng)無(wú)法協(xié)作。
2. 在資源受限情況下，操作可能變得復(fù)雜。
3. 官方僅在Linux平臺(tái)上進(jìn)行了測(cè)試。
4. 每個(gè)爬蟲(chóng)獨(dú)立運(yùn)行，缺乏對(duì)更新的追蹤。
5. 硬件或系統(tǒng)故障時(shí)，恢復(fù)能力較弱。
組件架構(gòu)
Heritrix的核心組件包括范圍部件、邊界部件和處理器鏈。其中，范圍部件用于根據(jù)規(guī)則確定應(yīng)放入隊(duì)列的URI；邊界部件負(fù)責(zé)跟蹤待收集和已收集的URI，選擇下一個(gè)URI并排除已處理的URI；處理器鏈則包含了多個(gè)處理器，用于獲取URI、解析結(jié)果并將數(shù)據(jù)傳遞回邊界部件。
控制臺(tái)及其他組件
除了核心組件外，Heritrix還包括WEB管理控制臺(tái)，這是一個(gè)單機(jī)WEB應(yīng)用程序，內(nèi)置JAVA HTTP服務(wù)器。通過(guò)選擇Crawler命令，操作員可以訪問(wèn)和控制控制臺(tái)。此外，還有Crawler命令處理部件、Servercache（處理器緩存）等其他組件，分別用于處理Crawler命令、存儲(chǔ)服務(wù)器相關(guān)信息以及提供處理器緩存服務(wù)。
發(fā)展歷程
Heritrix項(xiàng)目始于2003年初，旨在開(kāi)發(fā)一款專門用于歸檔互聯(lián)網(wǎng)資源的網(wǎng)絡(luò)爬蟲(chóng)。在過(guò)去幾年中，該項(xiàng)目已經(jīng)積累了超過(guò)400TB的數(shù)據(jù)。目前最新的版本為heritrix-3.1.0。
參考資料 >
Heritrix架構(gòu)簡(jiǎn)述.CSDN.2024-08-24
爬蟲(chóng)技術(shù)框架——Heritrix.博客園.2024-08-24
Heritrix使用小結(jié).博客園.2024-08-24