jsoup 是一款Java 的HTML解析器，可直接解析某個(gè)URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API，可通過DOM，層疊樣式表以及類似于jQuery的操作方法來取出和操作數(shù)據(jù)。
主要功能
1. 從一個(gè)URL，文件或字符串中解析HTML；
2. 使用DOM或CSS選擇器來查找、取出數(shù)據(jù)；
3. 可操作HTML元素、屬性、文本；
jsoup是基于MIT協(xié)議發(fā)布的，可放心使用于商業(yè)項(xiàng)目。
jsoup 的主要類層次結(jié)構(gòu)如下圖所示：
接下來我們專門針對幾種常見的應(yīng)用場景舉例說明jsoup 是如何優(yōu)雅的進(jìn)行HTML 文檔處理的。
文檔輸入
jsoup 可以從包括字符串、URL地址以及本地文件來加載HTML 文檔，并生成Document 對象實(shí)例。
下面是相關(guān)代碼：
// 直接從字符串中輸入HTML 文檔
String html = "
+"
這里是jsoup 項(xiàng)目的相關(guān)文章
";Document doc = Jsoup.parse(HTML);
// 從URL直接加載HTML 文檔
Document doc =Jsoup.connect("網(wǎng)址/").get();
String title = doc.title();
Document doc =Jsoup.connect("網(wǎng)址/")
.data("query", "Java") //請求參數(shù)
.userAgent("I’mjsoup") //設(shè)置User-Agent
.cookie("auth", "token") //設(shè)置cookie
.timeout(3000) //設(shè)置連接超時(shí)時(shí)間
.post(); //使用POST方法訪問URL
// 從文件中加載HTML 文檔
File input = new File("D:/test.
請大家注意最后一種HTML 文檔輸入方式中的parse 的第三個(gè)參數(shù)，為什么需要在這里指定一個(gè)網(wǎng)址呢（雖然可以不指定，如第一種方法）？因?yàn)镠TML 文檔中會(huì)有很多例如鏈接、圖片以及所引用的外部腳本、層疊樣式表文件等，而第三個(gè)名為baseURL 的參數(shù)的意思就是當(dāng)HTML 文檔使用相對路徑方式引用外部文件時(shí)，jsoup會(huì)自動(dòng)為這些URL 加上一個(gè)前綴，也就是這個(gè)baseURL。
解析并提取HTML 元素
這部分涉及一個(gè)HTML 解析器最基本的功能，但jsoup使用一種有別于其他開源項(xiàng)目的方式——選擇器，我們將在最后一部分詳細(xì)介紹jsoup選擇器，本節(jié)中你將看到j(luò)soup是如何用最簡單的代碼實(shí)現(xiàn)。
不過jsoup也提供了傳統(tǒng)的DOM 方式的元素解析，看看下面的代碼：
File input = new File("D:/test.html");
Document doc = Jsoup.parse(input, "UTF-8","網(wǎng)址/");
Element content =doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
String linkHref =link.attr("href");
String linkText =link.text();
}
你可能會(huì)覺得jsoup的方法似曾相識(shí)，沒錯(cuò)，像getElementById 和getElementsByTag 方法跟ECMAScript 的方法名稱是一樣的，功能也完全一致。你可以根據(jù)節(jié)點(diǎn)名稱或者是HTML 元素的id 來獲取對應(yīng)的元素或者元素列表。
與htmlparser 項(xiàng)目不同的是，jsoup 并沒有為HTML 元素定義一個(gè)對應(yīng)的類，一般一個(gè)HTML 元素的組成部分包括：節(jié)點(diǎn)名、屬性和文本，jsoup 提供簡單的方法供你自己檢索這些數(shù)據(jù)，這也是jsoup保持瘦身的原因。
而在元素檢索方面，jsoup 的選擇器簡直無所不能，
File input = new File("D:\test.html");
Document doc =Jsoup.parse(input,"UTF-8","網(wǎng)址");
Elements links = doc.select("a[href]"); // 具有href 屬性的鏈接
Elements pngs = doc.select("img[src$=.png]");//所有引用png圖片的元素
Element masthead =doc.select("div.masthead").first();
// 找出定義了class=masthead 的元素
Elements resultLinks = doc.select("h3.r >a"); // direct a after h3
jsoup使用跟jQuery 一模一樣的選擇器對元素進(jìn)行檢索，以上的檢索方法如果換成是其他的HTML 解釋器，至少都需要很多行代碼，而jsoup 只需要一行代碼即可完成。
jsoup 的選擇器還支持表達(dá)式功能，我們將在最后一節(jié)介紹這個(gè)超強(qiáng)的選擇器。
修改數(shù)據(jù)
在解析文檔的同時(shí)，我們可能會(huì)需要對文檔中的某些元素進(jìn)行修改，例如我們可以為文檔中的所有圖片增加可點(diǎn)擊鏈接、修改鏈接地址或者是修改文本等。
下面是一些簡單的例子：
doc.select("div.commentsa").attr("rel", "nofollow");
//為所有鏈接增加rel=nofollow 屬性
doc.select("div.commentsa").addClass("mylinkclass");
//為所有鏈接增加class=mylinkclass 屬性
doc.select("img").removeAttr("onclick");//刪除所有圖片的onclick屬性
doc.select("input[type=text]").val("");//清空所有文本輸入框中的文本
道理很簡單，你只需要利用jsoup 的選擇器找出元素，然后就可以通過以上的方法來進(jìn)行修改，除了無法修改標(biāo)簽名外（可以刪除后再插入新的元素），包括元素的屬性和文本都可以修改。
修改完直接調(diào)用Element(s) 的HTML() 方法就可以獲取修改完的HTML 文檔。
HTML 文檔清理
jsoup 在提供強(qiáng)大的API 同時(shí)，人性化方面也做得非常好。在做網(wǎng)站的時(shí)候，經(jīng)常會(huì)提供用戶評論的功能。有些用戶比較淘氣，會(huì)搞一些腳本到評論內(nèi)容中，而這些腳本可能會(huì)破壞整個(gè)頁面的行為，更嚴(yán)重的是獲取一些機(jī)要信息，例如XSS 跨站點(diǎn)攻擊之類的。
jsoup 對這方面的支持非常強(qiáng)大，使用非常簡單。看看下面這段代碼：
String unsafe = "
";String safe = Jsoup.Clean(unsafe, Whitelist.basic());
// 輸出:
//
jsoup 使用一個(gè)Whitelist 類用來對HTML 文檔進(jìn)行過濾，該類提供幾個(gè)常用方法：
如果這五個(gè)過濾器都無法滿足你的要求呢，例如你允許用戶插入flash 動(dòng)畫，沒關(guān)系，Whitelist提供擴(kuò)展功能，例如whitelist.addTags("embed","object","param","span","div");也可調(diào)用addAttributes 為某些元素增加屬性。
jsoup 的過人之處——選擇器
前面我們已經(jīng)簡單的介紹了jsoup是如何使用選擇器來對元素進(jìn)行檢索的。本節(jié)我們把重點(diǎn)放在選擇器本身強(qiáng)大的語法上。下表是jsoup選擇器的所有語法詳細(xì)列表。
基本用法
以上是最基本的選擇器語法，這些語法也可以組合起來使用，下面是jsoup支持的組合用法：
除了一些基本的語法以及這些語法進(jìn)行組合外，jsoup 還支持使用表達(dá)式進(jìn)行元素過濾選擇。下面是jsoup支持的所有表達(dá)式一覽表：
總結(jié)
jsoup 的基本功能到這里就介紹完畢，但由于jsoup 良好的可擴(kuò)展性API 設(shè)計(jì)，你可以通過選擇器的定義來開發(fā)出非常強(qiáng)大的HTML 解析功能。再加上jsoup 項(xiàng)目本身的開發(fā)也非常活躍，因此如果你正在使用Java ，需要對HTML 進(jìn)行處理，不妨試試。
參考資料 >