數(shù)據(jù)測量是一項(xiàng)重要的技術(shù)活動，旨在獲取網(wǎng)絡(luò)和其他實(shí)體對象的相關(guān)數(shù)據(jù)。早期的網(wǎng)絡(luò)數(shù)據(jù)測量技術(shù)包括全網(wǎng)測量、區(qū)域測量和采樣測量。網(wǎng)絡(luò)數(shù)據(jù)測量技術(shù)的出現(xiàn)是為了應(yīng)對網(wǎng)絡(luò)初期的數(shù)據(jù)收集需求，最初主要使用網(wǎng)頁爬行綱進(jìn)行全網(wǎng)數(shù)據(jù)抓取。然而，這種方法產(chǎn)生了大量的開銷。區(qū)域測量技術(shù)則針對網(wǎng)絡(luò)特定劃分的子范圍進(jìn)行數(shù)據(jù)采集，以降低成本。隨著網(wǎng)絡(luò)數(shù)據(jù)的增長，采樣測量技術(shù)因其高效性而得到了廣泛應(yīng)用。此外，點(diǎn)擊流模型作為一種新型的測量方法，可以從ISP的角度提供全新的測量視角。
數(shù)據(jù)測量與采集系統(tǒng)的設(shè)計(jì)
概述
GPS全球定位系統(tǒng)是一種全球性、全天候，且具有連續(xù)三維定位和導(dǎo)航能力的系統(tǒng)，是當(dāng)前最先進(jìn)的精密衛(wèi)星導(dǎo)航系統(tǒng)。然而在航空載體上單獨(dú)使用GPS導(dǎo)航受到輸出頻率低的限制。慣性導(dǎo)航系統(tǒng)INS(Inertial Navigation System)具有能夠不依賴外界信息、完全獨(dú)立自主地提供多種較高精度的導(dǎo)航參數(shù)的優(yōu)點(diǎn)，但它提供的導(dǎo)航參數(shù)誤差隨著時(shí)間而積累，不適合長時(shí)間的單獨(dú)導(dǎo)航。可見,GPS和INS具有優(yōu)勢互補(bǔ)的特點(diǎn)。以適當(dāng)?shù)姆椒▽烧呓Y(jié)合起來成為一個組合導(dǎo)航系統(tǒng)，可以提高系統(tǒng)的整體手導(dǎo)航精度及導(dǎo)航性能。當(dāng)前,GPS與INS相結(jié)合已成為導(dǎo)航控制的重要發(fā)展方向。本文以GPS/INS組合導(dǎo)航系統(tǒng)為核心，利用差分技術(shù)，完成了動態(tài)姿態(tài)數(shù)據(jù)測量與采集系統(tǒng)的設(shè)計(jì)，實(shí)現(xiàn)高動態(tài)、高精度的姿態(tài)測量和定位。設(shè)備造價(jià)低，操作簡單及使用靈活，具有較高實(shí)用價(jià)值。
系統(tǒng)方案設(shè)計(jì)
系統(tǒng)工作原理
由于GPS的精密定位服務(wù)只局限于美國指定的軍方用戶和政府部門，普通用戶只能使用定位精度相對較低的標(biāo)準(zhǔn)定位服務(wù)，為了提高GPS的定位精度，考慮使用差分定位技術(shù)，當(dāng)前，現(xiàn)成的差分GPS設(shè)備可直接進(jìn)行差分定位，但多數(shù)設(shè)備都是從國外進(jìn)口，價(jià)格昂貴，維修服務(wù)困難。考慮到成本及造價(jià)的問題，系統(tǒng)將當(dāng)前使用最為廣泛的偽距差分方法應(yīng)用到系統(tǒng)中，實(shí)現(xiàn)了高精度的定位。
偽距差分方法工作原理是由差分GPS基準(zhǔn)站發(fā)送偽距改正數(shù)，由用戶站接收并對其測量結(jié)果進(jìn)行改正，消除如星歷誤差、電離層誤差、對流層誤差等系統(tǒng)中的共有誤差，以獲得精確的定位結(jié)果。實(shí)現(xiàn)時(shí)，要求基準(zhǔn)站與用戶站同時(shí)觀測到的衛(wèi)星數(shù)大于或等于4顆(實(shí)現(xiàn)完全定位)。本系統(tǒng)主要用于試驗(yàn)時(shí)精確測量試驗(yàn)設(shè)備運(yùn)動載體的姿態(tài)，通過差分GPS修正，可以長時(shí)間提供穩(wěn)定、可靠、滿足精度要求的動態(tài)姿態(tài)數(shù)據(jù)，同時(shí)提供速度數(shù)據(jù)、位置數(shù)據(jù)、秒脈沖信號及其他導(dǎo)航信息。同時(shí)，由于差分GPS的引入為地面監(jiān)視試驗(yàn)狀態(tài)和指揮調(diào)度提供保障。
系統(tǒng)組成及功能
系統(tǒng)主要由地面基準(zhǔn)站和機(jī)載移動站組成。地面基準(zhǔn)站主要完成以5s的頻率向機(jī)載設(shè)備發(fā)送差分修正信息；實(shí)時(shí)記錄地面GPS基站的定位信息；記錄機(jī)載移動站的GPS定位信息以及移動站GPS/INS測量的姿態(tài)信息和試驗(yàn)設(shè)備的工作信息；以圖形和數(shù)字方式實(shí)時(shí)顯示移動站載體的位置和姿態(tài)；對地面設(shè)備進(jìn)行參數(shù)裝訂和系統(tǒng)設(shè)置，實(shí)時(shí)監(jiān)控地面設(shè)備和機(jī)載設(shè)備的工作狀態(tài)，實(shí)時(shí)顯示測量的載機(jī)的空間位置和姿態(tài)數(shù)據(jù)，實(shí)時(shí)記錄試驗(yàn)數(shù)據(jù)，試驗(yàn)結(jié)束后進(jìn)行數(shù)據(jù)處理分析；打印試驗(yàn)數(shù)據(jù)、圖形、曲線及分析結(jié)果。其組成為:(1)GPS接收機(jī);(2)數(shù)傳電臺及功放設(shè)備;(3)電源模塊;(4)控制計(jì)算機(jī)(基準(zhǔn)站主控計(jì)算機(jī));(5)打印機(jī)等。
機(jī)載移動站主要完成實(shí)時(shí)測量飛機(jī)的高精度三維姿態(tài)基準(zhǔn)數(shù)據(jù)、位置數(shù)據(jù)、速度數(shù)據(jù)及其它導(dǎo)航信息并利用數(shù)據(jù)記錄器進(jìn)行記錄和存儲；將測得的飛機(jī)姿態(tài)、位置和速度等數(shù)據(jù)實(shí)時(shí)地向機(jī)上試驗(yàn)設(shè)備傳輸；將測得的飛機(jī)數(shù)據(jù)與試驗(yàn)設(shè)備工作數(shù)據(jù)實(shí)時(shí)地向地面基準(zhǔn)站設(shè)備傳輸；利用移動站輔助計(jì)算機(jī)完成對機(jī)載姿態(tài)精密測量裝置和受試設(shè)備進(jìn)行參數(shù)裝訂、系統(tǒng)設(shè)置、初始化，下載機(jī)載記錄器中記錄的數(shù)據(jù)，對設(shè)備功能檢查。其組成為:
(1)GPS/INS組合導(dǎo)航接收機(jī);
(2)數(shù)傳電臺及功放設(shè)備;
(3)機(jī)載數(shù)據(jù)記錄器;
(4)控制計(jì)算機(jī);
(5)四路串口擴(kuò)展卡;
(6)移動站輔助計(jì)算機(jī);
(7)電源模塊。
地面基準(zhǔn)站和機(jī)載移動站之間的通信利用數(shù)傳電臺及其輔助設(shè)備來完成。電臺采用收發(fā)異頻的方式傳輸，上行數(shù)據(jù)采用f1頻率，下行數(shù)據(jù)采用f2頻率。差分?jǐn)?shù)據(jù)(上行數(shù)據(jù))每秒傳輸?shù)臄?shù)據(jù)量和飛機(jī)位置、速度、姿態(tài)數(shù)據(jù)(下行數(shù)據(jù))每秒傳輸?shù)臄?shù)據(jù)量的總和遠(yuǎn)遠(yuǎn)低于信道的傳輸容量，因此采用這種收發(fā)異頻的傳輸方式可以實(shí)現(xiàn)數(shù)據(jù)的上行、下行傳輸，完成數(shù)據(jù)的通信。
系統(tǒng)硬件模塊設(shè)計(jì)
移動站控制計(jì)算機(jī)設(shè)計(jì)
機(jī)載移動站是差分定位的核心部分，輸入輸出通路比較多，而其控制計(jì)算機(jī)模塊作為移動站的核心模塊，與外接設(shè)備的接口設(shè)計(jì)是重點(diǎn)。經(jīng)過分析，移動站中數(shù)傳電臺(1路)、GPS/INS(2路)均是利用RS232串口輸出，而試驗(yàn)設(shè)備則是利用RS485進(jìn)行輸出；考慮到移動站主控計(jì)算機(jī)與移動站控制計(jì)算機(jī)模塊之間的數(shù)據(jù)量比較大，因此可采用網(wǎng)絡(luò)進(jìn)行連接。在設(shè)計(jì)過程中按照便攜式、模塊化的思想，將輸入外設(shè)通過串口擴(kuò)展卡與控制計(jì)算機(jī)進(jìn)行連接。控制計(jì)算機(jī)硬件上主要由以下部件組成:(1)PC/104主控模塊(All In One結(jié)構(gòu));(2)PC/104總線4路串口擴(kuò)展卡;(3)2路RS232C-RS485轉(zhuǎn)換器;(4)標(biāo)準(zhǔn)網(wǎng)卡。±5V、±12V電源模塊。PC/104主控模塊為高性能英特爾 Pentium 266 CPU處理模塊，采用嵌入式All In One結(jié)構(gòu)，基于PC/104總線標(biāo)準(zhǔn)64針帶孔插座，自帶網(wǎng)絡(luò)接口，外部支持PC/104總線擴(kuò)展，因此具有良好的實(shí)用性和較強(qiáng)的擴(kuò)展功能。串口擴(kuò)展卡將4路串口及2路RS232C-RS485信號轉(zhuǎn)換器模塊集成在一塊功能板上，實(shí)現(xiàn)主控模塊與外部設(shè)備的可靠連接。主控模塊工作時(shí)，將這6路信號均看作普通串行設(shè)備進(jìn)行讀寫操作。
其他功能部件的配置
除主控模塊外，整個系統(tǒng)的核心硬件還包括GPS/INS組合導(dǎo)航系統(tǒng)、GPS接收機(jī)、數(shù)傳電臺等功能部件，其具體配置如下:
(1)GPS/INS組合導(dǎo)航系統(tǒng)：選用了美國YH-Technology公司研制的YH-9600GIGPS/INS高精度組合導(dǎo)航系統(tǒng)。該產(chǎn)品融合了INS和GPS的原始數(shù)據(jù)，進(jìn)行21階卡爾曼濾波，具有差分改正功能。通過串口高速率輸出姿態(tài)、位置、速度、航向、時(shí)間、1PPS等數(shù)據(jù)。
(2)GPS接收機(jī)：選用了NovAtel公司高性能GPS接收板OEM4-3151R。該卡將射頻接收電路和數(shù)字電路集成在一塊印制電路板上，可跟蹤多達(dá)12個GPS衛(wèi)星的L1C/A碼、L1和L2載波相位，與GPS天線組合使用，適用于單點(diǎn)定位和差分定位系統(tǒng)。
(3)數(shù)傳電臺：選用了美國PCC數(shù)傳電臺RFM96W作為GPS差分?jǐn)?shù)據(jù)鏈路的專用數(shù)傳電臺，可靠性高，應(yīng)用廣泛。
系統(tǒng)軟件設(shè)計(jì)
系統(tǒng)軟件設(shè)計(jì)基于移動站便攜性的要求，采用了Borland公司的C++Builder6.0進(jìn)行二次開發(fā)而成。在設(shè)計(jì)過程中，利用交互編程技術(shù)使窗口、事件和消息等Windows操作系統(tǒng)的工作方式與底層硬件驅(qū)動程序相融合，使軟件完全按事件驅(qū)動的模式來執(zhí)行，并在軟件中加強(qiáng)了容錯能力設(shè)計(jì)，在最大限度上避免了操作人員人為或非正常因素造成的錯誤。
3.1系統(tǒng)軟件的組成
整個系統(tǒng)軟件包括移動站操控軟件、移動站輔助計(jì)算機(jī)監(jiān)控軟件和基準(zhǔn)站操控軟件，如圖2所示。為了減少開發(fā)時(shí)間，提高工作效率，移動站輔助計(jì)算機(jī)監(jiān)控軟件采用第三方成熟的遠(yuǎn)程監(jiān)控軟件，通過網(wǎng)絡(luò)接口與系統(tǒng)連接。移動站操控軟件主要由以下模塊組成：參數(shù)及系統(tǒng)初始化模塊、GPS原始數(shù)據(jù)接收存儲模塊、GPS/INS數(shù)據(jù)接收存儲及轉(zhuǎn)發(fā)模塊、試驗(yàn)設(shè)備數(shù)據(jù)接收存儲及轉(zhuǎn)發(fā)模塊、差分改正數(shù)接收轉(zhuǎn)發(fā)模塊及設(shè)備功能檢查模塊。基準(zhǔn)站操控軟件由以下功能模塊組成:
(1)初始化模塊：其實(shí)現(xiàn)程序啟動之后自動讀取最近一次運(yùn)行時(shí)的系統(tǒng)配置文件進(jìn)行初始化設(shè)置，同時(shí)對GPS接收機(jī)進(jìn)行設(shè)置。配置文件包括串口參數(shù)配置子文件、圖形顯示區(qū)設(shè)定子文件和GPS接收機(jī)輸出設(shè)定子文件。
(2)數(shù)據(jù)接收模塊：數(shù)據(jù)接收模塊包括基準(zhǔn)站GPS原始數(shù)據(jù)接收子程序、移動站GPS/INS數(shù)據(jù)接收子程序和試驗(yàn)設(shè)備數(shù)據(jù)接收子程序。
(3)數(shù)據(jù)轉(zhuǎn)換模塊：數(shù)據(jù)轉(zhuǎn)換模塊完成移動站發(fā)送的GPS/INS數(shù)據(jù)、試驗(yàn)設(shè)備數(shù)據(jù)以及GPS接收機(jī)輸出的GPS原始數(shù)據(jù)由二進(jìn)制格式向ASCII碼格式的轉(zhuǎn)換。
(4)數(shù)據(jù)回放模塊：數(shù)據(jù)回放模塊主要達(dá)成讀取已接收存儲的數(shù)據(jù)進(jìn)行解碼并在相應(yīng)區(qū)域中用圖形或數(shù)字的形式顯示以達(dá)到事后模擬監(jiān)控的目的，實(shí)現(xiàn)離線狀態(tài)時(shí)的全功能模擬。
數(shù)據(jù)測量顯示系統(tǒng)
概述
虛擬儀器，是以通用計(jì)算機(jī)為核心，根據(jù)用戶對儀器的設(shè)計(jì)定義，用軟件實(shí)現(xiàn)虛擬控制面板設(shè)計(jì)和測試功能的一種計(jì)算機(jī)儀器系統(tǒng)。用戶可以通過鼠標(biāo)、鍵盤或觸摸屏來操作虛擬面板，實(shí)現(xiàn)需要的測試測量目的。LabVIEW是由美國國家儀器推出的面向計(jì)算機(jī)測控領(lǐng)域的虛擬儀器軟件開發(fā)平臺，它是一種真正意義上的圖形化編程語言，采用工程技術(shù)人員所熟悉的術(shù)語和圖形化的符號代替常規(guī)的文本編程語言，具有界面友好、操作方便、開發(fā)周期短的特點(diǎn)。在本設(shè)計(jì)中通過單片機(jī)測量出來的速度、位移信號都轉(zhuǎn)換成了數(shù)字的形式，通過串口通訊傳輸給了計(jì)算機(jī)，通過LabVIEW采集這些數(shù)據(jù)，通過處理以圖形的方式顯示出來。
單片機(jī)系統(tǒng)的設(shè)計(jì)
系統(tǒng)的硬件電路主要由：數(shù)據(jù)采集、串行通訊、存儲電路、顯示電路、電源電壓輸入輸出電路、按鍵等幾個模塊組成。通過單片機(jī)實(shí)現(xiàn)了對位移和速度的測量，這些數(shù)據(jù)通過串口通訊傳到了計(jì)算機(jī)。在傳輸?shù)倪^程中，以0x00開頭代表接下來所傳的數(shù)據(jù)為位移，0xff開頭代表接下來多傳得數(shù)據(jù)圖1硬件原理框圖為速度。系統(tǒng)軟件框圖如圖2所示。
串口通訊實(shí)現(xiàn)及數(shù)據(jù)顯示
在LabVIEW環(huán)境下使用串口與在其它集成開發(fā)環(huán)境中的開發(fā)過程類似，只不過在Lab-VIEW下使用的是圖形化的編程語言，。首先調(diào)用VISAConfigureSerialPort完成串口參數(shù)的設(shè)置，包括串口資源分配、波特率、數(shù)據(jù)位、停止位、校驗(yàn)位等。配制完后就可以用這個串口進(jìn)行數(shù)據(jù)收發(fā)。發(fā)送數(shù)據(jù)使用VISAWrite，接收數(shù)據(jù)使用VISARead。在LzbVIEW中，將采集到的位移和數(shù)據(jù)波形通過圖形的形式表示出來，這樣就能更直觀的觀測到位移和速度的變化。
網(wǎng)絡(luò)數(shù)據(jù)測量
概述
隨著網(wǎng)絡(luò)技術(shù)的迅速發(fā)展，使得網(wǎng)絡(luò)測量成為一個研究熱點(diǎn)。當(dāng)前的網(wǎng)絡(luò)常常擁有上億級別的用戶，大量用戶持續(xù)交互，各種信息在網(wǎng)絡(luò)中快速流轉(zhuǎn)，這些特點(diǎn)給相關(guān)研究者在深入研究網(wǎng)絡(luò)數(shù)據(jù)等工作上帶來了巨大的挑戰(zhàn)。網(wǎng)絡(luò)每天產(chǎn)生大量的結(jié)構(gòu)化或非結(jié)構(gòu)化的文本數(shù)據(jù)、多媒體數(shù)據(jù)，因此網(wǎng)絡(luò)的數(shù)據(jù)采集工具是網(wǎng)絡(luò)測量研究的基礎(chǔ)。由于缺乏有效的數(shù)據(jù)共享機(jī)制，學(xué)術(shù)界在網(wǎng)絡(luò)領(lǐng)域研究面臨的主要困難之一就是缺乏可用的數(shù)據(jù)集。網(wǎng)絡(luò)的飛速發(fā)展使得網(wǎng)絡(luò)中的圖譜數(shù)據(jù)、內(nèi)容數(shù)據(jù)迅速地膨脹，不同的測量技術(shù)相繼出現(xiàn)。
早期的網(wǎng)絡(luò)測量可以分為全網(wǎng)測量技術(shù)、區(qū)域測量技術(shù)和采樣測量技術(shù)。網(wǎng)絡(luò)測量技術(shù)出現(xiàn)在網(wǎng)絡(luò)初期，主要使用網(wǎng)頁爬行綱來對網(wǎng)絡(luò)進(jìn)行全網(wǎng)數(shù)據(jù)抓取這種將產(chǎn)生大量的開銷。區(qū)域測量技術(shù)則針對網(wǎng)絡(luò)特定劃分的子范圍進(jìn)行數(shù)據(jù)采集，如對網(wǎng)絡(luò)中某學(xué)校的用戶進(jìn)行采集。這種測量方法避免了全網(wǎng)采集的巨大開銷，采集的數(shù)據(jù)也具有一定的代表性。隨著網(wǎng)絡(luò)中數(shù)據(jù)的大量增長，采樣測量技術(shù)被廣泛采用。采樣測量技術(shù)是針對全圖的均勻采樣，獲得的數(shù)據(jù)可以估算某些全局的信息，是當(dāng)前大規(guī)模網(wǎng)絡(luò)研究中最常用的測量方法。
上述測量方法的總特點(diǎn)是利用web爬蟲向網(wǎng)絡(luò)平臺進(jìn)行數(shù)據(jù)請求，它們常常受到訪問策略上的限制，就算是采樣測量，獲取可觀的數(shù)據(jù)量也需要巨大資源開銷，同時(shí)上述算法獲取的數(shù)據(jù)也有一定的局限性，都是可見的交互數(shù)據(jù)，不足以支持網(wǎng)絡(luò)中的隱式行為分析。為此，學(xué)者們提出了一種全新的網(wǎng)絡(luò)測量方法亦即點(diǎn)擊流模型，該方法利用ISP提供的Httptraces還原網(wǎng)絡(luò)的session，并以此作為用戶隱式行為研究的基礎(chǔ)。在網(wǎng)絡(luò)的測量研究中，爬行綱系統(tǒng)的設(shè)計(jì)是基礎(chǔ)，采樣算法是研究的重點(diǎn)，而點(diǎn)擊流模型則是從ISP角度的一種全新的測量方法。本文將從爬蟲系統(tǒng)、采樣算法和點(diǎn)擊流模型三個方面來介紹網(wǎng)絡(luò)數(shù)據(jù)測量的研究現(xiàn)狀。
爬蟲系統(tǒng)的設(shè)計(jì)
網(wǎng)絡(luò)爬蟲是一種自動搜集互聯(lián)網(wǎng)信息的程序。
專用爬蟲系統(tǒng)
網(wǎng)絡(luò)數(shù)據(jù)具有開放的特點(diǎn)，對不同網(wǎng)絡(luò)數(shù)據(jù)的獲取需要根據(jù)該網(wǎng)絡(luò)的特點(diǎn)，因此就對爬蟲系統(tǒng)有一些特殊要求如基于移動爬蟲的專用系統(tǒng)，面向新聞主題的爬蟲系統(tǒng)等等。針對現(xiàn)有的三個典型網(wǎng)絡(luò)，即wit-ter、Facebook、人人網(wǎng)，胡亞楠根據(jù)三個網(wǎng)絡(luò)的權(quán)限問題分別設(shè)計(jì)了不同的專用爬行綱系統(tǒng)。胡亞楠還在JAX術(shù)的基礎(chǔ)上，分析了爬取頻率、爬蟲請求數(shù)據(jù)等參數(shù)。而參考文獻(xiàn)中馮典則研究了基于新浪微博的專用爬蟲系統(tǒng)技術(shù)。馮典主要是在專用爬蟲系統(tǒng)的數(shù)據(jù)采集上有所改進(jìn)。他主要通過多線程和多復(fù)用等技術(shù)來提高采集速度，以提高專用爬蟲系統(tǒng)的速度。但是在爬蟲系統(tǒng)運(yùn)行的過程中的專用爬蟲系統(tǒng)不能達(dá)到最佳效果。一種新的“眾包”技術(shù)誕生了。眾包技術(shù)就是能夠集合一部分的數(shù)據(jù)資源來完成一定量的數(shù)據(jù)采集工具用戶提供的是數(shù)據(jù)集。提出了一種以眾包方式來采集數(shù)據(jù)的爬行綱方法。針對不同的數(shù)據(jù)采集任務(wù)，爬蟲系統(tǒng)需要根據(jù)特定的數(shù)據(jù)需求進(jìn)行定向設(shè)計(jì)。
分布式爬蟲系統(tǒng)
網(wǎng)絡(luò)用戶通常通過擴(kuò)展節(jié)點(diǎn)來訪問數(shù)據(jù)，單節(jié)點(diǎn)的訪問將產(chǎn)生擁塞，因此在對網(wǎng)絡(luò)數(shù)據(jù)的獲取過程中，就需要分布式爬蟲系統(tǒng)的實(shí)現(xiàn)。分布式爬蟲系統(tǒng)中包括多個小爬蟲，這些爬蟲分布在同一個局域網(wǎng)中，或分布在不同的地理位置。分布式爬蟲系統(tǒng)需要分割下載任務(wù)，因絡(luò)信息，而且可以作為定向信息采集器，定向采集某些網(wǎng)站下的特定信息，如招聘信息，租房信息等。針對不同的需求，網(wǎng)絡(luò)爬蟲系統(tǒng)的設(shè)計(jì)也有所不同。給出了目前流行的幾類爬行綱系統(tǒng)。此每個爬蟲都有需要完成的任務(wù)。另外，分布式的爬蟲系統(tǒng)需要支持分布擴(kuò)展的能力，能處理分布式環(huán)境下網(wǎng)絡(luò)數(shù)據(jù)的采集。根據(jù)爬蟲分散程度不同，可以分為基于局域網(wǎng)的分布式爬蟲系統(tǒng)和基于廣域網(wǎng)的分布式爬蟲系統(tǒng)。提出了一個基于三層框架的并行爬取的爬蟲系統(tǒng)。這三層框架分別為：應(yīng)用層、協(xié)調(diào)數(shù)據(jù)層和用戶抓取層。其中，應(yīng)用層主要面向用戶，給用戶提供爬蟲的操作界面。協(xié)調(diào)數(shù)據(jù)層主要是爬蟲搜索節(jié)點(diǎn)的分布。用戶抓取層，就是從各個搜索節(jié)點(diǎn)中采集數(shù)據(jù)。另外隨著云的廣泛應(yīng)用，中提出了基于云平臺的分布式爬蟲系統(tǒng)，文獻(xiàn)中主要通過數(shù)據(jù)的調(diào)度策略等方法，來實(shí)現(xiàn)云環(huán)境的分布式爬蟲系統(tǒng)。但是由于云環(huán)境也正處在迅速發(fā)展階段，爬行綱系統(tǒng)在一些實(shí)際應(yīng)用問題上仍有欠缺。
基于Ajax的網(wǎng)絡(luò)數(shù)據(jù)抽取爬蟲系統(tǒng)
與傳統(tǒng)Web頁面不同，現(xiàn)在的網(wǎng)絡(luò)在數(shù)據(jù)展示上大量使用Ajax技術(shù)，為了讓爬蟲系統(tǒng)能夠獲得網(wǎng)絡(luò)的深層內(nèi)容，學(xué)者們主要研究了基于Ajax的網(wǎng)絡(luò)數(shù)據(jù)抽取爬蟲系統(tǒng)。提出了事件驅(qū)動模型，通過識別網(wǎng)頁中的異步函數(shù)來識別事件并獲取完整的網(wǎng)頁內(nèi)容的方法。文獻(xiàn)中設(shè)計(jì)了在理論和技術(shù)方法上都為Ajax網(wǎng)絡(luò)爬蟲提供了新的解決方案。作者在基于Ajax技術(shù)的網(wǎng)絡(luò)爬行綱系統(tǒng)中，通過Ajax技術(shù)和爬蟲模塊之間的一些代碼執(zhí)行等互操作來獲取有用數(shù)據(jù)。但是上述研究忽略了Ajax技術(shù)的動態(tài)性，每個Ajax對應(yīng)一個狀態(tài)，為了避免出現(xiàn)重復(fù)抓取的情況，中詳細(xì)說明了如何設(shè)計(jì)爬蟲系統(tǒng)來獲取動態(tài)網(wǎng)頁內(nèi)容。同的采樣比時(shí)能達(dá)到更高的覆蓋率，Lottery算總而言之，要設(shè)計(jì)基于Ajax的網(wǎng)絡(luò)數(shù)據(jù)抽取爬法次之，BFS算法最差。在有偏采樣和無偏采樣中，又可以根據(jù)采樣技術(shù)的不同再加以細(xì)分，本文對這兩種算法的分類做了詳細(xì)的分類和比較。如表2所示，當(dāng)數(shù)據(jù)采樣的結(jié)果出現(xiàn)有偏的時(shí)候，我們稱之為有偏采樣算法。在網(wǎng)絡(luò)數(shù)據(jù)采樣過程中，又可以根據(jù)對網(wǎng)絡(luò)圖中下一個節(jié)點(diǎn)的選取方法不同，分為BFS(廣度優(yōu)先)算法，Greedy(貪婪)算法，Lottery(彩票)算法，隨機(jī)采樣算法，結(jié)構(gòu)光學(xué)法、磁場和圖像分析法等。隨著工業(yè)CT技術(shù)的發(fā)展，斷層掃描技術(shù)也在反求工程中取得了應(yīng)用。其中，坐標(biāo)機(jī)測量法操作簡單，測試費(fèi)用低，是生產(chǎn)企業(yè)和研究單位廣泛采用的一種測量方法。對CMM測量方法，其機(jī)房環(huán)境條件，對測量機(jī)的影響至關(guān)重要。這其中包括檢測工件狀態(tài)、溫度條件、振動、濕度、供電電源、壓縮空氣等因素。（1）檢測工件的狀態(tài)檢測工件的物理形態(tài)對測量結(jié)果有一定的影響。最普遍的是工件表面粗糙度和加工留下的切屑。冷卻液和機(jī)油對測量誤差也有影響。通常，灰塵可集中在測球上影響測量機(jī)的性能和精度。類似的影響測量精度的情況還很多，大多數(shù)可以避免，建議在測量機(jī)開始工作之前和完成工作之后進(jìn)行必要的清潔工作。（2）溫度條件在三坐標(biāo)測量機(jī)系統(tǒng)中，溫度是影響測量的主要環(huán)境因素。測量的標(biāo)準(zhǔn)溫度一般為20℃，大多數(shù)制造廠商都是在此溫度下標(biāo)定其三坐標(biāo)測量機(jī)的各種性能指標(biāo)，而所有的幾何量和誤差的標(biāo)準(zhǔn)環(huán)境溫度定義是（20±2）℃。所以，在進(jìn)行測量時(shí)，最理想的情形是在這個溫度下進(jìn)行，但實(shí)際狀況卻往往無法滿足這個要求。在測量過程中，如果環(huán)境發(fā)生變化主要包括環(huán)境溫度的變化、短時(shí)間的溫度變化、長時(shí)間溫度的變化、溫度梯度的變化，或者是由于三坐標(biāo)測量機(jī)的運(yùn)動在內(nèi)部產(chǎn)生熱量，都將會導(dǎo)致三坐標(biāo)測量機(jī)與環(huán)境之間，三坐標(biāo)測量機(jī)內(nèi)部各部分變形不均勻，從而造成測量誤差。現(xiàn)代化大生產(chǎn)中，許多三坐標(biāo)測量機(jī)都是直接在生產(chǎn)車間現(xiàn)場使用，這種情形往往不能滿足對溫度的要求。此時(shí)，測量結(jié)果將達(dá)不到原標(biāo)定的精度。為減小溫度變化對測量結(jié)果的影響，大多數(shù)測量機(jī)制造商開發(fā)了溫度自動修正補(bǔ)償系統(tǒng)。溫度自動修正補(bǔ)償系統(tǒng)是通過對測量機(jī)光柵和檢測工件溫度的監(jiān)控，根據(jù)不同金屬的溫度膨脹系數(shù)，基于標(biāo)準(zhǔn)溫度對測量結(jié)果進(jìn)行修正。但對于快速溫度或溫度梯度的變化，無法進(jìn)行補(bǔ)償修正。除了溫度自動修正補(bǔ)償系統(tǒng)外，為減小溫度變化對測量結(jié)果的影響，一方面要對制造三坐標(biāo)測量機(jī)的材料進(jìn)行選擇，比如選擇那些對溫度變化不敏感的材料，或者選擇一些熱慣量小的材料，用這些材料制成的機(jī)器可以很快地跟隨環(huán)境溫度的變化，有利于從軟件方面進(jìn)行溫度補(bǔ)償；另一方面也要從結(jié)構(gòu)上進(jìn)行考慮，比如輕型的懸臂式結(jié)構(gòu)的三坐標(biāo)測量機(jī)比橋式的花崗石制成的三坐標(biāo)測量機(jī)更有利于減小溫度的影響。（3）振動由于較多的測量機(jī)應(yīng)用在生產(chǎn)現(xiàn)場，振動成為一個常見的問題，比如，在測量機(jī)周圍的沖壓機(jī)、空壓機(jī)或其他重型設(shè)備將會對測量機(jī)產(chǎn)生嚴(yán)重影響。較難察覺的是小輻振動，如果同測量機(jī)自身的振動頻率相混淆，對于測量精度也會產(chǎn)生較大影響。因此，測量機(jī)的制造商對于測量環(huán)境的振動頻率與振幅均有一定的要求。（4）濕度與其他環(huán)境因素相比，濕度對測量精度的影響就不顯得那么的重要。為防止塊規(guī)或其他計(jì)量設(shè)備的氧化和生銹，要求保持環(huán)境濕度在40%以下。（5）供電電源為保證控制系統(tǒng)和計(jì)算機(jī)系統(tǒng)以及同外部聯(lián)網(wǎng)的良好運(yùn)作，對于供電電源有一定的要求，包括電源電壓變化、頻率要求以及接地裝置、屏蔽裝置的要求等。（6）壓縮空氣由于許多坐標(biāo)測量機(jī)使用了精密的空氣軸承，因此需要壓縮空氣。在使用坐標(biāo)測量機(jī)的過程中，除了滿足測量機(jī)對壓縮空氣的要求外，還要防止由于水和油侵入壓縮空氣對測量機(jī)產(chǎn)生影響；同時(shí)，應(yīng)防止突然斷氣，以免對測量機(jī)空氣軸承和導(dǎo)軌產(chǎn)生損害。
參考資料 >
數(shù)據(jù)測量與分析:入門完全指南.CDA數(shù)據(jù)分析師.2024-11-02
測量數(shù)據(jù)處理.百度文庫.2024-11-02
數(shù)據(jù)測量與相似性分析.CSDN博客.2024-11-02