必威电竞|足球世界杯竞猜平台

盧億雷
來源:互聯網

大數據資深專家,精碩科技集團高級技術副總裁兼nEqual首席技術官CTO,CCF(中國計算學會)大數據專委委員,北京航空航天大學特聘教授,中國大數據技術大會主席,2017年大數據行業領軍人物。關注數據的采集、清洗、存儲、挖掘等整個數據流過程,關注高可靠、高可用、高擴展、高性能系統服務,關注Hadoop/HBase/Storm/Spark/ElasticSearch/TensorFlow等離線、流式及實時分布式計算服務。對分布式存儲和分布式計算、超大集群、大數據分析、人工智能、區塊鏈等有深刻理解及實踐經驗。有超過10年云計算、云存儲、大數據經驗。曾在聯想、百度集團、Carbonite工作,并擁有多篇大數據相關的專利和論文。

人物生平

1、2006年加入聯想研究院,負責聯想網盤,任高級研究員

2、2010年加入百度基礎架構部,負責Hadoop平臺開發,任高級研發工程師

3、2011年創業Carbonite China,負責整個Carbonite在中國的技術架構及管理,任高級架構師與技術總監(CTO)

4、2013年加入AdMaster,負責技術與架構,任技術副總裁

5、2018年任精碩科技集團高級技術副總裁兼nEqual CTO

重要事件

1、分享《分布式數據庫挑戰與分析》,內容主要介紹分布式數據庫介紹(包括ACID、CAP理論模型等)、OLTP和OLAP對比分析、分布式數據庫遇到的問題分析以及分布式數據庫實際案例分析等。

2、分享《分布式存儲在網盤和在線備份的應用研究》,內容主要覆蓋hdfsHBase網盤和在線備份的分布式文件系統中小文件的存儲,備份文件至云端的優先級策略,文件全路徑的存放方式,Namespace的管理等內容。

3、分享《Hadoop在網盤和在線備份的應用與挑戰》,內容主要為HDFS和HBase在網盤和在線備份的應用、大數據的挖掘與處理、小文件的存儲、備份文件至云端、文件全路徑存放方式以及Namespace的管理等方面的問題。還有mongodb的經驗分享:盡量創建索引;限定返回結果條數;Filter只返回需要的數據;優化主鍵,盡量自己控制主健ID;UUID主鍵使用BinaryData數據類型存儲;注意文件大小不超過16M。

4、分享《大數據分布式系統并行設計與I/O優化》,內容主要為介紹了分布式并行系統定義,分布式并行系統的特點和分布式并行系統的設計,并解析了單臺機器并行設計的方法,分布式并行I/O優化的方法和單臺機器分布式化的設想。

5、分享《基于Hadoop的云存儲應用實戰》,內容主要為內容包括數據存在的隱患、云備份用戶使用場景、云備份的特點、云備份系統架構、分布式數據庫架構、HBase經驗分享、分布式文件系統HDFS。

6、分享《Python在廣告監測數據中的分析應用》,內容主要有介紹Python在廣告數據分析的應用,包括數據采集,分析,挖掘,可視化等方面。

7、分享《混合異構數據的清洗、存儲、挖掘架構選型和設計策略》,內容主要有在大數據互聯網背景下,數據源產生非常多,導致對數據的清洗、存儲、挖掘都提出非常高的要求,主要介紹由于Admaster的數據源類型多樣,包括有被動獲取的請求,也有微博,SNS,新聞,博客,論壇,行業網站等主動抓取的請求,所以重點介紹離線數據分析如何建立在Hadoop之上,而流式計算和實時計算則為什么采用Storm、Spark、mongodbMySQL等。

8、分享《Hadoop在營銷數據挖掘的實踐》,內容主要有介紹由于廣告數據的多樣化,包括有曝光、點擊等被動獲取的請求;新浪微博、新聞、博客、論壇、行業網站等主動抓取的請求;問卷調查數據的補充;第三方數據的輸入。導致對數據的清洗(ETL)、存儲(Data Storage)、挖掘(Data Mining)都提出非常高的要求。將會介紹每天近100億請求的性能是如何優化的,以及每天近1000億數據的數據分析是如何實現的,還有數據從多IDC采集到同步中心機房如何實現分鐘級的計算。最后將會重點介紹AdMaster 根據累積了超過7年的實際廣告主和品牌的網絡營銷數千個實際案例的經驗,自身研發的ADH(Advertising Distribution Hadoop)的發展及特點。其中包括內置的廣告算法,應用調度器的優化,還有關于在線數據(HBase),離線數據(MapReduce),實時數據(Spark),流式數據(Storm)等方式的整合介紹。

9、分享《Hadoop在廣告監測技術的實踐》,內容主要介紹廣告營銷數據流程、廣告監測技術特點、廣告監測數據差異、廣告數據挖掘平臺架構、ADH在廣告營銷數據挖掘的特、AdMaster數據分析平臺六點展開演講。

社會評價

2006年碩士畢業,一直從事云存儲、云計算開發及架構工作,多年Hadoop實戰經驗,專注于分布式存儲、分布式計算、大數據分析等方向,有多個發明專利,《一種分布式文件系統及其數據訪問方法》 ? 和《一種數據備份的版本管理方法及裝置》 ? 等。曾多次被烏鎮世界互聯網大會CSDN、51CTO、IT168、InfoQ、阿里技術邀請為嘉賓分享Hadoop大數據在互聯網的應用。

獲獎記錄

1、2017年度大數據行業-領軍人物

2、有發明專利《一種分布式文件系統及其數據訪問方法》 ? ,《一種數據備份的版本管理方法及裝置》 ? 等

3、2017年獲Top10大數據最佳實踐案例

參考資料 >

AdMaster技術副總裁談Hadoop、營銷數據、Python和挖掘平臺.InfoQ.2015-05-02

盧億雷:大數據分布式系統并行設計與I/O優化.51CTO.2015-05-02

盧億雷:基于Hadoop的云存儲應用實戰.中關村在線.2015-05-02

Python在廣告監測數據中的分析應用.InfoQ.2015-05-02

盧億雷:混合異構數據的清洗、存儲、挖掘架構選型和設計策略.IT168.2015-05-02

Hadoop在營銷數據挖掘的實踐.InfoQ.2015-05-02

輝煌十載!BDTC 2017 中國大數據技術大會在京盛大召開.硅谷動力.2018-04-21

生活家百科家居網