Dryad是一款微軟并行軟件平臺(tái)。微軟的Dryad項(xiàng)目主要研究用于編寫(xiě)并行和分布式程序的編程模型。
正文
微軟發(fā)布了公測(cè)版Dryad平臺(tái)，成為谷歌MapReduce分布式數(shù)據(jù)計(jì)算平臺(tái)的競(jìng)爭(zhēng)對(duì)手。微軟的Dryad項(xiàng)目主要研究用于編寫(xiě)并行和分布式程序的編程模型。
目前，科技界已經(jīng)有一款發(fā)展迅速的開(kāi)源版MapReduce：apache的Hadoop項(xiàng)目。微軟至少有一個(gè)部門(mén)正在使用Hadoop，并且為其貢獻(xiàn)代碼。現(xiàn)在微軟推出自己的產(chǎn)品并不令人奇怪，因?yàn)镠adoop畢竟是開(kāi)源項(xiàng)目。
微軟在博客中表示，已經(jīng)發(fā)布了Dryad平臺(tái)以及DryadLINQ編程語(yǔ)言的“社區(qū)技術(shù)預(yù)覽”。 DryadLINQ被用于在該平臺(tái)上構(gòu)建應(yīng)用。與谷歌的專有平臺(tái)MapReduce相似，Dryad也通過(guò)分布式計(jì)算機(jī)網(wǎng)絡(luò)計(jì)算海量數(shù)據(jù)。但與MapReduce不同的是，Dryad是針對(duì)運(yùn)行Windows HPC Server的計(jì)算機(jī)集群設(shè)計(jì)的，而且DryadLINQ使用.NET的LINQ查詢語(yǔ)言模型。
2004年，谷歌發(fā)布了兩篇關(guān)于MapReduce和分布式文件系統(tǒng)GFS的研究報(bào)告，這兩篇報(bào)告成為Hadoop的基礎(chǔ)。Hadoop最初是由開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)nutch的創(chuàng)始人達(dá)格·卡廷(Doug Cutting)開(kāi)發(fā)的。
apache 將Hadoop變?yōu)殚_(kāi)源項(xiàng)目，雅虎日本也對(duì)Hadoop進(jìn)行了單獨(dú)開(kāi)發(fā)。現(xiàn)在，Hadoop是雅虎的在線基礎(chǔ)設(shè)施的重要支撐，并且已經(jīng)被Facebook、Twitter、蘋(píng)果公司和微軟等科技巨頭采用。2008年，微軟收購(gòu)了語(yǔ)義搜索企業(yè)Powerset，并將Powerset公司基于Hadoop的相關(guān)技術(shù)用于必應(yīng)(Bing)搜索引擎。
微軟甚至允許原Powerset員工承諾向Hadoop貢獻(xiàn)代碼。Powerset還成立了Hadoop的姊妹項(xiàng)目HBase，模仿谷歌的BigTable分布式數(shù)據(jù)庫(kù)。
事實(shí)上，Dryad和DryadLINQ早在微軟收購(gòu)Powerset之前就已經(jīng)存在。微軟于2007年首次發(fā)布了關(guān)于該技術(shù)的研究報(bào)告，并于2009年夏向?qū)W術(shù)界發(fā)布了非商業(yè)版Dryad和DryadLINQ。
Dryad的“社區(qū)技術(shù)預(yù)覽”要求必須有基于Windows HPC Pack 2008 R2 Enterprise的計(jì)算機(jī)集群，并且安裝有Service Pack 1。已經(jīng)注冊(cè)HPC Pack 2008 R2的用戶可以獲取該社區(qū)技術(shù)預(yù)覽。
類(lèi)似于Dryad，Hadoop也提供自己的查詢語(yǔ)言，事實(shí)上，它有兩種查詢語(yǔ)言。雅虎日本開(kāi)發(fā)的查詢語(yǔ)言被稱為Pig，而Facebook開(kāi)發(fā)的更高級(jí)語(yǔ)言被稱為hive。
參考資料 >