日韩偷拍一区二区,国产香蕉久久精品综合网,亚洲激情五月婷婷,欧美日韩国产不卡

第 1 章? Hadoop概述 ?

1.1 Hadoop簡介1. Hadoop的由來Hadoop是Doug Cutting(Apache Lucene創(chuàng)始人)開發(fā)的、使用廣泛的文本搜索庫。Hadoop起源于Apache Nutch，后者是一個開源的網(wǎng)絡(luò)搜索引擎，本身也是Lucene項目的一部分。2. Hadoop名字的起源Hadoop這個名字不是一個縮寫，它是一個虛構(gòu)的名字。該項目的創(chuàng)建者Doug Cutting如此解釋Hadoop的得名：“這個名字是我孩子給一頭吃飽了的棕黃色大象命名的。我的命名標(biāo)準(zhǔn)就是簡短、容易發(fā)音和拼寫，沒有太多的意義，并且不會被用于別處。小孩子是這方面的高手。Googol就是由小孩命名的。”(Google來源于Googol一詞。GooGol指的是10的100次冪(方)，代表互聯(lián)網(wǎng)上的海量資源。公司創(chuàng)建之初，肖恩?安德森在搜索該名字是否已經(jīng)被注冊時，將Googol誤打成了Google。)Hadoop及其子項目和后繼模塊所使用的名字往往也與其功能不相關(guān)，經(jīng)常用一頭大象或其他動物主題(例如：Pig)。較小的各個組成部分給予更多描述性(因此也更俗)的名稱。這是一個很好的原則，因為它意味著可以大致從其名字猜測其功能，例如，jobtracker 的任務(wù)就是跟蹤MapReduce作業(yè)。從頭開始構(gòu)建一個網(wǎng)絡(luò)搜索引擎是一個雄心勃勃的目標(biāo)，不只是要編寫一個復(fù)雜的、能夠抓取和索引網(wǎng)站的軟件，還需要面臨著沒有專業(yè)運行團(tuán)隊支持運行它的挑戰(zhàn)，因為它有那么多獨立部件。同樣昂貴的還有：據(jù)Mike Cafarella和Doug Cutting估計，一個支持此10億頁的索引，需要價值約50萬美元的硬件投入，每月運行費用還需要3萬美元。 不過，他們相信這是一個有價值的目標(biāo)，因為這會開放并最終使搜索引擎算法普及化。Nutch項目開始于2002年，一個可工作的抓取工具和搜索系統(tǒng)很快浮出水面。但他們意識到，他們的架構(gòu)將無法擴(kuò)展到擁有數(shù)十億網(wǎng)頁的網(wǎng)絡(luò)。在2003年發(fā)表的一篇描述Google分布式文件系統(tǒng)(簡稱GFS)的論文為他們提供了及時的幫助，文中稱Google正在使用此文件系統(tǒng)。GFS或類似的東西，可以解決他們在網(wǎng)絡(luò)抓取和索引過程中產(chǎn)生的大量的文件的存儲需求。具體而言，GFS會省掉管理所花的時間，如管理存儲節(jié)點。在2004年，他們開始寫一個開放源碼的應(yīng)用，即Nutch的分布式文件系統(tǒng)(NDFS)。2004年，Google發(fā)表了論文，向全世界介紹了MapReduce。2005年初，Nutch的開發(fā)者在Nutch上有了一個可工作的MapReduce應(yīng)用，到當(dāng)年年中，所有主要的Nutch算法被移植到使用MapReduce和NDFS來運行。Nutch中的NDFS和MapReduce實現(xiàn)的應(yīng)用遠(yuǎn)不只是搜索領(lǐng)域，在2006年2月，他們從Nutch轉(zhuǎn)移出來成為一個獨立的Lucene子項目，稱為Hadoop。大約在同一時間，Doug Cutting加入雅虎，Yahoo提供一個專門的團(tuán)隊和資源將Hadoop發(fā)展成一個可在網(wǎng)絡(luò)上運行的系統(tǒng)(見后文的補(bǔ)充材料)。在2008年2月，雅虎宣布其搜索引擎產(chǎn)品部署在一個擁有1萬個內(nèi)核的Hadoop集群上。 2008年1月，Hadoop已成為Apache頂級項目，證明它是成功的，是一個多樣化、活躍的社區(qū)。通過這次機(jī)會，Hadoop成功地被雅虎之外的很多公司應(yīng)用，如Last.fm、Facebook和《紐約時報》。一些應(yīng)用在Hadoop維基有介紹，Hadoop維基的網(wǎng)址為wiki.apache.org/hadoop/PoweredBy。有一個良好的宣傳范例，《紐約時報》使用亞馬遜的EC2云計算將4 TB的報紙掃描文檔壓縮，轉(zhuǎn)換為用于Web的PDF文件。 這個過程歷時不到24小時，使用100臺機(jī)器運行，如果不結(jié)合亞馬遜的按小時付費的模式(即允許《紐約時報》在很短的一段時間內(nèi)訪問大量機(jī)器)和Hadoop易于使用的并行程序設(shè)計模型，該項目很可能不會這么快開始啟動。2008年4月，Hadoop打破世界紀(jì)錄，成為最快排序1 TB數(shù)據(jù)的系統(tǒng)，運行在一個910節(jié)點的集群，Hadoop在209秒內(nèi)排序了1 TB的數(shù)據(jù)(還不到三分半鐘)，擊敗了前一年的297秒冠軍。同年11月，谷歌在報告中聲稱，它的MapReduce實現(xiàn)執(zhí)行1 TB數(shù)據(jù)的排序只用了68秒。在2009年5月，有報道宣稱Yahoo的團(tuán)隊使用Hadoop對1 TB的數(shù)據(jù)進(jìn)行排序只花了62秒時間。構(gòu)建互聯(lián)網(wǎng)規(guī)模的搜索引擎需要大量的數(shù)據(jù)，因此需要大量的機(jī)器來進(jìn)行處理。Yahoo！Search包括四個主要組成部分：Crawler，從因特網(wǎng)下載網(wǎng)頁；WebMap，構(gòu)建一個網(wǎng)絡(luò)地圖；Indexer，為頁面構(gòu)建一個反向索引；Runtime(運行時)，回答用戶的查詢。WebMap是一幅圖，大約包括一萬億條邊(每條代表一個網(wǎng)絡(luò)鏈接)和一千億個節(jié)點(每個節(jié)點代表不同的網(wǎng)址)。創(chuàng)建和分析此類大圖需要大量計算機(jī)運行若干天。在2005年初，WebMap所用的基礎(chǔ)設(shè)施名為Dreadnaught，需要重新設(shè)計以適應(yīng)更多節(jié)點的需求。Dreadnaught成功地從20個節(jié)點擴(kuò)展到600個，但還需要一個重新的設(shè)計，以進(jìn)一步擴(kuò)大。Dreadnaught與MapReduce有許多相似的地方，但靈活性更強(qiáng)，結(jié)構(gòu)更少。具體說來，Dreadnaught作業(yè)可以將輸出發(fā)送到此作業(yè)下一階段中的每一個分段(fragment)，但排序是在庫函數(shù)中完成的。在實際情形中，大多數(shù)WebMap階段都是成對存在的，對應(yīng)于MapReduce。因此，WebMap應(yīng)用并不需要為了適應(yīng)MapReduce而進(jìn)行大量重構(gòu)。Eric Baldeschwieler(Eric14)組建了一個小團(tuán)隊，他們開始設(shè)計并原型化一個新的框架(原型為GFS和MapReduce，用C 語言編寫)，打算用它來替換Dreadnaught。盡管當(dāng)務(wù)之急是需要一個WebMap新框架，但顯然，標(biāo)準(zhǔn)化對于整個Yahoo! Search平臺至關(guān)重要，并且通過使這個框架泛化，足以支持其他用戶，這樣他們才能夠充分運用對整個平臺的投資。與此同時，雅虎在關(guān)注Hadoop(當(dāng)時還是Nutch的一部分)及其進(jìn)展情況。2006年1月，雅虎聘請了Doug Cutting，一個月后，決定放棄自己的原型，轉(zhuǎn)而使用Hadoop。相較于雅虎自己的原型和設(shè)計，Hadoop的優(yōu)勢在于它已經(jīng)在20個節(jié)點上實際應(yīng)用過。這樣一來，雅虎便能在兩個月內(nèi)搭建一個研究集群，并著手幫助真正的客戶使用這個新的框架，速度比原來預(yù)計的快許多。另一個明顯的優(yōu)點是Hadoop已經(jīng)開源，較容易(雖然遠(yuǎn)沒有那么容易！)從雅虎法務(wù)部門獲得許可在開源方面進(jìn)行工作。因此，雅虎在2006年初設(shè)立了一個200個節(jié)點的研究集群，他們將WebMap的計劃暫時擱置，轉(zhuǎn)而為研究用戶支持和發(fā)展Hadoop。3. Hadoop大事記2004年，最初的版本(現(xiàn)在稱為HDFS和MapReduce)由Doug Cutting和Mike Cafarella開始實施。2005年12月，Nutch移植到新的框架，Hadoop在20個節(jié)點上穩(wěn)定運行。2006年1月，Doug Cutting加入雅虎。2006年2月，Apache Hadoop項目正式啟動以支持MapReduce和HDFS的獨立發(fā)展。2006年2月，雅虎的網(wǎng)格計算團(tuán)隊采用Hadoop。2006年4月，標(biāo)準(zhǔn)排序(10 GB每個節(jié)點)在188個節(jié)點上運行47.9個小時。2006年5月，雅虎建立了一個300個節(jié)點的Hadoop研究集群。2006年5月，標(biāo)準(zhǔn)排序在500個節(jié)點上運行42個小時(硬件配置比4月的更好)。2006年11月，研究集群增加到600個節(jié)點。2006年12月，標(biāo)準(zhǔn)排序在20個節(jié)點上運行1.8個小時，100個節(jié)點3.3小時，500個節(jié)點5.2小時，900個節(jié)點7.8個小時。2007年1月，研究集群到達(dá)900個節(jié)點。2007年4月，研究集群達(dá)到兩個1000個節(jié)點的集群。2008年4月，贏得世界最快1 TB數(shù)據(jù)排序在900個節(jié)點上用時209秒。2008年10月，研究集群每天裝載10 TB的數(shù)據(jù)。2009年3月，17個集群總共24 000臺機(jī)器。2009年4月，贏得每分鐘排序，59秒內(nèi)排序500 GB(在1400個節(jié)點上)和173分鐘內(nèi)排序100 TB數(shù)據(jù)(在3400個節(jié)點上)。1.2 Hadoop版本和生態(tài)系統(tǒng)1. Hadoop版本的優(yōu)缺點目前市面上Hadoop版本主要有兩種：Apache版本和CDH版本。(1)Aapche 版本的Hadoop官網(wǎng)：hadoop.apache.org/Aapche Hadoop 優(yōu)勢：對硬件要求低。Aapche Hadoop 劣勢：搭建煩瑣，維護(hù)煩瑣，升級煩瑣，添加組件煩瑣。Apache版本Hadoop集群中YARN的界面如圖1-1所示，HDFS的界面圖1-2 所示。 圖1-1 YARN的界面 圖1-2 HDFS的界面(2)CDH版本的Hadoop官網(wǎng)：https://www.cloudera.com/CDH優(yōu)勢：搭建方便，維護(hù)較為容易，升級以及遷移容易，添加組件容易。CDH缺點：對硬件要求高。Cloudera Manager是一個管理CDH的端到端的應(yīng)用。主要作用包括：管理、監(jiān)控、診斷、集成。CDH的Hadoop版本集群中CDH管理界面如圖1-3所示。