日韩偷拍一区二区,国产香蕉久久精品综合网,亚洲激情五月婷婷,欧美日韩国产不卡

在線客服

大數(shù)據(jù)云計算技術實用13篇

引論:我們?yōu)槟砹?3篇大數(shù)據(jù)云計算技術范文,供您借鑒以豐富您的創(chuàng)作。它們是您寫作時的寶貴資源,期望它們能夠激發(fā)您的創(chuàng)作靈感,讓您的文章更具深度。

篇1

1.2云計算的發(fā)展

云計算可以像電力資源一樣提供彈性的按需服務,事實上它是集合了一系列的服務提供給用戶。云計算的核心可分為三個層次,分別為基礎設施層、平臺層、應用層,如圖2所示。云計算將基礎設施、軟件運行環(huán)境、應用程序抽象成服務,具有可靠性高、可用性強、規(guī)模可伸縮等特點,滿足了不同企業(yè)的發(fā)展需求,各個云服務提供商根據(jù)各自服務對象的差別分別開發(fā)了各具特色的云服務。(1)基礎設施即服務層基礎設施即服務(InfrastructureasaService,IaaS)層通過部署硬件基礎設施對外提供服務,用戶可以根據(jù)各自的需求購買虛擬或實體的計算、存儲、網絡等資源。用戶可以在購買的空間內部署和運行軟件,包括操作系統(tǒng)和應用程序。消費者不能管理或控制任何云計算基礎設施,但能控制操作系統(tǒng)的選擇、存儲空間、部署的應用,也有可能獲得有限制的網絡組件(如防火墻、負載均衡器等)的控制。云服務提供商為了使硬件資源得到更有效的利用,引入了Xen、KVM、VMware等虛擬化技術,使得云服務商可以提供更個性化的IaaS服務。亞馬遜彈性云計算(AmazonElasticComputeCloud,AmazonEC2)是亞馬遜Web服務產品之一,AmazonEC2利用其全球性的數(shù)據(jù)中心網絡,為客戶提供虛擬主機服務,讓使用者可以租用云服務運行所需應用的系統(tǒng)。(2)平臺即服務層平臺即服務(PlatformasaService,PaaS)層是指云計算應用程序開發(fā)和部署的平臺,包括應用設計、應用開發(fā)、應用測試和應用托管,都作為一種服務提供給客戶。開發(fā)者只需要上傳代碼和數(shù)據(jù)就可以使用云服務,而無需關注底層的具體實現(xiàn)方式和管理模式。鑒于PaaS平臺的重要意義,國內外廠商根據(jù)各自的戰(zhàn)略提出了相應的PaaS平臺,國外的如GoogleAppEngine(GAE),通過GAE,即使在重載和數(shù)據(jù)量極大的情況下,也可以輕松構建能安全運行的應用程序。國內也有新浪的SAE(SinaAppEngine)、阿里的ACE(AliyunCloudEnginee)等。(3)軟件即服務層軟件即服務(SoftasaService,SaaS)層是為云計算終端用戶提供基于互聯(lián)網軟件應用服務的平臺。隨著Web服務、HTML5、AJAX、Mashup等技術的成熟與標準化,SaaS應用近年來發(fā)展迅速,典型的SaaS應用包括GoogleApps、SalesforceCRM等。國外云計算平臺比較成功的應用案例有:亞馬遜電子商務網站根據(jù)用戶的購買行為和搜索技術搭建Hadoop集群,構建推薦系統(tǒng);Twitter社交網站搭建Hadoop分布式系統(tǒng)用于用戶關聯(lián)的建立。國內云計算平臺的成功案例有:阿里巴巴目前整個集群達到1700個節(jié)點,數(shù)據(jù)容量達到24.3PB,并且以每天255TB的速率不斷攀升;2013年,華為推出國內首個運營云平臺,目前為止與該平臺簽訂協(xié)議的ISV有3000多家。

1.3云計算相關技術

(1)分布式文件系統(tǒng)分布式文件系統(tǒng)(GoogleFileSystem,GFS)[3]是Google公司針對云計算過程處理海量數(shù)據(jù)而專門設計的。一個GFS集群由一個主節(jié)點和多個從節(jié)點組成,用戶可以通過客戶端訪問文件系統(tǒng),進行正常的文件處理工作。在云計算中,海量數(shù)據(jù)文件被分割成多個固定大小的數(shù)據(jù)塊,這些數(shù)據(jù)塊被自動分配到不同的從節(jié)點存儲,并會在多個節(jié)點進行備份存儲,以免數(shù)據(jù)丟失。主服務器管理文件系統(tǒng)記錄文件的各種屬性,包括文件名、訪問控制權限、文件存儲塊映射、塊物理信息等數(shù)據(jù)。正是通過這個表,文件系統(tǒng)可以準確地找到文件存儲的位置,避免數(shù)據(jù)丟失,保證數(shù)據(jù)安全。圖3是GFS的體系結構示意,每一個節(jié)點都是普通的Linux服務器,GFS的工作就是協(xié)調成百上千的服務器為各種應用提供服務。(2)分布式并行數(shù)據(jù)庫BigTableBigTable[4]是一個為管理大規(guī)模結構化數(shù)據(jù)而設計的分布式存儲系統(tǒng),可以擴展到PB級數(shù)據(jù)和上千臺服務器。很多Google的項目使用BigTable存儲數(shù)據(jù),這些應用對BigTable提出了不同的挑戰(zhàn),比如對數(shù)據(jù)規(guī)模的要求、對時延的要求。BigTable能滿足這些多變的要求,為這些產品成功地提供了靈活、高性能的存儲解決方案。BigTable采用的鍵是三維的,分別是行鍵(RowKey)、列鍵(ColumnKey)和時間戳(Timestamp)。行鍵和列鍵都是字節(jié)串,時間戳是64位整型;值是一個字節(jié)串,可以用(row:string,column:string,time:int64)string來表示一條鍵值對記錄。(3)分布式計算框架MapReduceMapReduce[5]是Google公司提出的大數(shù)據(jù)技術計算框架,被廣泛應用于數(shù)據(jù)挖掘、海量數(shù)據(jù)處理以及機器學習等領域,由于其并行化處理數(shù)據(jù)的強大能力,越來越多的廠商根據(jù)MapReduce思想開發(fā)了各自的云計算平臺,其中以Apache公司的Hadoop最為典型。MapReduce由Map和Reduce兩個階段組成。用戶只需要編寫簡單的map()和reduce()函數(shù)就可以完成復雜分布式程序設計,而不用了解計算框架的底層實現(xiàn)。MapReduce的數(shù)據(jù)分析流程如圖4所示。分布在不同服務器節(jié)點上的海量數(shù)據(jù)首先通過split()函數(shù)被拆分成Key/Value鍵值對,map()函數(shù)以該鍵值對為輸入,將該鍵值對進行函數(shù)處理,產生一系列的中間結果并存入磁盤。MapReduce的中間過程shuffle()將所有具有相同Key值的鍵值對傳遞給Reduce環(huán)節(jié),Reduce會收集中間結果,并將相同的Value值合并,完成所有工作后將結果輸出給用戶。MapReduce是一個并行的計算框架,主要體現(xiàn)在不同的服務器節(jié)點同時啟動相同的工作,并且在每個獨立的服務器節(jié)點上又可以啟動多個map()、reduce()并行計算。

2基于云計算的大數(shù)據(jù)處理

目前大數(shù)據(jù)處理的基本流程如圖5所示,整個流程經過數(shù)據(jù)源的采集,用不同的方式進行處理和加工,形成標準的格式,存儲下來;然后用合適的數(shù)據(jù)計算處理方式將數(shù)據(jù)推送到數(shù)據(jù)分析和挖掘平臺,通過有效的數(shù)據(jù)分析和挖掘手段,找出大數(shù)據(jù)中有價值的信息;最后通過可視化技術將信息展現(xiàn)給人們。

2.1數(shù)據(jù)采集存儲

大數(shù)據(jù)具有不同結構的數(shù)據(jù)(包括結構、半結構、非結構),針對不同類型的數(shù)據(jù),在進行云計算的分布采集時,需要選擇不同的數(shù)據(jù)采集方式收集數(shù)據(jù),這也是大數(shù)據(jù)處理中最基礎的一步。采集到的數(shù)據(jù)并不是都適合推送到后面的平臺,需要對其進一步處理,例如來源不同的數(shù)據(jù),需要對其進行加載合并;數(shù)據(jù)存在噪聲或者干擾點的,需要對其進行“清洗”和“去噪”等操作,從而保障數(shù)據(jù)的有效性;數(shù)據(jù)的格式或者量綱不統(tǒng)一的,需要對其進行標準化等轉換處理;最后處理生成的數(shù)據(jù),通過特定的數(shù)據(jù)庫,如NoSQL數(shù)據(jù)(Google的BigTable,Amazon的Dynamo)進行存儲,方便進行下一步的數(shù)據(jù)讀取。由于傳統(tǒng)的數(shù)據(jù)倉庫無法適應大數(shù)據(jù)的存儲要求,目前基于云計算的數(shù)據(jù)倉庫都是采用列式存儲。列式存儲的數(shù)據(jù)具有相同的數(shù)據(jù)類型,可以大大提高數(shù)據(jù)的壓縮率,例如華為的云存儲服務MOS(MassiveObjectService)的數(shù)據(jù)持久性高達99.9%,同時提供高效率的端到端保障。

2.2數(shù)據(jù)計算模式

這一環(huán)節(jié)需要根據(jù)處理的數(shù)據(jù)類型和既定目標,選擇合適的計算模型處理數(shù)據(jù)。由于數(shù)據(jù)量的龐大,會消耗大量的計算資源,因此,傳統(tǒng)的計算技術很難使用大數(shù)據(jù)的環(huán)境條件,取而代之的是分而治之的分布式計算模式,具有代表性的幾種計算模式的特點見表1。采用批處理方式計算的Hadoop平臺,例如,F(xiàn)acebook擁有全球最大規(guī)模的Hadoop集群,集群機器目前超過3000臺,CPU核心更是超過30000個,可以存儲的數(shù)據(jù)量能夠達到驚人的40PB;采用流處理方式計算的Storm平臺分布式計算的時延比Hadoop更小;實時處理方式計算的Spark是一種基于內存的計算模式,例如,Yahoo運用Spark技術在廣告營銷中實時尋找目標用戶,目前在Yahoo部署的Spark集群有112臺節(jié)點和9.2TB內存;交互處理方式計算的Dremel在處理PB級別的數(shù)據(jù)時耗時可以縮短至秒級,并且無需大量的并發(fā)。

2.3數(shù)據(jù)分析挖掘

數(shù)據(jù)分析挖掘環(huán)節(jié)是從海量數(shù)據(jù)中發(fā)現(xiàn)隱藏規(guī)律和有價值信息的過程,這個環(huán)節(jié)是大數(shù)據(jù)處理流程最為有價值和核心的部分,傳統(tǒng)的數(shù)據(jù)分析方法有機器學習、商業(yè)智能等。傳統(tǒng)的數(shù)據(jù)挖掘十大算法[6](其中有K-Means、Na觙veBayes、SVM、EM、Apriori等)在云計算環(huán)境下都得到了大幅度的并行優(yōu)化,在大數(shù)據(jù)的背景下,計算速度得到了很大程度的提升。現(xiàn)在新興的深度學習是原始機器學習的一個新領域,動機是在于建立、模擬人腦進行分析學習的神經網絡,它模仿人腦的機制來解釋數(shù)據(jù),這種新的數(shù)據(jù)分析挖掘技術已經在計算機視覺、語音識別、自然語言處理等領域有了成功的應用。

2.4數(shù)據(jù)解釋展現(xiàn)

將挖掘出來的復雜信息進行數(shù)據(jù)解釋和展現(xiàn)是整個大數(shù)據(jù)處理流程的最后一個環(huán)節(jié),數(shù)據(jù)分析的結果需要向客戶進行恰當?shù)恼宫F(xiàn)。與傳統(tǒng)的數(shù)據(jù)輸出和文本展示等方式不同,現(xiàn)在絕大部分的企業(yè)都通過引進“數(shù)據(jù)可視化”技術來展示大數(shù)據(jù)分析的結果信息,這種方式以圖像、動畫等方式,形象地向客戶展現(xiàn)數(shù)據(jù)處理分析的結果,也容易被客戶理解和接受,更為先進的是,現(xiàn)在逐步形成的“交互式可視化技術”,大大地方便了數(shù)據(jù)與人之間的“親密交流”。目前面向大數(shù)據(jù)主流應用的可視化技術見表2。

3大數(shù)據(jù)和云計算的未來挑戰(zhàn)

大數(shù)據(jù)需要超大存儲容量的計算能力,云計算作為一種新的計算模式,為大數(shù)據(jù)的應用研究提供了技術支持,大數(shù)據(jù)和云計算的完美結合,相得益彰,發(fā)揮了各自的最大優(yōu)勢,為社會創(chuàng)造了巨大的價值。雖然國內大數(shù)據(jù)和云計算的研究還是處于初步階段,但隨著研究的不斷進行,所面臨的問題也越來越多。在大數(shù)據(jù)向前不斷邁進的階段里,如何讓我們對大數(shù)據(jù)的研究朝著有利于全人類的方向發(fā)展成為了重中之重。

3.1重要戰(zhàn)略資源

在這個信息社會里,大數(shù)據(jù)將會成為眾多企業(yè)甚至是國家層面的重要戰(zhàn)略資源。國家層面要將大數(shù)據(jù)上升為國家戰(zhàn)略。奧巴馬在2012年3月將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策,像陸權、海權、空權一樣,將數(shù)據(jù)的占有和控制作為重要的國家核心能力。大數(shù)據(jù)資源也會成為各種機構和企業(yè)的重要資產以及提升企業(yè)社會競爭力的有力武器。在大數(shù)據(jù)市場里,客戶的各種數(shù)據(jù)信息都會為企業(yè)創(chuàng)造價值,也會在促進消費水平、提高廣告效應等方面扮演重要的角色。

3.2數(shù)據(jù)隱私安全

大數(shù)據(jù)如果運用得當,可以有效地幫助相關領域做出幫助和決策,但若這些數(shù)據(jù)被泄露和竊取,隨之而來的將是個人信息及財產的安全問題得不到保障。2011年索尼公司遭到黑客攻擊,造成一億份客戶資料泄露,經濟虧損約1.71億美元。為了解決大數(shù)據(jù)的數(shù)據(jù)隱私安全問題,Roy等在2010年提出了一種隱私保護系統(tǒng),將信息流控制和差分隱私保護技術融入到云計算平臺中,防止MapReduce計算過程中的數(shù)據(jù)泄露問題。在數(shù)據(jù)更新飛速的情況下,如何維護數(shù)據(jù)的隱私安全成為大數(shù)據(jù)時代研究的重點方向。

3.3智慧城市

人口的增長給城市交通、醫(yī)療、建筑等各方面帶來了不小的壓力,智慧城市就是依靠大數(shù)據(jù)和云計算技術,實現(xiàn)城市高效的管理、便捷的民生服務、可持續(xù)的產業(yè)發(fā)展。在剛剛結束的“兩會”的政府工作報告中,總理也特意強調了智慧城市發(fā)展的重要性,目前國家智慧城市試點已遍布全國各地,多達409個。智慧安防、智慧交通、智慧醫(yī)療等都是智慧城市應用領域。智慧城市的建設也趨使大數(shù)據(jù)人才的培養(yǎng)。據(jù)預測,到2015年,大數(shù)據(jù)將會出現(xiàn)約100萬的人才缺口,全球將新增440萬個與大數(shù)據(jù)相關的工作崗位來填補這個空缺。

篇2

1 安全隱私保護基本需求

云計算平臺中存儲數(shù)據(jù)信息的時候可以合理使用不同種類數(shù)據(jù),例如,圖片、視頻、郵件等。從用戶方面來看,不同種類數(shù)據(jù)具備不同安全保護情況,其中不同信息數(shù)量能夠合理、安全運行機密性數(shù)據(jù),數(shù)據(jù)敏感程度和重要程序決定數(shù)據(jù)安全性。利用強大加密算法來處理所有數(shù)據(jù),會大量消耗處理時間和系統(tǒng)資源,以至于降低云計算服務質量以及工作效率。但是如果使用簡單加密算法處理數(shù)據(jù),會出現(xiàn)泄漏數(shù)據(jù)信息的風險,所以,需要對不同數(shù)據(jù)資源提供不同安全隱私保護。

2 云計算用戶數(shù)據(jù)隱私保護

2.1 分析云計算數(shù)據(jù)安全隱私保護

傳統(tǒng)信息安全方式就是確定系統(tǒng)之間的物理邊界,但是云計算會共享在多租戶情況下沒有明確物理邊界,例如,多臺虛擬服務器公用一臺服務器,虛擬服務器來源于不同邏輯服務器,傳統(tǒng)硬件基礎安全以及物理隔離方式已經不能負荷虛擬設備中虛擬環(huán)境遭受攻擊的問題,不需要路由就能夠在不同虛擬機上進行信息通訊,所以,傳統(tǒng)入侵檢測技術、防火墻已經沒有很大作用。對于不同云計算用戶來說具備不同的云計算安全性和需求。不少用戶在本地存放和應用敏感數(shù)據(jù),利用私有云或者內部云在云上存儲數(shù)據(jù)信息,也有的用戶在云中存放所有數(shù)據(jù)信息,用戶隱私和數(shù)據(jù)安全主要就是依據(jù)云服務提供的安全措施,從而合理科學執(zhí)行云計算安全措施和安全策略。

2.2 云計算數(shù)據(jù)安全隱私保護模型

有機結合虛擬化、多租戶、動態(tài)性的基本特點建立云計算數(shù)據(jù)安全隱私保護模型,如圖1所示。云計算數(shù)據(jù)安全隱私保護系統(tǒng)主要包括數(shù)據(jù)和隱私的安全手段、安全屬性(不可抵賴行、完整性、機密性)、安全訪問、安全要點、安全密碼、安全保障等設施。密碼能夠為安全隱私保護系統(tǒng)提供基礎密碼服務,例如,加密技術、密碼設備、PKI證書簽名、密鑰管理等。

云計算大數(shù)據(jù)隱私安全實際上就是整個生命周期中隱私和數(shù)據(jù)的安全性。數(shù)據(jù)和隱私的安全性能夠生成安全,在安全環(huán)境基礎上存儲重要隱私和數(shù)據(jù)避免數(shù)據(jù)被竊取和泄漏。傳輸過程中數(shù)據(jù)和隱私的安全性就是傳輸安全,基本上都是使用加密方式進行傳輸。在安全地方存儲數(shù)據(jù)和隱私是存儲安全,例如,在加密保護、易失性存儲區(qū)、防止數(shù)據(jù)篡改區(qū)域存儲數(shù)據(jù)。安全轉移或者銷毀,合理應用相關技術室來保證數(shù)據(jù)安全,避免泄漏數(shù)據(jù)。整個生命周期中的數(shù)據(jù)和隱私不可抵賴性、完整性、機密性上體現(xiàn)安全性,利用安全措施或者手段來確保生命周期中所有數(shù)據(jù)安全性。

安全訪問數(shù)據(jù)和隱私主要就是控制主體訪問客體數(shù)據(jù)。維護云計算數(shù)據(jù)安全隱私主要形式就是訪問控制,訪問控制根本就是確定訪問權限,保證在具備安全系統(tǒng)環(huán)境基礎上能夠盡可能共享資源,依據(jù)訪問控制來保護用戶隱私和云計算數(shù)據(jù)安全,基于此檢測是否具備合法的數(shù)據(jù)和隱私訪問,也就是控制讀、寫、增加、查詢、修改、刪除等相關操作。云計算基礎上建立安全密碼監(jiān)管、密碼體系、密碼運行等相關機制,可以在一定程度上促進密碼技術的發(fā)展。有機結合云計算業(yè)務和云計算基礎上的密鑰保存、安全加密、密鑰分發(fā)、密鑰協(xié)商等技術,系統(tǒng)應用的時候還應該包括密鑰分割技術、密鑰恢復技術、端加密技術、智能卡、USB-KEY、防篡改模塊等。現(xiàn)階段已經具備相對比較成熟的上述技術,應用在云計算中,還應該有機結合多用戶、動態(tài)性的特點來研究以及部署業(yè)務。實際安全保護中很少應用數(shù)據(jù)庫訪問、多方計算、數(shù)據(jù)挖掘、保密分析技術等,云計算的發(fā)展建立了新應用密碼環(huán)境,如同態(tài)計算、密文檢索等。可以利用備份、快照、等方式來存儲云計算數(shù)據(jù)。

3 結束語

綜上所述,限制云計算技術發(fā)展以及應用關鍵就是數(shù)據(jù)安全以及隱私保護,本文主要分析了云計算大數(shù)據(jù)安全和隱私保護,建立了云計算大數(shù)據(jù)安全和隱私保護基礎模型,以此提出生命周期保護云計算大數(shù)據(jù)安全和隱私保護的策略。

參考文獻

[1]肖人毅.云計算中數(shù)據(jù)隱私保護研究進展[J].通信學報,2014,35(12):168-177.

[2]黃汝維,桂小林,余思等.云環(huán)境中支持隱私保護的可計算加密方法[J].計算機學報,2011,34(12):2391-2402.

[3]李瑞軒,董新華,辜希武等.移動云服務的數(shù)據(jù)安全與隱私保護綜述[J].通信學報,2013,34(12):158-166.

[4]何明,陳國華,梁文輝等.物聯(lián)網環(huán)境下云數(shù)據(jù)存儲安全及隱私保護策略研究[J].計算機科學,2012,39(5):62-65,90.

篇3

大數(shù)據(jù)概念可以從四個維度去解,即三個V和一個C。三個V分別指的是數(shù)據(jù)量大(Volume)、數(shù)據(jù)種類多(Variety)和數(shù)據(jù)增長速度快(Velocity),最后一個C指的是處理、升級或利用大數(shù)據(jù)的分析手段比處理結構化數(shù)據(jù)要復雜的多(Complexity)。大數(shù)據(jù)分析常和云計算聯(lián)系到一起,因為實時的大型數(shù)據(jù)集分析需要像Map-Reduce一樣的并行計算框架將復雜的計算任務分配到“云”中成百上千的節(jié)點。

1.2大數(shù)據(jù)與云計算

大數(shù)據(jù)本身就是一個問題集,云計算技術是目前解決大數(shù)據(jù)問題集最重要最有效的手段。云計算提供了基礎的架構平臺,大數(shù)據(jù)應用在這個平臺上運行。目前公認為分析大數(shù)據(jù)集最有效手段的分布式處理技術,也是云計算思想的一種具體體現(xiàn)。

云計算是分布式處理、并行處理和網格計算的發(fā)展,或者說是這些計算機科學概念的商業(yè)實現(xiàn)。云計算將網絡上分布的計算、存儲、服務構件、網絡軟件等資源集中起來,基于資源虛擬化的方式,為用戶提供方便快捷的服務, 實現(xiàn)了資源和計算的分布式共享和并行處理,能夠很好地應對當前互聯(lián)網數(shù)據(jù)量高速增長的勢頭。

1.3大數(shù)據(jù)與Hadoop

Hadoop是一個Apache的開源項目,主要面向存儲和處理成百上千TB直至PB級別的結構化、半結構化或非結構化的大數(shù)據(jù)。Hadoop提供的Map-Reduce能將大數(shù)據(jù)問題分解成多個子問題,并將它們分配到成百上千個處理節(jié)點之上,再將結果匯集到一個小數(shù)據(jù)集當中,從而更容易分析得出最后的結果。

Hadoop項目包括三部分,分別是Hadoop Distributed File System(HDFS)、Map Reduce編程模型,以及Hadoop Common。Hadoop具備低廉的硬件成本、開源的軟件體系、較強的靈活性、允許用戶自己修改代碼等特點,同時能支持海量數(shù)據(jù)的存儲和計算任務。這些特點讓Hadoop被公認為是新一代的大數(shù)據(jù)處理平臺。 Hadoop同樣具備出色的大數(shù)據(jù)集處理能力,在獲取、存儲、管理和分析數(shù)據(jù)方面遠遠超越傳統(tǒng)的數(shù)據(jù)庫軟件工具。Hadoop經常在構建大數(shù)據(jù)解決方案時被用作基礎構架軟件。

二、大數(shù)據(jù)技術綜述

大數(shù)據(jù)處理不僅僅是Hadoop,許多特定的數(shù)據(jù)應用場景是需要實時分析和互動反饋的,這時候就需要利用包括內存檢索、流處理和實時計算等其他技術。而云計算的分布式存儲和計算架構開啟了大數(shù)據(jù)技術研究的大門,打造健全的大數(shù)據(jù)生態(tài)環(huán)境,所有這些技術結合在一起,才是一個完整的大數(shù)據(jù)處理系統(tǒng)。

2.1分布式計算框架

MapReduce是Google開發(fā)的一種簡化的分布式編程模型和高效的任務調度模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運算,使云計算環(huán)境下的編程變得十分簡單。

MapReduce將數(shù)據(jù)處理任務抽象為一系列的Map(映射)和Reduce(化簡)操作對。Map主要完成數(shù)據(jù)的分解操作,Reduce主要完成數(shù)據(jù)的聚集操作.輸入輸出數(shù)據(jù)均以〈key,value〉格式存儲.用戶在使用該編程模型時,只需按照自己熟悉的語言實現(xiàn)Map函數(shù)和Reduce函數(shù)即可,MapReduce算法框架會自動對任務進行劃分以做到并行執(zhí)行。

Pregel是Google 提出的迭代處理計算框架,它具有高效、可擴展和容錯的特性,并隱藏了分布式相關的細節(jié),展現(xiàn)給人們的僅僅是一個表現(xiàn)力很強、很容易編程的大型圖算法處理的計算框架。Pregel的主要應用場景是大型的圖計算,例如交通線路、疾病爆發(fā)路徑、WEB 搜索等相關領域。

2.2分布式文件系統(tǒng)

為保證高可用、高可靠和經濟性,基于云計算的大數(shù)據(jù)處理系統(tǒng)采用分布式存儲的方式來保存數(shù)據(jù),用冗余存儲的方式保證數(shù)據(jù)的可靠性。目前廣泛使用的分布式文件系統(tǒng)是Google的GFS和Hadoop團隊開發(fā)的GFS的開源實現(xiàn)HDFS。

GFS即Google文件系統(tǒng),是一個可擴展的分布式文件系統(tǒng),用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應用。GFS的設計思想不同于傳統(tǒng)的文件系統(tǒng),是針對大規(guī)模數(shù)據(jù)處理和Google應用特性而設計的,運行成本低廉,并提供容錯功能。

HDFS即Hadoop分布式文件系統(tǒng),受到GFS很大啟發(fā),具有高容錯性,并且可以被部署在低價的硬件設備之上。HDFS很適合那些有大數(shù)據(jù)集的應用,并且提供了數(shù)據(jù)讀寫的高吞吐率。HDFS是一個master/slave的結構,在master上只運行一個Namenode,而在每一個slave上運行一個Datanode。HDFS支持傳統(tǒng)的層次文件組織結構,對文件系統(tǒng)的操作(如建立、刪除文件和文件夾)都是通過Namenode來控制,Datanode用來存放數(shù)據(jù)塊。

2.3大數(shù)據(jù)管理技術

互聯(lián)網數(shù)據(jù)已超出關系型數(shù)據(jù)庫的管理范疇,電子郵件、超文本、博客、標簽(Tag)以及圖片、音視頻等各種非結構化數(shù)據(jù)逐漸成為大數(shù)據(jù)的重要組成部分,而面向結構化數(shù)據(jù)存儲的關系型數(shù)據(jù)庫已經不能滿足數(shù)據(jù)快速訪問、大規(guī)模數(shù)據(jù)分析的需求,隨之而來,一系列新型的大數(shù)據(jù)管理技術和工具應運而生。

2.3.1 非關系型數(shù)據(jù)庫

NoSQL,也有人理解為Not Only SQL,它是一類非關系型數(shù)據(jù)庫的統(tǒng)稱。其特點是:沒有固定的數(shù)據(jù)表模式、可以分布式和水平擴展。NoSQL并不是單純的反對關系型數(shù)據(jù)庫,而是針對其缺點的一種補充和擴展。典型的NoSQL數(shù)據(jù)存儲模型有文檔存儲、鍵-值存儲、圖存儲、對象數(shù)據(jù)、列存儲等。而比較流行的,不得不提到Google的Bigtable,它把所有數(shù)據(jù)都作為對象來處理,形成一個巨大的表格,用來分布存儲大規(guī)模結構化數(shù)據(jù),數(shù)據(jù)量可達PB級。而HBase是Hadoop團隊基于Bigtable的開源實現(xiàn),使用HDFS作為其文件存儲系統(tǒng)。同時,Cassandra(K/V型數(shù)據(jù)庫)、MongoDB(文檔數(shù)據(jù)庫)和Redis等一系列優(yōu)秀的非關系型數(shù)據(jù)庫產品如雨后春筍般問世。

2.3.2 數(shù)據(jù)查詢工具

Hive是Facebook提出的基于Hadoop的大型數(shù)據(jù)倉庫,其目標是簡化Hadoop上的數(shù)據(jù)聚集、即席查詢及大數(shù)據(jù)集的分析等操作,以減輕程序員的負擔.它借鑒關系數(shù)據(jù)庫的模式管理、SQL接口等技術,把結構化的數(shù)據(jù)文件映射為數(shù)據(jù)庫表,提供類似于SQL的描述性語言HiveQL供程序員使用,可自動將HiveQL語句解析成一優(yōu)化的MapReduce任務執(zhí)行序列.此外,它也支持用戶自定義的MapReduce函數(shù)。

PigLatin是Yahoo!提出的類似于Hive的大數(shù)據(jù)集分析平臺.兩者的區(qū)別主要在于語言接口.Hive提供了類似SQL的接口,PigLatin提供的是一種基于操作符的數(shù)據(jù)流式的接口.可以說Pig利用操作符來對Hadoop進行封裝,Hive利用SQL進行封裝。

Google Dremel是個可擴展的、交互式的即時查詢系統(tǒng),用于完成大規(guī)模查詢結構化數(shù)據(jù)集(如日志和事件文件)。它支持類SQL語法,區(qū)別在于它只能查詢,不支持修改或者創(chuàng)建功能,也沒有表索引。數(shù)據(jù)被列式存儲,這樣有助于提升查詢的速度。Google將Dremel作為MapReduce的一種補充,被用于分析MapReduce的結果或者是作為大規(guī)模計算的測試。

2.4實時流處理技術

伴隨著互聯(lián)網業(yè)務發(fā)展的步調,以及業(yè)務流程的復雜化,企業(yè)的注意力越來越集中在“數(shù)據(jù)流”而非“數(shù)據(jù)集”上面,他們需要的是能夠處理隨時發(fā)生的數(shù)據(jù)流的架構,現(xiàn)有的分布式計算架構并不適合數(shù)據(jù)流處理。流計算強調的是數(shù)據(jù)流的形式和實時性。MapReduce系統(tǒng)主要解決的是對靜態(tài)數(shù)據(jù)的批量處理,當MapReduce任務啟動時,一般數(shù)據(jù)已經到位了(比如保存到了分布式文件系統(tǒng)上),而流式計算系統(tǒng)在啟動時,一般數(shù)據(jù)并沒有完全到位,而是經由外部數(shù)據(jù)源源不斷地流入,重視的是對數(shù)據(jù)處理的低延遲,希望進入的數(shù)據(jù)越快處理越好。數(shù)據(jù)越快被處理,結果就越有價值,這也是實時處理的價值所在。

流計算的數(shù)據(jù)本身就是數(shù)據(jù)流,不需要數(shù)據(jù)準備的時間,有數(shù)據(jù)流入就開始計算,解決了數(shù)據(jù)準備和延遲的兩個問題。現(xiàn)有的解決方案中,Twitter的Storm和雅虎的S4框架更適合數(shù)據(jù)流計算的場景。Storm是開源的分布式實時計算系統(tǒng),可以可靠的處理流式數(shù)據(jù)并進行實時計算,單機性能可達到百萬記錄每秒,開發(fā)語言為Clojure和Java,并具備容錯特性。S4是面向流式數(shù)據(jù)和實時處理的,所以針對實時性較高的業(yè)務,可以很好地對數(shù)據(jù)做出高效的分析處理,而且系統(tǒng)一旦上線,很少需要人工干預,源源不斷的數(shù)據(jù)流會被自動路由并分析。對于海量數(shù)據(jù),它和MapReduce都可以應對,但它能比后者更快地處理數(shù)據(jù)。

三、思考與展望

以云計算為基礎的信息存儲、分享和挖掘手段為知識生產提供了工具,通過對大數(shù)據(jù)分析、預測會使得決策更為精準,這對媒體融合具有重要意義。

篇4

隨著互聯(lián)網的快速發(fā)展,人們逐步感受到了“信息大爆炸”,特別是各種移動通訊和物聯(lián)網的發(fā)展,數(shù)以億計的網絡用戶隨時產生數(shù)據(jù)。目前全球的數(shù)據(jù)總量達到了ZB規(guī)模,大數(shù)據(jù)成為人們關注的熱點話題,生活中的很多方面都可以和大數(shù)據(jù)技術進行結合,通過大數(shù)據(jù)技術來為我們服務。

大數(shù)據(jù)技術雖然給我們的生活帶來了巨大的改變,但是大數(shù)據(jù)技術要求計算機具有相應的大數(shù)據(jù)處理能力,為此,云計算的概念產生了。云計算是分布式計算、網絡存儲、負載均衡等相關技術發(fā)展融合的產物。云計算通過網絡將龐大的計算機處理任務進行分解,把分解后的較小的計算任務交給眾多的網絡數(shù)據(jù)計算服務器,經過網絡服務器的分析處理之后把結果重新傳回給用戶。移動云計算是指通過移動互聯(lián)網以按需、易擴展的方式獲得所需的基礎設施、平臺、軟件或應用等的一種IT資源或信息服務的交付與使用模式。[1]

1 大數(shù)據(jù)技術

現(xiàn)今的世界是一個數(shù)據(jù)的世界,我們身邊到處都充滿著數(shù)據(jù),比如打電話的語音數(shù)據(jù)、發(fā)短信的文字數(shù)據(jù)、微信的聊天數(shù)據(jù)、報紙、雜志、網絡購物等等。這么多的數(shù)據(jù)實時地影響了我們的工作、生活、學習,甚至社會的發(fā)展。根據(jù)維基百科的定義,大數(shù)據(jù)(Big Data)是用于數(shù)據(jù)集的一個術語,是指大小超出了常用的軟件工具在運行時間內可以承受的收集、管理和處理數(shù)據(jù)能力的數(shù)據(jù)集。[2]美國IBM公司定義了大數(shù)據(jù)的3V特點,即規(guī)模性(Volume)、多樣性(Variety)、高速性(Velocity)。規(guī)模性表示大數(shù)據(jù)涉及的數(shù)據(jù)量巨大,一方面人們的生活中產生了很多的具體數(shù)據(jù),另一方面是互聯(lián)網通信中移動通信的虛擬數(shù)據(jù),這些數(shù)據(jù)的數(shù)據(jù)量是非常巨大的。多樣性表示大數(shù)據(jù)中數(shù)據(jù)類型的復雜多樣,其中包括最常見的文本數(shù)據(jù)、圖像數(shù)據(jù)、語音數(shù)據(jù)和視頻數(shù)據(jù),除此之外還有很多其他的結構化、半結構化和非結構化的數(shù)據(jù)。高速性表示大數(shù)據(jù)技術必須具有實時性,比如實時路況導航、全球股價波動、一些通信業(yè)務的處理等等。

大數(shù)據(jù)技術的發(fā)展越來越成熟,大數(shù)據(jù)的價值也越來越受到人們的關注,對于數(shù)據(jù)處理的實時性和有效性要求越來越高。大數(shù)據(jù)在公共服務、商業(yè)智能、科學研究等領域發(fā)揮著巨大的作用,影響力越來越大,大數(shù)據(jù)技術的使用一定會給我們帶來巨大的價值。社會中的各行各業(yè)可以通過大數(shù)據(jù)技術來完成各項工作,比如大數(shù)據(jù)在汽車制造業(yè)中的應用,福特汽車的產品開發(fā)團隊曾經就對汽車行李箱的打開形式進行研究。車后行李箱的打開有兩種形式手動式和電動式,如果采用電動式,能自動打開、便捷智能,但是這種方式會影響到車門開啟有限的困擾。此前采用定期調查的形式并沒有發(fā)現(xiàn)這個問題,但后來對社交媒體的關注和分析,發(fā)現(xiàn)很多用戶在談論這個問題,這對福特汽車以后的產品設計是非常有幫助的。

數(shù)據(jù)分析是大數(shù)據(jù)技術的核心,通過對相關數(shù)據(jù)的分析產生有價值的信息是大數(shù)據(jù)技術的關鍵。通過對數(shù)據(jù)的分析,可以產生有價值的規(guī)律和結果并輔助人們進行更為合理的決策。在大數(shù)據(jù)分析方面除了傳統(tǒng)的技術外,人工智能技術鄰域的很多方法被用得越來越多,包括統(tǒng)計分析、機器學習、數(shù)據(jù)挖掘等。數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取隱含在其中的、人們事先不知道的,但又是潛在有用信息和知識的過程。統(tǒng)計分析就是基于數(shù)學鄰域的統(tǒng)計學原理,對數(shù)據(jù)進行收集、組織和解釋的科學。機器學習作為人工智能鄰域的重要內容,分為監(jiān)督學習和無監(jiān)督學習兩大類。[3]常見的方法包括聚類算法、預測算法、回歸算法、樸素貝葉斯算法、支持向量機算法等。這些算法往往需要較大的計算資源和較強的計算能力,云計算正好滿足了大數(shù)據(jù)技術在這個方面的需求。

2 移動云計算技術

云計算已經發(fā)展成為IT行業(yè)的一個熱門技術,目前的主要云計算設備和服務都是針對PC機而言的,但是隨著無線路由的快速普及以及無線終端設備的大量出現(xiàn),將云計算運用于移動環(huán)境是必然的發(fā)展趨勢。根據(jù)相關的數(shù)據(jù)統(tǒng)計,全國的移動電話用戶累計達到10億以上,現(xiàn)有的終端計算能力、存儲容量都是非常有限的,已經難以滿足很多用戶的需求,而云計算恰好能給用戶提供服務。云計算是一種新型的應用模式,通過網絡按需實現(xiàn)軟件處理能力、存儲資源等。[4]移動云計算正是基于云計算的概念出現(xiàn)的,它結合了移動網絡和云計算的概念。移動云計算通過移動的終端用戶進行網絡互連,并以按需、易擴展的方式獲得所需的基礎設施、平臺等相關的網絡資源和信息。

云計算的一個主要優(yōu)點就是在“云端”提供了大容量的存儲空間和高速的計算能力。即使客戶端的移動設備本身性能不夠,但是只要能進行數(shù)據(jù)的輸入、輸出,就可以和云端進行交互,讓云端提供計算和處理服務得到客戶想要的結果。移動云計算的特點是終端硬件及系統(tǒng)無關性,這是因為終端不進行真正的大量計算和數(shù)據(jù)的存儲,而是通過移動網絡把數(shù)據(jù)和計算任務上傳到云端讓云端來進行計算和處理。移動云計算還消除了計算的地域性限制,普通的云計算由于終端設備的地理位置固定,給很多的實際應用帶來不便,但是移動云計算可以通過移動網絡進行數(shù)據(jù)傳輸和計算。如果移動網絡有足夠的帶寬,那么移動云計算就能實現(xiàn)實時的數(shù)據(jù)計算,讓客戶在終端或者手機上看到最及時的處理結果。

移動云計算中比較成熟的應用有移動云存儲。目前,很多公司推出了自己的移動云存儲服務,在移動云上可以存放照片、文檔、郵件、視頻等相關內容。傳統(tǒng)的存儲方法是客戶在存儲資料時,都是通過U盤或是硬盤等存儲設備。這種存儲方式有明顯的缺c,當U盤或是硬盤丟失、損壞或是忘記隨身攜帶等,都可能造成想要取出存儲資料卻取不出來的狀況。移動云存儲是把資料上傳到網絡上的移動云存儲服務器,只要能上網可以隨時隨地取出存儲資料,不用擔心資料的丟失或損壞。基于移動云計算的移動商務是商業(yè)發(fā)展的新模式。隨著移動終端設備的大量使用,很多商務都是在網絡上進行操作的,例如購物網站、微信支付等。除此之外移動云計算在醫(yī)療、郵件推送、遠程教育等方面都有著非常成功的應用。

3 大數(shù)據(jù)與移動云計算

本地單機的數(shù)據(jù)處理模式成本越來越高,而且擴展性比較差,并且隨著要處理的數(shù)據(jù)量不斷增加特別是對于大數(shù)據(jù)的應用,相應的處理性能會遇到瓶頸,在這種情況下,出現(xiàn)了云計算技術。云計算具備了較好的彈性,在動態(tài)調配資源、支持多用戶按需工作等特點正好符合了大數(shù)據(jù)的應用需求。云計算以其高可靠性、強大的計算能力和海量的存儲空間成為解決大數(shù)據(jù)問題的重要技術,但是云計算不能在動態(tài)系統(tǒng)中進行應用,這使得移動云計算成為云計算新的發(fā)展方向,特別是移動終端可以方便地通過無線網絡上網來使用移動云計算提供的各種服務。

大數(shù)據(jù)的落腳點在于“數(shù)據(jù)”,提供了對數(shù)據(jù)操作的各種方法,包括對數(shù)據(jù)的采集、分析、挖掘、存儲等。移動云計算更多體現(xiàn)在“計算”,看重的是通過互聯(lián)網產生的計算能力,移動云計算中很多的相關技術正是大數(shù)據(jù)技術的基礎。大數(shù)據(jù)技術首先要有大量的存儲數(shù)據(jù),存儲數(shù)據(jù)的傳統(tǒng)方法是數(shù)據(jù)庫技術,但是現(xiàn)在的數(shù)據(jù)量越來越大,已經超過了傳統(tǒng)數(shù)據(jù)庫的存儲模式,而移動云計算正好給這些數(shù)據(jù)的存儲提供了空間。其次是對大量數(shù)據(jù)的初步操作包括數(shù)據(jù)的提取、標注、表達等,移動云計算通過互聯(lián)網可以把這些任務進行分解,分成許多較小的數(shù)據(jù)處理任務并分配給網絡中的很多移動終端用戶,讓他們在空閑的時候處理這些任務。最后是對移動云上存儲的大量數(shù)據(jù)進行分析,分析的手段包括數(shù)據(jù)過濾、數(shù)據(jù)分類、數(shù)據(jù)聚類等,移動云計算同樣可以像上邊那樣把任務進行分解并在網絡中尋找空閑的處理設備輔助完成這些任務。

基于移釉萍撲慵際豕鉤傻拇笫據(jù)系統(tǒng),能夠提供大數(shù)據(jù)處理所需要的相關技術。大數(shù)據(jù)與移動云計算的結合,將是相得益彰,相互都可以更好地發(fā)揮作用。移動云計算為大數(shù)據(jù)提供強大的存儲和計算能力,更加迅速便捷完成大數(shù)據(jù)的處理任務,而大數(shù)據(jù)的相關業(yè)務能為移動云計算找到更多更好的實際應用。

大數(shù)據(jù)和移動云計算在氣象領域的應用,以前的氣象服務信息大多只是將氣象的監(jiān)測數(shù)據(jù)提供給用戶,由用戶自己去綜合使用,這顯然僅僅是氣象預報產業(yè)中的初級階段。現(xiàn)在,人們通過移動網絡可以及時獲得氣溫、紫外線指數(shù)、感冒指數(shù)、晨練指數(shù)、洗車指數(shù)等更精細化的氣象信息,并利用大數(shù)據(jù)分析軟件可以獲得更多的用戶想知道的數(shù)據(jù)信息,體現(xiàn)出單一數(shù)據(jù)無法表達的價值和效益。

社交網絡是現(xiàn)在人們溝通的主要形式之一,用戶通過移動終端使用社交網絡,伴隨著用戶的社交過程會產生大量的數(shù)據(jù),通過大數(shù)據(jù)的分析技術可以發(fā)現(xiàn)一個人和另一個人是怎么樣聯(lián)系上的,另外也可以通過兩個人的社交關系,找到讓他們進行聯(lián)系的渠道。不管我們在使用微信朋友圈還是微博賬戶,軟件系統(tǒng)經常會提示我們哪個人可能是我們的朋友或者是同學,給你一個加入好友的提示,這就是大數(shù)據(jù)與移動云計算相結合應用的一個實例。

地圖導航古已有之,而發(fā)展到今天的電子地圖導航更成為人們出行旅游的指南針。用戶使用移動終端比如手機、平板電腦通過移動互聯(lián)網把自己的實時地理位置信息傳送到網絡上,由此可以進行打車、聚會、餐飲、購物、汽車導航等應用。大數(shù)據(jù)技術通過分析可以知道在哪些地方,什么樣的服務是在這個地理位置上的人最需要的,移動云計算把這樣的消息出去后,可以給我們提供最便利的服務。比如在商場附近可能有更多的人需要打車,在人煙稀少的地方可能有更多的人需要方向導航等。

醫(yī)療行業(yè)具有數(shù)據(jù)量大、復雜性高等特點,醫(yī)療行業(yè)被認為是最能讓大數(shù)據(jù)分析技術發(fā)揚光大的一個傳統(tǒng)領域。移動云計算利用移動終端可以隨時采集病人的相關數(shù)據(jù)信息,比如脈搏、血壓、照片等,這些數(shù)據(jù)隨著時間的推移將構成海量的數(shù)據(jù)。此外,醫(yī)生對于病人的診斷結果也會保存在移動云存儲中,當同樣類型的病癥再次出現(xiàn)的時候,移動終端可以根據(jù)大數(shù)據(jù)的分析技術給病人提出最合理的治療建議。這樣既節(jié)省了醫(yī)生的人力資源,又節(jié)省了病人排隊等待的時間,更能在第一時間解決病人的病情。麥肯錫的報告中指出,大數(shù)據(jù)技術可以幫助美國的醫(yī)療行業(yè)一年創(chuàng)造3千億美元的附加價值。

大數(shù)據(jù)利用了移動云計算的方便性,可以隨時隨地對數(shù)據(jù)進行處理并提供了及時的服務,移動云計算通過大數(shù)據(jù)找到了更好的應用方向。沒有大數(shù)據(jù)對于大量信息的積累,移動云計算的計算能力再強也找不到用武之地,同樣如果沒有移動云計算的強大計算能力,那么大數(shù)據(jù)積累的大量信息也毫無價值。

4 總結

如果說大數(shù)據(jù)是巨大的寶藏,那么移動云計算是開發(fā)這個寶藏的最有利的工具。沒有移動云計算的強大計算能力,那么大數(shù)據(jù)中的相關數(shù)據(jù)就是一堆毫無用處的冗余數(shù)據(jù)。另一方面移動云計算也正是由于大數(shù)據(jù)的信息量大,本地單機處理能力有限才發(fā)展起來的,沒有大數(shù)據(jù)的信息累積,那么移動云計算也得不到完全的發(fā)揮,所以大數(shù)據(jù)與移動云計算是相輔相成的關系。

參考文獻:

[1] 趙華, 王海闊. 移動云計算綜述[J]. 電腦知識與技術, 2012(1).

[2] 何清. 大數(shù)據(jù)與云計算[J]. 中國安防, 2014(1).

篇5

一、大數(shù)據(jù)技術特征以及關鍵技術

(一)特征

大數(shù)據(jù)技術相較于以往的信息技術,具有明顯的優(yōu)勢特征,首先是大數(shù)據(jù)技術可以在短時間內完成對特定目標的信息搜集、運算、分析等,并且還能及時給出分析結果,大大提高了信息處理效率。另外應用大數(shù)據(jù)技術之后還可以簡化信息計算流程,用較少的時間從大量數(shù)據(jù)信息中找到有價值的數(shù)據(jù)信息,這對企事業(yè)單位來說能夠大幅提高工作效率,而且還能幫助企業(yè)合理制定發(fā)展策略,促進企業(yè)實現(xiàn)可持續(xù)發(fā)展目標。

(二)關鍵技術

計算機系統(tǒng)中,大數(shù)據(jù)關鍵技術有云計算和數(shù)據(jù)備份技術,云計算技術指的就是通過建設網絡云平臺,將需要處理的數(shù)據(jù)信息供任務發(fā)放機制劃分為若干個小程序,然后給每個服務器系統(tǒng)發(fā)送適量的小程序,之后分支服務系統(tǒng)會把數(shù)據(jù)計算結果傳遞到網絡云平臺上,由云平臺負責處理各項數(shù)據(jù)結果,然后用戶就能收到數(shù)據(jù)處理的反饋結果,由此來看,通過運用云計算技術之后就能在短時間內保質保量地完成巨大數(shù)據(jù)量的運算處理任務,滿足用戶多樣化的網絡服務需求,而且還能突破計算機硬件設備的性能限制,不過隨著云計算技術的不斷發(fā)展,也有很多問題逐漸暴露出來,例如用戶的隱私信息被泄露、信息資源被人竊取、病毒攻擊等,導致大數(shù)據(jù)技術無法給計算機信息安全帶來保障。而數(shù)據(jù)備份技術指的就是為了避免在計算機系統(tǒng)出現(xiàn)失誤的時候造成重要數(shù)據(jù)丟失,把所有或者是部分數(shù)據(jù)集合從主機硬盤復制到其他存儲介質的經過,基于互聯(lián)網時代背景下,個人隱私信息保護工作遭遇了挑戰(zhàn),此時數(shù)據(jù)備份技術的作用就得以凸顯出來,在企事業(yè)單位應用大數(shù)據(jù)技術時,應該對重要信息做好數(shù)據(jù)備份工作,不論對個人來說,還是對企業(yè)而言,一旦數(shù)據(jù)泄露都會帶來嚴重損失,今后還應加強對數(shù)據(jù)備份技術的研究力度,確保能夠最大限度降低信息丟失概率。

二、大數(shù)據(jù)技術應用現(xiàn)狀

調查結果顯示,現(xiàn)在很多行業(yè)在發(fā)展的過程中都引用了大數(shù)據(jù)技術,比如交通、醫(yī)療等,而且隨著計算機信息安全管理工作扮演著越來越重要的角色,也對大數(shù)據(jù)技術提出了運用需求,因為在大數(shù)據(jù)技術的幫助下,能夠有效促進計算機安全防御體系轉型升級。比如通過運用大數(shù)據(jù)技術,可以提高流量監(jiān)測平臺的構建質量,幫助監(jiān)測人員及時獲取網絡日志、流量使用狀況等信息,這樣就能全面掌握計算機系統(tǒng)的運行情況,避免流量異常問題發(fā)生。不過大數(shù)據(jù)技術在計算機信息安全中的運用現(xiàn)狀不容樂觀,一方面是大數(shù)據(jù)技術在計算機信息安全管理工作中的應用時間比較短,而且應用方式也單一,導致大數(shù)據(jù)技術的應用價值沒有充分體現(xiàn)出來。另一方面,大數(shù)據(jù)技術在計算機信息安全管理工作的應用過程中還面臨著不少技術障礙,例如信息分辨不夠清晰、信息篩選準確度低等問題,造成計算機信息安全管理工作頻繁出現(xiàn)漏洞,據(jù)此需要盡快采取措施來解決大數(shù)據(jù)技術的應用難題。[1]

三、大數(shù)據(jù)技術在計算機信息安全中的具體運用策略

(一)建立完善的安全制度體系

對計算機信息安全管理工作來說,完善的安全制度管理體系能夠發(fā)揮重要導向作用,促進計算機信息安全管理工作目標實現(xiàn),但是現(xiàn)在很多企事業(yè)單位的信息安全制度體系都比較陳舊,導致大數(shù)據(jù)技術的應用價值難以發(fā)揮出來。比如有的細則條例內容和實際的技術標準存在很大差異,這樣大數(shù)據(jù)技術在應用的過程中就會受到很大限制。所以為確保大數(shù)據(jù)技術的積極效用能夠在計算機信息安全管理工作中體現(xiàn)出來,當務之急就是要結合大數(shù)據(jù)技術的應用情況與技08術特征,完善現(xiàn)有的安全制度體系。比如,實際情況允許的情況下,可以根據(jù)需要在計算機系統(tǒng)中建設防火墻,不過在選擇防火墻結構時,應當和系統(tǒng)運行情況、信息安全防護需求等相結合,這樣在計算機系統(tǒng)工作的時候,就能利用大數(shù)據(jù)技術篩選出有用的網絡信息,而且信息的準確度也很高,可以給發(fā)展戰(zhàn)略的制定提供有利參考。[2]另外,眾所周知人是計算機信息安全工作的主體,即使有大數(shù)據(jù)技術的幫助,也需要加強對相關技術人才的培養(yǎng),所以還應該調整當前安全制度體系中的人才培養(yǎng)目標,全面提高信息安全管理人員的數(shù)據(jù)計算能力、信息處理分析能力等。

(二)搭建安全服務后臺

為提高大數(shù)據(jù)技術在計算機信息安全系統(tǒng)中的應用效率,應該搭建完善的安全服務后臺,所謂安全服務后臺,指的就是一種信息安全載體,它同時囊括數(shù)字認證、自動監(jiān)控及預警、授權處理等多個功能,通過對計算機信息進行集約化處理之后,就可以給計算機信息安全提供一個全方位的安全保護。另外,安全服務后臺還能在計算機系統(tǒng)運行過程中,迅速感知安全隱患,并且還能辨別隱患類型,找到隱患的所處位置,方便安全管理人員及時處理。現(xiàn)在,基于計算機信息安全管理視角下構建的安全服務平臺還能發(fā)揮更多效用,一是可以提高異構數(shù)據(jù)的處理效率,因為計算機系統(tǒng)工作過程中,會有龐大數(shù)據(jù)量產生,而且各種數(shù)據(jù)信息都保存在后臺安全服務中心,例如流量數(shù)據(jù)、各種日志信息等,不僅有著繁多的數(shù)據(jù)類型,還有著大量的異構數(shù)據(jù),但是在大數(shù)據(jù)技術的幫助下,安全服務后臺便能快速完成對用戶數(shù)據(jù)、各種信息的歸類整理,還能給出分析結果,從而大大減輕了系統(tǒng)運行壓力。[3]二是基于大數(shù)據(jù)技術的特征,能夠將決策經驗提煉、知識庫數(shù)據(jù)匹配等功能增加到安全服務后臺中,這樣就能增強計算機系統(tǒng)的機器學習能力。三是方便技術人員在安全服務后臺中引用數(shù)據(jù)備份技術,從而計算機數(shù)據(jù)信息可以實現(xiàn)加密管理,大幅提高了計算機信息安全管理工作質量。

(三)對計算機信息安全趨勢實施預測

在繁雜的網絡時代背景下,計算機系統(tǒng)會遭受各種突發(fā)性的網絡攻擊,而且這種攻擊也難以準確預測并進行防范,所以計算機信息安全管理工作就面臨著巨大挑戰(zhàn)。在過去,網絡技術不夠先進,而且技術理念也比較陳舊,像“被動防御、事中控制”一直是計算機信息安全管理體系所遵循的理念,雖然能夠在一定程度上減少對系統(tǒng)的破壞,但是計算機信息安全仍然面臨著緊張局勢。通過運用大數(shù)據(jù)技術,可以實現(xiàn)預測系統(tǒng)風險的目標,比如大數(shù)據(jù)技術具備很強的數(shù)據(jù)挖掘能力,那么就能對計算機安全信息實施挖掘、分析,然后從數(shù)據(jù)分析結果中預估計算機系統(tǒng)的安全風險潛在情況,并且還能對安全風險分布情況進行詳細劃分,比如可以明確知道網絡攻擊的目標是什么、信息安全防御系統(tǒng)的漏洞等,之后再整理成安全趨勢預測總結報告,讓計算機系統(tǒng)圍繞著安全趨勢預測報告來優(yōu)化調整安全防御方案,保證不同安全設備之間都可以密切關聯(lián),如果網絡攻擊一旦出現(xiàn),就能迅速進入協(xié)同聯(lián)動運行狀態(tài)中,再根據(jù)制定的運行策略來實施防御策略,這樣信息安全隱患就可以被及時解除。

(四)制訂智能安全運維計劃

篇6

計算機信息技術的發(fā)展為人們的生活提供了巨大的便利,目前隨著時代的發(fā)展,人們對計算機存儲空間的要求也在不斷提高,越來越多的網絡公司開始進行這一方面的研究,旨在為廣大用戶提供更加優(yōu)質的服務。在這一背景下,大數(shù)據(jù)得到了廣泛的應用,不僅為人們的生產生活提供巨大的便利,同時對于促進計算機信息處理技術的發(fā)展具有積極意義。

1大數(shù)據(jù)下計算機信息處理技術概述

大數(shù)據(jù)主要是通過信息術實現(xiàn)對數(shù)據(jù)的保存和處理,使用戶通過計算機得到所需的信息數(shù)據(jù)。目前,隨著信息量的與日俱增,大數(shù)據(jù)技術發(fā)展迅速,同時對數(shù)據(jù)的要求也在不斷提高。在實際數(shù)據(jù)處理過程中,技術層面的不足導致計算機信息處理技術無法滿足時展的需要。如果計算機處理技術發(fā)展緩慢,則會對信息處理的穩(wěn)定性和安全性造成嚴重影響,因此采取有效的措施提高計算機處理水平十分重要,為用戶提供更好的數(shù)據(jù)服務。結合實際情況分析,目前尚不具備一套完善的、處理效率較高的處理系統(tǒng)和軟件,難以滿足廣大用戶對數(shù)據(jù)信息的使用要求。在大數(shù)據(jù)的背景下,計算機處理技術的特點主要體現(xiàn)在自動化水平高、數(shù)據(jù)精確等方面,現(xiàn)如今計算機處理技術不僅包括檢索技術、信息數(shù)據(jù)庫,同時還包括安全技術、通信技術等多項技術[1]。目前計算機處理技術也面臨著諸多問題。第一,日常生活需要使用一系列的智能終端設備,其形成的數(shù)據(jù)會上傳到互聯(lián)網中,大量的數(shù)據(jù)對于計算機處理技術來說具有一定的挑戰(zhàn)。第二,大數(shù)據(jù)在計算機信息處理技術中的類型繁多,形成信息的數(shù)據(jù)來源也存在明顯差異,所以數(shù)據(jù)結構之間的差異較大,主要表現(xiàn)在圖片、視頻、文字以及信息等,均為不同信息類型。第三,信息具有非常快的傳播速度,目前因為我國社會、經濟的迅速發(fā)展,人們的生活節(jié)奏變得越來越快,因此對信息數(shù)據(jù)傳輸速度的要求也在不斷提高,若想確保傳輸水平,提高計算機處理技術應用水平至關重要[2]。現(xiàn)如今,越來越多的企業(yè)開始將計算機信息處理技術應用于數(shù)據(jù)管理以及辦公中,有助于提高工作的質量和效率,實現(xiàn)了工作人員、軟件和硬件的有機結合。

2大數(shù)據(jù)在計算機信息處理技術中的運用

2.1信息采集加工技術

長此以往,信息的采集加工都是各行各業(yè)以及廣大用戶關注的一大重點問題,信息采集及加工的合理性、科學性對于個人、企業(yè)以及社會的占具有重要的影響。在大數(shù)據(jù)時代背景下,計算機信息處理技術的常見問題便是信息的采集加工問題,信息處理水平無法滿足大數(shù)據(jù)發(fā)展的需要,因此需要緊跟時展的潮流,不斷提高計算機信息處理能力。第一,工作人員在使用計算機信息處理技術的過程中,需要實現(xiàn)對各類信息的全面整合,在確保信息數(shù)據(jù)準確和完整的基礎上,才可以繼續(xù)展開后續(xù)的處理工作。在對信息進行采集的過程中,工作人員需要明確信息源,對其進行全面追蹤,采取有效的監(jiān)管措施,之后將完成采集的數(shù)據(jù)信息存儲于計算機數(shù)據(jù)庫中,確保數(shù)據(jù)信息的準確性和完整性,為后續(xù)加工處理工作的進行提供便利。第二,需要提高數(shù)據(jù)信息的加工水平,結合用戶的要求進行加工,實現(xiàn)對用戶的同步傳輸。并且這一流程中,全程都需要保證傳輸數(shù)據(jù)信息的準確性和安全性,提高加密管理水平,以防信息發(fā)生泄露等不良情況。

2.2信息處理技術

傳統(tǒng)模式下計算機信息處理工作多通過計算機的硬件設備和軟件設備完成。為了進一步提高信息處理的安全性和穩(wěn)定性,需要采用先進的設備進行信息處理。但是因為受到技術因素、經濟因素的制約,導致計算機信息處理水平低下。在大數(shù)據(jù)的背景下,計算機信息處理技術需要通過云技術實現(xiàn),具有較高的工作效率和準確性,對云技術進行合理應用,實現(xiàn)計算機硬件和網絡的分離,但是相互的運行不受到其他影響,提高硬件設備的運行水平,并且建立大數(shù)據(jù)信息網絡有助于對大量數(shù)據(jù)信息的有效處理。

2.3信息存儲技術

對計算機信息處理技術來說,信息存儲技術是其重要組成部分。在大數(shù)據(jù)的時代背景下,需要進行處理和存儲的信息類型繁多、數(shù)量巨大。為了能夠緊跟時展的步伐,則需要不斷強化信息存儲技術,提高存儲水平,這樣才能夠確保計算機處理工作的有序進行。數(shù)據(jù)信息的存儲量和存儲水平是評估計算機信息處理水平的重要指標,先進高效的存儲技術能夠高效對各類信息進行有效存儲,保證信息的完整性和安全性,符合時展的要求。

2.4信息處理安全技術

任何一項技術的應用都需要保證其具有一定的安全性,安全性極易受到一系列其他因素的影響,因此計算機信息處理技術也面臨著一定的挑戰(zhàn),主要體現(xiàn)在數(shù)據(jù)信息的安全性方面。為了確保數(shù)據(jù)信息使用全過程的安全性,則需要不斷提高信息處理安全技術水平。并且在信息處理的過程中,進行全面的監(jiān)測和追蹤,這樣才能確保信息傳輸?shù)姆€(wěn)定性。在數(shù)據(jù)跟蹤監(jiān)測的作用下,有助于及時發(fā)現(xiàn)其中存在的問題,采取有效的措施及時解決,避免安全風險問題的發(fā)生。

2.5信息傳播技術

傳播技術主要指完成用戶信息的收集后,使用數(shù)據(jù)庫查詢相關數(shù)據(jù),將數(shù)據(jù)傳播至用戶,該項技術的核心為確保用戶能夠閱讀所需內容。但是結合現(xiàn)狀分析,互聯(lián)網傳播速率對傳遞信息的類型和體量有一定的影響,所以在計算機信息技術傳播環(huán)節(jié),需要使用多種方法保證傳播的準確性和時效性。為用戶提供相關信息時,首先需要了解用戶的要求,結合用戶提供的信息,通過數(shù)據(jù)庫查找相關數(shù)據(jù)進行推送,這樣才能夠保證準確找到自己需要的信息。

3大數(shù)據(jù)時代背景下計算機信息處理技術面臨的機遇和挑戰(zhàn)

3.1面臨的機遇

首先,在數(shù)據(jù)挖掘方面面臨的機遇。數(shù)據(jù)發(fā)掘指的是對各種數(shù)據(jù)進行深入分析,了解數(shù)據(jù)與數(shù)據(jù)之間的關聯(lián)性。數(shù)據(jù)挖掘的主要流程包括數(shù)據(jù)準備、規(guī)律分析以及規(guī)律體現(xiàn)。有助于提供工作的決策水平,尤其是企業(yè)在數(shù)據(jù)挖掘的過程中,能夠及時了解數(shù)據(jù)信息中存在的問題,通過科學合理的方法解決問題。通過對數(shù)據(jù)挖掘技術的合理應用,企業(yè)管理者能夠準確掌握數(shù)據(jù)中存在的隱藏信息,例如潛在消費人群等,進而根據(jù)實際情況制定科學合理的措施,不斷提高自身的競爭優(yōu)勢[3]。例如可以使用關鍵詞檢索的方法了解消費群體的習慣和行為,同時通過總結和分析了解其心理趨向,為企業(yè)制定相關措施提供重要的參考依據(jù),能夠生產出滿足消費者要求的全新產品。其次,有助于促進物聯(lián)網的發(fā)展。物聯(lián)網是社會發(fā)展的必經之路,其融合諸多先進技術,是新興產業(yè)發(fā)展的重要活力來源,得到了各行各業(yè)的廣泛應用。在大數(shù)據(jù)時代背景下,物聯(lián)網技術中形成的產業(yè)數(shù)量也在不斷增加,例如養(yǎng)老系統(tǒng)也在逐漸趨于完善,手機轉賬等多種便利功能均是大數(shù)據(jù)的重要成果,并且各項軟件的功能也在不斷趨于完善,這也體現(xiàn)了物聯(lián)網對人們生產生活帶來的便利。

3.2面對的挑戰(zhàn)

首先,對信息安全的要求在不斷提高。大數(shù)據(jù)的時代背景下,計算機得到了普遍的應用,多數(shù)用戶都會將數(shù)據(jù)信息存儲在計算機系統(tǒng)中,同傳統(tǒng)模式中的紙質文件保存存在明顯的差異。但是因為網絡安全問題愈發(fā)突出,如果在存儲信息的過程中沒有采取有效的安全措施,則會導致信息被竊取、遺失或者泄露等不良情況發(fā)生。用戶在瀏覽相關網頁信息的過程中,如果缺乏對信息真實性的辨別能力,極易為一些不法分子創(chuàng)造可乘之機。進而導致嚴重的財產損失。為了能夠避免上述問題的出現(xiàn),用戶對信息安全的重視度也在不斷提高,政府也出臺了多項法律法規(guī)加強對信息安全的保護。其次,對專業(yè)人才的需求越來越高。為了緊跟時展的步伐,計算機信息處理技術對于人才的需求也在不斷提升。在大數(shù)據(jù)的時代背景下,先進技術需要專業(yè)人才對其進行使用,因此對技術性、專業(yè)性人才的需求不斷提高,但是培養(yǎng)技術性人才花費的時間較長,所以人才匱乏問題對計算機信息技術發(fā)展產生較大的影響[4]。最后,信息篩選工作水平低下。對收集數(shù)據(jù)進行分析十分重要,通過分析才能夠發(fā)揮其真正的功能和價值。在大數(shù)據(jù)時代背景下,信息數(shù)量繁多,類型豐富,其中包含著有價值的信息和無用信息,因此需要對信息進行篩選才能將價值高的信息挖掘出來。但是結合現(xiàn)狀分析,目前數(shù)據(jù)分析仍存在一定的不足,主要表現(xiàn)在處理速率低下,數(shù)據(jù)分類缺乏準確性等方面。

4結語

綜上所述,大數(shù)據(jù)的出現(xiàn)對于計算機信息處理技術的發(fā)展具有重要的作用,但是在大數(shù)據(jù)時代的背景下,計算機信息處理技術也面臨著巨大的機遇和挑戰(zhàn),現(xiàn)如今人們對計算機信息數(shù)據(jù)的安全性愈加重視,因此計算機信息處理技術也需要緊跟時展的步伐,不斷優(yōu)化和完善安全體系,保證信息數(shù)據(jù)的完整性、安全性和準確性,不斷提高計算機信息處理的水平。

[參考文獻]

[1]劉麗鳳.試論基于大數(shù)據(jù)視域下計算機信息處理系統(tǒng)的優(yōu)化設計[J].電腦知識與技術,2020(5):12-13.

[2]錢春燕.“大數(shù)據(jù)”時代背景下的計算機信息處理技術研究[J].數(shù)字化用戶,2019(6):162.

篇7

上海科技網擁有IDC、IP-VPN、ISP、ICP和CPN等互聯(lián)網特許經營牌照,并通過了ISO20000信息服務流程管理體系和ISO27001信息安全管理體系,以及信息系統(tǒng)安全等級保護三級。

篇8

大數(shù)據(jù)生態(tài)繁花似錦

近年內,隨著越來越多的設備接入互聯(lián)網,當下一年所產生的數(shù)據(jù)往往是以往數(shù)年的總和。而據(jù)Global Cloud Index預計,截止至2020年互聯(lián)設備數(shù)量將達到500億,眾多爆發(fā)式增長的設備預計在2017年便會產生高達7.7 ZB的互聯(lián)網數(shù)據(jù)。在這個大背景下,各個機構都積累了足夠多的數(shù)據(jù),從而對數(shù)據(jù)進行分析并產生指導實踐的見解也成為了企業(yè)提高競爭力的迫切需求。在這個需求刺激下,開源大數(shù)據(jù)技術生態(tài)圈得到了飛速發(fā)展――在數(shù)據(jù)的整個生命周期中,從收集到處理,一直到數(shù)據(jù)可視化和儲存,各種開源技術框架林立。

在開源大數(shù)據(jù)處理上,出于對成本和數(shù)據(jù)量的考慮,橫向擴展已經必不可少,因此在這個領域涌現(xiàn)出大量優(yōu)秀的集群計算框架,其中大家首先想到的就是Hadoop。Hadoop天生高貴,由雅虎原工程師Doug Cutting在Google論文的啟發(fā)下建立,也是時下生產環(huán)境部署最多的計算框架。然而,隨著內存成本的降低和對不同處理類型需求的增加,缺乏對內存有效利用及資源調度粒度的不夠,業(yè)內涌現(xiàn)出大量優(yōu)秀的計算框架并占據(jù)一席之地,整個大數(shù)據(jù)生態(tài)繁華似錦。

開源IaaS發(fā)展

如上文所述,隨著接入互聯(lián)網的設備增多,企業(yè)IT基礎設施往往需要承受以往數(shù)倍的壓力,從而對原有的資源組織方式提出了嚴峻的挑戰(zhàn)。在這個前提下,云計算得以快速發(fā)展并在各行各業(yè)落地,更成為許多創(chuàng)業(yè)公司的立足之本。而作為云計算的一種重要形式,IaaS服務有各種開源和商業(yè)云平臺方案,作為當前最成功的云計算平臺,AWS更是吸引了眾多的關注和模仿,如果說云計算發(fā)展到如今的火爆,除了IT技術的發(fā)展趨勢,更重要的是背后頂級云計算廠商的大力支持和推廣。我們最早聽到IaaS概念可以追溯到1983年,一家在現(xiàn)在看來非常厲害的公司Sun Microsystems就提出了“網絡是電腦”的概念,但是由于概念太超前,在當時并沒有引起重視。

隨著Amazon推出其彈性云計算,并在IaaS領域大獲成功,Google、微軟、VMware、IBM等IT巨頭們大舉跟進,紛紛涉足云計算領域,云計算的熱潮洶涌而至。在這期間,開源IaaS領域發(fā)展同樣迅猛,從最早的Eucalyptus、OpenNebula、CloudStack等到我們熟知的OpenStack,百花齊放,百家爭鳴,一時云計算領域熱鬧非凡。當然,隨著眾多大型廠商的支持、社區(qū)的壯大以及生態(tài)的不斷完善,OpenStack如今大放異彩,開始逐漸占據(jù)主導。不是說OpenStack現(xiàn)在完美無缺,只是在當下的開源IaaS領域,OpenStack已經毫無爭議地成為最受關注的云計算技術,并逐漸成為開源IaaS領域的代名詞。

容器技術異軍突起

Docker,時下最火的容器技術,從誕生到進軍生產環(huán)境,每一步的技術演進都受到了巨大的關注。其實,談及容器技術,其實Docker并非首創(chuàng),早在十數(shù)年前,容器技術便已有雛形,但是以Solomon Hykes為首的一幫工程師敏銳的發(fā)現(xiàn)了容器技術在云計算領域的巨大潛力,隨后迅速技術轉型,開始投向容器技術并且從一開始就走開源路線,這位身上流著美國與法國的血統(tǒng),喜歡網咖打電玩,酷愛摩托車的年輕人開始了一段非凡的浪漫之旅。

無論是版本的迭代還是進軍生產環(huán)境,Docker這三年來的發(fā)展可以說是如魚得水,當然,期間也受到過質疑,比如CoreOS與Docker的標準之爭就在容器圈引起了不大不小的轟動,最后以Solomon和CoreOS的創(chuàng)始人Alex Polvi握手言和告終。之后隨著Docker版本的更新,在網絡和安全、存儲等領域的短板被逐漸補足之后,Docker的集群能力得以完善。

容器引擎領域,雖說有CoreOS團隊開源的rkt項目,但是和Docker相比,在用戶以及社區(qū)活躍度方面都有很大差距。容器的編排,可以說在目前Docker領域受到的關注度前所未有,從Mesos到Kubernetes,圍繞兩種技術的編排之爭超乎想象。由于背后都有大批的廠商支持,短期內,這兩種技術都將得到迅速的發(fā)展,某一方不會形成壓倒性優(yōu)勢。另外,從Docker公司的角度,背后的動作也有對編排的考量,綜述所述,容器生態(tài)中,圍繞Docker的生態(tài)之爭才剛剛開始。

Docker短板補足

生產級實踐備受關注

如上文所述,在Docker版本的更新過程中,自身的一些技術缺陷得到了彌補,Docker在安全、存儲以及網絡領域的短板得到逐步的解決,Docker進軍生產環(huán)境已經成為大勢所趨。國外,在Docker應用領域有著比較先進的經驗。國內目前真正將Docker應用在生產領域的很少,其中應用在核心業(yè)務的就更少,Docker從誕生到現(xiàn)在,已經3年時間,如果繼續(xù)炒作Docker的優(yōu)越已經毫無意義。當下,開發(fā)者們最為關心的是如何讓Docker真正落地,如何在生產環(huán)境中使用Docker,急需這個領域有一些第一個吃螃蟹的企業(yè)出來分享他們的經驗和教訓。為此,2016 Container峰會聚焦生產級實踐,邀請了在金融、教育、制造、證券等領域已經應用Docker的企業(yè)技術負責人到場,給我們談談他們在生產環(huán)境中是如何使用Docker的,大規(guī)模部署Docker的經驗和跨過的坑。

OpenStack式微?

無可否認,Docker的發(fā)展熱度在一定程度上掩蓋了OpenStack的光芒,但是作為開源IaaS領域的首選平臺,IaaS如何和Docker和諧發(fā)展,或者如何借勢Docker彌補OpenStack在技術領域的短板,已經成為很多開發(fā)者關注的焦點。

篇9

值得一提的是,SAP Ariba和SAP SuccessFactor均源自SAP在云計算領域的收購,前者擅長于供應商管理,后者擅長于人力資源與績效管理。近日,SAP又在云計算領域進行了一個收購,收購了瑞士電子商務平臺供應商Hybris。

孫小群認為,相比甲骨文公司的融合應用,對原有應用進行全部重寫體系龐大,SAP的云計算更容易被客戶所接受。在孫小群看來,SAP云服務并非對傳統(tǒng)管理軟件的取代,實現(xiàn)與原有預置系統(tǒng)的無縫對接是其一大優(yōu)勢。她舉例說,如果一個公司進行了一些并購,可以通過SAP的SaaS服務使得被并購公司的IT系統(tǒng)與原有系統(tǒng)進行無縫對接。

孫小群認為,當前炙手可熱的大數(shù)據(jù)應該與云計算結合起來。她說:“大數(shù)據(jù)處理要解決好三個問題:其一,要解決時間的問題,實現(xiàn)實時的數(shù)據(jù)分析;其二,要解決距離的問題;其三,要解決好多重數(shù)據(jù)源的問題。”也就是說,大數(shù)據(jù)處理要做到“在對的時間找到對的數(shù)據(jù),把它傳遞給對的人”。基于此,SAP正在構思將大數(shù)據(jù)和云計算結合起來的實時云。

為此,不久前SAP了SAP HANA企業(yè)云,并宣布SAP所有業(yè)務線的云應用最終都將遷移至 SAP HANA云平臺上。“HANA內存計算技術對SAP的云技術來講是如虎添翼。”孫小群說。

或將建立數(shù)據(jù)中心

孫小群指出,盡管云計算領域熱鬧非凡,但是真正贏利的企業(yè)卻很少。她認為,能否做好運營是云業(yè)務能否賺錢的關鍵。她指出,自2004年進入云計算領域以來,SAP一直在學習怎么做好運營,目前SAP在Saas方面擁有眾多國際標準,在確保企業(yè)數(shù)據(jù)安全的同時保證實時的服務。然而,說到運營,受政策所限,SAP這樣的外資企業(yè)是不允許在我國境內建立數(shù)據(jù)中心的。為此,微軟近日借助本土企業(yè)世紀互聯(lián)來落地其公有云Windows Azure成為業(yè)界關注的一個焦點。

篇10

紫云1000可以作為企業(yè)云計算基礎架構的一部分。“企業(yè)不用自己再對各類軟硬件進行集成。”陳煒表示,“客戶使用云計算機就像使用一臺PC一樣方便。與傳統(tǒng)IT系統(tǒng)的部署相比,云計算機的部署時間可以縮短90%。”從各項技術指標看,紫云1000確有過人之處:單臺紫云1000的CPU處理器數(shù)量可以從6個擴展至65535個,存儲空間可由20TB擴展到85PB,吞吐量達到1.2GB/s,數(shù)據(jù)檢索速度達到30億條/秒。紫云1000從架構上區(qū)分主要包括兩層:最底層是標準化的硬件,其上是紫光股份擁有自主知識產權的虛擬化模塊、大數(shù)據(jù)模塊和快速部署模塊。紫云1000作為一個云計算平臺,可以支持各類應用模塊,比如郵件、即時通信、語音系統(tǒng)、個人網盤、數(shù)據(jù)共享等。

陳煒將紫云1000的特色歸納為以下四個方面:第一,軟硬件一體化,從而大大降低了IT系統(tǒng)的整體擁有成本;第二,具有快速、無限的擴展能力,其分布式的大數(shù)據(jù)處理架構保證系統(tǒng)可隨客戶數(shù)據(jù)和業(yè)務的增長而實現(xiàn)線性擴展;第三,具有很高的可用性,其元數(shù)據(jù)服務器采用主備雙機熱備技術,在主機發(fā)生故障時,備機可自動接替其工作,而數(shù)據(jù)節(jié)點也采用冗余備份機制,任意一個節(jié)點出現(xiàn)故障,數(shù)據(jù)也不丟失,服務不會停止;第四,具有高效性,數(shù)據(jù)處理速度非常快,數(shù)據(jù)可在不同節(jié)點之間動態(tài)移動,同時保證各節(jié)點的動態(tài)平衡。

篇11

[6]李衛(wèi),李濟漢,張云勇,等.電信運營商云業(yè)務發(fā)展現(xiàn)狀分析與建議[J].互聯(lián)網天地, 2013(3):715.

[7]曲悅.淺談云計算在圖書館建設中的價值及問題[J].價值工程,2012(9):203204.

[8]馬錫坤,于京杰.醫(yī)院數(shù)據(jù)中心存在的問題及對策[J].中國醫(yī)學教育技術,2013,4(27):215217.

[9]鄔賀銓.大數(shù)據(jù)時代的機遇與挑戰(zhàn)[J].信息化參考,2013(2):16.

篇12

2.1大數(shù)據(jù)的定義及其主要特征

在業(yè)內,大數(shù)據(jù)和其他新興學科一樣還沒有一個統(tǒng)一的定義和界定標準。一般情況下認為:大數(shù)據(jù)是由一些異構數(shù)據(jù)所組成的集合,能夠運用較為方便合理的算法及工具從中找出有價值的信息,并為人類帶來社會和經濟效益。它又被稱為海量數(shù)據(jù)、大資料,這指的是其波及的數(shù)據(jù)量范圍廣大,以至于在合理時間內根本就沒有辦法通過人工獲取、管理等方式整合成為人類所能明晰、解讀的信息。這些數(shù)據(jù)來源廣泛,比如監(jiān)控視頻、網上交易記錄等。盡管還沒有一個統(tǒng)一規(guī)范的定義,但大量的這些數(shù)據(jù)都被稱為大數(shù)據(jù)。大數(shù)據(jù)具有如下四個特性:①數(shù)據(jù)發(fā)展速度和處理速度要求快;②大數(shù)據(jù)的多樣性,其數(shù)據(jù)來源豐富,格式又包括有多種不同的表現(xiàn)形式,如聲音、視頻、圖片等;③數(shù)據(jù)的存儲和計算量比較大;④大數(shù)據(jù)的信息巨大導致其價值密度相對較低,因此要想真正的找到有價值的數(shù)據(jù)難度較大。

2.2大數(shù)據(jù)時代下的思維變革

①在利用大數(shù)據(jù)去解決一些特殊的問題時,能夠處理更多的信息而不再依賴簡單的隨機采樣。②為了分析處理更多的問題,需要對數(shù)據(jù)泛化,因為在大數(shù)據(jù)的簡單算法之下有可能比先前復雜的算法更加方便有效。③大數(shù)據(jù)的背景下,人們更加聚焦于事物之間的相關關系而不是其因果關系。

2.3MapReduce框架

MapReduce是谷歌推出的一種計算編程模型,其主要目的是對龐大的數(shù)據(jù)進行并行處理。因此,MapReduce就把數(shù)據(jù)并行處理的任務分解成MAP和REDUCE這兩個核心操作,這種設計理念在一定程度上受到一些編程語言如高階函數(shù)的影響。

3大數(shù)據(jù)處理的關鍵技術

3.1數(shù)據(jù)備份技術

大數(shù)據(jù)時代背景下,數(shù)據(jù)的安全備份工作非常重要。安全備份是數(shù)據(jù)容災的基礎和前提,是為了預防偶然情況而采取的一種安全保護手段,備份的核心工作是恢復數(shù)據(jù),根本目的是數(shù)據(jù)的再利用。它具體指的是如果出現(xiàn)一些突況從而致使存儲在系統(tǒng)中的數(shù)據(jù)、文件等丟失或者說損壞的時候,系統(tǒng)能夠準確而迅速的將數(shù)據(jù)進行恢復。

3.2云計算技術

假如把形式多樣的大數(shù)據(jù)比作在高速公路上運行的各種汽車,那么這條高速公路就是云計算,云計算是大數(shù)據(jù)技術的核心內容。正是基于云計算在海量信息儲存、分析以及應用管理等方面的支持,大數(shù)據(jù)才能夠在社會中廣泛應用。谷歌的各種大數(shù)據(jù)信息技術和應用平臺就是在云計算的基礎上建立起來的,而其中最為典型的就是以MapReduce(批處理技術)、UFS(UIT云存儲系統(tǒng))、BigTable(分布式數(shù)據(jù)庫)為代表的大數(shù)據(jù)以及在此基礎上建立的數(shù)據(jù)處理平臺。

3.3Hadoop

在大數(shù)據(jù)時代背景下,人們對數(shù)據(jù)的分析、應用和管理都提出了更高的要求,傳統(tǒng)的數(shù)據(jù)處理技術與關系型數(shù)據(jù)庫已經不能滿足時代的發(fā)展要求。為了能夠給大數(shù)據(jù)的分析處理提供一個更高、更好、更可靠的平臺,Apache基金會研發(fā)了一個開源平臺Hadoop,這個平臺用Java語言編寫,已經發(fā)展成為一個包括HBase(分布式數(shù)據(jù)庫)和HDFS(分布式文件系統(tǒng))等功能在內的完整系統(tǒng),成為當下相對主流的大數(shù)據(jù)應用平臺。

4大數(shù)據(jù)技術應用所帶來的信息系統(tǒng)的安全隱患以及應對策略

大數(shù)據(jù)之下,海量的信息數(shù)據(jù)一般都存儲在一些分布式的網絡節(jié)點當中,管理相對混亂和分散,而且系統(tǒng)也沒有辦法獨立掌控用戶交易數(shù)據(jù)的場所,因此很難分辨用戶是否具有合法的身份標識,這就非常容易致使一些不法客戶肆意竊取、篡改他人信息;另外,大數(shù)據(jù)存儲系統(tǒng)中含有大量的個人隱私信息及各種數(shù)據(jù)記錄,在大數(shù)據(jù)信息的挖掘利用中,怎樣能夠確定一個信息的開放和保護尺度,是當前大數(shù)據(jù)發(fā)展過程中面臨的又一難題。為了充分合理的利用大數(shù)據(jù)并對一些風險進行預防,在此,我們特提出以下四點建議:①建立健全相關政策,國家需要加強頂層設計,有力的確保數(shù)據(jù)儲存安全;②積極探索相關技術,加強對個人安全隱私信息的保護力度;③增強計算機防火墻的安全防護能力,有效抵御網絡黑客,確保網絡環(huán)境安全;④深化云計算安全領域改革,充分適應信息化的發(fā)展要求,確保云端數(shù)據(jù)安全。

5案例分析-對A公司大數(shù)據(jù)及其信息管理系統(tǒng)的研究

A公司實施信息化已有多年,每年在信息化方面,都會投入了大量的人力和物力,并已搭建了公司的局域網和廣域網。不過,由于在初期的信息化建設中,公司是以服務支持軟件應用為主,還沒有站在一個更高的角度來開展信息化工作,因此也就沒有真正實現(xiàn)大數(shù)據(jù)的應用,更沒有制定較為系統(tǒng)的信息化規(guī)劃,各信息及系統(tǒng)沒有集成,信息孤島現(xiàn)象嚴重,具體表現(xiàn)為系統(tǒng)中的業(yè)務流程尤其是在工程、營銷、生產和財務等環(huán)節(jié)存在嚴重的斷層現(xiàn)象。此外,由于標準不一,系統(tǒng)沒有整合、較為分散,這就給系統(tǒng)的集成帶來了很大的困難,信息不能共享;數(shù)據(jù)也缺乏標準化,無論是自行開發(fā),還是從國外市場上買來的即時軟件,一般都不注意數(shù)據(jù)的標準化,或數(shù)據(jù)標準自成一體,應用項目上得越多,數(shù)據(jù)的不一致性就越嚴重;系統(tǒng)開發(fā)沒有標準化,A公司在建設信息系統(tǒng)的過程中沒有使用相對一致的開發(fā)、應用平臺及工具,不利于降低系統(tǒng)維護成本、技術人員培訓成本等。為了克服這種現(xiàn)象,A公司認識到,要解決這些問題必須對系統(tǒng)進行集成,并建立健全信息化建設的統(tǒng)一標準。為此,A從公司的戰(zhàn)略入手,結合公司的業(yè)務發(fā)展狀況,深入分析了企業(yè)發(fā)展對大數(shù)據(jù)信息化建設的需求。而要配合好這些行動,首先要做的就是建立客戶關系管理系統(tǒng),記錄客戶信息,使公司擁有一個全面的客戶信息資源庫,包括客戶的基本信息、交易記錄等。其次,通過分析,A公司對所要應用的每一套信息數(shù)據(jù)系統(tǒng)都提出了詳細的業(yè)務需求,通過對比國內外相關的信息系統(tǒng),在綜合考慮需求滿足程度及成本等因素下,該公司選擇了一套國外的成熟軟件產品進行分步實施。再次,A公司通過對業(yè)務流程的分析,從業(yè)務的角度提出了企業(yè)的信息流程,明確了系統(tǒng)間所需要的的集成關系。為了較好的整合現(xiàn)有及未來的系統(tǒng),實現(xiàn)信息的集成、共享與流轉,減少手工的干預,A公司提出了信息技術架構及其整合方案,包括應用系統(tǒng)的組成與結構、信息模型、信息和數(shù)據(jù)在應用系統(tǒng)之間的分布與流向、信息技術標準和規(guī)范等。同時,該公司還分析了目前在市場上較為主流的系統(tǒng)集成的技術和產品,在盡量確保現(xiàn)有投資,同時又兼顧未來系統(tǒng)方便集成的原則指導下,該公司選擇了最合適的產品和技術對現(xiàn)有的系統(tǒng)進行分步整合。最后,A公司認為,對信息化的規(guī)劃建設來說還有一個十分重要的問題,即大數(shù)據(jù)在信息系統(tǒng)中的實施及資源配置計劃。只有明確了信息系統(tǒng)建設的時間表和優(yōu)先順序,才能更好地指導信息系統(tǒng)的實施。因此,A公司在綜合分析了公司的未來戰(zhàn)略、發(fā)展方向、業(yè)務及系統(tǒng)現(xiàn)狀后,提出了大數(shù)據(jù)信息系統(tǒng)實施計劃。在該實施計劃中,不僅安排了實施的時間表,還給出了系統(tǒng)實施的大概預算及主要的產品供應商,同時提出系統(tǒng)實施需要注意的主要問題等,為以后幾年的信息數(shù)據(jù)化網絡建設提供了一個很好的依據(jù)和參考。

篇13

1 云計算與大數(shù)據(jù)概述

云計算是利用計算機的強大運算能力,將待計算的數(shù)據(jù)分成許多個小部分,然后利用多組服務器對每個部分分別進行計算分析,最后將計算的結果匯總并反饋給企業(yè)用戶。云計算處理方式可以使計算機能夠處理數(shù)據(jù)量很大、結構較為復雜的數(shù)據(jù)分析,而且使得數(shù)據(jù)處理的范圍更加廣泛,處理結果更加準確可靠。大數(shù)據(jù)則是計算機數(shù)據(jù)采集中常用的一種方法,其主要作用是從海量數(shù)據(jù)當中快速搜尋對數(shù)據(jù)分析有價值的信息,并將其保存。鑒于大數(shù)據(jù)只是一種數(shù)據(jù)采集方法,如果缺乏對應的數(shù)據(jù)處理方式,大數(shù)據(jù)的作用也無法體現(xiàn)出來,所以在此,可以將云計算和大數(shù)據(jù)相結合。大數(shù)據(jù)是從海量數(shù)據(jù)當中采集數(shù)據(jù),而云計算則需要大量的數(shù)據(jù)作為運算基礎,所以云計算與大數(shù)據(jù)的結合可以使雙方都能充分發(fā)揮該有的作用。

2 在線交互平臺存在的問題

2.1 企業(yè)用戶驗證及企業(yè)用戶信息問題

當前的在線交互平臺的企業(yè)用戶驗證體系還不夠完善,在企業(yè)用戶進行登陸時需要經過多次驗證,嚴重影響企業(yè)用戶的體驗感,而且還會使得企業(yè)用戶的賬號安全得不到保障。此外,由于平臺中存在多種應用方式,所以企業(yè)用戶信息就會遍布各個應用,而且有許多應用的服務功能相近,這就使得平臺的資源被浪費,企業(yè)用戶的體驗感下降,還不便于平臺管理[2]。

2.2 數(shù)據(jù)類型問題

在線交互平臺的信息類型有許多種,主要可以分為兩大類:結構化信息以及非結構化信息。由于編碼方式或者保存格式的不同,少部分數(shù)據(jù)會不同于尋常數(shù)據(jù),出現(xiàn)異構的現(xiàn)象。而在線交互平臺每天都有著海量的信息交流,這些資源都是通過網絡進行,所以每天會有大量的信息資源,而且是以非結構化數(shù)據(jù)為主,再附帶著一些異構數(shù)據(jù)。以當前的數(shù)據(jù)分析處理技術,無法將這些非結構化數(shù)據(jù)及異構化數(shù)據(jù)很好地處理。

2.3 數(shù)據(jù)缺乏深入分析

隨著在線交互平臺的推廣以及人們見識的不斷增長,企業(yè)用戶們對在線交互平臺的要求也越來越高。在線交互平臺一定要根據(jù)企業(yè)用戶的實際需求對交互平臺的資源以及個性化功能進行調整,使得企業(yè)用戶在交互平臺的體驗感不斷提升,這就要求平臺對信息的處理以及數(shù)據(jù)的分析更加深入。而當前的數(shù)據(jù)分析還停留在表面,數(shù)據(jù)分析技術不成熟,許多非結構數(shù)據(jù)和異構數(shù)據(jù)并不能得到很好的處理,不利于企業(yè)用戶信息的反饋以及企業(yè)用戶體驗的優(yōu)化。

2.4 服務器資源分配不合理

在線交互平臺中有許多個服務器,每個服務器都分配有一定的資源,這些服務器分別負責各個應用模塊的正常運轉。有的應用比較受歡迎,每天的訪問量十分龐大,這就使得對應的服務器的負載很大,嚴重時甚至發(fā)生癱瘓;而有的應用比較冷門,每天的訪問量很少,對應的服務器經常空出大部分負載,造成資源浪費,但是由于這些系統(tǒng)是長期開放的,隨時都可能有企業(yè)用戶登陸,所以就算在平時很少有人使用,也要開啟服務器,而且需要定期進行維護,增加了維護的成本[3]。

3 應用模型的構建

為了有效解決目前在線交互平臺所存在的問題,提高在線交互質量,特構建在線交互平臺應用模型。該應用模型利用了云計算和大數(shù)據(jù),主要由三大部分組成:企業(yè)用戶個性化服務層、數(shù)據(jù)分析處理層以及配套硬件設施層。

3.1 企業(yè)用戶個性化服務層

根據(jù)不同企業(yè)用戶的需求,設置專門的企業(yè)用戶個性化服務功能。每個企業(yè)用戶都可以對當前的頁面進行個性化設計,便于企業(yè)用戶對平臺功能的使用。平臺的服務功能主要有信息管理服務、信息咨詢服務、交互服務等等。平臺會因為每個企業(yè)用戶所設計的個性化服務不同而提供不同的內容。對于信息咨詢者而言,在線交互平臺會將企業(yè)用戶所咨詢問題的答案及時反饋給企業(yè)用戶,包括問題產生的原因、問題的具體解決辦法等。對于在線交流的企業(yè)用戶而言,平臺可以為參與企業(yè)用戶提供交流的平臺,并配有信息咨詢服務,方便企業(yè)用戶在交流過程中遇到問題時可以及時詢問解答。在線交互平臺是信息資源集中的地方,為了便于企業(yè)用戶快速查詢信息資源,要盡量保證信息資源具有唯一性,將冗雜信息及時清理,避免重復信息,減輕服務器的負擔,也便于信息資源的及時更新[4]。

3.2 數(shù)據(jù)分析處理層

在線交互平臺的數(shù)據(jù)分析處理層主要應用了云計算和大數(shù)據(jù)技術,支持各種數(shù)據(jù)的分析處理,包括計算機文件、圖片、視頻短片、地形數(shù)據(jù)等。經過處理后的數(shù)據(jù)及時保存在數(shù)據(jù)庫當中,并定期對數(shù)據(jù)進行整體更新,實現(xiàn)數(shù)據(jù)庫與外界實際情況對接,提高數(shù)據(jù)的實用價值。利用服務器平衡負荷可以有效提高服務器的利用率,擴大在線交互教育平臺的企業(yè)用戶容量。將負載較大服務器上的企業(yè)用戶轉移一部分到空閑服務器上,讓多個服務器共同分擔負載,既能減輕服務器負擔,提高空閑服務器的利用率,還能縮短在線交互平臺信息反饋的等待響應時間,提升企業(yè)用戶的體驗感。

大數(shù)據(jù)技術在在線交互平臺的應用可以將雜項去除,用各種算法對數(shù)據(jù)進行分析,并挑選出具有典型特征的數(shù)據(jù)作為樣本組,為數(shù)據(jù)的進一步處理做準備。在挑選出樣本組數(shù)據(jù)之后,利用云計算的方式對數(shù)據(jù)進行進一步處理,運用相關運算法則,以離線數(shù)據(jù)作為參考,對當前的樣本組數(shù)據(jù)進行進一步分析,并將數(shù)據(jù)及時反饋給平臺。經過進一步分析處理之后的數(shù)據(jù)可用來制作索引,方便企業(yè)用戶查詢。

3.3 配套硬件設施層

利用云計算可以有效解決當前平臺的配套硬件設施管理問題。對這些硬件設施實行統(tǒng)一動態(tài)管理,可以提高硬件的使用效率,將資源利用率最大化,并可以提高硬件的實用性和可靠性。當其中某個硬件發(fā)生故障時,會有其他硬件暫時代替該硬件的工作,直到維修工作完成。

4 結束語

近年來,網絡技術發(fā)展十分迅速,許多在線交互平臺隨之出現(xiàn)。以目前的情況來看,在線交互平臺的應用還存在許多的問題。將云計算和大數(shù)據(jù)技術應用到在線交互平臺,構建在線交互平臺模型,可以有效解決這些應用問題,并提高平臺的數(shù)據(jù)處理能力,提升平臺企業(yè)用戶的體驗感,為在線交互平臺的普及應用打好基礎。

參考文獻

[1]程學旗,靳小龍,王元卓,等.大數(shù)據(jù)系統(tǒng)和分析技術綜述[J].軟件學報,2014,25(09):1889-1908.

[2]吳濤,金義富,張子石.云計算時代虛擬學習社區(qū)的特征分析――以未來教育空間站為例[J].電化教育研究,2013,34(01):57-61.

主站蜘蛛池模板: 晴隆县| 华阴市| 航空| 惠东县| 新巴尔虎左旗| 都江堰市| 平定县| 佛冈县| 浠水县| 尉犁县| 遂平县| 和田县| 华容县| 苍溪县| 崇阳县| 雅江县| 钟山县| 沙河市| 栖霞市| 康保县| 龙里县| 江西省| 平乐县| 灵石县| 新建县| 黑水县| 延长县| 天祝| 论坛| 武隆县| 江油市| 海淀区| 衡南县| 柳林县| 崇文区| 崇信县| 海宁市| 武义县| 湘潭县| 万年县| 左云县|