引論:我們?yōu)槟砹?篇數(shù)據(jù)存儲(chǔ)技術(shù)論文范文,供您借鑒以豐富您的創(chuàng)作。它們是您寫作時(shí)的寶貴資源,期望它們能夠激發(fā)您的創(chuàng)作靈感,讓您的文章更具深度。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:局域網(wǎng)數(shù)據(jù)存儲(chǔ)技術(shù)分析論文
1.局域網(wǎng)安全存儲(chǔ)模型淺析
基于當(dāng)前工業(yè)環(huán)境中對(duì)于局域網(wǎng)數(shù)據(jù)存儲(chǔ)安全的需求,內(nèi)網(wǎng)海量文件數(shù)據(jù)存儲(chǔ)原型系統(tǒng)(MFDSS)在局域網(wǎng)環(huán)境中得到了廣泛應(yīng)用。其邏輯結(jié)構(gòu)參見圖1。在MFDSS系統(tǒng)環(huán)境中,各個(gè)組件通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)聯(lián)系,構(gòu)成邏輯層面共同工作的整體。其中客戶端直接與用戶保持溝通,負(fù)責(zé)維護(hù)用戶存儲(chǔ)視圖,并且用戶面向應(yīng)用服務(wù)器實(shí)現(xiàn)請(qǐng)求和響應(yīng)的傳輸。并且在獲取到服務(wù)器授權(quán)的前提下,支持客戶端與基于iSCSI的存儲(chǔ)設(shè)備SD之間實(shí)現(xiàn)直接通信。而應(yīng)用服務(wù)器從邏輯上位于中介位置,需要負(fù)責(zé)與客戶端保持溝通,并且面向客戶提供統(tǒng)一的存儲(chǔ)視圖,同時(shí)還需要與SD保持溝通,實(shí)現(xiàn)對(duì)于主機(jī)認(rèn)證以及設(shè)備操作認(rèn)證的控制,并且實(shí)現(xiàn)文件到對(duì)象的映射轉(zhuǎn)換。而在MFDSS體系中,元數(shù)據(jù)是重要的概念,具體分為系統(tǒng)元數(shù)據(jù)、內(nèi)容元數(shù)據(jù)和存儲(chǔ)元數(shù)據(jù)三種,對(duì)應(yīng)的元數(shù)據(jù)服務(wù)器則關(guān)注元數(shù)據(jù)管理的相關(guān)工作,并且實(shí)現(xiàn)元數(shù)據(jù)在存儲(chǔ)對(duì)象上的映射索引,同時(shí)支持從邏輯層面上對(duì)于多個(gè)SD設(shè)備的管理。這樣的文件存儲(chǔ)體系,相對(duì)于傳統(tǒng)文件體系而言有著十分顯著的工作特征。傳統(tǒng)文件存儲(chǔ)體系中,元數(shù)據(jù)通常由文件服務(wù)器實(shí)現(xiàn)維護(hù),因此每次對(duì)數(shù)據(jù)訪問(wèn)的相關(guān)操作都需要獲取元數(shù)據(jù),因此在訪問(wèn)請(qǐng)求頻繁發(fā)起的時(shí)候,承擔(dān)元數(shù)據(jù)相關(guān)操作的設(shè)備就必須同時(shí)面對(duì)多個(gè)請(qǐng)求,對(duì)應(yīng)的形成資源瓶頸的可能性也相對(duì)較大。對(duì)應(yīng)的無(wú)序訪問(wèn)進(jìn)一步加劇整個(gè)系統(tǒng)存儲(chǔ)環(huán)境安全隱患的產(chǎn)生。而在MFDSS系統(tǒng)中,每次操作只有一次對(duì)于元數(shù)據(jù)的訪問(wèn)請(qǐng)求,并且進(jìn)一步由專門的SD存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器來(lái)共同實(shí)現(xiàn)對(duì)于整個(gè)存儲(chǔ)訪問(wèn)過(guò)程的管理,因此在元數(shù)據(jù)的操作方面實(shí)現(xiàn)了有效的降低和控制,從而增強(qiáng)了整個(gè)系統(tǒng)的彈性,在安全水平方面也有所改進(jìn)。
2.MFDSS體系得到實(shí)現(xiàn)的基礎(chǔ)
還可以進(jìn)一步加強(qiáng)多協(xié)議文件系統(tǒng)(MPSFS)的建設(shè)。MPSFS系統(tǒng)從性能角度看,保留了分布式文件系統(tǒng)本身的靈活性優(yōu)勢(shì),并且在并發(fā)訪問(wèn)管理以及安全性方面都有很大改善。從技術(shù)角度看,MPSFS系統(tǒng)除了提供文件的存取接口以外,更為重要的在于采用存儲(chǔ)卷實(shí)現(xiàn)存儲(chǔ)。存儲(chǔ)卷中包括文件目錄結(jié)構(gòu)以及其固有的存儲(chǔ)模式,對(duì)應(yīng)的進(jìn)一步包括元數(shù)據(jù)結(jié)構(gòu)、操作接口、功能函數(shù)集以及對(duì)于空間的利用優(yōu)化算法和數(shù)據(jù)結(jié)構(gòu)。在MPSFS工作環(huán)境之下,能夠?qū)崿F(xiàn)面向不同的用戶區(qū)分提供不同的存儲(chǔ)訪問(wèn)視圖,因此在油田工作環(huán)境中,能夠更好地實(shí)現(xiàn)與權(quán)限身份控制更好的數(shù)據(jù)管理機(jī)制。除此以外,MPSFS還能夠?qū)崿F(xiàn)更為完善的用戶身份認(rèn)證,具體是通過(guò)相應(yīng)的專用認(rèn)證服務(wù)器,來(lái)依據(jù)內(nèi)部的多個(gè)證書文件來(lái)實(shí)現(xiàn)對(duì)于身份的確定。
3.結(jié)論
在面對(duì)局域網(wǎng)數(shù)據(jù)存儲(chǔ)安全的客觀需求時(shí),諸多技術(shù)開始涌現(xiàn)并且不斷發(fā)展成熟。在MFDSS框架體系之下,包括MPSFS等多種相關(guān)技術(shù),并且在集成完成之后,整個(gè)技術(shù)框架會(huì)呈現(xiàn)出良好的安全特征。與之對(duì)應(yīng)的,讀寫性能會(huì)受到一定的制約,估計(jì)下降幅度會(huì)在12%-18%之間,但是以這樣的一個(gè)效率換取整個(gè)系統(tǒng)的數(shù)據(jù)存儲(chǔ)安全,仍然是一個(gè)可以接受的環(huán)境。并且如果進(jìn)一步展開基于數(shù)據(jù)挖掘等相關(guān)技術(shù)的深入應(yīng)用,這樣的下降狀況還會(huì)有所縮減,將整個(gè)系統(tǒng)的安全性和可用性控制在一個(gè)相對(duì)良好的范圍內(nèi)展開工作。
作者:趙鑫鑫 單位:大慶油田信息技術(shù)公司東風(fēng)分公司
數(shù)據(jù)存儲(chǔ)技術(shù)論文:數(shù)據(jù)存儲(chǔ)安全技術(shù)分析
摘要:在云計(jì)算日益發(fā)達(dá)的今天,為方便企業(yè)運(yùn)行,企業(yè)的運(yùn)行數(shù)據(jù)通常放入云平臺(tái)。通過(guò)云端共享,可以將公司內(nèi)部數(shù)據(jù)傳遞給職員,方便快捷的操作方式,讓越來(lái)越多的用戶使用云平臺(tái)存儲(chǔ)數(shù)據(jù),因此,如何保障信息的安全性是用戶們廣泛關(guān)注的問(wèn)題。筆者首先討論了云平臺(tái)數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),然后分析了目前的云存儲(chǔ)安全類型,并且介紹了云存儲(chǔ)數(shù)據(jù)安全技術(shù),為廣大研究者提供理論依據(jù)。
關(guān)鍵詞:云存儲(chǔ);數(shù)據(jù)安全;安全技術(shù)
各行各業(yè)的經(jīng)營(yíng)數(shù)據(jù)都在不斷變化,如何完整保存和傳輸企業(yè)的數(shù)據(jù),滿足企業(yè)的需求,是廣大研究員在研究數(shù)據(jù)技術(shù)時(shí)面臨的重要挑戰(zhàn)。云數(shù)據(jù)存儲(chǔ)方便員工共享企業(yè)資訊和資源,替代了傳統(tǒng)的數(shù)據(jù)保存模式,更能輔助員工移動(dòng)辦公,數(shù)據(jù)保護(hù)安全技術(shù)應(yīng)運(yùn)而生,降低數(shù)據(jù)泄漏風(fēng)險(xiǎn)。如果企業(yè)數(shù)據(jù)泄漏,可能會(huì)對(duì)公司造成巨大損失,從而影響公司的發(fā)展。所以研究云數(shù)據(jù)存儲(chǔ)模式以及數(shù)據(jù)保護(hù)技術(shù),可以提高企業(yè)數(shù)據(jù)存儲(chǔ)的安全性,保護(hù)公司的無(wú)形資產(chǎn)。
1云數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)
云數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)包含了云服務(wù)器、用戶和第三方。在這種三角形結(jié)構(gòu)中,用戶主要是將個(gè)人數(shù)據(jù)及公司數(shù)據(jù)通過(guò)云服務(wù)器上傳并進(jìn)行存儲(chǔ),一方面能夠節(jié)省自己的計(jì)算機(jī)存儲(chǔ)空間,另外一方面可以將資源共享給其他的同事,讓其他人也可以查詢和下載數(shù)據(jù),第三方只對(duì)云存儲(chǔ)數(shù)據(jù)起到監(jiān)管作用。
2云平臺(tái)數(shù)據(jù)存儲(chǔ)安全類型
2.1存儲(chǔ)安全性
云存儲(chǔ)數(shù)據(jù)平臺(tái)存儲(chǔ)了大量的客戶信息以及公司的運(yùn)營(yíng)數(shù)據(jù),是黑客和不法人員攻擊的主要對(duì)象。云服務(wù)器的安全性至關(guān)重要,要加強(qiáng)管理,并且要制訂安全防護(hù)方案,建立嚴(yán)格的數(shù)據(jù)存儲(chǔ)安全制度體系,加強(qiáng)數(shù)據(jù)檢測(cè)巡邏,保障數(shù)據(jù)存儲(chǔ)的安全性。
2.2操作安全性
由于云存儲(chǔ)下的數(shù)據(jù)可以被多方用戶同時(shí)共享,其數(shù)據(jù)從生成到刪除會(huì)被許多用戶訪問(wèn),數(shù)據(jù)的生成或者更改都會(huì)出現(xiàn)操作安全問(wèn)題,一方面是人為的隱患,另外一方面是由于云數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)生問(wèn)題而造成的隱患,后者的隱患較小。當(dāng)用戶操作數(shù)據(jù)后,數(shù)據(jù)將會(huì)更改并且同步更新,如果用戶出現(xiàn)操作錯(cuò)誤,則更新后的數(shù)據(jù)無(wú)法再恢復(fù),所以應(yīng)謹(jǐn)慎操作。另外,數(shù)據(jù)傳輸易出現(xiàn)數(shù)據(jù)損壞以及泄漏現(xiàn)象,數(shù)據(jù)在傳輸?shù)倪^(guò)程中,易被非法人員篡改或竊取等,應(yīng)提高數(shù)據(jù)的傳輸安全性。
2.3訪問(wèn)安全性
云存儲(chǔ)數(shù)據(jù)可以被多個(gè)客戶訪問(wèn),用戶通過(guò)用戶名和密碼進(jìn)入云系統(tǒng)訪問(wèn)數(shù)據(jù),具有數(shù)據(jù)訪問(wèn)的安全性。訪問(wèn)用戶是否合法,應(yīng)受到系統(tǒng)的監(jiān)測(cè),查詢和鑒定其身份信息。
3云平臺(tái)下數(shù)據(jù)存儲(chǔ)安全技術(shù)分類
3.1同態(tài)加密技術(shù)
要保障云平臺(tái)下的數(shù)據(jù)存儲(chǔ)安全,就必須同步研究數(shù)據(jù)的加密存儲(chǔ)技術(shù),該技術(shù)的研究情況符合我國(guó)的云技術(shù)發(fā)展趨勢(shì),是運(yùn)用最廣泛的存儲(chǔ)技術(shù)。同態(tài)加密技術(shù)屬于加密技術(shù),首先在系統(tǒng)中設(shè)置加密代碼和防護(hù)代碼,用戶在輸入密碼時(shí),系統(tǒng)會(huì)自動(dòng)進(jìn)行代數(shù)運(yùn)算,根據(jù)運(yùn)算結(jié)果,判定用戶是否為合法用戶。這種云計(jì)算方式,保障了用戶數(shù)據(jù)的安全性。同態(tài)加密技術(shù)由私密加密技術(shù)發(fā)展而來(lái),設(shè)置同態(tài)加密,必須要在了解解密技術(shù)的基礎(chǔ)上才能實(shí)現(xiàn)。同態(tài)加密技術(shù)能夠解決大部分加密存儲(chǔ)問(wèn)題,保障數(shù)據(jù)文件的安全性,然而這其中依舊存在耗時(shí)耗力、欠缺計(jì)算方法等相關(guān)問(wèn)題,還需不斷調(diào)整、優(yōu)化、升級(jí),以獲得更好的用戶體驗(yàn)。
3.2SE加密技術(shù)
用戶在存儲(chǔ)數(shù)據(jù)之前,應(yīng)先對(duì)數(shù)據(jù)進(jìn)行加密操作,這樣才能夠較大限度保障數(shù)據(jù)的安全性、隱私性,然而會(huì)出現(xiàn)查詢難度加大的問(wèn)題。如果云平臺(tái)中存儲(chǔ)的相關(guān)數(shù)據(jù),其初始用戶對(duì)其進(jìn)行了加密,初始用戶沒有將密碼告訴共享用戶,則共享用戶即使下載了數(shù)據(jù),也無(wú)法打開數(shù)據(jù)包。如果初始用戶不設(shè)置密碼,那么數(shù)據(jù)會(huì)面臨泄漏的危險(xiǎn)。云數(shù)據(jù)加密存儲(chǔ)技術(shù)是建立在加密存儲(chǔ)技術(shù)之上的一種新型技術(shù),簡(jiǎn)稱為SE。SE技術(shù)方法不僅可以對(duì)數(shù)據(jù)進(jìn)行加密,還能夠在數(shù)據(jù)有密匙的情況下,查詢數(shù)據(jù)包中的數(shù)據(jù)名稱及類型,只是不能打開數(shù)據(jù)文件。云平臺(tái)存儲(chǔ)的數(shù)據(jù)具有共享性質(zhì),任何用戶在使用云平臺(tái)時(shí),都可以在搜索框中輸入相關(guān)的關(guān)鍵詞,檢索到該關(guān)鍵詞相關(guān)的文件,篩選獲得有用的數(shù)據(jù)信息。根據(jù)初始用戶的設(shè)置,有的數(shù)據(jù)可以下載,數(shù)據(jù)是否能夠打開,要看數(shù)據(jù)是否在加密狀態(tài)。云平臺(tái)的數(shù)據(jù)查詢功能,嚴(yán)格要求關(guān)鍵詞不能出錯(cuò),根據(jù)關(guān)鍵詞的相關(guān)性,云平臺(tái)的數(shù)據(jù)會(huì)自動(dòng)對(duì)查詢出的數(shù)據(jù)文件進(jìn)行排列。這種搜索方式也會(huì)導(dǎo)致用戶如果要確定數(shù)據(jù)文件和其查詢的關(guān)鍵詞的關(guān)聯(lián)性,必須返回上層文件夾。很多文件的子文件和母文件相關(guān)性并不大,需要用戶進(jìn)入數(shù)據(jù)文件查詢此文件的名字,才能確定該數(shù)據(jù)文件對(duì)自己是否有用。SE加密方法的優(yōu)勢(shì)是可以篩選有用的文件,缺點(diǎn)是會(huì)增加網(wǎng)絡(luò)的流量。
3.3SiRiUS加解密技術(shù)
加解密技術(shù)分類較多,主要包含Ptutus加密技術(shù)、多重加密技術(shù)、密匙加密技術(shù)、SiRiUS加密技術(shù)等。較為特殊的SiRiUS系統(tǒng),建立在NFS文件系統(tǒng)基礎(chǔ)上,多重加密保障數(shù)據(jù)的安全傳輸。當(dāng)用戶訪問(wèn)數(shù)據(jù)時(shí),SiRiUS系統(tǒng)進(jìn)行嚴(yán)格控制,每一個(gè)文件對(duì)應(yīng)一個(gè)元文件,這些文件隱藏于文件訪問(wèn)的控制列表中。后來(lái)SiRiUS系統(tǒng)不斷升級(jí),近期的加密算法是NNL廣播,其算法更加復(fù)雜,嚴(yán)格控制用戶訪問(wèn)權(quán)限,雖然提高了數(shù)據(jù)傳輸?shù)陌踩裕怯捎谶^(guò)于復(fù)雜,也限制了系統(tǒng)的擴(kuò)展及發(fā)展。
3.4基于VMM的數(shù)據(jù)保護(hù)技術(shù)
在虛擬化平臺(tái)上可以進(jìn)行虛擬機(jī)的工作。虛擬機(jī)工作建立在云計(jì)算的基礎(chǔ)上,同時(shí)受到監(jiān)控系統(tǒng)監(jiān)管。基于VMM的數(shù)據(jù)保護(hù)技術(shù)的作用原理建立在SSL技術(shù)的基礎(chǔ)上,一方面利用虛擬監(jiān)控系統(tǒng),使用Daoti保護(hù)數(shù)據(jù)的存儲(chǔ)安全;另外一方面,SSL技術(shù)能夠保護(hù)數(shù)據(jù)的傳輸安全。其具體的作用過(guò)程中,云端接收到數(shù)據(jù),數(shù)據(jù)傳入SSL模塊,加密數(shù)據(jù),然后存儲(chǔ)數(shù)據(jù),與此同時(shí),會(huì)有備份數(shù)據(jù)提交到用戶設(shè)定的相關(guān)系統(tǒng)中,并且也會(huì)提交給分布式文件系統(tǒng)。如果對(duì)數(shù)據(jù)進(jìn)行了解密操作,則數(shù)據(jù)應(yīng)再次加密,其加密系統(tǒng)依舊是虛擬監(jiān)控系統(tǒng)。而如果數(shù)據(jù)已加密并且保存在分布式文件系統(tǒng)中,用戶從系統(tǒng)中獲取數(shù)據(jù)之前,應(yīng)使用虛擬機(jī)對(duì)文件先行解密,否則數(shù)據(jù)無(wú)法使用。該技術(shù)較大的特點(diǎn)在于云計(jì)算端和分布式文件系統(tǒng)相互隔離、獨(dú)自分開,所有的數(shù)據(jù)互不相通,除非用戶單獨(dú)上傳,數(shù)據(jù)才會(huì)同時(shí)在兩個(gè)系統(tǒng)中出現(xiàn),因此,增強(qiáng)了數(shù)據(jù)安全性。在這種情況下,數(shù)據(jù)得到二次保護(hù),當(dāng)非法者從云端竊取到數(shù)據(jù)后,數(shù)據(jù)依舊是加密狀態(tài)。除非非法者還能從分布式文件系統(tǒng)中竊取到數(shù)據(jù),否則數(shù)據(jù)無(wú)法使用,保障數(shù)據(jù)存儲(chǔ)的安全性。
4結(jié)語(yǔ)
云平臺(tái)下數(shù)據(jù)存儲(chǔ)模式被廣大企業(yè)應(yīng)用。如果企業(yè)數(shù)據(jù)在云存儲(chǔ)系統(tǒng)中泄漏,數(shù)據(jù)安全性遭到威脅,則云計(jì)算技術(shù)將難以得到更好的發(fā)展。我國(guó)不僅要發(fā)展云計(jì)算技術(shù),而且要同步發(fā)展云計(jì)算數(shù)據(jù)的安全性技術(shù),提高數(shù)據(jù)存儲(chǔ)訪問(wèn)傳輸?shù)陌踩裕苿?dòng)云計(jì)算技術(shù)的發(fā)展,我國(guó)有關(guān)部門還應(yīng)完善法律法規(guī),明文制定相關(guān)的技術(shù)標(biāo)準(zhǔn),從而保障云技術(shù)的發(fā)展。
作者:盧青華 單位:廣州大學(xué)華軟軟件學(xué)院
數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)實(shí)現(xiàn)的研究
摘要:隨著網(wǎng)絡(luò)應(yīng)用的普及和商用化,多業(yè)務(wù)、多網(wǎng)絡(luò)的融合已經(jīng)成為不可逆轉(zhuǎn)的趨勢(shì)。人們進(jìn)行信息的交流和共享越來(lái)越方便,同時(shí)數(shù)據(jù)的大規(guī)模毀滅也變得容易了。數(shù)據(jù)是現(xiàn)代企事業(yè)最寶貴的生命,數(shù)據(jù)是一切災(zāi)難發(fā)生后恢復(fù)系統(tǒng)的一道防線。因此需要正確選擇相應(yīng)的儲(chǔ)存技術(shù)方式,進(jìn)行經(jīng)濟(jì)而的數(shù)據(jù)存儲(chǔ),從而避免可能發(fā)生的重大損失。DAS、NAS和SAN的存儲(chǔ)方式的實(shí)現(xiàn)值得研究。
關(guān)鍵詞:數(shù)據(jù)存儲(chǔ);網(wǎng)上儲(chǔ)存;DAS存儲(chǔ);NAS存儲(chǔ);SAN存儲(chǔ)
1 引言
在網(wǎng)絡(luò)飛速發(fā)展的今天,選擇一種適合需求的高性能數(shù)據(jù)存儲(chǔ)方式變得十分重要。如何確保數(shù)據(jù)的一致性、安全性和性,如何實(shí)現(xiàn)不同主機(jī)類型的數(shù)據(jù)訪問(wèn)和保護(hù),如何實(shí)現(xiàn)網(wǎng)絡(luò)上的數(shù)據(jù)集中訪問(wèn)以及便于實(shí)現(xiàn)不同數(shù)據(jù)的集中管理等,這些問(wèn)題必須需要新網(wǎng)絡(luò)儲(chǔ)存技術(shù)來(lái)實(shí)現(xiàn)。數(shù)據(jù)災(zāi)難小到一般的文件損壞、誤操作,大到整個(gè)網(wǎng)絡(luò)系統(tǒng)因病毒入侵、黑客攻擊而癱瘓。因此,企事業(yè)單位必須有一套正確的數(shù)據(jù)存儲(chǔ)和恢復(fù)系統(tǒng)方案。現(xiàn)代網(wǎng)絡(luò)存儲(chǔ)技術(shù)主要利用網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)信息的異地儲(chǔ)存,即電子數(shù)據(jù)不再直接儲(chǔ)存在本地服務(wù)器上,而是通過(guò)網(wǎng)絡(luò)保存在與服務(wù)器相連的專門設(shè)備上。當(dāng)前流行的幾種主要存儲(chǔ)技術(shù):DAS(Direct Attached Storage)、SAN(Network Attached Storage)、NAS(Store area Network)等。這些網(wǎng)絡(luò)儲(chǔ)存方式特點(diǎn)各異,均可應(yīng)用在不同的領(lǐng)域上。
2 DAS存儲(chǔ)技術(shù)
DAS是指將儲(chǔ)存設(shè)備通過(guò)SCSI接口或光纖通道直接連接到一臺(tái)計(jì)算機(jī)上。當(dāng)服務(wù)器在地理上比較分散、很難通過(guò)遠(yuǎn)程連接進(jìn)行互聯(lián)時(shí),直接連接是一個(gè)比較好的方法。DAS已經(jīng)有近40年的使用歷史,是目前最常用的網(wǎng)絡(luò)儲(chǔ)存設(shè)備。但是隨著用戶數(shù)據(jù)的不斷增長(zhǎng),尤其是數(shù)百GB以上時(shí),其在存儲(chǔ)、恢復(fù)、擴(kuò)展、災(zāi)害等方面的問(wèn)題變得日益困擾著系統(tǒng)管理員。主要原因如下:
(1)DAS儲(chǔ)存方式
DAS依賴服務(wù)器主機(jī)操作系統(tǒng)進(jìn)行數(shù)據(jù)的I/O讀寫和存儲(chǔ)維護(hù)管理,數(shù)據(jù)設(shè)備和恢復(fù)要占用服務(wù)器主機(jī)資源(包括CPU、系統(tǒng)I/O等),數(shù)據(jù)流需要流回主機(jī)再到服務(wù)器連接著的磁帶機(jī)(庫(kù)),數(shù)據(jù)存儲(chǔ)占用服務(wù)器主機(jī)資源的20~30%,因此許多企事業(yè)單位的用戶日常數(shù)據(jù)存儲(chǔ)常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時(shí)進(jìn)行,以免影響正常業(yè)務(wù)系統(tǒng)的運(yùn)行。DAS儲(chǔ)存的數(shù)據(jù)量越大,存儲(chǔ)和恢復(fù)的時(shí)間就會(huì)越長(zhǎng),對(duì)服務(wù)器硬件的依賴性和影響力就越強(qiáng)。
(2)DAS的SCSI連接
DAS與服務(wù)器主機(jī)之間的連接通道是采用SCSI連接的,帶寬為10Mbps、20Mbps、40Mbps、80Mbps等。隨著服務(wù)器CPU的處理能力越來(lái)越強(qiáng),存儲(chǔ)硬盤空間越來(lái)越大,陣列的硬盤數(shù)量越來(lái)越多,SCSI通道將會(huì)成為I/O瓶頸;服務(wù)器主機(jī)SCSI ID資源有限,能夠建立的SCSI通道連接也有限。
(3)DAS的限制
無(wú)論DAS儲(chǔ)存還是服務(wù)器的擴(kuò)展,從一臺(tái)服務(wù)器擴(kuò)展為多臺(tái)服務(wù)器組成的集群或儲(chǔ)存陣列容量的擴(kuò)展,都會(huì)造成業(yè)務(wù)系統(tǒng)的停機(jī),從而給企事業(yè)單位帶來(lái)經(jīng)濟(jì)損失。對(duì)于銀行、電信、傳媒等行業(yè)7×24小時(shí)服務(wù)的關(guān)鍵業(yè)務(wù)系統(tǒng),這是不可接受的。并且DAS儲(chǔ)存或服務(wù)器主機(jī)的升級(jí)擴(kuò)展,只能原廠商提供,因此受到設(shè)備廠商限制。
3 NAS儲(chǔ)存技術(shù)
NAS采用(TCP/IP、ATM、FDDI)技術(shù),將一種分布、獨(dú)立的數(shù)據(jù)整合為集中化管理的中心,通過(guò)網(wǎng)絡(luò)交換機(jī)連接存儲(chǔ)系統(tǒng)和服務(wù)器主機(jī),建立專用于數(shù)據(jù)存儲(chǔ)的儲(chǔ)存專網(wǎng)。如下圖所示:
(1)NAS儲(chǔ)存的性能
NAS實(shí)際上是一個(gè)帶有操作系統(tǒng)的儲(chǔ)存設(shè)備,其作用類似于一個(gè)專用的文件服務(wù)器。這種專用儲(chǔ)存設(shè)備具有可附加大容量的存儲(chǔ),內(nèi)嵌操作系統(tǒng),專門針對(duì)文件系統(tǒng)進(jìn)行重新設(shè)計(jì)和優(yōu)化,以提供高效率的文件服務(wù)等特點(diǎn)。NAS的關(guān)鍵特性如下:
一是去掉了通用服務(wù)器不適用于數(shù)據(jù)傳輸?shù)拇蠖鄶?shù)計(jì)算功能,而僅僅提供文件系統(tǒng)功能用于存儲(chǔ)服務(wù),降低了儲(chǔ)存設(shè)備的成本。為方便存儲(chǔ)到網(wǎng)絡(luò)之間以最有效的方式發(fā)送數(shù)據(jù),專門優(yōu)化了系統(tǒng)軟硬件體系結(jié)構(gòu),多線程、多任務(wù)的網(wǎng)絡(luò)操作系統(tǒng)內(nèi)核,特別適合于處理來(lái)自網(wǎng)絡(luò)的I/O請(qǐng)求,不僅響應(yīng)速度快,而且數(shù)據(jù)傳輸速率也高;二是它的模式以網(wǎng)絡(luò)為中心,利用現(xiàn)有的以太網(wǎng)資源來(lái)接入專用的網(wǎng)絡(luò)儲(chǔ)存設(shè)備,而不是另外再部署光纖交換機(jī)來(lái)連接傳統(tǒng)的儲(chǔ)存設(shè)備。
(2)NAS技術(shù)性能
NAS需求旺盛已經(jīng)成為事實(shí)。主要有如下優(yōu)點(diǎn):
一是為那些訪問(wèn)和共享大量文件系統(tǒng)數(shù)據(jù)的企事業(yè)單位環(huán)境提供了一個(gè)高效、性能優(yōu)異的解決方案;二是在企事業(yè)單位數(shù)據(jù)量膨脹中,SAN、大型磁帶庫(kù)、硬盤柜等產(chǎn)品雖然都是很好的儲(chǔ)存解決方案,但它們那高貴的身份和復(fù)雜的操作是資金和技術(shù)實(shí)力有限的中小企事業(yè)單位無(wú)論如何也不能接受的,因此,NAS正是滿足這種需求的產(chǎn)品;三是適合于那些需要通過(guò)網(wǎng)絡(luò)將文件數(shù)據(jù)傳送到多臺(tái)客戶機(jī)上的用戶,非常易于部署,可以使用NAS主機(jī)、客戶機(jī)和其他設(shè)備廣泛分布在整個(gè)企事業(yè)的網(wǎng)絡(luò)環(huán)境中。
4 SAN儲(chǔ)存技術(shù)
SAN是指在網(wǎng)絡(luò)服務(wù)器群的后端,采用光纖通道技術(shù),通過(guò)光纖通道交換機(jī)連接儲(chǔ)存陣列和服務(wù)器主機(jī),建立專用于區(qū)域網(wǎng)絡(luò)的存儲(chǔ)。SAN經(jīng)過(guò)十多年的發(fā)展,已經(jīng)相當(dāng)成熟,成為企事業(yè)單位的事實(shí)標(biāo)準(zhǔn)。SAN儲(chǔ)存采用的帶寬從100Mbps、200Mbps,發(fā)展到目前的1Gbpd、2Gbps。如下圖所示。
(1)SAN儲(chǔ)存性能
SAN作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施,是為了提供靈活、高性能和高擴(kuò)展的存儲(chǔ)環(huán)境而設(shè)計(jì)的。SAN的關(guān)鍵性能如下:
一是它不同于通常所說(shuō)的網(wǎng)絡(luò),為連接服務(wù)器、磁盤陣列、磁帶庫(kù)等儲(chǔ)存設(shè)備而建立的高性能網(wǎng)絡(luò);二是提供了良好的存儲(chǔ)連接,服務(wù)器可以訪問(wèn)存儲(chǔ)區(qū)域網(wǎng)上的任何儲(chǔ)存設(shè)備,如磁帶、磁盤陣列,同時(shí)儲(chǔ)存設(shè)備之間、儲(chǔ)存設(shè)備同SAN交換機(jī)之間也可以進(jìn)行通信;三是獨(dú)立服務(wù)器網(wǎng)絡(luò)的一種專門的網(wǎng)絡(luò),這種網(wǎng)絡(luò)通過(guò)采用光纖通道協(xié)議來(lái)傳輸數(shù)據(jù),在連接上可以使用光纖和銅纜;四是特別適合于服務(wù)器集群、災(zāi)難恢復(fù)等數(shù)據(jù)量傳輸?shù)年P(guān)鍵領(lǐng)域,而且這種連接是本地的高速連接;五是采用光纖連接的技術(shù),從而保障了巨大的數(shù)據(jù)傳輸帶寬(100Mbps),對(duì)于所有的應(yīng)用都可以很好地滿足。
(2)SAN的性能
面對(duì)迅速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求,大型企事業(yè)單位和服務(wù)提供商漸漸開始選擇SAN作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施,因?yàn)镾AN有如下優(yōu)點(diǎn):一是可提供大容量?jī)?chǔ)存設(shè)備數(shù)據(jù)共享;二是實(shí)現(xiàn)調(diào)整計(jì)算機(jī)與高速儲(chǔ)存設(shè)備的高速互聯(lián);三是提高了數(shù)據(jù)的性、安全性和開放性;四是具有出色的擴(kuò)展性,利用光纖通道技術(shù),可以有效地傳輸數(shù)據(jù)塊。
5 結(jié)束語(yǔ)
DAS、SAN和NAS之間的區(qū)別正在變得模糊,所有的網(wǎng)絡(luò)存儲(chǔ)技術(shù)在用戶的存儲(chǔ)需求下接受挑戰(zhàn),SAN與NAS都是為適應(yīng)高性能和密集的網(wǎng)絡(luò)儲(chǔ)存要求而在DAS的基礎(chǔ)上發(fā)展起來(lái)的,是新型數(shù)據(jù)儲(chǔ)存模式中的兩個(gè)主要發(fā)展方向。
在IT數(shù)據(jù)儲(chǔ)存和共享系統(tǒng)方面,傳統(tǒng)B/S的計(jì)算機(jī)模式將會(huì)演化成具有任意連接性的全球網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)。網(wǎng)絡(luò)存儲(chǔ)技術(shù)的未來(lái)發(fā)展:一是走向開放化和標(biāo)準(zhǔn)化;二是NAS、SAN技術(shù)逐步取代DAS技術(shù);三是虛擬儲(chǔ)存技術(shù)逐步興起;四是儲(chǔ)存技術(shù)走向IP化等方面的趨勢(shì)。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于RAID技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的研究
摘要:隨著Internet技術(shù)飛速發(fā)展,人們進(jìn)行信息的交流和共享越來(lái)越方便,同時(shí)數(shù)據(jù)的大規(guī)模毀滅也變得容易了。如何確保數(shù)據(jù)的一致性、安全性和性,如何實(shí)現(xiàn)不同數(shù)據(jù)的集中管理,如何實(shí)現(xiàn)網(wǎng)絡(luò)上的數(shù)據(jù)集中訪問(wèn)等,這些問(wèn)題必須需要新網(wǎng)絡(luò)存儲(chǔ)技術(shù)確立。用RAID技術(shù)的方式,實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)來(lái)完成上述提出問(wèn)題的選擇值得研究。
關(guān)鍵詞:RAID;數(shù)據(jù)存儲(chǔ);數(shù)據(jù)備份;磁盤陣列
1 引言
在網(wǎng)絡(luò)飛速發(fā)展的今天,選擇一種適合需求的高性能數(shù)據(jù)存儲(chǔ)方式變得十分重要。在一些企事業(yè)中,即使是網(wǎng)絡(luò)管理員,數(shù)據(jù)存儲(chǔ)的觀念也尚未被普遍接受。能夠正確選擇相應(yīng)的儲(chǔ)存設(shè)備和技術(shù)。進(jìn)行經(jīng)濟(jì)而的數(shù)據(jù)存儲(chǔ)與恢復(fù),從而避免可能發(fā)生的重大損失。因此,企事業(yè)必須有一套正確的數(shù)據(jù)存儲(chǔ)與恢復(fù)系統(tǒng)的方案。RAID(Redun-dant Array of Inexpensive Disks)技術(shù)就是網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的一種較佳選擇方案。
RAID網(wǎng)絡(luò)存儲(chǔ)技術(shù)主要利用網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)信息的異地儲(chǔ)存,即電子數(shù)據(jù)不再直接存儲(chǔ)在本地客戶端上,而是儲(chǔ)存在遠(yuǎn)端的服務(wù)器上。并且還可以通過(guò)網(wǎng)絡(luò)保存在與遠(yuǎn)端服務(wù)器相連的專門設(shè)備上。由于RAID存儲(chǔ)技術(shù)的方式很多,在具體實(shí)現(xiàn)上還需進(jìn)一步的研究。
2 RAID存儲(chǔ)技術(shù)
RAID是指廉價(jià)(獨(dú)立)磁盤陣列,所謂“磁盤陣列”是指多張磁盤連成一個(gè)陣列上,然后,以某種方式書寫磁盤,這種方式可以在一張或多張磁盤組之間提供數(shù)據(jù)。
從主機(jī)的角度看,控制器使得整個(gè)磁盤組就像一片又快、又大、又的虛擬磁盤。它的初衷主要是為大型網(wǎng)絡(luò)服務(wù)器提供高端的存儲(chǔ)功能和冗余的數(shù)據(jù)安全,在系統(tǒng)中RAID被看作是一個(gè)邏輯分區(qū)。但它是由多個(gè)硬盤組成的,通過(guò)在多個(gè)硬盤上同時(shí)儲(chǔ)存和讀取數(shù)據(jù)來(lái)大幅度提高存儲(chǔ)系統(tǒng)的數(shù)據(jù)吞吐量,而且在很多RAID模式中都有較為完備的、相互校驗(yàn)與恢復(fù)的措施,甚至是直接相互的鏡像存儲(chǔ)。當(dāng)數(shù)據(jù)災(zāi)難發(fā)生時(shí)可以自動(dòng)修復(fù),從而大大提高了RAID系統(tǒng)的容錯(cuò)度,穩(wěn)定了系統(tǒng)的冗余性。
3 RAID技術(shù)規(guī)范
RAID技術(shù)是一種工業(yè)標(biāo)準(zhǔn),通常將組成磁盤陣列的不同方式分為RAID級(jí)別。隨著RAID技術(shù)的不斷發(fā)展,現(xiàn)在已擁有了以RAID 0到RAID 6七種基本的級(jí)別。另外,還有一些基本RAID級(jí)別的組合形式,如RAID 10、RAID 50等。現(xiàn)將RAID級(jí)別在應(yīng)用中的實(shí)現(xiàn)作進(jìn)一步的研究。
(1)RAID 0:是連續(xù)以位或字節(jié)為單位分割數(shù)據(jù),并行讀寫于多個(gè)磁盤上,因此具有很高的數(shù)據(jù)傳輸速率,但它沒有數(shù)據(jù)冗余。它只是單純地提高性能,而且其中的一個(gè)磁盤失效將影響到所有數(shù)據(jù)。因此,它不能應(yīng)用于數(shù)據(jù)安全性高的場(chǎng)合。
(2)RAID 1:通常被稱為RAID鏡像,是通過(guò)磁盤數(shù)據(jù)鏡像實(shí)現(xiàn)數(shù)據(jù)冗余,在成對(duì)的獨(dú)立磁盤上產(chǎn)生互為備份的數(shù)據(jù)。即所有數(shù)據(jù)都進(jìn)行百分之百的備份。當(dāng)原始數(shù)據(jù)繁忙時(shí),可直接從鏡像磁盤上讀寫,而不需要重組失效數(shù)據(jù)。
(3)RAID 0+1:也稱為RAID 1 O標(biāo)準(zhǔn),至少需要4塊硬盤才可以實(shí)現(xiàn),不過(guò)它綜合了RAID 0和RAID 1的特點(diǎn),將獨(dú)立磁盤配置成RAID 0,兩套完整的RAID 0互換鏡像。但構(gòu)建RAID 0+1陣列的成本投入大,數(shù)據(jù)空間利用率只有50%。
(4)RAID 2:是按位分配數(shù)據(jù)到多個(gè)驅(qū)動(dòng)器的,在寫入數(shù)據(jù)時(shí)一個(gè)磁盤上保存數(shù)據(jù)的各個(gè)位,同時(shí)把一個(gè)數(shù)據(jù)不同的位運(yùn)算到海明校驗(yàn)碼保存在另一組磁盤上,在數(shù)據(jù)發(fā)生錯(cuò)誤的情況下將錯(cuò)誤校正。這種編碼技術(shù)需要多個(gè)磁盤存放檢查及恢復(fù)信息,使得RAID 2技術(shù)實(shí)施更復(fù)雜、速度最慢,因此在商業(yè)環(huán)境中很少使用,最適合用于諸如圖像之類的應(yīng)用。
(5)RAID 3:通常是按字節(jié)將數(shù)據(jù)劃分為條紋分配在許多驅(qū)動(dòng)器上,雖然也可按位劃分,但它在陣列時(shí)專用一個(gè)驅(qū)動(dòng)器保存奇偶校驗(yàn)信息,因此它同RAID 2非常類似,區(qū)別在于它使用簡(jiǎn)單的奇偶校驗(yàn),并用單塊磁盤存放奇偶校驗(yàn)信息。如果一塊磁盤失效,奇偶盤及其他數(shù)據(jù)盤可以重新產(chǎn)生數(shù)據(jù);如果奇偶校驗(yàn)失效,則不影響數(shù)據(jù)使用,但奇偶盤會(huì)成為寫操作的瓶頸。
(6)RAID 4:除了按扇區(qū)而不是按字節(jié)對(duì)數(shù)據(jù)劃分條紋外,RAID 4與RAID 3相似。同樣也將數(shù)據(jù)條塊化并分布于不同的磁盤上,但條塊單位為塊或記錄。它使用一塊磁盤作為奇偶校驗(yàn)盤,這時(shí)奇偶校驗(yàn)盤會(huì)成為寫操作的瓶頸,因此它在商業(yè)環(huán)境中也很少使用。
(7)RAID 5:是把數(shù)據(jù)和相對(duì)應(yīng)的奇偶校驗(yàn)信息存儲(chǔ)到組成RAID5的各個(gè)磁盤上,并且奇偶校驗(yàn)信息和相對(duì)應(yīng)的數(shù)據(jù)分別存儲(chǔ)在不同磁盤上。它使用一種特殊算法,可以計(jì)算出任何一個(gè)區(qū)域校驗(yàn)塊的存儲(chǔ)位置。這樣就可以確保對(duì)校驗(yàn)塊的任何讀寫操作都會(huì)在所有RAID磁盤中進(jìn)行均衡,從而消除產(chǎn)生瓶頸的可能。它讀出效率很高,寫入效率一般,塊式的集體訪問(wèn)效率較佳,但控制器的設(shè)計(jì)也相當(dāng)困難。
(8)RAID 6:與RAID 5相比,它增加了第二個(gè)獨(dú)立的奇偶校驗(yàn)信息塊。兩個(gè)獨(dú)立的奇偶校驗(yàn)系統(tǒng)使用不同的算法,數(shù)據(jù)的性非常高,即使兩塊磁盤同時(shí)失效也不會(huì)影響數(shù)據(jù)的使用。相對(duì)于RAID 5有更大的寫“損失”,因此“寫性能”非常差。
(g)RAID 7:這是一種新RAID標(biāo)準(zhǔn),其自身帶有智能化實(shí)時(shí)操作系統(tǒng)和用于存儲(chǔ)管理的軟件工具,可獨(dú)立于主機(jī)運(yùn)行,不占用主機(jī)CPU資源。它采用優(yōu)化的高速數(shù)據(jù)傳送磁盤結(jié)構(gòu),所有的I/O傳送均是同步進(jìn)行的。可以分別控制,這樣提高了系統(tǒng)的并行性和系統(tǒng)訪問(wèn)數(shù)據(jù)的速度;每個(gè)磁盤都帶有高速緩沖存儲(chǔ)器,實(shí)時(shí)操作系統(tǒng)可以使用任何操作芯片,達(dá)到不同實(shí)時(shí)系統(tǒng)需要。當(dāng)多用戶訪問(wèn)系統(tǒng)時(shí),可以連續(xù)多臺(tái)主機(jī),訪問(wèn)時(shí)間幾乎接近于零。
4 RAID級(jí)別間的關(guān)系
RAID0~5級(jí)的描述、速度與容錯(cuò)功能如下表所示:
5 RAID技術(shù)的特點(diǎn)
從RAID級(jí)別的發(fā)展與應(yīng)用,歸納起來(lái)主要有如下特點(diǎn):
(1)RAID控制器通過(guò)磁盤陣列的并行數(shù)據(jù)讀寫,克服了磁盤機(jī)電設(shè)計(jì)的限制,大大提高了存取速度。即如果是由四張磁盤組成的陣列,其讀寫速度幾乎是單盤的四倍,從而為不同的應(yīng)用服務(wù)。
(2)RAID系統(tǒng)提供了大容量的數(shù)據(jù)存儲(chǔ),而且這張磁盤上的數(shù)據(jù)對(duì)于主機(jī)來(lái)說(shuō)隨時(shí)可用。復(fù)雜的RAID系統(tǒng)可允許用戶通過(guò)控制器發(fā)的數(shù)據(jù)途徑組成多盤級(jí)連。在一個(gè)充分設(shè)置的RAID中,它的高性能控制器可同時(shí)進(jìn)行90張盤的尋址操作。
(3)RAID系統(tǒng)運(yùn)用奇偶校驗(yàn)技術(shù)提高數(shù)據(jù)的性。在這種體系中,當(dāng)RAID控制器在磁盤上寫數(shù)據(jù)時(shí),它還會(huì)記錄下相應(yīng)的奇偶校驗(yàn)位冗余數(shù)據(jù)。如果盤片失效,這個(gè)奇偶信息可使RAID控制器在不降低性能的情況下重新計(jì)算丟失的信息。
6 結(jié)束語(yǔ)
RAID技術(shù)可以通過(guò)軟件或硬件實(shí)現(xiàn)。軟件實(shí)現(xiàn)RAID需要一些網(wǎng)絡(luò)操作系統(tǒng)的支持,可以使用標(biāo)準(zhǔn)的SCSI適配卡和管理驅(qū)動(dòng)器來(lái)完成。由于是操作系統(tǒng)下實(shí)現(xiàn)RAID技術(shù),因此軟件RAID不能保護(hù)系統(tǒng)盤。并且當(dāng)系統(tǒng)崩潰需要重新安裝時(shí),RAID信息也會(huì)丟失;硬件RAID是采用集成的陣列卡或?qū)S玫年嚵锌▉?lái)控制硬盤驅(qū)動(dòng)器的。這樣可以極大地節(jié)省服務(wù)器系統(tǒng)CPU和操作的資源,從而使網(wǎng)絡(luò)服務(wù)器的性能獲得很大的提高。RAID控制器與主系統(tǒng)之間有連接存取接口(如SCSI、IDE和SATA)的信道。在主機(jī)系統(tǒng)的存取接口中是一個(gè)獨(dú)立的直接存取儲(chǔ)存體,并且可以有不止一個(gè)邏輯盤卡,都支持在線更換、熱插拔交換,同時(shí)在部分操作系統(tǒng)下實(shí)現(xiàn)軟件監(jiān)控和管理。因此,依據(jù)企事業(yè)的實(shí)際,實(shí)現(xiàn)RAID技術(shù)的數(shù)據(jù)儲(chǔ)存。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于層次型報(bào)表的數(shù)據(jù)存儲(chǔ)技術(shù)研究
摘要:數(shù)據(jù)模型常見有層次、網(wǎng)狀和關(guān)系三種模型,結(jié)合《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計(jì)中遇到的層次型報(bào)表,該文研究了將層次型模型轉(zhuǎn)化為關(guān)系模型的三種方法,最終提出了基于樹型存儲(chǔ)法的字典目錄法數(shù)據(jù)存儲(chǔ)技術(shù),利用該技術(shù)實(shí)現(xiàn)了系統(tǒng)的成功開發(fā),證明了字典目錄法有效性。
關(guān)鍵詞:數(shù)據(jù)模型;層次型報(bào)表;存儲(chǔ)技術(shù)
1 數(shù)據(jù)模型
數(shù)據(jù)庫(kù)是信息系統(tǒng)的核心和基礎(chǔ)。它把信息系統(tǒng)中的大量數(shù)據(jù)按照一定的模型組織起來(lái),提供存儲(chǔ)、維護(hù)、檢索數(shù)據(jù)的功能,是信息系統(tǒng)可以方便、及時(shí)、從數(shù)據(jù)庫(kù)中獲取所需的信息。一個(gè)信息系統(tǒng)的各個(gè)部分能否緊密的結(jié)合在一起以及如何結(jié)合,關(guān)鍵在數(shù)據(jù)庫(kù)。因此必須對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理設(shè)計(jì)[1]。
1.1 常見數(shù)據(jù)模型
在數(shù)據(jù)庫(kù)系統(tǒng)中,主要的數(shù)據(jù)模型有[2]:層次模型(Hierarchical Model)、網(wǎng)狀模型(Network Model)和關(guān)系模型(Relational Model)。其中,應(yīng)用最廣泛的當(dāng)屬關(guān)系模型。
1.1.1 層次模型
層次模型:用樹型(層次)結(jié)構(gòu)表示實(shí)體類型及實(shí)體之間聯(lián)系的數(shù)據(jù)模型稱為層次模型。如圖1。層次結(jié)構(gòu)是一棵樹,樹的結(jié)點(diǎn)是記錄類型,非根結(jié)點(diǎn)有且只有一個(gè)父結(jié)點(diǎn)。上一層記錄類型和下一層記錄類型的聯(lián)系是1:M聯(lián)系。
1.1.2 網(wǎng)狀模型
網(wǎng)狀模型:用從結(jié)構(gòu)(網(wǎng)絡(luò)結(jié)構(gòu))表示實(shí)體類型及實(shí)體間聯(lián)系的數(shù)據(jù)模型稱為網(wǎng)狀模型。如圖2。記錄之間的聯(lián)系通過(guò)指針實(shí)現(xiàn),M:N聯(lián)系容易實(shí)現(xiàn)(一個(gè)M:N聯(lián)系可拆成兩個(gè)1:M聯(lián)系),查詢效率高。
1.1.3 關(guān)系模型
用規(guī)范化了的二維表格結(jié)構(gòu)表示實(shí)體集,用鍵表示實(shí)體間聯(lián)系。通常是若干個(gè)關(guān)系模型組成的集合。如表1所示。
1.2 項(xiàng)目中數(shù)據(jù)報(bào)表
作者負(fù)責(zé)開發(fā)的《某市農(nóng)業(yè)基礎(chǔ)信息系統(tǒng)》中,提供的基礎(chǔ)信息為如表2。本文為了簡(jiǎn)要說(shuō)明問(wèn)題,僅以表2中部分信息為例,展開對(duì)層次型數(shù)據(jù)的存儲(chǔ)與檢索的討論。表中其他同結(jié)構(gòu)信息和系統(tǒng)中涉及到的其它12張,以及其基于此基礎(chǔ)信息的統(tǒng)計(jì)表實(shí)現(xiàn)方法雷同。
對(duì)該表中數(shù)據(jù)進(jìn)行構(gòu)造,吻合層次型數(shù)據(jù)模型。在傳統(tǒng)的項(xiàng)目開發(fā)中經(jīng)常遇到的多是如二維表結(jié)構(gòu)的模型,即便是其它例如層次模型、網(wǎng)狀模型均可以通過(guò)描述實(shí)體關(guān)系的E-R圖轉(zhuǎn)換為關(guān)系模型。
2 項(xiàng)目介紹
為了實(shí)現(xiàn)某市農(nóng)業(yè)局農(nóng)業(yè)基礎(chǔ)信息的積累,便于政府決策人員獲取農(nóng)村基層涉及基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息統(tǒng)計(jì),根據(jù)歷史信息,獲取農(nóng)業(yè)發(fā)展規(guī)律,為政府管理人員提供決策依據(jù),也便于隨時(shí)隨地了解該局下屬各級(jí)行政單位縣、鄉(xiāng)、村的基本信息。保障了信息傳遞的暢通性,真實(shí)性和公正性。
2.1 項(xiàng)目功能
2.1.1縣、鄉(xiāng)、村類別的行政單位基礎(chǔ)信息網(wǎng)上錄入
2.1.1 村級(jí)農(nóng)經(jīng)基礎(chǔ)信息的逐年錄入
在每一年度,作為最小的基層單位,需要將本單位涉及到農(nóng)村基本情況表:基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息統(tǒng)計(jì),并錄入相應(yīng)的報(bào)表中,要求數(shù)據(jù)錄入簡(jiǎn)捷,操作方便。
2.1.2 鄉(xiāng),縣,市年度統(tǒng)計(jì)信息
依據(jù)下屬逐年基礎(chǔ)信息的上報(bào)經(jīng)審核后由村鄉(xiāng)縣市四個(gè)級(jí)別的自動(dòng)生成統(tǒng)計(jì)信息。上級(jí)部門僅有審核權(quán)限,沒有修改權(quán)限。保障了信息的真實(shí)性。
2.1.2 信息檢索
由不同行政級(jí)別的決策者查閱信息:年度基礎(chǔ)值、年度統(tǒng)計(jì)值、若干年指標(biāo)平均值、按指標(biāo)排名等。
2.1.3 信息打印
對(duì)于檢索的信息的在線打印,便于決策者查詢與參考。保障在網(wǎng)絡(luò)和電腦之外的其他傳統(tǒng)存儲(chǔ)介質(zhì)的使用,尤其在不能上網(wǎng)的情況下,照樣能隨時(shí)查閱農(nóng)村資料。
2.1.4 信息備份和恢復(fù)
信息備份和恢復(fù):對(duì)于存儲(chǔ)的基礎(chǔ)信息,為了安全起見,能導(dǎo)出到其它存儲(chǔ)空間。一旦出現(xiàn)意外,數(shù)據(jù)不會(huì)丟失。保障了信息的安全性。
2.2 關(guān)鍵技術(shù)
2.2.1 數(shù)據(jù)存儲(chǔ)
數(shù)據(jù)的存儲(chǔ)是開發(fā)的基石,但是表1是一個(gè)不規(guī)則的層次型表格。對(duì)于如此復(fù)雜結(jié)構(gòu)的報(bào)表想要通過(guò)關(guān)系之間轉(zhuǎn)換, 以及如何選擇數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)、數(shù)據(jù)之間的邏輯關(guān)系、選取何種數(shù)據(jù)模型,該項(xiàng)目的關(guān)鍵技術(shù)。并且還要考慮到本項(xiàng)目中數(shù)據(jù)每年不同,同時(shí)還不能覆蓋歷史信息。以及類似此結(jié)構(gòu)的(村級(jí))基本信息表共12張,如此基本信息表生成的行政單位(鄉(xiāng),縣,市)的統(tǒng)計(jì)表也是12張。同時(shí)初步統(tǒng)計(jì)出該市共有2375個(gè)行政村,236個(gè)鄉(xiāng),5個(gè)縣。該項(xiàng)目中數(shù)據(jù)逐年增添的龐大性,也要求開發(fā)者從長(zhǎng)遠(yuǎn)考慮,慎重選擇數(shù)據(jù)庫(kù)開發(fā)工具。
2.2.2 數(shù)據(jù)檢索
在信息找到解決方案后,如何在復(fù)雜的數(shù)據(jù)庫(kù)中依據(jù)數(shù)據(jù)表之間的對(duì)應(yīng)關(guān)系,根據(jù)散落的信息,瀏覽者中進(jìn)行查詢,要求操作簡(jiǎn)單,查詢結(jié)果易于瀏覽,查詢信息有助于提供領(lǐng)導(dǎo)決策的要求。于是隱藏在數(shù)據(jù)之中的信息檢索也是本項(xiàng)目的重中之重。
3 層次型數(shù)據(jù)存儲(chǔ)技術(shù)
3.1 關(guān)系數(shù)據(jù)模型的確定
軟件開發(fā)中常用的數(shù)據(jù)庫(kù)技術(shù)現(xiàn)在比較流行大中型的有MySQL、IBM DB2、Oracle、SQL Server、SyBase、Informix等,個(gè)人用戶比較常用的主要是基于中小型數(shù)據(jù)庫(kù)MS SQL Server和Access。但是這些數(shù)據(jù)庫(kù)均是關(guān)系型數(shù)據(jù)庫(kù)。而現(xiàn)實(shí)項(xiàng)目開發(fā)中接觸的教多的初級(jí)信息多為不規(guī)范的數(shù)據(jù),需要進(jìn)行整合重組為關(guān)系數(shù)據(jù)庫(kù)。
3.2 層次模型轉(zhuǎn)換為關(guān)系模型的方法
3.2.1 分割表法
依據(jù)層次關(guān)系依據(jù)節(jié)點(diǎn)的父子關(guān)系可分割為關(guān)系模型,將表2中作為父節(jié)點(diǎn)的單元生成新表,只要其內(nèi)容下有分支,就要產(chǎn)生一個(gè)新二維表表,具有規(guī)則的行和列,分解后的關(guān)系模型以及組成字段的簡(jiǎn)要描述如表3。
該方法雖然實(shí)現(xiàn)了將層次型數(shù)據(jù)轉(zhuǎn)換為關(guān)系型數(shù)據(jù)[3],但是將一個(gè)表中信息分解的支離破碎,考慮到數(shù)據(jù)的完整性,增、刪、改等操作中容易引發(fā)異常;表的數(shù)量過(guò)大,多表查詢時(shí)聯(lián)接頻繁,導(dǎo)致查詢信息的效率低下。同時(shí)對(duì)于每個(gè)行政單位的具體年份的信息無(wú)法存儲(chǔ)下來(lái)。結(jié)論:此方案不可行。
3.2.2 樹型存儲(chǔ)法
由于每個(gè)信息節(jié)點(diǎn)需要記錄其兩個(gè)組成部分:父節(jié)點(diǎn)(parentID)和自身(ID)的數(shù)據(jù)信息(Num)。借助于《數(shù)據(jù)結(jié)構(gòu)》課程中對(duì)樹型結(jié)構(gòu)數(shù)據(jù)的實(shí)現(xiàn)方法[4],設(shè)計(jì)出對(duì)于每個(gè)節(jié)點(diǎn)除保存本身信息外還要記錄每個(gè)節(jié)點(diǎn)的父節(jié)點(diǎn),對(duì)于表名視為樹的根(parentID為0),其它節(jié)點(diǎn)的parentID是通過(guò)記錄父親節(jié)點(diǎn)的(ID)實(shí)現(xiàn)的。
對(duì)于表1行的數(shù)量不發(fā)生改變,以添加新列記錄下每個(gè)單位每年度的信息數(shù)據(jù)。此方法中便于查詢和統(tǒng)計(jì)信息生成。因?yàn)樾械臄?shù)量固定,但是列的再逐年改變。依據(jù)開發(fā)經(jīng)驗(yàn),基于表的信息的操作,一般是表結(jié)構(gòu)固定下來(lái)后,添加數(shù)據(jù)、更新數(shù)據(jù)、查詢數(shù)據(jù)等操作不要做表的結(jié)構(gòu)變化。但是此方法雖然記錄了表之間的關(guān)系,然而表中信息的年度和行政單位等資料無(wú)法存儲(chǔ),如要存儲(chǔ)需要添加新列,而列的名字等信息還不穩(wěn)定的話,開發(fā)人員無(wú)法正確讀取信息[5]。同時(shí)在每個(gè)年度添加列,修改表的結(jié)構(gòu)會(huì)可能會(huì)導(dǎo)致表的部分重要信息丟失頻繁,尤其是對(duì)于特殊的數(shù)據(jù)(如必填字段)無(wú)法正常執(zhí)行,導(dǎo)致表的信息或修改表的結(jié)構(gòu)無(wú)法正常結(jié)束。結(jié)論:此方案不可行。
3.2.3 字典目錄法
結(jié)合樹型存儲(chǔ)法能記錄層次型數(shù)據(jù)報(bào)表的特點(diǎn),經(jīng)項(xiàng)目組研究將樹型存儲(chǔ)法延伸為兩部分組成,形同表1的報(bào)表結(jié)構(gòu),稱之為目錄表,表4稱為信息表。在表4中記錄每個(gè)節(jié)點(diǎn)在某個(gè)年度的數(shù)值信息,以及該信息來(lái)自何行政單位。而節(jié)點(diǎn)的名字和層次需要查詢表4來(lái)獲取。而查詢的依據(jù)是TableID的值是參照表1中ID而得到的,Depart指的是歸屬的行政單位名稱,Year代表數(shù)據(jù)是哪個(gè)年份。該方法的優(yōu)點(diǎn)是保存了表的結(jié)構(gòu),支持表的結(jié)構(gòu)修改,記錄了各個(gè)指標(biāo)的值。目錄表基本不變化,但是信息表每年均隨單位個(gè)數(shù)成倍遞增。查詢指定的統(tǒng)計(jì)信息較難,數(shù)據(jù)冗余較大。但是此方案實(shí)現(xiàn)了信息的完整保存:指標(biāo)名,指標(biāo)數(shù),單位和年度信息的一體化。結(jié)論:此方案對(duì)于本項(xiàng)目是可行的。
4 基于字典目錄法的系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)
系統(tǒng)確定了數(shù)據(jù)庫(kù)的設(shè)計(jì)思路后,基于字典目錄法的數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)由邏輯設(shè)計(jì)到物理設(shè)計(jì)的實(shí)現(xiàn),為開發(fā)基于WEB《某市農(nóng)業(yè)信息系統(tǒng)》的奠定了根基。
4.1 錄入實(shí)現(xiàn)
在本系統(tǒng)中確定了信息的存儲(chǔ)方法,由于用戶的涉及面廣,文化程度不一,對(duì)于信息技術(shù)的操作熟練程度不等,要求對(duì)于錄入界面要求界面友好,操作簡(jiǎn)潔,信息數(shù)據(jù)錄入方便。根據(jù)用戶具體情況,設(shè)計(jì)如如圖3錄入界面,在系統(tǒng)使用過(guò)程中以操作方便、界面友好,能自動(dòng)校驗(yàn)數(shù)據(jù)之間的平衡關(guān)系等特點(diǎn),得到了用戶喜愛。
4.2 信息檢索
根據(jù)系統(tǒng)設(shè)計(jì)的表:結(jié)構(gòu)表,信息表,行政單位表三個(gè)基本表,將基于字典目錄法的數(shù)據(jù)存儲(chǔ)成功后,就可進(jìn)行信息查詢。查詢的基本思路如下:
查詢的條件-用戶要錄入選擇-查詢的指標(biāo)內(nèi)容和何年度指標(biāo)。
4.2.1 確定檢索指標(biāo)種類
選擇檢索的信息的種類,是基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息中的哪個(gè)類別。依次確定該類別信息涉及到的表名。
4.2.2 查找目錄表
根據(jù)信息種類依據(jù)目錄表來(lái)還原為層次模型結(jié)構(gòu)原型。
4.2.3 取出信息表數(shù)據(jù)
根據(jù)層次表原型,結(jié)合信息表中的年度信息,取出基本數(shù)據(jù)。
4.2.4 顯示檢索指標(biāo)數(shù)據(jù)
將基本數(shù)據(jù)載入到層次型結(jié)構(gòu)中。顯示用戶檢索信息。
由于篇幅有限,且此檢索功能需要涉及到項(xiàng)目中的各表,而本文僅重點(diǎn)討論層次型數(shù)據(jù)存儲(chǔ)技術(shù),檢索算法的詳
細(xì)算法和流程圖略。
5 結(jié)束語(yǔ)
本文主要結(jié)合項(xiàng)目課題基于Web的《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計(jì),延伸出對(duì)于層次型報(bào)表轉(zhuǎn)化為關(guān)系模型存儲(chǔ)中的重要技術(shù)作了討論;同時(shí)結(jié)合分割表法、樹型存儲(chǔ)法分析了常用方法的優(yōu)缺點(diǎn),提出了基于樹型存儲(chǔ)法的字典目錄法存儲(chǔ)數(shù)據(jù)。該方法解決了層次模型轉(zhuǎn)化為關(guān)系模型的困難,結(jié)合項(xiàng)目的功能要求,實(shí)現(xiàn)了與農(nóng)業(yè)局各級(jí)行政單位在指定年度的各項(xiàng)指標(biāo)信息的存儲(chǔ)問(wèn)題。本系統(tǒng)的實(shí)現(xiàn)是新農(nóng)村信息化的具體表現(xiàn),解決了農(nóng)業(yè)部門信息資料收集區(qū)域廣,信息統(tǒng)計(jì)困難、數(shù)據(jù)誤差大等問(wèn)題,真正實(shí)現(xiàn)了信息的時(shí)效性、真實(shí)性,為政府部門提供了決策依據(jù)。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于層次型報(bào)表的數(shù)據(jù)存儲(chǔ)技術(shù)研究
摘要:數(shù)據(jù)模型常見有層次、網(wǎng)狀和關(guān)系三種模型,結(jié)合《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計(jì)中遇到的層次型報(bào)表,該文研究了將層次型模型轉(zhuǎn)化為關(guān)系模型的三種方法,最終提出了基于樹型存儲(chǔ)法的字典目錄法數(shù)據(jù)存儲(chǔ)技術(shù),利用該技術(shù)實(shí)現(xiàn)了系統(tǒng)的成功開發(fā),證明了字典目錄法有效性。
關(guān)鍵詞:數(shù)據(jù)模型;層次型報(bào)表;存儲(chǔ)技術(shù)
1 數(shù)據(jù)模型
數(shù)據(jù)庫(kù)是信息系統(tǒng)的核心和基礎(chǔ)。它把信息系統(tǒng)中的大量數(shù)據(jù)按照一定的模型組織起來(lái),提供存儲(chǔ)、維護(hù)、檢索數(shù)據(jù)的功能,是信息系統(tǒng)可以方便、及時(shí)、從數(shù)據(jù)庫(kù)中獲取所需的信息。一個(gè)信息系統(tǒng)的各個(gè)部分能否緊密的結(jié)合在一起以及如何結(jié)合,關(guān)鍵在數(shù)據(jù)庫(kù)。因此必須對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理設(shè)計(jì)[1]。
1.1 常見數(shù)據(jù)模型
在數(shù)據(jù)庫(kù)系統(tǒng)中,主要的數(shù)據(jù)模型有[2]:層次模型(Hierarchical Model)、網(wǎng)狀模型(Network Model)和關(guān)系模型(Relational Model)。其中,應(yīng)用最廣泛的當(dāng)屬關(guān)系模型。
1.1.1 層次模型
層次模型:用樹型(層次)結(jié)構(gòu)表示實(shí)體類型及實(shí)體之間聯(lián)系的數(shù)據(jù)模型稱為層次模型。如圖1。層次結(jié)構(gòu)是一棵樹,樹的結(jié)點(diǎn)是記錄類型,非根結(jié)點(diǎn)有且只有一個(gè)父結(jié)點(diǎn)。上一層記錄類型和下一層記錄類型的聯(lián)系是1:M聯(lián)系。
1.1.2 網(wǎng)狀模型
網(wǎng)狀模型:用從結(jié)構(gòu)(網(wǎng)絡(luò)結(jié)構(gòu))表示實(shí)體類型及實(shí)體間聯(lián)系的數(shù)據(jù)模型稱為網(wǎng)狀模型。如圖2。記錄之間的聯(lián)系通過(guò)指針實(shí)現(xiàn),M:N聯(lián)系容易實(shí)現(xiàn)(一個(gè)M:N聯(lián)系可拆成兩個(gè)1:M聯(lián)系),查詢效率高。
1.1.3 關(guān)系模型
用規(guī)范化了的二維表格結(jié)構(gòu)表示實(shí)體集,用鍵表示實(shí)體間聯(lián)系。通常是若干個(gè)關(guān)系模型組成的集合。如表1所示。
1.2 項(xiàng)目中數(shù)據(jù)報(bào)表
作者負(fù)責(zé)開發(fā)的《某市農(nóng)業(yè)基礎(chǔ)信息系統(tǒng)》中,提供的基礎(chǔ)信息為如表2。本文為了簡(jiǎn)要說(shuō)明問(wèn)題,僅以表2中部分信息為例,展開對(duì)層次型數(shù)據(jù)的存儲(chǔ)與檢索的討論。表中其他同結(jié)構(gòu)信息和系統(tǒng)中涉及到的其它12張,以及其基于此基礎(chǔ)信息的統(tǒng)計(jì)表實(shí)現(xiàn)方法雷同。
對(duì)該表中數(shù)據(jù)進(jìn)行構(gòu)造,吻合層次型數(shù)據(jù)模型。在傳統(tǒng)的項(xiàng)目開發(fā)中經(jīng)常遇到的多是如二維表結(jié)構(gòu)的模型,即便是其它例如層次模型、網(wǎng)狀模型均可以通過(guò)描述實(shí)體關(guān)系的E-R圖轉(zhuǎn)換為關(guān)系模型。
2 項(xiàng)目介紹
為了實(shí)現(xiàn)某市農(nóng)業(yè)局農(nóng)業(yè)基礎(chǔ)信息的積累,便于政府決策人員獲取農(nóng)村基層涉及基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息統(tǒng)計(jì),根據(jù)歷史信息,獲取農(nóng)業(yè)發(fā)展規(guī)律,為政府管理人員提供決策依據(jù),也便于隨時(shí)隨地了解該局下屬各級(jí)行政單位縣、鄉(xiāng)、村的基本信息。保障了信息傳遞的暢通性,真實(shí)性和公正性。
2.1 項(xiàng)目功能
2.1.1縣、鄉(xiāng)、村類別的行政單位基礎(chǔ)信息網(wǎng)上錄入
1) 村級(jí)農(nóng)經(jīng)基礎(chǔ)信息的逐年錄入
在每一年度,作為最小的基層單位,需要將本單位涉及到農(nóng)村基本情況表:基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息統(tǒng)計(jì),并錄入相應(yīng)的報(bào)表中,要求數(shù)據(jù)錄入簡(jiǎn)捷,操作方便。
2) 鄉(xiāng)、縣、市年度統(tǒng)計(jì)信息
依據(jù)下屬逐年基礎(chǔ)信息的上報(bào)經(jīng)審核后由村鄉(xiāng)縣市四個(gè)級(jí)別的自動(dòng)生成統(tǒng)計(jì)信息。上級(jí)部門僅有審核權(quán)限,沒有修改權(quán)限。保障了信息的真實(shí)性。
2.1.2 信息檢索
由不同行政級(jí)別的決策者查閱信息:年度基礎(chǔ)值、年度統(tǒng)計(jì)值、若干年指標(biāo)平均值、按指標(biāo)排名等。
2.1.3 信息打印
對(duì)于檢索的信息的在線打印,便于決策者查詢與參考。保障在網(wǎng)絡(luò)和電腦之外的其他傳統(tǒng)存儲(chǔ)介質(zhì)的使用,尤其在不能上網(wǎng)的情況下,照樣能隨時(shí)查閱農(nóng)村資料。
2.1.4 信息備份和恢復(fù)
信息備份和恢復(fù):對(duì)于存儲(chǔ)的基礎(chǔ)信息,為了安全起見,能導(dǎo)出到其它存儲(chǔ)空間。一旦出現(xiàn)意外,數(shù)據(jù)不會(huì)丟失。保障了信息的安全性。
2.2 關(guān)鍵技術(shù)
2.2.1 數(shù)據(jù)存儲(chǔ)
數(shù)據(jù)的存儲(chǔ)是開發(fā)的基石,但是表1是一個(gè)不規(guī)則的層次型表格。對(duì)于如此復(fù)雜結(jié)構(gòu)的報(bào)表想要通過(guò)關(guān)系之間轉(zhuǎn)換, 以及如何選擇數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)、數(shù)據(jù)之間的邏輯關(guān)系、選取何種數(shù)據(jù)模型,該項(xiàng)目的關(guān)鍵技術(shù)。并且還要考慮到本項(xiàng)目中數(shù)據(jù)每年不同,同時(shí)還不能覆蓋歷史信息。以及類似此結(jié)構(gòu)的(村級(jí))基本信息表共12張,如此基本信息表生成的行政單位(鄉(xiāng),縣,市)的統(tǒng)計(jì)表也是12張。同時(shí)初步統(tǒng)計(jì)出該市共有2375個(gè)行政村,236個(gè)鄉(xiāng),5個(gè)縣。該項(xiàng)目中數(shù)據(jù)逐年增添的龐大性,也要求開發(fā)者從長(zhǎng)遠(yuǎn)考慮,慎重選擇數(shù)據(jù)庫(kù)開發(fā)工具。
2.2.2 數(shù)據(jù)檢索
在信息找到解決方案后,如何在復(fù)雜的數(shù)據(jù)庫(kù)中依據(jù)數(shù)據(jù)表之間的對(duì)應(yīng)關(guān)系,根據(jù)散落的信息,瀏覽者中進(jìn)行查詢,要求操作簡(jiǎn)單,查詢結(jié)果易于瀏覽,查詢信息有助于提供領(lǐng)導(dǎo)決策的要求。于是隱藏在數(shù)據(jù)之中的信息檢索也是本項(xiàng)目的重中之重。
3 層次型數(shù)據(jù)存儲(chǔ)技術(shù)
3.1 關(guān)系數(shù)據(jù)模型的確定
軟件開發(fā)中常用的數(shù)據(jù)庫(kù)技術(shù)現(xiàn)在比較流行大中型的有MySQL、IBM DB2、Oracle、SQL Server、SyBase、Informix等,個(gè)人用戶比較常用的主要是基于中小型數(shù)據(jù)庫(kù)MS SQL Server和Access。但是這些數(shù)據(jù)庫(kù)均是關(guān)系型數(shù)據(jù)庫(kù)。而現(xiàn)實(shí)項(xiàng)目開發(fā)中接觸的教多的初級(jí)信息多為不規(guī)范的數(shù)據(jù),需要進(jìn)行整合重組為關(guān)系數(shù)據(jù)庫(kù)。
3.2 層次模型轉(zhuǎn)換為關(guān)系模型的方法
3.2.1 分割表法
依據(jù)層次關(guān)系依據(jù)節(jié)點(diǎn)的父子關(guān)系可分割為關(guān)系模型,將表2中作為父節(jié)點(diǎn)的單元生成新表,只要其內(nèi)容下有分支,就要產(chǎn)生一個(gè)新二維表表,具有規(guī)則的行和列,分解后的關(guān)系模型以及組成字段的簡(jiǎn)要描述如表3。
該方法雖然實(shí)現(xiàn)了將層次型數(shù)據(jù)轉(zhuǎn)換為關(guān)系型數(shù)據(jù)[3],但是將一個(gè)表中信息分解的支離破碎,考慮到數(shù)據(jù)的完整性,增、刪、改等操作中容易引發(fā)異常;表的數(shù)量過(guò)大,多表查詢時(shí)聯(lián)接頻繁,導(dǎo)致查詢信息的效率低下。同時(shí)對(duì)于每個(gè)行政單位的具體年份的信息無(wú)法存儲(chǔ)下來(lái)。結(jié)論:此方案不可行。
3.2.2 樹型存儲(chǔ)法
由于每個(gè)信息節(jié)點(diǎn)需要記錄其兩個(gè)組成部分:父節(jié)點(diǎn)(parentID)和自身(ID)的數(shù)據(jù)信息(Num)。借助于《數(shù)據(jù)結(jié)構(gòu)》課程中對(duì)樹型結(jié)構(gòu)數(shù)據(jù)的實(shí)現(xiàn)方法[4],設(shè)計(jì)出對(duì)于每個(gè)節(jié)點(diǎn)除保存本身信息外還要記錄每個(gè)節(jié)點(diǎn)的父節(jié)點(diǎn),對(duì)于表名視為樹的根(parentID為0),其它節(jié)點(diǎn)的parentID是通過(guò)記錄父親節(jié)點(diǎn)的(ID)實(shí)現(xiàn)的。
表3 分割表法實(shí)現(xiàn)的關(guān)系模型組成 表4 字典目錄法的信息表
對(duì)于表1行的數(shù)量不發(fā)生改變,以添加新列記錄下每個(gè)單位每年度的信息數(shù)據(jù)。此方法中便于查詢和統(tǒng)計(jì)信息生成。因?yàn)樾械臄?shù)量固定,但是列的再逐年改變。依據(jù)開發(fā)經(jīng)驗(yàn),基于表的信息的操作,一般是表結(jié)構(gòu)固定下來(lái)后,添加數(shù)據(jù)、更新數(shù)據(jù)、查詢數(shù)據(jù)等操作不要做表的結(jié)構(gòu)變化。但是此方法雖然記錄了表之間的關(guān)系,然而表中信息的年度和行政單位等資料無(wú)法存儲(chǔ),如要存儲(chǔ)需要添加新列,而列的名字等信息還不穩(wěn)定的話,開發(fā)人員無(wú)法正確讀取信息[5]。同時(shí)在每個(gè)年度添加列,修改表的結(jié)構(gòu)會(huì)可能會(huì)導(dǎo)致表的部分重要信息丟失頻繁,尤其是對(duì)于特殊的數(shù)據(jù)(如必填字段)無(wú)法正常執(zhí)行,導(dǎo)致表的信息或修改表的結(jié)構(gòu)無(wú)法正常結(jié)束。結(jié)論:此方案不可行。
3.2.3 字典目錄法
結(jié)合樹型存儲(chǔ)法能記錄層次型數(shù)據(jù)報(bào)表的特點(diǎn),經(jīng)項(xiàng)目組研究將樹型存儲(chǔ)法延伸為兩部分組成,形同表1的報(bào)表結(jié)構(gòu),稱之為目錄表,表4稱為信息表。在表4中記錄每個(gè)節(jié)點(diǎn)在某個(gè)年度的數(shù)值信息,以及該信息來(lái)自何行政單位。而節(jié)點(diǎn)的名字和層次需要查詢表4來(lái)獲取。而查詢的依據(jù)是TableID的值是參照表1中ID而得到的,Depart指的是歸屬的行政單位名稱,Year代表數(shù)據(jù)是哪個(gè)年份。該方法的優(yōu)點(diǎn)是保存了表的結(jié)構(gòu),支持表的結(jié)構(gòu)修改,記錄了各個(gè)指標(biāo)的值。目錄表基本不變化,但是信息表每年均隨單位個(gè)數(shù)成倍遞增。查詢指定的統(tǒng)計(jì)信息較難,數(shù)據(jù)冗余較大。但是此方案實(shí)現(xiàn)了信息的完整保存:指標(biāo)名,指標(biāo)數(shù),單位和年度信息的一體化。結(jié)論:此方案對(duì)于本項(xiàng)目是可行的。
4 基于字典目錄法的系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)
系統(tǒng)確定了數(shù)據(jù)庫(kù)的設(shè)計(jì)思路后,基于字典目錄法的數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)由邏輯設(shè)計(jì)到物理設(shè)計(jì)的實(shí)現(xiàn),為開發(fā)基于WEB《某市農(nóng)業(yè)信息系統(tǒng)》的奠定了根基。
4.1 錄入實(shí)現(xiàn)
在本系統(tǒng)中確定了信息的存儲(chǔ)方法,由于用戶的涉及面廣,文化程度不一,對(duì)于信息技術(shù)的操作熟練程度不等,要求對(duì)于錄入界面要求界面友好,操作簡(jiǎn)潔,信息數(shù)據(jù)錄入方便。根據(jù)用戶具體情況,設(shè)計(jì)如如圖3錄入界面,在系統(tǒng)使用過(guò)程中以操作方便、界面友好,能自動(dòng)校驗(yàn)數(shù)據(jù)之間的平衡關(guān)系等特點(diǎn),得到了用戶喜愛。
4.2 信息檢索
根據(jù)系統(tǒng)設(shè)計(jì)的表:結(jié)構(gòu)表,信息表,行政單位表三個(gè)基本表,將基于字典目錄法的數(shù)據(jù)存儲(chǔ)成功后,就可進(jìn)行信息查詢。查詢的基本思路如下:
查詢的條件-用戶要錄入選擇-查詢的指標(biāo)內(nèi)容和何年度指標(biāo)。
4.2.1 確定檢索指標(biāo)種類
選擇檢索的信息的種類,是基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息中的哪個(gè)類別。依次確定該類別信息涉及到的表名。
4.2.2 查找目錄表
根據(jù)信息種類依據(jù)目錄表來(lái)還原為層次模型結(jié)構(gòu)原型。
4.2.3 取出信息表數(shù)據(jù)
根據(jù)層次表原型,結(jié)合信息表中的年度信息,取出基本數(shù)據(jù)。
4.2.4 顯示檢索指標(biāo)數(shù)據(jù)
將基本數(shù)據(jù)載入到層次型結(jié)構(gòu)中。顯示用戶檢索信息。
由于篇幅有限,且此檢索功能需要涉及到項(xiàng)目中的各表,而本文僅重點(diǎn)討論層次型數(shù)據(jù)存儲(chǔ)技術(shù),檢索算法的詳細(xì)算法和流程圖略。
5 結(jié)束語(yǔ)
本文主要結(jié)合項(xiàng)目課題基于Web的《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計(jì),延伸出對(duì)于層次型報(bào)表轉(zhuǎn)化為關(guān)系模型存儲(chǔ)中的重要技術(shù)作了討論;同時(shí)結(jié)合分割表法、樹型存儲(chǔ)法分析了常用方法的優(yōu)缺點(diǎn),提出了基于樹型存儲(chǔ)法的字典目錄法存儲(chǔ)數(shù)據(jù)。該方法解決了層次模型轉(zhuǎn)化為關(guān)系模型的困難,結(jié)合項(xiàng)目的功能要求,實(shí)現(xiàn)了與農(nóng)業(yè)局各級(jí)行政單位在指定年度的各項(xiàng)指標(biāo)信息的存儲(chǔ)問(wèn)題。本系統(tǒng)的實(shí)現(xiàn)是新農(nóng)村信息化的具體表現(xiàn),解決了農(nóng)業(yè)部門信息資料收集區(qū)域廣,信息統(tǒng)計(jì)困難、數(shù)據(jù)誤差大等問(wèn)題,真正實(shí)現(xiàn)了信息的時(shí)效性、真實(shí)性,為政府部門提供了決策依據(jù)。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:海量數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)淺析
摘要:海量數(shù)據(jù)的大量出現(xiàn),使存儲(chǔ)技術(shù)正發(fā)生革命性的變化。針對(duì)海量數(shù)據(jù)存儲(chǔ)環(huán)境,對(duì)網(wǎng)絡(luò)附加存儲(chǔ)(NAS)及存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)進(jìn)行了分析,研究了面向?qū)ο蟠鎯?chǔ)技術(shù)。并且對(duì)海量數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)策略進(jìn)行了闡述,包括Oracle數(shù)據(jù)庫(kù)的表分區(qū)技術(shù)的策略、特性及應(yīng)用;Oracle數(shù)據(jù)庫(kù)并行處理結(jié)構(gòu)及特性。
關(guān)鍵詞:海量數(shù)據(jù);對(duì)象存儲(chǔ)技術(shù);分區(qū)技術(shù);并行處理技術(shù)
1 問(wèn)題提出
當(dāng)今是一個(gè)信息大爆炸的時(shí)代,網(wǎng)絡(luò)的廣泛使用更加劇了信息爆炸的速度。信息資源的爆炸性增長(zhǎng),對(duì)存儲(chǔ)系統(tǒng)在存儲(chǔ)容量、數(shù)據(jù)可用性以及I/O性能等方面提出了越來(lái)越高的要求。信息技術(shù)正從以計(jì)算設(shè)備為核心的計(jì)算時(shí)代步入以存儲(chǔ)設(shè)備為核心的存儲(chǔ)時(shí)代。
海量數(shù)據(jù)是指數(shù)據(jù)量極大,往往是Terabyte(1012bytes)、Petabyte(1015bytes)甚至Exabyte(1018bytes)級(jí)的數(shù)據(jù)集合。存儲(chǔ)這些海量信息不但要求存儲(chǔ)設(shè)備有很大的儲(chǔ)存容量,且還需要大規(guī)模數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)和處理這些數(shù)據(jù),在滿足通用關(guān)系數(shù)據(jù)庫(kù)技術(shù)要求的同時(shí),更需要對(duì)海量存儲(chǔ)的模式、數(shù)據(jù)庫(kù)策略及應(yīng)用體系架構(gòu)有更高的設(shè)計(jì)考慮。
2 海量數(shù)據(jù)存儲(chǔ)模式選擇
存儲(chǔ)系統(tǒng)的存儲(chǔ)模式影響著整個(gè)海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能,為了提供高性能的海量數(shù)據(jù)存儲(chǔ)系統(tǒng),應(yīng)該考慮選擇良好的海量存儲(chǔ)模式。
對(duì)于海量數(shù)據(jù)而言,實(shí)現(xiàn)單一設(shè)備上的存儲(chǔ)顯然是不合適的,甚至是不可能的。結(jié)合網(wǎng)絡(luò)環(huán)境,對(duì)它們進(jìn)行分布式存儲(chǔ)不失為當(dāng)前的上策之選。如何在網(wǎng)絡(luò)環(huán)境下,對(duì)海量數(shù)據(jù)進(jìn)行合理組織、存儲(chǔ),并提供高效、高可用、安全的數(shù)據(jù)訪問(wèn)性能成為當(dāng)前一個(gè)研究熱點(diǎn)。適合海量數(shù)據(jù)的理想存儲(chǔ)模式應(yīng)該能夠提供高性能、可伸縮、跨平臺(tái)、安全的數(shù)據(jù)共享能力。
2.1 現(xiàn)有存儲(chǔ)模式分析
目前磁盤存儲(chǔ)市場(chǎng)上,根據(jù)服務(wù)器類型存儲(chǔ)分類如圖1所示。
其中外掛存儲(chǔ)占目前磁盤存儲(chǔ)市場(chǎng)的70%以上。由于網(wǎng)絡(luò)技術(shù)的崛起,直連式存儲(chǔ)(DAS)已顯得非常力不從心,存儲(chǔ)模式從以服務(wù)器為中心轉(zhuǎn)向以數(shù)據(jù)為中心的網(wǎng)絡(luò)存儲(chǔ)模式,目前典型的代表是:網(wǎng)絡(luò)附加存儲(chǔ)(NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN) [1-3]。
2.1.1 網(wǎng)絡(luò)附加存儲(chǔ)(NAS)
NAS(Network Attached Storage,網(wǎng)絡(luò)附加存儲(chǔ))是一種文件級(jí)的網(wǎng)絡(luò)存儲(chǔ)模式,結(jié)構(gòu)如圖2所示。它擁有自己的文件系統(tǒng),通過(guò)NFS或CIFS對(duì)外提供文件訪問(wèn)服務(wù)。NAS將存儲(chǔ)設(shè)備通過(guò)標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接到現(xiàn)有的網(wǎng)絡(luò)上來(lái)提供數(shù)據(jù)和文件服務(wù)。NAS管理簡(jiǎn)單、擴(kuò)容方便,統(tǒng)一的文件系統(tǒng)使數(shù)據(jù)共享變得非常簡(jiǎn)單,所以其較大的優(yōu)點(diǎn)是跨平臺(tái)性很好,但NAS服務(wù)器在網(wǎng)絡(luò)存儲(chǔ)中處于數(shù)據(jù)通路上,當(dāng)服務(wù)請(qǐng)求激增時(shí)存在I/O瓶頸,性能是NAS的較大問(wèn)題,因此基于NAS的存儲(chǔ)方案對(duì)于組建海量存儲(chǔ)共享系統(tǒng)來(lái)說(shuō)并不是一種理想的方案。
2.1.2 存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)
SAN(Storage Area Network,存儲(chǔ)區(qū)域網(wǎng)絡(luò)) 結(jié)構(gòu)如圖3所示。它是存儲(chǔ)設(shè)備與服務(wù)器經(jīng)由高速網(wǎng)絡(luò)設(shè)備連接而形成的存儲(chǔ)專用網(wǎng)絡(luò)。SAN一般基于光纖通道FC(Fibre Channel)或iSCSI(internet SCSI )構(gòu)建,它是塊級(jí)的存儲(chǔ),系統(tǒng)性能非常優(yōu)越。SAN的優(yōu)點(diǎn)是高容量、高性、低延遲,缺點(diǎn)是SAN沒有一個(gè)統(tǒng)一的存儲(chǔ)系統(tǒng)接口,對(duì)存儲(chǔ)設(shè)備的共享訪問(wèn)存在數(shù)據(jù)的完整性與安全性問(wèn)題,設(shè)備的跨平臺(tái)性較差。
2.2 對(duì)象存儲(chǔ)技術(shù)
對(duì)象存儲(chǔ)技術(shù)提供基于對(duì)象的訪問(wèn)接口,將NAS和SAN兩種存儲(chǔ)結(jié)構(gòu)的優(yōu)勢(shì)進(jìn)行了有效地整合,通過(guò)高層次的抽象,使之既具有NAS的跨平臺(tái)共享數(shù)據(jù)和安全訪問(wèn)的優(yōu)點(diǎn),同時(shí)又具有SAN的高性能和可伸縮性的優(yōu)點(diǎn)。
2.2.1 對(duì)象存儲(chǔ)模式
對(duì)象存儲(chǔ)模式[4]一般由Client、MDS(Metadata Server)和OSD(Object Storage Device)三部分組成,如圖4所示。
Client為客戶端,用來(lái)發(fā)起數(shù)據(jù)訪問(wèn);MDS為服務(wù)器,用來(lái)管理對(duì)象存儲(chǔ)系統(tǒng)中的元數(shù)據(jù)并保障訪問(wèn)的一致性;OSD為存儲(chǔ)對(duì)象數(shù)據(jù)的設(shè)備,它是一個(gè)智能設(shè)備,包括處理器、RAM內(nèi)存、網(wǎng)絡(luò)接口、存儲(chǔ)介質(zhì)等以及運(yùn)行在其中的控制軟件[5]。
對(duì)象存儲(chǔ)設(shè)備(OSD)中,將對(duì)象(object)作為對(duì)象存儲(chǔ)的基本單元,每個(gè)對(duì)象具有惟一的ID標(biāo)識(shí)符。對(duì)象由對(duì)象ID、對(duì)象數(shù)據(jù)的起始位置、數(shù)據(jù)的長(zhǎng)度來(lái)進(jìn)行訪問(wèn)。對(duì)象提供類似文件訪問(wèn)的方法,如Create,Open,Close,Read,Write,對(duì)象屬性等;對(duì)象的數(shù)據(jù)包括自身的元數(shù)據(jù)和用戶數(shù)據(jù),其中,元數(shù)據(jù)用于描述對(duì)象特定的屬性,如對(duì)象的邏輯大小、對(duì)象的元數(shù)據(jù)大小、總的字節(jié)大小;用戶數(shù)據(jù)用來(lái)保存實(shí)際的二進(jìn)制數(shù)據(jù)。
對(duì)象分為根對(duì)象、組對(duì)象和用戶對(duì)象。根對(duì)象定義了存儲(chǔ)設(shè)備以及存儲(chǔ)設(shè)備本身的不同屬性;組對(duì)象為存儲(chǔ)設(shè)備上對(duì)象提供了目錄;用戶對(duì)象存儲(chǔ)實(shí)際應(yīng)用數(shù)據(jù)。
2.2.2 對(duì)象存儲(chǔ)模式用于海量數(shù)據(jù)存儲(chǔ)的優(yōu)勢(shì)
對(duì)象存儲(chǔ)模式的特性使其在處理海量數(shù)據(jù)存儲(chǔ)請(qǐng)求時(shí)具有較大優(yōu)勢(shì),主要體現(xiàn)在:
1) 高性能數(shù)據(jù)存儲(chǔ):訪問(wèn)節(jié)點(diǎn)有獨(dú)立的數(shù)據(jù)通路和元數(shù)據(jù)訪問(wèn)通路,可以對(duì)多個(gè)OSD進(jìn)行并行訪問(wèn),從而解決了當(dāng)前存儲(chǔ)系統(tǒng)的一個(gè)性能瓶頸問(wèn)題。
2) 跨平臺(tái)數(shù)據(jù)共享:由于在對(duì)象存儲(chǔ)系統(tǒng)上部署基于對(duì)象的分布式文件系統(tǒng)比較容易,所有能夠?qū)崿F(xiàn)不同平臺(tái)下的設(shè)備和數(shù)據(jù)的共享。
3) 方便安全的數(shù)據(jù)訪問(wèn):I/O通道的建立及數(shù)據(jù)的讀寫需要經(jīng)過(guò)授權(quán)許可才能進(jìn)行,從而保障了數(shù)據(jù)訪問(wèn)的安全性;另一方面,任何Client都可以通過(guò)對(duì)象存儲(chǔ)系統(tǒng)提供的標(biāo)準(zhǔn)文件接口訪問(wèn)OSD上的數(shù)據(jù),統(tǒng)一的命名空間使Client訪問(wèn)數(shù)據(jù)的一致性得到了保障。
4) 可伸縮性:對(duì)象存儲(chǔ)模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨(dú)立的智能設(shè)備,可以通過(guò)增加OSD數(shù)量,使存儲(chǔ)系統(tǒng)的聚合I/O帶寬、存儲(chǔ)容量和處理能力得到提高,這種平衡擴(kuò)展模式使得存儲(chǔ)系統(tǒng)能夠具有良好的可伸縮性。
5) 智能的存儲(chǔ)設(shè)備:OSD中集成了部分的存儲(chǔ)管理功能,因此OSD具有一定智能的自主存儲(chǔ)功能。
3 數(shù)據(jù)庫(kù)策略
數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)是海量數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)的核心部件,所有對(duì)數(shù)據(jù)的控制都要通過(guò)DBMS來(lái)實(shí)現(xiàn)。Oracle數(shù)據(jù)庫(kù)管理系統(tǒng)應(yīng)用十分普及,是目前高性能存儲(chǔ)檢索系統(tǒng)主要選擇的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng),因此本文海量數(shù)據(jù)的存儲(chǔ)基于Oracle數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)實(shí)現(xiàn)。
本文基于海量數(shù)據(jù)環(huán)境,對(duì)通用的數(shù)據(jù)庫(kù)管理策略不作研究,只針對(duì)海量數(shù)據(jù)找到有效存儲(chǔ)方法,設(shè)計(jì)并實(shí)現(xiàn)高性能面向海量數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)關(guān)鍵策略。
實(shí)現(xiàn)高性能的海量數(shù)據(jù)存儲(chǔ)可采取的數(shù)據(jù)庫(kù)策略有:
1) 分區(qū)技術(shù):為了更精細(xì)地對(duì)數(shù)據(jù)庫(kù)對(duì)象如表、索引及索引編排表進(jìn)行管理和訪問(wèn)。可以對(duì)這些數(shù)據(jù)庫(kù)對(duì)象進(jìn)行進(jìn)一步的劃分,這就是所謂的分區(qū)技術(shù)。
2) 并行處理技術(shù):為了提高系統(tǒng)性能,可以讓多個(gè)處理器協(xié)同工作來(lái)執(zhí)行單個(gè)SQL語(yǔ)句,這就是所謂的并行處理技術(shù)。
3.1 數(shù)據(jù)庫(kù)表分區(qū)技術(shù)
3.1.1 基本概念
本文研究的主要存儲(chǔ)對(duì)象為海量數(shù)據(jù),數(shù)據(jù)庫(kù)的大小常常達(dá)到數(shù)百GB甚至用TB來(lái)計(jì)算。而單表的數(shù)據(jù)量往往會(huì)達(dá)到上億的記錄,并且記錄數(shù)會(huì)隨著時(shí)間而增長(zhǎng)。當(dāng)表和索引變得非常大時(shí),分區(qū)可以將數(shù)據(jù)分為更小、更容易管理的部分來(lái)提高系統(tǒng)的運(yùn)行效率。對(duì)表和索引進(jìn)行分區(qū)的主要目的就是改善大型表的可伸縮性和可管理性。所以對(duì)大型表進(jìn)行分區(qū)是處理海量數(shù)據(jù)的一種十分高效的方法。
由于本文研究的主要存儲(chǔ)對(duì)象為海量數(shù)據(jù),存儲(chǔ)時(shí)數(shù)據(jù)庫(kù)中只存儲(chǔ)文件名、摘要及其它文字說(shuō)明,源文件的內(nèi)容存儲(chǔ)在數(shù)據(jù)庫(kù)以外的物理介質(zhì)上。
3.1.2 分區(qū)策略
Oracle分區(qū)的表通過(guò)使用“分區(qū)關(guān)鍵字”分區(qū),分區(qū)關(guān)鍵字是確定某個(gè)行所在分區(qū)的一組列。Oracle提供了三種基本數(shù)據(jù)分配方法:范圍(range)、列表(1ist)與散列(hash)。使用上述的數(shù)據(jù)分配方法,可以將表分成單一分區(qū)表或組合分區(qū)表。則Oracle提供的分區(qū)技術(shù)主要分為以下幾種: 范圍分區(qū),列表分區(qū),散列分區(qū),組合范圍-散列分區(qū),組合范圍-列表分區(qū)[6]。
此外Oracle還提供三種類型的分區(qū)索引,包括本地索引、全局分區(qū)索引和全局非分區(qū)索引。可以根據(jù)業(yè)務(wù)需求選擇相應(yīng)的索引分區(qū)策略,從而實(shí)現(xiàn)最合適的分區(qū),以支持任何類型的應(yīng)用程序。
Oracle提供一套強(qiáng)健的技術(shù)用于表、索引和索引編排表的分區(qū)。海量數(shù)據(jù)的數(shù)據(jù)庫(kù)存儲(chǔ)可以選用以上分區(qū)技術(shù)中的一種或幾種,通過(guò)一組完整的SQL命令來(lái)管理分區(qū)表,從而達(dá)到高性能檢索的目的。
3.1.3 分區(qū)技術(shù)的應(yīng)用
本文的研究對(duì)象是海量的文檔數(shù)據(jù)集,對(duì)文檔集進(jìn)行分類處理,采用范圍分區(qū)技術(shù)的應(yīng)用將使系統(tǒng)各方面得到改善:
1) 增強(qiáng)可用性:如果數(shù)據(jù)庫(kù)表的某個(gè)分區(qū)出現(xiàn)了故障,可以確保數(shù)據(jù)庫(kù)表在其它分區(qū)中的數(shù)據(jù)仍然可用。
2) 維護(hù)方便:如果數(shù)據(jù)庫(kù)表的某個(gè)分區(qū)出現(xiàn)了故障,則僅需修復(fù)該故障分區(qū)的數(shù)據(jù)即可,而不需要對(duì)整個(gè)數(shù)據(jù)庫(kù)表進(jìn)行維護(hù)。
3) 均衡I/O:可以將數(shù)據(jù)庫(kù)表不同的分區(qū)映射到磁盤用以平衡I/O,可以使系統(tǒng)的整體性能得到改善。
4)改善查詢性能:用戶對(duì)分區(qū)對(duì)象進(jìn)行查詢時(shí),只需要搜索用戶關(guān)心的分區(qū),從而可以提高查詢速度,改善查詢性能。
3.2 數(shù)據(jù)庫(kù)并行處理技術(shù)
3.2.1 基本概念
并行處理技術(shù)是數(shù)據(jù)庫(kù)的一項(xiàng)核心技術(shù),是指利用多個(gè)CPU和I/O資源來(lái)執(zhí)行單個(gè)數(shù)據(jù)庫(kù)操作,從而使得數(shù)據(jù)庫(kù)能夠高效地管理和訪問(wèn)TB級(jí)的數(shù)據(jù)[7]。盡管目前主流的數(shù)據(jù)庫(kù)管理系統(tǒng)都表示可以提供并行處理能力,但在并行處理結(jié)構(gòu)上都存在著關(guān)鍵的差異。
3.2.2 Oracle并行處理結(jié)構(gòu)
所謂并行處理是指:將單個(gè)任務(wù)分解為多個(gè)更小的單元。不是將所有工作通過(guò)一個(gè)進(jìn)程完成,而是將任務(wù)并行化,從而使得多個(gè)進(jìn)程同時(shí)在更小的單元上運(yùn)行,這樣做能極大地提高系統(tǒng)性能并且能地利用系統(tǒng)資源。
Oracle使用動(dòng)態(tài)并行處理框架,數(shù)據(jù)操作可以依據(jù)當(dāng)前工作特征、查詢及負(fù)載的重要性,使用1~N個(gè)真正應(yīng)用集群節(jié)點(diǎn)并行運(yùn)行。
3.2.3 并行處理技術(shù)的特性
Oracle數(shù)據(jù)庫(kù)并行技術(shù)能提高數(shù)據(jù)庫(kù)性能,并且能提高數(shù)據(jù)庫(kù)的較大運(yùn)行速度和較大負(fù)載量。由于并行系統(tǒng)的每個(gè)節(jié)點(diǎn)都相互獨(dú)立,使得一個(gè)節(jié)點(diǎn)如果出現(xiàn)故障不會(huì)導(dǎo)致這個(gè)數(shù)據(jù)庫(kù)崩潰,剩余的節(jié)點(diǎn)可以在為用戶提供服務(wù)的同時(shí)對(duì)故障節(jié)點(diǎn)進(jìn)行恢復(fù),因此并行技術(shù)比單節(jié)點(diǎn)的性要高。Oracle數(shù)據(jù)庫(kù)并行技術(shù)還能根據(jù)需要隨時(shí)分配和釋放數(shù)據(jù)庫(kù)實(shí)例,數(shù)據(jù)庫(kù)的機(jī)動(dòng)性高。還有一點(diǎn)就是并行技術(shù)可以克服內(nèi)存限制,為更多的用戶提供數(shù)據(jù)服務(wù)。
4 結(jié)束語(yǔ)
對(duì)象存儲(chǔ)模式由于具有良好的可伸縮性、高性能、跨平臺(tái)、安全數(shù)據(jù)共享等能力,成為海量數(shù)據(jù)存儲(chǔ)模式的一個(gè)理想選擇;配合數(shù)據(jù)庫(kù)的分區(qū)技術(shù)和并行處理技術(shù),可以實(shí)現(xiàn)高性能的海量數(shù)據(jù)存儲(chǔ)。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:關(guān)于電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的分析
摘 要:在新形勢(shì)下,電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理需要應(yīng)用不同的技術(shù)方式,提高電網(wǎng)調(diào)控運(yùn)行的質(zhì)量和水平。文章主要就電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類及特征、電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)框架、電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的應(yīng)用三個(gè)方面內(nèi)容進(jìn)行論述。
關(guān)鍵詞:電網(wǎng)調(diào)控運(yùn)行;大數(shù)據(jù);分類及特征;存儲(chǔ)與處理;框架;應(yīng)用
引言
隨著科學(xué)技術(shù)的進(jìn)步和發(fā)展,為更好的滿足各種電力系統(tǒng)應(yīng)用需求,提高電力系統(tǒng)的質(zhì)量和水平,我國(guó)開展了智能電網(wǎng)的建設(shè)工作。其中,一個(gè)重要的工作是對(duì)于新型技術(shù)方式的應(yīng)用。比如:具有更好質(zhì)量、更大規(guī)模、更多數(shù)據(jù)信息來(lái)源的電網(wǎng)調(diào)控中心需要進(jìn)行高質(zhì)量的應(yīng)用,對(duì)于電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)進(jìn)行良好的存儲(chǔ)與處理,開展更好的應(yīng)用,對(duì)于整個(gè)的電網(wǎng)系統(tǒng)運(yùn)行進(jìn)行數(shù)據(jù)信息保障。因此,我們針對(duì)電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類及特征、電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)框架、電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的應(yīng)用問(wèn)題進(jìn)行研究和分析工作,為加快我國(guó)的智能電網(wǎng)建設(shè)貢獻(xiàn)出一份力量,更好的滿足人們對(duì)電力資源應(yīng)用的需求。
1 電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類及特征
電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)可以依據(jù)來(lái)源方式的不同分為電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、外部信息數(shù)據(jù)、電網(wǎng)運(yùn)行及設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)四種不同的類型。這四種不同類型數(shù)據(jù)在應(yīng)用中具有緊密的關(guān)系。在電網(wǎng)調(diào)控運(yùn)行的眾多數(shù)據(jù)中,計(jì)劃類的數(shù)據(jù)、負(fù)荷預(yù)測(cè)數(shù)據(jù)、電網(wǎng)運(yùn)行的數(shù)據(jù)、基礎(chǔ)性的數(shù)據(jù)等屬于結(jié)構(gòu)性的數(shù)據(jù)方式。同時(shí),在應(yīng)用中還存在一些非結(jié)構(gòu)性的數(shù)據(jù)方式。比如:圖形圖像的處理、視頻的監(jiān)控等漸漸在應(yīng)用中發(fā)揮出重要的作用。
隨著電網(wǎng)調(diào)控規(guī)模的擴(kuò)大、數(shù)據(jù)體積的變大、應(yīng)用種類的增多、結(jié)構(gòu)的漸漸復(fù)雜,進(jìn)行高質(zhì)量的數(shù)據(jù)處理和存儲(chǔ)已經(jīng)變得比較困y。因此,需要對(duì)于系統(tǒng)運(yùn)行的結(jié)構(gòu)、方式等等進(jìn)行性改變,提高存儲(chǔ)和處理的質(zhì)量和水平[1]。
2 電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)框架
2.1 大數(shù)據(jù)的分類存儲(chǔ)
為提高電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)質(zhì)量,我們需要進(jìn)行原始數(shù)據(jù)資源信息獲得,并且進(jìn)行有效性預(yù)處理,通過(guò)開展高質(zhì)量的原始數(shù)據(jù)信息過(guò)濾、篩選等等工作,提高存儲(chǔ)的質(zhì)量和水平,為今后的分析提供保障。在智能化電網(wǎng)建設(shè)的背景下,為更好的滿足數(shù)據(jù)存儲(chǔ)的需求,我們需要應(yīng)用合理化的方式來(lái)提高存儲(chǔ)的速度和水平。如:可以進(jìn)行實(shí)時(shí)性的存儲(chǔ)工作,對(duì)于不同來(lái)源的數(shù)據(jù)信息進(jìn)行分類的管理存儲(chǔ)。
2.2 大數(shù)據(jù)的分類處理
從不同類型數(shù)據(jù)的實(shí)時(shí)性出發(fā),對(duì)于數(shù)據(jù)信息進(jìn)行專業(yè)化整理工作,進(jìn)行不同一次數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集之間關(guān)系的充分表示,形成關(guān)聯(lián)性的函數(shù)。然后應(yīng)用合理化方式進(jìn)行電網(wǎng)調(diào)控業(yè)務(wù)數(shù)據(jù)流程的優(yōu)化。電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理的流程為:電網(wǎng)運(yùn)行設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)――電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)――大數(shù)據(jù)預(yù)處理――實(shí)時(shí)數(shù)據(jù)存儲(chǔ)/非實(shí)時(shí)數(shù)據(jù)存儲(chǔ)――流處理/批處理――數(shù)據(jù)駁動(dòng)――數(shù)據(jù)應(yīng)用[2]。
3 電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的應(yīng)用
3.1 對(duì)電網(wǎng)狀態(tài)的智能化監(jiān)控
通過(guò)對(duì)電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類存儲(chǔ)與處理,對(duì)于系統(tǒng)中的I/O優(yōu)點(diǎn)進(jìn)行有效性應(yīng)用,對(duì)于系統(tǒng)的數(shù)據(jù)進(jìn)行有效性監(jiān)控和管理,開展分類的存儲(chǔ)。比如:對(duì)于系統(tǒng)中的電流、電壓、保護(hù)動(dòng)作信號(hào)、諧波等開展有效性管理工作,最終可以構(gòu)建高質(zhì)量的數(shù)據(jù)驅(qū)動(dòng)機(jī)組安全運(yùn)行狀態(tài)模型,對(duì)于系統(tǒng)應(yīng)用中存在的不穩(wěn)定因素進(jìn)行分析和研究,有利于檢修人員在最短時(shí)間中趕到現(xiàn)場(chǎng)進(jìn)行專業(yè)化處理,提高電網(wǎng)狀態(tài)運(yùn)行質(zhì)量和水平,保障電網(wǎng)系統(tǒng)的安全,有利于電網(wǎng)系統(tǒng)的功能得到充分發(fā)揮[3]。(其主要的管理監(jiān)控流程如圖1所示)
3.2 安全智能預(yù)警
通過(guò)對(duì)于變電站和調(diào)控中心的應(yīng)用,系統(tǒng)主要是對(duì)于預(yù)想事故中典型運(yùn)行方式進(jìn)行專業(yè)化的離線計(jì)算。但是,這種方式在應(yīng)用中存在明顯的缺點(diǎn),即預(yù)警方式不、不及時(shí)。因此,我們對(duì)電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)進(jìn)行有效性的應(yīng)用,通過(guò)對(duì)高質(zhì)量網(wǎng)絡(luò)信息技術(shù)、計(jì)算機(jī)技術(shù)等進(jìn)行充分應(yīng)用,建立起新型的全網(wǎng)一體化實(shí)時(shí)仿真計(jì)算方式,可以對(duì)系統(tǒng)應(yīng)用中的故障和問(wèn)題進(jìn)行性、實(shí)時(shí)性的預(yù)警,提高了系統(tǒng)大數(shù)據(jù)存儲(chǔ)與處理的質(zhì)量和水平,對(duì)于原有系統(tǒng)中的問(wèn)題進(jìn)行解決,可以對(duì)電網(wǎng)的整體性運(yùn)行狀態(tài)進(jìn)行了科學(xué)化評(píng)估,有利于電網(wǎng)調(diào)控中心內(nèi)的工作人員依據(jù)實(shí)際情況需要,采取正確合理化的控制舉措。比如:將有關(guān)的問(wèn)題通過(guò)智能化的溝通平臺(tái)及時(shí)通知有關(guān)維護(hù)人員,使得他們?cè)谧疃痰臅r(shí)間內(nèi)趕到現(xiàn)場(chǎng),應(yīng)用專業(yè)化的手法來(lái)進(jìn)行故障問(wèn)題的處理,提高系統(tǒng)安全運(yùn)行的能力,保障了電網(wǎng)系統(tǒng)在未來(lái)的應(yīng)用中具有良好的應(yīng)用價(jià)值和水平,更好的滿足人們對(duì)于高質(zhì)量電力資源應(yīng)用的需求[4]。(其主要的管理模式如圖2所示)
3.3 廣域源荷互動(dòng)的優(yōu)化調(diào)度
科學(xué)技術(shù)的發(fā)展,使得眾多的新型能源在電網(wǎng)中進(jìn)行了并網(wǎng)應(yīng)用。比如:風(fēng)能(孝感電網(wǎng)包括:雷鼓臺(tái)、岳家山、江家山、仙居頂、界嶺風(fēng)電場(chǎng))、光伏能源(孝感電網(wǎng)包括:天紫、竹園、曹崗、楊畈、三汊光伏發(fā)電廠)、生物質(zhì)能(孝感電網(wǎng)包括:金秋電廠)等等具有間歇性特點(diǎn)的新能源。在這種情況下,應(yīng)用傳統(tǒng)的發(fā)電機(jī)組來(lái)進(jìn)行電網(wǎng)的自動(dòng)化智能化調(diào)節(jié)和控制無(wú)法實(shí)現(xiàn)。而應(yīng)用大數(shù)據(jù)分類存儲(chǔ)和處理技術(shù)可以對(duì)全網(wǎng)電力資源的需求和負(fù)荷信息進(jìn)行科學(xué)化調(diào)控監(jiān)督工作,依據(jù)不同的時(shí)間、地點(diǎn)等進(jìn)行電力資源的合理化配置,提高整個(gè)電網(wǎng)運(yùn)行的質(zhì)量和水平,通過(guò)科學(xué)性的調(diào)控決策、整體應(yīng)用態(tài)勢(shì)的感知,在保障電網(wǎng)穩(wěn)定和安全的前提下充分挖掘電網(wǎng)新能源的應(yīng)用潛能,有利于實(shí)現(xiàn)我國(guó)電力能源的多樣化,降低了煤炭等傳統(tǒng)能源應(yīng)用的數(shù)量,更好的開展節(jié)能環(huán)保工作[5]。
4 結(jié)束語(yǔ)
對(duì)于電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)進(jìn)行分析,有利于我們開展電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類存儲(chǔ)和分類處理,然后對(duì)于原有的電網(wǎng)調(diào)控系統(tǒng)進(jìn)行現(xiàn)代化、智能化的改造,提高電網(wǎng)調(diào)控大數(shù)據(jù)運(yùn)行的質(zhì)量和水平,保障電網(wǎng)系統(tǒng)的安全,更好的滿足人們對(duì)高質(zhì)量、穩(wěn)定安全電力資源應(yīng)用的需求。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)探析
摘 要 S著全社會(huì)科學(xué)技術(shù)的迅猛發(fā)展,在日常的工作和生活中,產(chǎn)生的信息越來(lái)越多,運(yùn)行的程序也逐漸在臧鐸和復(fù)雜,需要存儲(chǔ)的信息量也是越來(lái)越大,對(duì)信息存儲(chǔ)載體的質(zhì)量要求也越來(lái)越高。同時(shí),所需要存儲(chǔ)的信息的重要性是不可否認(rèn)的,所以對(duì)信息安全的要求也是非常高的。在這樣的社會(huì)背景下,需要非常有保障的安全保障的信息存儲(chǔ)技術(shù),對(duì)現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的研究推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)、計(jì)算機(jī)等多方面的發(fā)展。所以,對(duì)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的研究是目前階段一個(gè)比較重要的問(wèn)題。本文主要分析現(xiàn)代計(jì)算機(jī)存儲(chǔ)技術(shù)存在的重要性以及必然性,同時(shí)分析目前集中主要的技術(shù)。
關(guān)鍵詞 計(jì)算機(jī) 數(shù)據(jù) 存儲(chǔ)技術(shù)
0引言
現(xiàn)代社會(huì),計(jì)算機(jī)是一種十分常見的事物,無(wú)論是在生活中、學(xué)習(xí)中還是工作中,計(jì)算機(jī)都隨處可見,計(jì)算機(jī)技術(shù)也無(wú)時(shí)無(wú)刻不在影響著我們的生活,計(jì)算機(jī)在最初的階段,所涉及和被應(yīng)用的領(lǐng)域也不是非常廣泛,所以,計(jì)算機(jī)需要運(yùn)行的程序和需要存儲(chǔ)的數(shù)據(jù)在有所增加,進(jìn)而就需要計(jì)算的作出相應(yīng)的完善。基于計(jì)算機(jī)的運(yùn)行速度加快的需要和對(duì)信息存儲(chǔ)量的增加的需求,計(jì)算機(jī)需要在發(fā)展變化的過(guò)程中,逐漸完善有關(guān)軟件和硬件設(shè)施。尤其是現(xiàn)代社會(huì),計(jì)算機(jī)的大部分工作的基礎(chǔ)都是用于數(shù)據(jù)的處理,處理數(shù)據(jù)量在增大的同時(shí),數(shù)據(jù)的價(jià)值也在逐漸的提高。數(shù)據(jù)在逐漸發(fā)展的過(guò)程中,成為了一個(gè)獨(dú)立的實(shí)體,自由存儲(chǔ),也不屬于其他任何的有關(guān)系統(tǒng)之內(nèi),就是相對(duì)獨(dú)立的實(shí)體。并且,數(shù)據(jù)在被處理的過(guò)程中,有著共享性的特點(diǎn),也是一種存儲(chǔ)和保護(hù)的有價(jià)值的實(shí)體財(cái)富。由此可見,對(duì)數(shù)據(jù)的存儲(chǔ)設(shè)備的研究開發(fā)和保護(hù)也變得越來(lái)越重要,對(duì)信息存儲(chǔ)技術(shù)的研究也是一項(xiàng)有著極高價(jià)值的活動(dòng)和行為。
1 計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的必要性
計(jì)算機(jī)數(shù)據(jù)是計(jì)算機(jī)主要運(yùn)行的數(shù)據(jù)基礎(chǔ),計(jì)算機(jī)的需要量很大,自然對(duì)出具的處理和存儲(chǔ)能力的需求就非常大,不難得出結(jié)論,計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的研究是一個(gè)十分重要,而且意義重大的研究問(wèn)題。下面,從以下幾個(gè)方面,對(duì)現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的重要性進(jìn)行分析。
1.1數(shù)據(jù)存儲(chǔ)技術(shù)是大數(shù)據(jù)時(shí)代的時(shí)代要求
隨著信息技術(shù)的飛速發(fā)展,數(shù)據(jù)產(chǎn)生的量非常大,數(shù)據(jù)產(chǎn)生的手段也非常先進(jìn),同時(shí)數(shù)據(jù)獲取的手段也是多渠道的。在這樣的背景之下,面對(duì)大量的數(shù)據(jù),對(duì)數(shù)據(jù)處理的要求就自然而然的有所升高,大規(guī)模的數(shù)據(jù)密集型應(yīng)用系統(tǒng)數(shù)據(jù)量也在呈指數(shù)級(jí)的上升趨勢(shì),可以說(shuō)是一個(gè)爆炸式的增長(zhǎng),目前被稱為是“大數(shù)據(jù)時(shí)代”。正是這樣的社會(huì)背景,大數(shù)據(jù)時(shí)代,顧名思義數(shù)據(jù)量是很大的,那么每個(gè)單位就需要一種可以處理大數(shù)據(jù)的程序和工具。在這樣的趨勢(shì)下,在未來(lái)的發(fā)展中,這樣的勢(shì)頭不會(huì)減少只會(huì)增加,數(shù)據(jù)量的增大,原有的數(shù)據(jù)處理的系統(tǒng)必然會(huì)在這時(shí)出現(xiàn)無(wú)法滿足目前大量數(shù)據(jù)的需求,這樣現(xiàn)代的計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的出現(xiàn)就是必然的事件了。時(shí)代的發(fā)展,科學(xué)技術(shù)的發(fā)展,數(shù)據(jù)的數(shù)量的變化,都是這個(gè)時(shí)代對(duì)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展要求,計(jì)算機(jī)技術(shù)在這個(gè)變化的過(guò)程中起著非常重要的作用。
1.2方便了信息的管理
現(xiàn)在的社會(huì)的節(jié)奏非常快,每天的信息量都非常大,生活中是這樣,工作中就更是讓人手忙腳亂,在這個(gè)時(shí)代中產(chǎn)生的信息和需要處理的信息量也在逐漸的增大,那么對(duì)信息的處理工具和程序的要求自然也在提高。可以存儲(chǔ)大量、復(fù)雜種類信息的載體就是當(dāng)前環(huán)境所需要的。信息的管理是一個(gè)復(fù)雜的過(guò)程,如果沒有很好的信息存儲(chǔ)的系統(tǒng),那么就會(huì)嚴(yán)重影響信息的質(zhì)量,就會(huì)為以后的工作帶來(lái)很多不必要的麻煩。現(xiàn)代計(jì)算機(jī)存儲(chǔ)技術(shù)的誕生,為信息管理系統(tǒng)的存儲(chǔ)帶來(lái)了方便,可以保障大量的信息可以有空間存儲(chǔ)、按照種類的不同分類存儲(chǔ)、根據(jù)信息的使用頻率分別存儲(chǔ)等,這些對(duì)于信息管理過(guò)程中信息的存儲(chǔ)都是有很大的益處的,現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)為信息的管理提供了可以直接利用的技術(shù)支持和手段,為信息的有效管理提供了很大的方便。
1.3保障企業(yè)內(nèi)部數(shù)據(jù)安全
現(xiàn)在的社會(huì)中,無(wú)論是什么樣的企業(yè),一定會(huì)有很多電腦辦公的環(huán)境和情況,就是一種依賴計(jì)算機(jī)運(yùn)行來(lái)處理公司一些事務(wù)的情況,那么計(jì)算機(jī)的的效率就對(duì)企業(yè)產(chǎn)生非常大的影響。在傳統(tǒng)的情況下,使用電腦辦公所占的比例相對(duì)較小,但是,現(xiàn)在這個(gè)時(shí)代,信息化辦公已經(jīng)是一個(gè)主流的形式,面對(duì)著這樣的情況,依賴計(jì)算機(jī),其實(shí)就是依賴計(jì)算機(jī)的對(duì)數(shù)據(jù)的處理,既然是這樣,對(duì)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的需求就有所表現(xiàn)。現(xiàn)在計(jì)算機(jī)的使用非常多,那么也就是計(jì)算機(jī)的數(shù)據(jù)存儲(chǔ)和處理出現(xiàn)的非常頻繁。數(shù)據(jù)量大,就非常容易出現(xiàn)數(shù)據(jù)之間無(wú)法明確任務(wù),對(duì)數(shù)據(jù)的安全性造成一定的威脅,現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)就可以在更高的程度上避免這種數(shù)據(jù)安全性受到威脅限制。
2現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的有關(guān)技術(shù)
面對(duì)與日俱增的數(shù)據(jù)量,為了滿足這樣的數(shù)據(jù)量的存儲(chǔ)需求,多種存儲(chǔ)技術(shù)應(yīng)著需求在逐漸的發(fā)展起來(lái),各種技術(shù)有著各自的存在理由和各自的發(fā)展優(yōu)勢(shì),下文分析幾種技術(shù)的詳細(xì)原理和應(yīng)用。
2.1磁盤陣列技術(shù)
磁盤陣列是由一個(gè)硬盤控制器來(lái)控制多個(gè)硬盤的連接,在讀寫的過(guò)程中,多個(gè)硬盤同時(shí)進(jìn)行,降低了在讀寫過(guò)程中發(fā)生的錯(cuò)誤,提高了技術(shù)處理的效率,和性。磁盤陣列技術(shù)主要針對(duì)的寸處對(duì)象是計(jì)算機(jī)的硬盤,磁盤陣列技術(shù)是目前很多領(lǐng)域應(yīng)用的技術(shù),主要是利用數(shù)據(jù)組的形式來(lái)作為磁盤,配合著數(shù)據(jù)分散排列的設(shè)計(jì),有效提高數(shù)據(jù)的安全性。一個(gè)硬盤連接多個(gè)硬盤,進(jìn)而多個(gè)硬盤一起進(jìn)行讀寫的程序,不難理解,在對(duì)數(shù)據(jù)進(jìn)行讀寫的過(guò)程中,效率是非常高的。磁盤陣列技術(shù)在對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)的存儲(chǔ)速度是非常快的,同時(shí)安全性在很大程度上可以得以保障,并且該技術(shù)的性也是非常高的。
2.2 NAS技術(shù)
NAS是一種特殊的專用數(shù)據(jù)存儲(chǔ)的服務(wù)器,有單獨(dú)的存儲(chǔ)處理核心,CPU、內(nèi)存、操作系統(tǒng)等,也常被稱為是一種網(wǎng)絡(luò)附加的存儲(chǔ)技術(shù)。NAS技術(shù)通過(guò)網(wǎng)絡(luò)把文件系統(tǒng)和存儲(chǔ)系統(tǒng)連接在一起,控制器來(lái)運(yùn)行和維護(hù)文件系統(tǒng),判斷文件的流向。在使用的過(guò)程中,服務(wù)器與存儲(chǔ)設(shè)備互相分離,也就是說(shuō)NAS是一個(gè)獨(dú)立于外的單獨(dú)個(gè)體。由于獨(dú)立性,當(dāng)有一個(gè)設(shè)備或系統(tǒng)出現(xiàn)不能正常運(yùn)行的狀況時(shí),不會(huì)影響其他的系統(tǒng)的運(yùn)行,不會(huì)因?yàn)橐蕴幍墓收隙绊懻麄€(gè)存儲(chǔ)系統(tǒng)的正常工作,是一個(gè)比較適合應(yīng)用于大范圍的技術(shù),而且應(yīng)用起來(lái)更加方便。
2.3 SAN技g
SAN是一種存儲(chǔ)的域網(wǎng)絡(luò),是網(wǎng)絡(luò)存儲(chǔ)技術(shù)的核心,企業(yè)在業(yè)務(wù)系統(tǒng)方面的核心部分,可以借助于具有高性、高性能的數(shù)據(jù)訪問(wèn)方式,這是SAN技術(shù)的好處所在。對(duì)于SAN技術(shù)而言,相關(guān)聯(lián)的存儲(chǔ)設(shè)備可以通過(guò)效率高的連接設(shè)備與多種服務(wù)器進(jìn)行諒解,這種配置對(duì)于所有設(shè)備而言都可以進(jìn)行連接,也就是在服務(wù)器和存儲(chǔ)器之間的連接提供了一個(gè)很好地紐帶。SAN技術(shù)可以滿足多客戶同時(shí)運(yùn)行的需求,還可以在很大程度上保障應(yīng)用性能的穩(wěn)定性。隨著自身存儲(chǔ)容量的增大,SAN還可以允許用戶獨(dú)立增大自身的存儲(chǔ)容量,不僅可以很好的存儲(chǔ)數(shù)據(jù),還可以實(shí)現(xiàn)對(duì)存儲(chǔ)資源進(jìn)行集中的管理。SAN技術(shù)的應(yīng)用具有很高的靈活性,存儲(chǔ)設(shè)備和數(shù)據(jù)的管理方式發(fā)生了一定的改變,在SAN網(wǎng)絡(luò)中,不再是某一個(gè)占據(jù)主導(dǎo)地位的設(shè)備可以連接,有效的提高了存儲(chǔ)數(shù)據(jù)資源的共享性。
2.4云存儲(chǔ)技術(shù)
云存儲(chǔ)是當(dāng)今社會(huì)非常熱門的話題,我們身邊也有一些常見的應(yīng)用,比如,我們自己日常的學(xué)習(xí)和工作中使用的百度云,就是一種云存儲(chǔ)的技術(shù)應(yīng)用。云存儲(chǔ),就是通過(guò)集群技術(shù)、網(wǎng)格技術(shù)等系統(tǒng)功能,把網(wǎng)絡(luò)中各種類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái),使之協(xié)同工作,一起對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。云存儲(chǔ)可以說(shuō)不是一個(gè)單獨(dú)的存儲(chǔ)的技術(shù)手段,但是可以說(shuō)是技術(shù)的結(jié)合體,也是一種技術(shù)的手法的表現(xiàn),畢竟達(dá)到了存儲(chǔ)的效果,同時(shí)還可以很大程度上提高了存儲(chǔ)的效率,而且數(shù)據(jù)存儲(chǔ)技術(shù)的結(jié)合使用,滿足了不同類型數(shù)據(jù)存儲(chǔ)的需求。
3存儲(chǔ)技術(shù)的選擇使用細(xì)節(jié)
存儲(chǔ)的技術(shù)有很多種,那么作為一個(gè)獨(dú)立的單位在選擇存儲(chǔ)自己的內(nèi)部數(shù)據(jù)信息的過(guò)程中,也不是盲目的選擇的,而是在作出選擇的時(shí)候,要有一定的選擇的理由,下面就是技術(shù)在實(shí)踐的使用中應(yīng)該注意的幾點(diǎn)問(wèn)題。
3.1科學(xué)合理的選擇和使用
多種計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的優(yōu)勢(shì)已經(jīng)明確,但是在選擇和具體的使用中,還是要非常注意一些問(wèn)題的。在選擇使用之前,一定要認(rèn)真分析自己企業(yè)內(nèi)部數(shù)據(jù)存儲(chǔ)的要求,是否該項(xiàng)技術(shù)的應(yīng)用可以滿足的,一定要結(jié)合實(shí)際情況,對(duì)自己的情況加以明確,確保做出的決策可以為企業(yè)內(nèi)部數(shù)據(jù)的存儲(chǔ)帶來(lái)好處。
3.2使用者要了解該技術(shù)
技術(shù)的應(yīng)用目的是提高數(shù)據(jù)存儲(chǔ)的效率和水平,那么前提一定是對(duì)技術(shù)有所了解,明確技術(shù)應(yīng)用前的準(zhǔn)備,以及在技術(shù)的應(yīng)用過(guò)程中,需要注意什么問(wèn)題。如果,使用者不了解技術(shù),就盲目的引入應(yīng)用,比較不好的情況就是技術(shù)的核心功能不能有效的發(fā)揮,不可以為企業(yè)提供方便。使用者要明確各種存儲(chǔ)技術(shù)的特點(diǎn),確保在使用的過(guò)程中對(duì)該技術(shù)的操作得心應(yīng)手,這樣才可以達(dá)到預(yù)想的技術(shù)引入的結(jié)果。
3.3使用過(guò)程中注重結(jié)合企業(yè)的實(shí)際情況
現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)是一種固定的技術(shù)手段,有多重表現(xiàn)形式,如果應(yīng)用到自身的數(shù)據(jù)存儲(chǔ)系統(tǒng)中,每一個(gè)企業(yè)的數(shù)據(jù)存儲(chǔ)的原有實(shí)際情況都是有一定差異的,所以,在使用的過(guò)程中,不要按照既定的思維模式和對(duì)該技術(shù)的認(rèn)知來(lái)思考技術(shù)的使用,而是要順應(yīng)技術(shù)的需求,調(diào)整對(duì)技術(shù)的理解和認(rèn)識(shí)。確保技術(shù)的應(yīng)用可以真正的實(shí)現(xiàn)企業(yè)內(nèi)部數(shù)據(jù)的科學(xué)合理有效存儲(chǔ)。
4總結(jié)
在現(xiàn)代這個(gè)科學(xué)技術(shù)發(fā)達(dá)、計(jì)算機(jī)應(yīng)用普遍、計(jì)算機(jī)數(shù)據(jù)量極大的社會(huì)環(huán)境中,計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的安全性、高效性、性等重要性能,越來(lái)越成為人們關(guān)注和討論的重點(diǎn)話題,當(dāng)然技術(shù)的使用也成為了技術(shù)研究者研究的重點(diǎn)內(nèi)容。現(xiàn)代計(jì)算機(jī)存儲(chǔ)技術(shù)的有效合理使用,很大程度上解決了上述部分問(wèn)題。計(jì)算機(jī)存儲(chǔ)技術(shù)在逐漸的發(fā)展過(guò)程中匯總,已經(jīng)衍生出了自己獨(dú)特的個(gè)性結(jié)構(gòu),保障的信息的存儲(chǔ)安全、獨(dú)立,提高信息存儲(chǔ)量,保障了數(shù)據(jù)存儲(chǔ)的目的實(shí)現(xiàn)。在以后的環(huán)境中,對(duì)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的研究和開發(fā)仍然是一個(gè)重點(diǎn)的話題。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)分析
摘 要:計(jì)算機(jī)技術(shù)現(xiàn)在已經(jīng)得到了廣泛應(yīng)用,但是因?yàn)檫\(yùn)行環(huán)境特殊,需要面臨較大的安全風(fēng)險(xiǎn),必須要對(duì)其進(jìn)行綜合分析,采取有效措施來(lái)提高對(duì)數(shù)據(jù)存儲(chǔ)的安全性與性。就實(shí)際應(yīng)用現(xiàn)狀來(lái)看,確定影響計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)效果的因素,根據(jù)需求來(lái)確定最為合適的存儲(chǔ)技術(shù),爭(zhēng)取從根本上來(lái)消除各類因素的影響,改善數(shù)據(jù)存儲(chǔ)效果。本文基于計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)要求,對(duì)各類存儲(chǔ)技術(shù)進(jìn)行了分析和對(duì)比。
關(guān)鍵詞:計(jì)算機(jī);數(shù)據(jù)存儲(chǔ);安全性
現(xiàn)在已經(jīng)進(jìn)入到信息化時(shí)代,產(chǎn)生和處理的數(shù)據(jù)更多,數(shù)據(jù)所具有的價(jià)值也越來(lái)越高。為充分發(fā)揮各類數(shù)據(jù)具有的應(yīng)用優(yōu)勢(shì),必須要加強(qiáng)對(duì)安全存儲(chǔ)技術(shù)的分析,降低外界各項(xiàng)因素的影響,確保數(shù)據(jù)的完整性與性。積極結(jié)合各項(xiàng)新型技術(shù),對(duì)信息存儲(chǔ)技術(shù)進(jìn)行更新和完善,進(jìn)一步促進(jìn)行業(yè)的發(fā)展。
一、計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)分析
1.大數(shù)據(jù)應(yīng)用要求
在信息技術(shù)水平不斷提高背景下,數(shù)據(jù)產(chǎn)生與獲取的手段更為先進(jìn),面對(duì)大數(shù)據(jù)時(shí)代,想要充分發(fā)揮出各類數(shù)據(jù)具有的優(yōu)勢(shì),除了要對(duì)其應(yīng)用技術(shù)進(jìn)行分析外,還需要對(duì)其存儲(chǔ)技術(shù)進(jìn)行研究,爭(zhēng)取為大數(shù)據(jù)處理提供保障。企業(yè)想要在市場(chǎng)內(nèi)占據(jù)有利競(jìng)爭(zhēng)位置,必須要有大量的數(shù)據(jù)作為支持,這樣就使得大數(shù)據(jù)技術(shù)與服務(wù)需求不斷升級(jí),并且會(huì)在未來(lái)發(fā)展過(guò)程中,數(shù)據(jù)產(chǎn)生、處理以及存儲(chǔ)數(shù)據(jù)量會(huì)繼續(xù)增長(zhǎng)。但是在數(shù)據(jù)快速增長(zhǎng)背景下,很容易造成單機(jī)系統(tǒng)性能降低,即便持續(xù)對(duì)系統(tǒng)硬件進(jìn)行更新,也難以與數(shù)據(jù)增長(zhǎng)速度保持平衡,這樣就需要加強(qiáng)對(duì)數(shù)據(jù)存儲(chǔ)技術(shù)的研究,根據(jù)實(shí)際需求,來(lái)對(duì)現(xiàn)有存儲(chǔ)技術(shù)進(jìn)行更新完善[1]。
2.文件管理需求
生產(chǎn)生活中均會(huì)產(chǎn)生大量的數(shù)據(jù),雖然可以為下一階段活動(dòng)提供依據(jù),但是想要在大量數(shù)據(jù)內(nèi)提取出有用信息,需要大量的時(shí)間作為支持,這樣為保障該階段內(nèi)數(shù)據(jù)不會(huì)出現(xiàn)損壞、缺失等問(wèn)題,就需要對(duì)其進(jìn)行有效存儲(chǔ)。通過(guò)外圍設(shè)備將存儲(chǔ)在物理介質(zhì)上的記錄與傳輸數(shù)據(jù)接收進(jìn)來(lái),經(jīng)過(guò)專業(yè)處理后得到相應(yīng)結(jié)果,然后對(duì)數(shù)據(jù)賦予意義,使其成為人們所需的信息。對(duì)比傳統(tǒng)紙質(zhì)文件來(lái)對(duì)數(shù)據(jù)信息的存儲(chǔ),現(xiàn)通過(guò)計(jì)算機(jī)語(yǔ)言編程以及處理軟件可以直接將各項(xiàng)數(shù)據(jù)制作成文檔,保存在計(jì)算機(jī)內(nèi),不僅可以降低管理工作難度,并且在查詢和利用上具有更大優(yōu)勢(shì)。
3.企業(yè)發(fā)展需求
數(shù)據(jù)為促進(jìn)企業(yè)進(jìn)一步發(fā)展的重要依據(jù),包括數(shù)字、文本以及圖表,根據(jù)實(shí)際需求對(duì)其進(jìn)行匯總、分析和利用,為下一步工作規(guī)劃策略的制定提供數(shù)據(jù)支持。現(xiàn)在已經(jīng)進(jìn)入到信息化時(shí)代,企業(yè)所需要面臨的競(jìng)爭(zhēng)更加激烈,需要面對(duì)的數(shù)據(jù)更多,除了自身數(shù)據(jù)外,還需要對(duì)市場(chǎng)內(nèi)所有行業(yè)信息數(shù)據(jù)進(jìn)行綜合分析,這樣如果依然應(yīng)用傳統(tǒng)方式已經(jīng)逐漸不能滿足應(yīng)用需求。對(duì)數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)行更新,經(jīng)過(guò)對(duì)數(shù)據(jù)處理后,減少存儲(chǔ)容量,并降低成本,爭(zhēng)取更進(jìn)一步滿足信息技術(shù)發(fā)展要求[2]。企業(yè)應(yīng)對(duì)自身存儲(chǔ)系統(tǒng)進(jìn)行更新,提高對(duì)數(shù)據(jù)保護(hù)的效率,提高數(shù)據(jù)存儲(chǔ)工作的性、靈活性以及實(shí)用性。
二、計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)影響因素
1.物理安全
對(duì)影響計(jì)算機(jī)數(shù)據(jù)物理安全因素的分析,可以從主觀與客觀兩個(gè)角度進(jìn)行,其中主觀因素為操作不當(dāng)、管理不到位等,客觀因素則主要為自然災(zāi)害和硬件損壞等。一方面,主觀因素。雖然現(xiàn)在數(shù)據(jù)存儲(chǔ)工作人員技能水平不斷提高,但是在實(shí)際操作中,很難保障沒有一點(diǎn)問(wèn)題,尤其是計(jì)算機(jī)維護(hù)時(shí),經(jīng)常會(huì)因?yàn)槭д`造成系統(tǒng)文件被刪除,或者是修改部分系統(tǒng)參數(shù),造成系統(tǒng)運(yùn)行錯(cuò)誤,甚至?xí)斐上到y(tǒng)崩潰。同時(shí),因?yàn)榇鎯?chǔ)系統(tǒng)復(fù)雜程度不斷提高,對(duì)維護(hù)人員的專業(yè)能力也有更高要求,要求其可以不斷更新自我知識(shí)結(jié)構(gòu),能夠靈活應(yīng)對(duì)遇到的各類問(wèn)題,降低數(shù)據(jù)破壞和丟失問(wèn)題發(fā)生概率。另一方面,客觀因素。自然災(zāi)害對(duì)數(shù)據(jù)存儲(chǔ)帶來(lái)的影響是不可控的,例如火災(zāi)、地震等,如果在服務(wù)器運(yùn)維階段遇到此種情況,將會(huì)直接對(duì)數(shù)據(jù)帶來(lái)毀滅性破壞,并且破壞是不可逆的,一旦丟失無(wú)法找回。因此必須要及時(shí)對(duì)稻萁行備份,爭(zhēng)取在災(zāi)害發(fā)生后,將損失降到低。另外,現(xiàn)在市場(chǎng)上硬件數(shù)量與種類不斷增多,相互之間差異較大,如果所用硬件質(zhì)量比較差,不僅無(wú)法滿足數(shù)據(jù)存儲(chǔ)要求,還容易產(chǎn)生故障造成數(shù)據(jù)損壞。
2.邏輯安全
及時(shí),電磁波輻射。即計(jì)算機(jī)與通信部件產(chǎn)生的輻射,包括主機(jī)、顯示器、通信線路等,為降低此類因素影響,可以應(yīng)用接收并解密電磁波的技術(shù)。第二,計(jì)算機(jī)聯(lián)網(wǎng)。互聯(lián)網(wǎng)運(yùn)行環(huán)境特殊,受到黑客攻擊以及病毒感染的可能性比較大,如果不采取任何措施,會(huì)在根本上影響數(shù)據(jù)存儲(chǔ)安全性,出現(xiàn)數(shù)據(jù)損壞、丟失等問(wèn)題。第三,計(jì)算機(jī)病毒。計(jì)算機(jī)病毒為一段可執(zhí)行程序代碼,并且具有自我復(fù)制能力,可以感染計(jì)算機(jī)系統(tǒng),并且不斷傳播和復(fù)制。同時(shí)病毒感染計(jì)算機(jī)系統(tǒng)后,能夠控制計(jì)算機(jī)完成一些隱蔽操作,嚴(yán)重威脅信息數(shù)據(jù)安全性。
三、計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)要點(diǎn)
1.數(shù)據(jù)加密處理
數(shù)據(jù)加密是現(xiàn)在計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)比較常見的保護(hù)技術(shù)之一,利用密碼技術(shù)來(lái)對(duì)信息進(jìn)行加密處理,然后將加密后密文信息存儲(chǔ)在存儲(chǔ)介質(zhì)內(nèi),對(duì)整個(gè)傳輸過(guò)程和存儲(chǔ)進(jìn)行機(jī)密性保護(hù)。根據(jù)加密類型主要包括主機(jī)軟件加密、嵌入式專門加密、加密存儲(chǔ)安全交換機(jī)以及基礎(chǔ)存儲(chǔ)層存儲(chǔ)設(shè)備等,可以根據(jù)實(shí)際需求來(lái)選擇應(yīng)用。
2.訪問(wèn)控制技術(shù)
主要包括操作系統(tǒng)自身訪問(wèn)控制、邊界訪問(wèn)控制以及應(yīng)用系統(tǒng)訪問(wèn)控制三個(gè)方面。現(xiàn)在操作系統(tǒng)多為C1、C2級(jí),安全操作系統(tǒng)可以達(dá)到B1級(jí),且安全操作系統(tǒng)可以提高操作系統(tǒng)強(qiáng)制訪問(wèn)控制能力、密碼存取能力、安全審計(jì)能力等,對(duì)文件、目錄以及文件進(jìn)行有效保護(hù)[3]。而邊界訪問(wèn)控制則是利用防火墻系統(tǒng)以及支持VLAN網(wǎng)絡(luò)設(shè)備,對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行保護(hù)。另外,應(yīng)用系統(tǒng)訪問(wèn)控制的實(shí)現(xiàn),一般需要通過(guò)應(yīng)用系統(tǒng)的開發(fā),或者是調(diào)用地層操作系統(tǒng)訪問(wèn)控制功能來(lái)進(jìn)行保護(hù)。
3.GFS技術(shù)
即Google File System文件系統(tǒng),其為分布式且可擴(kuò)展,可用于大型分布式以及大量數(shù)據(jù)的訪問(wèn),可提供硬件容錯(cuò)性能。每個(gè)GFS均由一個(gè)master與大量chunkserver構(gòu)成,可以支持多用戶訪問(wèn),且在資源不限情況下,chunkserver可與訪問(wèn)同時(shí)進(jìn)行[4]。GFS文件分成小塊,小塊標(biāo)識(shí)為chunk-handle,創(chuàng)建chunk-handle需要由master進(jìn)行分配,且每小塊可被幅值成多個(gè)chunkserver,由用戶決定保護(hù)的副本。
結(jié)束語(yǔ):
為提高計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)綜合效果,需要對(duì)各項(xiàng)影響因素進(jìn)行分析,并根據(jù)實(shí)際需求來(lái)確定存儲(chǔ)和安全保護(hù)技術(shù),爭(zhēng)取提高數(shù)據(jù)存儲(chǔ)質(zhì)量,為實(shí)際應(yīng)用提供保障,滿足生產(chǎn)生活需求。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)
摘 要
隨著計(jì)算機(jī)信息技術(shù)的發(fā)展,一種新型的計(jì)算模式――云計(jì)算逐漸興起,云計(jì)算具有超強(qiáng)的計(jì)算能力、性、虛擬性、通用性、按需付費(fèi)等特點(diǎn),因此云計(jì)算近年來(lái)發(fā)展迅速,已經(jīng)成為未來(lái)計(jì)算機(jī)發(fā)展的方向。本文主要闡述了云計(jì)算和云儲(chǔ)存的概念,并分析了云計(jì)算環(huán)境下云計(jì)算數(shù)據(jù)存儲(chǔ)Google File System和Hadoop Distributed File System兩種存儲(chǔ)數(shù)據(jù)。
【關(guān)鍵詞】云計(jì)算 云儲(chǔ)存 數(shù)據(jù)存儲(chǔ)技術(shù)
21世紀(jì)是信息知識(shí)爆炸的年代,每天產(chǎn)生海量的信息,企業(yè)需要處理和存儲(chǔ)的數(shù)據(jù)信息越來(lái)越多。如果按照傳統(tǒng)計(jì)算機(jī)算法,企業(yè)為了存儲(chǔ)信息需要購(gòu)置大量的硬件設(shè)施和軟件設(shè)施,并需要專人對(duì)數(shù)據(jù)信息進(jìn)行管理,對(duì)設(shè)備進(jìn)行維護(hù),需要耗費(fèi)大量的人力和物力成本。而云計(jì)算這種計(jì)算方式,省去了企業(yè)管理和維修的麻煩,企業(yè)可以將大量的數(shù)據(jù)信息放在服務(wù)器或者云端,企業(yè)只需要支付少量的管理費(fèi)用,就能隨時(shí)調(diào)取云端的數(shù)據(jù)信息,并享受圖片處理、歸檔服務(wù)、音視頻轉(zhuǎn)碼等多種數(shù)據(jù)增值服務(wù)。
1 云計(jì)算與云存儲(chǔ)的概念
1.1 云計(jì)算
根據(jù)美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院的定義:云計(jì)算是一種按使用量付費(fèi)的模式,這種模式提供便捷的、可用的、按需的網(wǎng)絡(luò)訪問(wèn),用戶只需要進(jìn)入到可配置的計(jì)算資源共享池,包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、應(yīng)用軟件和服務(wù)器等,云端管理人員只要通過(guò)少量的管理或者與服務(wù)商進(jìn)行少量的交互,就能實(shí)現(xiàn)對(duì)云端的管理。云其實(shí)是互聯(lián)網(wǎng)的一種比喻說(shuō)法,通過(guò)云計(jì)算可以將數(shù)據(jù)信息存儲(chǔ)在計(jì)算機(jī)中,這里的計(jì)算機(jī)指的是遠(yuǎn)程服務(wù)器。然后企業(yè)根據(jù)自己的需求,對(duì)計(jì)算機(jī)存儲(chǔ)系統(tǒng)進(jìn)行訪問(wèn),并將信息資源直接切換到實(shí)際應(yīng)用方面。計(jì)算機(jī)直接將主機(jī)功能交給了云端,云端的計(jì)算能力就跟水電一樣,成為了一種商品,這就促使傳統(tǒng)計(jì)算機(jī)方式向現(xiàn)代計(jì)算機(jī)方式轉(zhuǎn)變。
1.2 云儲(chǔ)存
云儲(chǔ)存是在云計(jì)算的基礎(chǔ)上提出的,它與云計(jì)算有很多相同的地方。云計(jì)算主要是通過(guò)網(wǎng)絡(luò)技術(shù)、集群應(yīng)用和分布式文件系統(tǒng),利用應(yīng)用軟件將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備連接起來(lái),共同合作,對(duì)外提供業(yè)務(wù)訪問(wèn)和數(shù)據(jù)存儲(chǔ)功能。云存儲(chǔ)與傳統(tǒng)的存儲(chǔ)模式相比,它是一種特殊的構(gòu)架服務(wù),它必須建立在互聯(lián)網(wǎng)基礎(chǔ)上,為用戶提供在線的存儲(chǔ)服務(wù)。用戶不需要考慮存儲(chǔ)器中的容量、數(shù)據(jù)存儲(chǔ)位置、安全等問(wèn)題,只需要按時(shí)付費(fèi)就可以了。
2 云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)
云計(jì)算存儲(chǔ)技術(shù)具有比較明顯的兩個(gè)特點(diǎn):及時(shí)是高傳輸率,第二是高吞吐率。當(dāng)前,云計(jì)算存儲(chǔ)技術(shù)比較主要有谷歌開發(fā)的非開源的GFS和Hadoop團(tuán)隊(duì)開發(fā)的HDFS技術(shù)。不過(guò)后者在IT廠商應(yīng)用的比較廣泛。
2.1 Google File System
Google File System簡(jiǎn)稱GFS,這種存儲(chǔ)技術(shù)不僅開源擴(kuò)展,而且是分布式的,廣泛應(yīng)用在分布式的數(shù)據(jù)訪問(wèn)。它的硬件價(jià)格比較低,但是卻提供了容錯(cuò)的功能。每一個(gè)GFS都是由一個(gè)master和多個(gè)chunkserver構(gòu)成,能夠提供多用戶的訪問(wèn)權(quán)限,只要用戶的訪問(wèn)資源不受限制。chunkserver可以和訪問(wèn)同時(shí)進(jìn)行。GFS系統(tǒng)文件被分成很多個(gè)小塊,每一個(gè)小塊的標(biāo)識(shí)是chunk―handle,chunk―handle由master分配。為了保障數(shù)據(jù)的安全性和性,GFS系統(tǒng)文件會(huì)被復(fù)制在多個(gè)chunk―handle上,文件的副本由用戶決定,master會(huì)對(duì)系統(tǒng)文件進(jìn)行維護(hù)。比如系統(tǒng)訪問(wèn)控制、空間名字。此外它還可以控制系統(tǒng)的活動(dòng)范圍,chunkserver間的遷移和單個(gè)模塊的垃圾收集等。master還會(huì)定期指令給chunkserver,讓chunkserver收集它的發(fā)展?fàn)顟B(tài)。目前谷歌公司開發(fā)的GFS客戶代碼基本已經(jīng)實(shí)現(xiàn)了系統(tǒng)文件的AP,所以用戶與master的數(shù)據(jù)交換,之限制元數(shù)據(jù)操作,存儲(chǔ)數(shù)據(jù)直接和chunkserver聯(lián)系,chunkserver和文件數(shù)據(jù)客戶不會(huì)緩存。
2.2 Hadoop Distributed File System(HDFS)
Hadoop分布式文件系統(tǒng)是HDFS由多個(gè)存儲(chǔ)數(shù)據(jù)的終點(diǎn)和管理節(jié)點(diǎn)構(gòu)成的。它的中心服務(wù)器是namenode,客戶端和文件管理系統(tǒng)namenode對(duì)文件進(jìn)行訪問(wèn)。每一個(gè)namenode節(jié)點(diǎn)都有一臺(tái)普通的計(jì)算機(jī)對(duì)應(yīng),運(yùn)行時(shí)與單機(jī)計(jì)算機(jī)文件系統(tǒng)類似,可以在文件系統(tǒng)常見名錄、更改文件名。其實(shí)系統(tǒng)的底層已經(jīng)把文件分割成了Block,并⒄廡Block進(jìn)行不同的存儲(chǔ),從而達(dá)到容錯(cuò)的目的。namenode是HDFS文件系統(tǒng)的核心內(nèi)容,它可以維護(hù)一些數(shù)據(jù)結(jié)果,再把記錄文件分割成Block,并在namenode獲得相關(guān)的消息。
3 結(jié)語(yǔ)
云計(jì)算是一種新型的計(jì)算模式,它必須依靠大數(shù)據(jù)或者在大數(shù)據(jù)的基礎(chǔ)上,為計(jì)算機(jī)用戶提供服務(wù)和幫助。為了確保計(jì)算機(jī)數(shù)據(jù)的性和安全性,云計(jì)算對(duì)云端數(shù)據(jù)采取了分層存儲(chǔ)的方式,為用戶提供多層次的安全防護(hù)。但是如今云計(jì)算的安全問(wèn)題依然是用戶關(guān)心的重點(diǎn)。云存儲(chǔ)已經(jīng)是未來(lái)存儲(chǔ)的一種趨勢(shì)。當(dāng)前各大云存儲(chǔ)運(yùn)營(yíng)商正在積極開發(fā)應(yīng)用技術(shù)、搜索和云存儲(chǔ)相結(jié)合的技術(shù),為用戶提供更加便利的服務(wù),但是云存儲(chǔ)的發(fā)展還須加強(qiáng)云存儲(chǔ)的安全防護(hù)功能和技術(shù)研究。
作者單位
河南省師范大學(xué)附屬中學(xué) 河南省新鄉(xiāng)市 453002
數(shù)據(jù)存儲(chǔ)技術(shù)論文:大數(shù)據(jù)存儲(chǔ)技術(shù)及其標(biāo)準(zhǔn)化分析探討
摘 要:隨著現(xiàn)代化技術(shù)的不斷發(fā)展,在數(shù)據(jù)存儲(chǔ)上也發(fā)生了極大變化,各行各業(yè)均開始運(yùn)用大數(shù)據(jù)存儲(chǔ)來(lái)保障系統(tǒng)運(yùn)行有效性。本文基于這一背景,簡(jiǎn)單闡述了大數(shù)據(jù)以及存儲(chǔ)技術(shù)的概念,分析了大數(shù)據(jù)存儲(chǔ)的幾項(xiàng)技術(shù),并在此基礎(chǔ)上針對(duì)其標(biāo)準(zhǔn)化展開研究,旨在優(yōu)化大數(shù)據(jù)存儲(chǔ)方式,提升數(shù)據(jù)使用有效性。
關(guān)鍵詞:大數(shù)據(jù);存儲(chǔ)技術(shù);標(biāo)準(zhǔn)化
大數(shù)據(jù)指的是一種存儲(chǔ)、積累以及挖掘的大文件達(dá)到400GB甚至TB存儲(chǔ)程度的現(xiàn)象,在現(xiàn)如今信息化、網(wǎng)絡(luò)化發(fā)展時(shí)代下,大數(shù)據(jù)已經(jīng)并不罕見,且廣泛應(yīng)用于各行各業(yè)。傳統(tǒng)數(shù)據(jù)存儲(chǔ)及管理中,面對(duì)海量的數(shù)據(jù)存儲(chǔ),其無(wú)論是存儲(chǔ)能力還是存儲(chǔ)效率,甚至是存儲(chǔ)安全性方面,均呈現(xiàn)出滯后狀態(tài)。目前在存儲(chǔ)技術(shù)上通常分為網(wǎng)絡(luò)存儲(chǔ)以及直接附加存儲(chǔ)兩種,其中網(wǎng)絡(luò)存儲(chǔ)又分為存儲(chǔ)域網(wǎng)絡(luò)以及網(wǎng)絡(luò)附屬存儲(chǔ)兩種。不同存儲(chǔ)技術(shù)適用范圍不同,本文針對(duì)其存儲(chǔ)方式以及標(biāo)準(zhǔn)化展開分析,現(xiàn)報(bào)告如下:
1 大數(shù)據(jù)存儲(chǔ)技術(shù)研究
1.1 非結(jié)構(gòu)化數(shù)據(jù)的處理
在這一方面,要數(shù)HDFS具代表性。HDFS主要服務(wù)于系統(tǒng)中的各項(xiàng)應(yīng)用程序,其將一些POSIX接口開放,通過(guò)主/從結(jié)構(gòu)讓流式訪問(wèn)文件的數(shù)據(jù)被允許操作。它是由不同的數(shù)據(jù)節(jié)點(diǎn)以及一個(gè)名字節(jié)點(diǎn)所組成,能夠讓數(shù)據(jù)按照一定模式分割為不同的64位數(shù)模塊,并將其安排到不同分布式集群(由不同數(shù)據(jù)節(jié)點(diǎn)組成)中進(jìn)行存儲(chǔ)。當(dāng)然,若在使用過(guò)程中大數(shù)據(jù)存儲(chǔ)量不斷增多,只需要增加數(shù)據(jù)節(jié)點(diǎn)即可輕松實(shí)現(xiàn)存儲(chǔ)功能,擴(kuò)展性能較強(qiáng)。另外,非結(jié)構(gòu)化數(shù)據(jù)處理在數(shù)據(jù)吞吐量方面性能較好,海量的數(shù)據(jù)處理不會(huì)明顯影響到用戶體驗(yàn)。
1.2 分布式并行數(shù)據(jù)庫(kù)
分布式并行數(shù)據(jù)庫(kù)主要用于處理海量的、結(jié)構(gòu)化的數(shù)據(jù),是一種無(wú)共享、并行處理架構(gòu)的數(shù)據(jù)管理系統(tǒng)。這類型系統(tǒng)主要采用Slave或是Master架構(gòu)。Slave在運(yùn)用上較多,例如用戶數(shù)據(jù)的存儲(chǔ)方面,多是被通過(guò)散列方式存儲(chǔ)在不同的Slave服務(wù)器之中,且數(shù)據(jù)在Slave的不同節(jié)點(diǎn)上也具有副本,在系統(tǒng)適用性上較高。Master架構(gòu)則只用于對(duì)元數(shù)據(jù)的存儲(chǔ)。
1.3 半結(jié)構(gòu)化數(shù)據(jù)的處理
傳統(tǒng)數(shù)據(jù)處理由于沒有使用NoSQL數(shù)據(jù)庫(kù),當(dāng)遇到大數(shù)據(jù)存儲(chǔ)時(shí)往往表現(xiàn)出低性能、低擴(kuò)展性以及低靈活性缺陷。使用了NoSQL數(shù)據(jù)庫(kù)之后,云計(jì)算得以適應(yīng),目前其數(shù)據(jù)庫(kù)類型主要有以下幾種:列存儲(chǔ)數(shù)據(jù)庫(kù)、鍵值存儲(chǔ)數(shù)據(jù)庫(kù)、圖形數(shù)據(jù)庫(kù)以及文檔型數(shù)據(jù)庫(kù)。
2 大數(shù)據(jù)存數(shù)的標(biāo)準(zhǔn)化分析
2.1 云存儲(chǔ)服務(wù)
目前在大數(shù)據(jù)存儲(chǔ)上,普通用戶使用的云存儲(chǔ)服務(wù)大多為基于對(duì)象類型,表現(xiàn)為以下幾種模式:⑴綁定。綁定對(duì)象為特定的編程語(yǔ)言,表現(xiàn)為API開發(fā)包,這類型的綁定處理利用了在REST接口上的一層封裝,讓編程語(yǔ)言在運(yùn)行效率上能夠大大提升。⑵接口設(shè)置。接口設(shè)置方面,主要采用HTTP接口或是REST接口兩種,要想實(shí)現(xiàn)云存儲(chǔ)服務(wù),就必須通過(guò)編程實(shí)現(xiàn)其交互功能,達(dá)到數(shù)據(jù)存儲(chǔ)的有效性。⑶非編程狀態(tài)下的存儲(chǔ)。這一種形式是由第三方軟件或是云存儲(chǔ)本身所在的運(yùn)營(yíng)商通過(guò)其門戶管理來(lái)完成的。對(duì)于使用者而言,它不需要再次編程,直接利用管理軟件調(diào)用REST接口或是圖形界面即可使用數(shù)據(jù)存儲(chǔ)功能。在這一形式中,使用者在后臺(tái)控制上會(huì)受到第三方軟件或者Portal的限制。
2.2 數(shù)據(jù)模型的設(shè)定及應(yīng)用接口研究
在數(shù)據(jù)存儲(chǔ)管理方面,應(yīng)注意對(duì)隊(duì)列對(duì)象、能力對(duì)象、域?qū)ο蟆?shù)據(jù)對(duì)象以及容器對(duì)象這5個(gè)對(duì)象的管理,并實(shí)現(xiàn)對(duì)存儲(chǔ)數(shù)據(jù)的訪問(wèn)功能。在這5個(gè)對(duì)象中,前三個(gè)屬于特殊容器對(duì)象的一種。在Key-Valuc幫助下,每個(gè)對(duì)象均能夠?qū)崿F(xiàn)元數(shù)據(jù)描述功能。這里的元數(shù)據(jù)指的是使用者自定義數(shù)據(jù)、存儲(chǔ)管理數(shù)據(jù)以及安全元數(shù)據(jù)等。
應(yīng)用接口方面,大數(shù)據(jù)存儲(chǔ)技術(shù)的應(yīng)用系統(tǒng)可分為4種,即對(duì)象存儲(chǔ)系統(tǒng)、分布式文件系統(tǒng)、分布式關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)以及NoSQL數(shù)據(jù)庫(kù)系統(tǒng),不同系統(tǒng)在應(yīng)用接口類型、應(yīng)用環(huán)境以及特性方面對(duì)比如下:⑴對(duì)象存儲(chǔ)系統(tǒng)。可適用REST或是HTTP接口,用于處理基于對(duì)象的設(shè)備操作以及數(shù)據(jù)存儲(chǔ),可有效定義對(duì)象的屬性,為用戶提供基于數(shù)據(jù)對(duì)象的功能操作。⑵分布式文件系統(tǒng)。其應(yīng)用接口可使用HTTP、CIFS或是NFS,主要應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)的管理以及存儲(chǔ),能夠?qū)⒃獢?shù)據(jù)有效定義,同時(shí)為用戶提供應(yīng)用及功能并管理相關(guān)數(shù)據(jù)。⑶分布式關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)。可適用SQL、JDBC、ODBC應(yīng)用接口,應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)的管理與存儲(chǔ),能夠?qū)﹃P(guān)系型數(shù)據(jù)模型有效定義,訪問(wèn)時(shí)基于數(shù)據(jù)組織結(jié)構(gòu)狀態(tài)。⑷NoSQL數(shù)據(jù)庫(kù)系統(tǒng)。適用于API、REST或是HTTP接口,用于對(duì)半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行管理與存儲(chǔ),其不支持SQL,數(shù)據(jù)模型處理原則采用schema-free原則。
3 結(jié)束語(yǔ)
大數(shù)據(jù)存儲(chǔ)并非一項(xiàng)單純技術(shù),而是多種不同存儲(chǔ)技術(shù)的綜合。在具體操作方面,其應(yīng)用接口類型多樣化,目前應(yīng)用最為成熟的算是分布式文件系統(tǒng)。NoSQL數(shù)據(jù)庫(kù)系統(tǒng)以及對(duì)象存儲(chǔ)系統(tǒng)在應(yīng)用上尚未達(dá)到成熟階段,相信在今后的研究中會(huì)不斷完善,讓大數(shù)據(jù)存儲(chǔ)不斷趨近標(biāo)準(zhǔn)化,提升其使用可行性。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:淺談網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)及其應(yīng)用
摘 要:現(xiàn)在網(wǎng)絡(luò)已經(jīng)在人們的生活中得到普及,選擇良好的數(shù)據(jù)存儲(chǔ)方式已經(jīng)越來(lái)越重要。目前存儲(chǔ)已經(jīng)從主機(jī)系統(tǒng)中脫離出來(lái)發(fā)展成為了一個(gè)獨(dú)立的系統(tǒng)。網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展目標(biāo)就是低成本、高智能。本文就將對(duì)現(xiàn)在出現(xiàn)的網(wǎng)絡(luò)存儲(chǔ)技術(shù)進(jìn)行深入分析,分別研究傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)和現(xiàn)代化網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的運(yùn)用。
關(guān)鍵詞:網(wǎng)絡(luò)數(shù)據(jù);存儲(chǔ)技術(shù);運(yùn)用分析
伴隨網(wǎng)絡(luò)快速的發(fā)展,對(duì)于用戶選擇一種能夠滿足需求的高性能網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方式變得尤其重要。怎樣做到保障數(shù)據(jù)的安全性、一致性、性。怎樣能夠集中的對(duì)網(wǎng)上數(shù)據(jù)進(jìn)行訪問(wèn),做到集中管理不同的數(shù)據(jù),又怎樣實(shí)現(xiàn)保護(hù)和訪問(wèn)不同主機(jī)類型的數(shù)據(jù)等一系列問(wèn)題,都是需要通過(guò)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)完成的。現(xiàn)在數(shù)據(jù)存儲(chǔ)中經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)災(zāi)難,小到錯(cuò)誤的操作和普通文件的損壞,大到由于病毒入侵或是黑客攻擊導(dǎo)致整個(gè)網(wǎng)絡(luò)出現(xiàn)癱瘓。所以現(xiàn)在的各個(gè)企業(yè)單位必須有完善的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)恢復(fù)計(jì)劃方案。現(xiàn)在人們普遍使用的就是采用網(wǎng)絡(luò)技術(shù)將數(shù)據(jù)信息進(jìn)行異地儲(chǔ)存,也就是數(shù)據(jù)信息不直接儲(chǔ)存到本地的服務(wù)器上,而是采用相關(guān)網(wǎng)絡(luò)存儲(chǔ)技術(shù)將信息儲(chǔ)存在和服務(wù)器相連的專業(yè)設(shè)備上。現(xiàn)在主要使用的網(wǎng)絡(luò)信息存儲(chǔ)技術(shù)有:DAS、SAN、NAS,以下將對(duì)這三種技術(shù)進(jìn)行分析。
1 傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)分析
DAS存儲(chǔ)技術(shù)是指利用光纖通道或是SCSI接口將儲(chǔ)存設(shè)備直接連接到計(jì)算機(jī)上。當(dāng)服務(wù)器所在的位置較為分散,無(wú)法使用遠(yuǎn)程連接實(shí)現(xiàn)互聯(lián)時(shí),就可以直接連接。直接連接需要投入的成本較少,而且需要的時(shí)間也很短,一般在集群環(huán)境中對(duì)存儲(chǔ)容量進(jìn)行拓展。DAS已經(jīng)有很長(zhǎng)的發(fā)展歷史了,也是現(xiàn)在較為普遍的網(wǎng)絡(luò)儲(chǔ)存設(shè)備。但是伴隨用戶數(shù)據(jù)在不斷增長(zhǎng),也就在擴(kuò)展、存儲(chǔ)等方面暴露出很多的問(wèn)題。問(wèn)題的出現(xiàn)主要有以下幾點(diǎn)原因:
1.1 DAS儲(chǔ)存方式。DAS在進(jìn)行存儲(chǔ)維護(hù)管理和系統(tǒng)的I/O讀寫對(duì)服務(wù)器主機(jī)操作系統(tǒng)有很強(qiáng)的依賴性,數(shù)據(jù)設(shè)備和恢復(fù)需要占用CPU、I/O等服務(wù)器主機(jī)資源,數(shù)據(jù)流必須要流回到主機(jī)之后再到服務(wù)器連接著的磁帶機(jī)。一般而言數(shù)據(jù)存儲(chǔ)需要占用20%-30%的主機(jī)資源,這也就導(dǎo)致企業(yè)的數(shù)據(jù)日常存儲(chǔ)工作一般需要在業(yè)務(wù)系統(tǒng)不繁忙的情況下進(jìn)行,防止由于占用到服務(wù)器主機(jī)資源影響企業(yè)業(yè)務(wù)系統(tǒng)的正常運(yùn)行。當(dāng)DAS儲(chǔ)存的數(shù)據(jù)量很大時(shí),就需要花費(fèi)很長(zhǎng)的時(shí)間,而且對(duì)服務(wù)器硬件會(huì)有一定的影響。
(1)DAS的SCSI連接。采用SCSI連接DAS與服務(wù)器主機(jī)之間的連接通道。服務(wù)器的CPU不斷的加強(qiáng),存儲(chǔ)硬盤空間就會(huì)變大,排列出來(lái)的硬盤數(shù)量也就越來(lái)越多,SCSI通道將會(huì)成為I/O瓶頸,由于服務(wù)器主機(jī)的SCSI的ID是有限的,所以SCSI連接通道也是有限的。(2)DAS的限制。將一臺(tái)服務(wù)器拓展成為由多臺(tái)服務(wù)器組成的集群或是拓展儲(chǔ)存陣列的容量,都有可能導(dǎo)致企業(yè)業(yè)務(wù)系統(tǒng)出現(xiàn)停機(jī),給企業(yè)帶來(lái)不同程度的經(jīng)濟(jì)損失,而且無(wú)論是DAS的存儲(chǔ)還是主機(jī)服務(wù)器的拓展都是需要原廠商提供,受到了一定的限制。
1.2 NAS儲(chǔ)存技術(shù)。NAS是一種數(shù)據(jù)存儲(chǔ)附加技術(shù),在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中有著重要地位,能夠?qū)⒂?jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)和計(jì)算機(jī)磁盤序列直接連接起來(lái),由計(jì)算機(jī)操作系統(tǒng)和計(jì)算機(jī)服務(wù)器構(gòu)成NAS技術(shù)的服務(wù)器,在實(shí)際運(yùn)用中能夠發(fā)揮很強(qiáng)的拓展性,而且NAS也是帶有操作系統(tǒng)的存儲(chǔ)設(shè)備,就相當(dāng)于一個(gè)專用的文件服務(wù)器,對(duì)文件系統(tǒng)能進(jìn)行針對(duì)性的優(yōu)化,具有安全、等優(yōu)點(diǎn),在電子出版、法律、教育等方面有廣泛的使用。
(1)NAS的關(guān)鍵特性。一是將一般服務(wù)器中沒有發(fā)揮作用的計(jì)算功能給去掉,只提供存儲(chǔ)服務(wù)需要使用的文件系統(tǒng)功能,減少了成本。對(duì)系統(tǒng)軟硬件的結(jié)構(gòu)進(jìn)行優(yōu)化,使得存儲(chǔ)和網(wǎng)絡(luò)之間以最有效的方式發(fā)送數(shù)據(jù),網(wǎng)絡(luò)操作系統(tǒng)內(nèi)核具有多線程、多任務(wù)的特點(diǎn),數(shù)據(jù)傳輸速率高、非常適合處理網(wǎng)絡(luò)的I/O請(qǐng)求。二是NAS主要以網(wǎng)絡(luò)為中心,直接運(yùn)用現(xiàn)有的網(wǎng)絡(luò)資源接入到專用的存儲(chǔ)設(shè)備,而不需要再連接儲(chǔ)存設(shè)備
(2)NAS的技術(shù)性能。現(xiàn)在NAS得到非常普遍的需求主要因?yàn)樗幸韵聝?yōu)點(diǎn):一是能夠共享和訪問(wèn)大量的文件數(shù)據(jù),很好的滿足企業(yè)的需求。二是企業(yè)在不斷的發(fā)展,大型的磁帶庫(kù)或是硬盤等產(chǎn)品雖然能夠解決儲(chǔ)存問(wèn)題,但是由于成本過(guò)高,對(duì)于一些中小型企業(yè)可能很難接受,所以NAS能夠改善這個(gè)問(wèn)題。三是文件數(shù)據(jù)能夠通過(guò)網(wǎng)絡(luò)傳輸?shù)蕉嗯_(tái)客戶機(jī)上,方便部署。
(3)NAS的存在的缺陷。NAS本身有很大的網(wǎng)絡(luò)協(xié)議的開銷,因此在數(shù)據(jù)訪問(wèn)上一些對(duì)訪問(wèn)速度要求很高的場(chǎng)合是不適合使用NAS的,比如數(shù)據(jù)庫(kù)的一些運(yùn)用等。NAS技術(shù)在使用時(shí)會(huì)對(duì)LAN相關(guān)帶寬有所占用,從而會(huì)有一部分的網(wǎng)絡(luò)資源被浪費(fèi)掉,可能會(huì)造成用戶的正常使用。NAS還有一個(gè)限制因素就是很難統(tǒng)一集中管理多個(gè)相關(guān)設(shè)備,只能夠?qū)蝹€(gè)儲(chǔ)存設(shè)備進(jìn)行單一管理,目前還無(wú)法跨越不同的設(shè)備。
1.3 SAN。SAN采用光纖通道技術(shù),在網(wǎng)絡(luò)服務(wù)群后端,使用交換機(jī)連接服務(wù)器主機(jī)和儲(chǔ)存陣列,形成專門用于區(qū)域網(wǎng)絡(luò)的存儲(chǔ)。
(1)SAN存儲(chǔ)性能。一是SAN和一般的網(wǎng)絡(luò)不同,是為了連接服務(wù)器、磁帶庫(kù)、磁盤陣列專門設(shè)計(jì)的網(wǎng)絡(luò),并且具有很高的性能。二是由于具有很好的存儲(chǔ)連接,服務(wù)器能夠訪問(wèn)磁盤陣列、磁帶等任何的儲(chǔ)存設(shè)備,而且儲(chǔ)存設(shè)備和SAN交換機(jī)以及儲(chǔ)存設(shè)備和儲(chǔ)存設(shè)備之都能進(jìn)行信息間傳遞。三是非常適合一些數(shù)據(jù)恢復(fù)和服務(wù)器集群等需要傳輸大量數(shù)據(jù)的應(yīng)用。(2)SAN的技術(shù)性能。現(xiàn)代企業(yè)對(duì)數(shù)據(jù)存儲(chǔ)的要求越來(lái)越高,所以有些企業(yè)采用SAN技術(shù)作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施。SAN有以下優(yōu)點(diǎn):一是能過(guò)實(shí)現(xiàn)大容量存儲(chǔ)設(shè)備的數(shù)據(jù)共享。二是加強(qiáng)了數(shù)據(jù)存儲(chǔ)的性、開放性。三是利用光纖數(shù)據(jù)傳輸效率很快,還具有超強(qiáng)的拓展性。(3)SAN的缺陷。SAN技術(shù)在維護(hù)和構(gòu)建時(shí),需要具有很強(qiáng)專業(yè)能力、業(yè)務(wù)知識(shí)、豐富經(jīng)驗(yàn)的工作人員,這也就增加一筆人力費(fèi)用。并且SAN在連接距離上受到了一定的限制。而且由于連接設(shè)備在價(jià)格上比較高昂,這也就阻礙了SAN技術(shù)的發(fā)展。
2 現(xiàn)代化新型網(wǎng)絡(luò)存儲(chǔ)技術(shù)
2.1 OBS。OBS是基于對(duì)象存儲(chǔ)的,它的數(shù)據(jù)塊長(zhǎng)度是可以變化的,存儲(chǔ)屬性的基本容器也是具有可拓展性的存儲(chǔ)容器能夠提供和文件相似的訪問(wèn)方式,比如能夠打開、進(jìn)行讀寫等操作。NAS和SAN的一些優(yōu)點(diǎn)在OBS上得到了綜合體現(xiàn),由于是采用的對(duì)象接口,所以在很大程度上提升了網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的性能,具備了非常高的擴(kuò)展性。OBS有一大顯著特點(diǎn),就是能夠?qū)⒕W(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的相關(guān)物理視圖下放到一些存儲(chǔ)設(shè)備當(dāng)中,OBS的技術(shù)理念是人們關(guān)注的重點(diǎn)內(nèi)容,它的高性能和極強(qiáng)的擴(kuò)展性使其得到了人們的認(rèn)可,也在網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域占得重要地位。
2.2 云存儲(chǔ)。云儲(chǔ)存和云計(jì)算非常的相似,它的發(fā)展基礎(chǔ)就是云計(jì)算,主要是通過(guò)相關(guān)軟件將網(wǎng)絡(luò)各種存儲(chǔ)數(shù)據(jù)集合在一起,共同進(jìn)行工作。使用網(wǎng)絡(luò)技術(shù)或是集群運(yùn)用等功能,對(duì)外進(jìn)行業(yè)務(wù)訪問(wèn)或是對(duì)相關(guān)數(shù)據(jù)進(jìn)行存儲(chǔ)。
3 結(jié)束語(yǔ)
現(xiàn)在NAS、DAS、SAN之間存在的差異正逐漸被模糊。目前所有的網(wǎng)絡(luò)存儲(chǔ)技術(shù)在社會(huì)經(jīng)濟(jì)的不斷發(fā)展和用戶的各種需求下逐步的趨于完善。NAS、SAN都是在人們對(duì)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的各種訴求中在之前DAS的基礎(chǔ)上發(fā)展起來(lái)的。在新時(shí)期又出現(xiàn)了OBS和云存儲(chǔ),目前無(wú)論是傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)還是現(xiàn)代化的網(wǎng)絡(luò)存儲(chǔ)技術(shù),都還存在一些或多或少的問(wèn)題,需要不斷的進(jìn)行研究和完善。通過(guò)加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的安全性、拓展性、性,來(lái)促進(jìn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的運(yùn)用。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:芻議海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高性關(guān)鍵技術(shù)研究與應(yīng)用
【摘要】近些年,隨著存儲(chǔ)技術(shù)的日益發(fā)展,如何對(duì)海量的數(shù)據(jù)進(jìn)行高效的處理和存儲(chǔ),已經(jīng)成為計(jì)算機(jī)信息技術(shù)中急需解決的問(wèn)題,TB或PB級(jí)容量存儲(chǔ)系統(tǒng)的出現(xiàn)已經(jīng)成為現(xiàn)實(shí)。本文介紹了海量數(shù)據(jù)的基本特征,分析了海量數(shù)據(jù)存儲(chǔ)的基本原則,提出幾種適用于海量數(shù)據(jù)的存儲(chǔ)方式來(lái)提升存儲(chǔ)的高性。
【關(guān)鍵詞】海量數(shù)據(jù) 存儲(chǔ)系統(tǒng) 性 技術(shù)
隨著信息技術(shù)的不斷發(fā)展,數(shù)據(jù)已經(jīng)成為了越來(lái)越多人日常生活中的重要資源。據(jù)統(tǒng)計(jì),全球信息化進(jìn)程大步推進(jìn),2010年創(chuàng)建、存儲(chǔ)和復(fù)制的數(shù)據(jù)總數(shù)已達(dá)到1.2ZB,2011年又達(dá)到了一個(gè)新里程碑1.8ZB,根據(jù)這種增長(zhǎng)速度,預(yù)計(jì)到2015年將達(dá)到近8ZB。與此同時(shí),也有許多海量數(shù)據(jù)存儲(chǔ)單位,如國(guó)家地震局、國(guó)家氣象局、國(guó)家圖書館、中央電視臺(tái)等,每年可高達(dá)數(shù)幾十PB的數(shù)據(jù)存儲(chǔ)量。對(duì)于這樣的單位和企業(yè),解決他們數(shù)據(jù)高效的存儲(chǔ)問(wèn)題已經(jīng)成為當(dāng)下的主要問(wèn)題之一。所以在數(shù)據(jù)爆炸式增長(zhǎng)的大背景下,無(wú)論是個(gè)體還是單位和企業(yè),數(shù)據(jù)的存儲(chǔ)量持續(xù)增加必然導(dǎo)致存儲(chǔ)設(shè)備的不堪重負(fù)。為了滿足人們?nèi)找鏀U(kuò)大的數(shù)據(jù)存儲(chǔ)需求,對(duì)數(shù)據(jù)存儲(chǔ)的性、安全性提出了更高的要求,傳統(tǒng)技術(shù)和傳統(tǒng)手段已經(jīng)無(wú)法應(yīng)付目前的形式,如何實(shí)現(xiàn)高質(zhì)量、性高的數(shù)據(jù)存儲(chǔ)已經(jīng)成為整個(gè)行業(yè)面臨的巨大挑戰(zhàn)。
一、海量數(shù)據(jù)存儲(chǔ)的一般基本原則
海量數(shù)據(jù)是指數(shù)據(jù)量大、數(shù)據(jù)記錄多,具有非常復(fù)雜的不同類型。如何處理這樣一種特殊的信息,使其充分發(fā)揮作用,是我們關(guān)注的問(wèn)題。出于全局考慮,存儲(chǔ)海量數(shù)據(jù)應(yīng)遵循以下基本原則。首先,海量數(shù)據(jù)存儲(chǔ)應(yīng)“分層存儲(chǔ)”,引入數(shù)據(jù)的綜合分析概念,區(qū)別數(shù)據(jù)的本質(zhì)從而采取不同的存儲(chǔ)策略。讀取頻次較高的數(shù)據(jù)應(yīng)當(dāng)存儲(chǔ)在大容量磁盤陣列,低速磁盤陣列則應(yīng)當(dāng)儲(chǔ)存訪問(wèn)頻次較低的數(shù)據(jù),訪問(wèn)頻次極低的數(shù)據(jù)則應(yīng)當(dāng)儲(chǔ)存在磁帶介質(zhì)上。其次,配備足夠容量的高性能陣列,并輔之以相關(guān)的軟件將數(shù)據(jù)自動(dòng)分層存儲(chǔ)管理。再次,考慮需要存儲(chǔ)的數(shù)據(jù)的復(fù)雜類型,應(yīng)設(shè)計(jì)相對(duì)完整的解決方案,以確保數(shù)據(jù)儲(chǔ)存的性。
二、存儲(chǔ)系統(tǒng)及其性實(shí)現(xiàn)
(一)磁盤陣列存儲(chǔ)。
RAID(Redundant Array of Independent Disks) 是冗余的獨(dú)立磁盤陣列的英文縮寫。1988年提出由美國(guó)加州大學(xué)伯克利分校的David Patterson等人提出了這一概念。冗余是為了糾正錯(cuò)誤,并采取有效方法提高性,獨(dú)立是指陣列不存在于主機(jī)內(nèi),而是自成一體的系統(tǒng)。一般可以分為多個(gè)不同的RAID級(jí)別,最常用的是RAID0到RAID6。
(1)RAID0:沒有任何冗余磁盤陣列。RAID0無(wú)法提供一個(gè)良好的冗余或奇偶校驗(yàn),但它能夠提供非常高的傳輸速率和I/O速率。
(2)RAID1:提供了非常高的性和安全性,適合存放重要數(shù)據(jù)。
(3)RAID2:并行處理陣列,提供鏡像和分段的數(shù)據(jù)存儲(chǔ)。
(4)RAID3:RAID2的基礎(chǔ)上,增加一個(gè)奇偶校驗(yàn)驅(qū)動(dòng)器,為每個(gè)I/O操作提供服務(wù)。
(5)RAID4:使用塊級(jí)拆分,一個(gè)單獨(dú)的磁盤為其他N-1個(gè)磁盤保留奇偶校驗(yàn)塊。此等級(jí)很少使用。
(6)RAID5:RAID4的基礎(chǔ)上,將數(shù)據(jù)和奇偶校驗(yàn)分布在所有N+1個(gè)磁盤中,是適合大型數(shù)據(jù)系統(tǒng)的等級(jí)。
(7)RAID6:RAID5的基礎(chǔ)上進(jìn)行改進(jìn),提供一個(gè)安全網(wǎng),防止多個(gè)磁盤發(fā)生故障的情況。
RAID技術(shù)為用戶提供了可以同時(shí)兼顧速度和良好數(shù)據(jù)安全的解決方案,磁盤陣列可避免單個(gè)磁盤故障帶來(lái)災(zāi)難性的后果,從而保障了高性的數(shù)據(jù)存儲(chǔ)。但不同的RAID級(jí)別在完整性和性方面還有不同程度的缺陷。
(二)網(wǎng)格存儲(chǔ)。
和網(wǎng)格計(jì)算類似,是部署和管理分布在多個(gè)系統(tǒng)和網(wǎng)絡(luò)存儲(chǔ)的新模式,網(wǎng)格實(shí)際上是一個(gè)網(wǎng)狀網(wǎng)絡(luò),它不控制單個(gè)集中式交換機(jī)或集線器的路由。網(wǎng)格提供了無(wú)限的可擴(kuò)展性的大小和性能,因?yàn)樗鼈儾粫?huì)受到集中的中央交換機(jī)的舒服。因此,降低了網(wǎng)格網(wǎng)絡(luò)部件的成本,以產(chǎn)生和靈活的結(jié)構(gòu)。
(三)P2P 存儲(chǔ)。
P2P帶來(lái)的變化是改變“內(nèi)容”所在位置,從“中心”走向“邊緣”,該內(nèi)容將不再是存儲(chǔ)在在幾個(gè)主要的服務(wù)器上的,而是存儲(chǔ)在所有的用戶PC上。這為網(wǎng)絡(luò)存儲(chǔ)提供了可能,我們將提高網(wǎng)絡(luò)的剩余存儲(chǔ)空間的利用率。對(duì)存儲(chǔ)容量的需求是無(wú)止境的,提高存儲(chǔ)容量,在某種程度上也是保障了數(shù)據(jù)的高性。
(四)存儲(chǔ)容災(zāi)。
存儲(chǔ)容災(zāi)是指建立一個(gè)異地的數(shù)據(jù)系統(tǒng),可以理解為是一個(gè)本地副本,可用于存儲(chǔ)關(guān)鍵數(shù)據(jù)。當(dāng)本地?cái)?shù)據(jù)及整個(gè)應(yīng)用系統(tǒng)崩潰時(shí),系統(tǒng)保存的異地?cái)?shù)據(jù)系統(tǒng)可以提供至少一個(gè)可用的關(guān)鍵業(yè)務(wù)數(shù)據(jù)。該數(shù)據(jù)可以實(shí)時(shí)地與本地生產(chǎn)完整數(shù)據(jù)復(fù)制,也可以稍微落后于本地?cái)?shù)據(jù),但它是可用的。采用的主要技術(shù)是數(shù)據(jù)備份和數(shù)據(jù)復(fù)制技術(shù)。通過(guò)特定的容災(zāi)機(jī)制,可以將崩潰發(fā)生后的傷害降到低,較大限度保護(hù)海量數(shù)據(jù)系統(tǒng)的正常應(yīng)用以及不間斷服務(wù)。
三、總結(jié)
隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展及普及,全球化數(shù)字時(shí)代已經(jīng)到來(lái),數(shù)據(jù)呈現(xiàn)出了飛速增長(zhǎng)的趨勢(shì),這樣就給數(shù)據(jù)的存儲(chǔ)工作帶來(lái)了大量的工作難度。在數(shù)據(jù)爆炸式增長(zhǎng)的大背景下,無(wú)論是個(gè)體還是單位和企業(yè),數(shù)據(jù)的存儲(chǔ)量持續(xù)增加必然導(dǎo)致存儲(chǔ)設(shè)備的不堪重負(fù)。為了滿足人們?nèi)找鏀U(kuò)大的數(shù)據(jù)存儲(chǔ)需求,對(duì)數(shù)據(jù)存儲(chǔ)的性、安全性提出了更高的要求。通過(guò)以上四種信息存儲(chǔ)方式,可以有效提高海量數(shù)據(jù)的存儲(chǔ),實(shí)現(xiàn)數(shù)據(jù)的安全性。
數(shù)據(jù)存儲(chǔ)技術(shù)論文:大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展
【摘要】數(shù)據(jù)存儲(chǔ)技術(shù)經(jīng)歷了從手工管理到文件管理、再到數(shù)據(jù)庫(kù)管理系統(tǒng)三個(gè)階段,數(shù)據(jù)庫(kù)技術(shù)中關(guān)系數(shù)據(jù)庫(kù)占據(jù)了主要地位。互聯(lián)網(wǎng)絡(luò)的興起,促使用戶數(shù)據(jù)暴增,大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨,對(duì)存儲(chǔ)介質(zhì)容量和數(shù)據(jù)檢索速度都提出了更高的要求,傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)難以勝任這一角色,NOSQL數(shù)據(jù)庫(kù)逐漸興起。本文在介紹大數(shù)據(jù)概念的基礎(chǔ)上,分析關(guān)系數(shù)據(jù)庫(kù)的優(yōu)劣勢(shì),并介紹NOSQL數(shù)據(jù)庫(kù)的理論基礎(chǔ)和當(dāng)前NOSQL數(shù)據(jù)庫(kù)產(chǎn)品。
【關(guān)鍵詞】大數(shù)據(jù);關(guān)系數(shù)據(jù)庫(kù);NOSQL
一、大數(shù)據(jù)
1.大數(shù)據(jù)產(chǎn)生的背景
大數(shù)據(jù)(Big Data),也稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的資訊,通常被認(rèn)為是PB或EB或更高數(shù)量級(jí)的數(shù)據(jù)。
互聯(lián)網(wǎng)絡(luò)從上世紀(jì)90年代開始,發(fā)展迅速,加快了信息傳播和共享的速度,尤其是一些社交網(wǎng)站的興起,數(shù)據(jù)量更是以前所未有的速度暴增,文字資料、聲音、視頻、圖像等多媒體數(shù)據(jù)鋪天蓋地。據(jù)資料顯示,上世紀(jì)90年代,互聯(lián)網(wǎng)資源不是很豐富的時(shí)代,網(wǎng)民月平均流量1MB左右,之后則快速增長(zhǎng),2000年后,逐漸發(fā)展為每月10MB、100MB、1GB,據(jù)估計(jì)2014年可能會(huì)達(dá)到10GB。淘寶網(wǎng)每日幾千萬(wàn)筆交易,單日數(shù)據(jù)量達(dá)幾十TB,數(shù)據(jù)存儲(chǔ)量幾十PB,百度公司目前數(shù)據(jù)總量接近1000PB,存儲(chǔ)網(wǎng)頁(yè)數(shù)量接近1萬(wàn)億頁(yè),每天大約要處理60億次搜索請(qǐng)求,幾十PB數(shù)據(jù)。
隨著技術(shù)發(fā)展,大數(shù)據(jù)廣泛存在,如企業(yè)數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)、科學(xué)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、移動(dòng)數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等等。總之,大數(shù)據(jù)存在于各行各業(yè),一個(gè)大數(shù)據(jù)的時(shí)代已經(jīng)到來(lái)。
2.大數(shù)據(jù)時(shí)代的挑戰(zhàn)
大數(shù)據(jù)特點(diǎn)是容量在增長(zhǎng)、種類在增長(zhǎng)、速度也在增長(zhǎng),面臨如此龐大的數(shù)據(jù)量,數(shù)據(jù)的存儲(chǔ)和檢索面臨著巨大挑戰(zhàn)。比如2007年時(shí),F(xiàn)acebook使用數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)15個(gè)TB的數(shù)據(jù),但到了2010年,每天壓縮過(guò)的數(shù)據(jù)比過(guò)去總和還多,那時(shí)商業(yè)并行數(shù)據(jù)庫(kù)很少有超過(guò)100個(gè)節(jié)點(diǎn)以上的,而現(xiàn)在雅虎的Hadoop集群超過(guò)4000個(gè)節(jié)點(diǎn),F(xiàn)acebook倉(cāng)庫(kù)節(jié)點(diǎn)超過(guò)2700個(gè)。大量的數(shù)據(jù)現(xiàn)在已經(jīng)開始影響我們整個(gè)的工作、生活、甚至經(jīng)濟(jì),如何存儲(chǔ)和高效利用這些數(shù)據(jù)是需要我們解決的。
二、關(guān)系數(shù)據(jù)庫(kù)
1.關(guān)系數(shù)據(jù)庫(kù)概述
關(guān)系型數(shù)據(jù)庫(kù)是支持關(guān)系模型的數(shù)據(jù)庫(kù)系統(tǒng),他是目前各類數(shù)據(jù)庫(kù)中最重要,也是使用最廣泛的數(shù)據(jù)庫(kù)系統(tǒng)。關(guān)系型數(shù)據(jù)庫(kù)從上世紀(jì)70年代誕生到現(xiàn)在經(jīng)過(guò)幾十年的發(fā)展,已經(jīng)非常成熟,目前市場(chǎng)上主流的數(shù)據(jù)庫(kù)都為關(guān)系型數(shù)據(jù)庫(kù),比較知名的有Oracle數(shù)據(jù)庫(kù)、DB2、Sybase、SQL Server等等。
2.關(guān)系數(shù)據(jù)庫(kù)優(yōu)勢(shì)
關(guān)系數(shù)據(jù)庫(kù)相比其他模型的數(shù)據(jù)庫(kù)而言,有著以下優(yōu)點(diǎn):
模型容易理解:關(guān)系模型中的二維表結(jié)構(gòu)非常貼近邏輯世界,相對(duì)于網(wǎng)狀、層次等其他模型來(lái)說(shuō)更容易理解。
使用方便:通用的SQL語(yǔ)言使得操作關(guān)系型數(shù)據(jù)庫(kù)非常方便,只需使用SQL語(yǔ)言在邏輯層面操作數(shù)據(jù)庫(kù),而不必理解其底層實(shí)現(xiàn)。
易于維護(hù):豐富的完整性大大降低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率。
3.關(guān)系數(shù)據(jù)庫(kù)存在問(wèn)題
傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)具有不錯(cuò)的性能,穩(wěn)定性高,歷經(jīng)多年發(fā)展已日臻成熟,而且使用簡(jiǎn)單,功能強(qiáng)大,也積累了大量的成功案例。上世紀(jì)90年代的互聯(lián)網(wǎng)領(lǐng)域,網(wǎng)站基本都是靜態(tài)網(wǎng)頁(yè),主要以文字為主,訪問(wèn)量也不大,當(dāng)時(shí)用單個(gè)數(shù)據(jù)庫(kù)可以應(yīng)對(duì)。可近幾年,動(dòng)態(tài)網(wǎng)站隨處可見,各種論壇、博克、微博異常火爆,在大幅度提升交流方式的同時(shí),用戶數(shù)據(jù)量迅速增長(zhǎng),處理事務(wù)性的數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)得心應(yīng)手,可面對(duì)互聯(lián)網(wǎng)的高并發(fā)、大數(shù)據(jù)量關(guān)系數(shù)據(jù)庫(kù)顯得力不從心,暴露了很多難以克服的問(wèn)題:
數(shù)據(jù)庫(kù)高并發(fā)讀寫:高并發(fā)的動(dòng)態(tài)網(wǎng)站數(shù)據(jù)庫(kù)并發(fā)負(fù)載非常高,往往要達(dá)到每秒上萬(wàn)次甚至百萬(wàn)次、千萬(wàn)次的讀寫請(qǐng)求。關(guān)系數(shù)據(jù)庫(kù)應(yīng)付上萬(wàn)次SQL查詢沒問(wèn)題,但是應(yīng)付上百萬(wàn)、千萬(wàn)次SQL數(shù)據(jù)請(qǐng)求,硬盤IO就已經(jīng)無(wú)法承受了。
海量數(shù)據(jù)的高效率訪問(wèn):一般大型數(shù)據(jù)庫(kù)在百萬(wàn)級(jí)的數(shù)據(jù)庫(kù)表中檢索數(shù)據(jù)可達(dá)到秒級(jí),但面對(duì)數(shù)億條記錄的數(shù)據(jù)庫(kù)表,檢索速度效率是極其低下,難以忍受的。
數(shù)據(jù)庫(kù)可擴(kuò)展性和高可用性:基于web的架構(gòu)當(dāng)中,數(shù)據(jù)庫(kù)無(wú)法通過(guò)添加更多的硬件和服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展性能和負(fù)載能力,對(duì)于很多需要提供24小時(shí)不間斷服務(wù)的網(wǎng)站來(lái)說(shuō),數(shù)據(jù)庫(kù)系統(tǒng)升級(jí)和擴(kuò)展卻只能通過(guò)停機(jī)來(lái)實(shí)現(xiàn),這無(wú)疑是一個(gè)艱難的決定。
三、NOSQL數(shù)據(jù)庫(kù)
1.NOSQL數(shù)據(jù)庫(kù)理論基礎(chǔ)
NOSQL作為新興數(shù)據(jù)庫(kù)系統(tǒng)概念,由于其具備處理海量數(shù)據(jù)的能力,近年來(lái)受到各大IT公司的追捧。Amazon、Google等大型網(wǎng)商已紛紛斥資進(jìn)行研究并開發(fā)了適用的產(chǎn)品。談及NOSQL數(shù)據(jù)庫(kù),首先應(yīng)該了解支持NOSQL的理論:CAP理論、BASE思想和最終一致性。
(1)CAP理論
CAP理論由Eric Brewer在ACM PODC會(huì)議上的主題報(bào)告中提出,這個(gè)理論是NOSQL數(shù)據(jù)管理系統(tǒng)構(gòu)建的基礎(chǔ),CAP解釋為一致性(Consistency)、可用性(Availability)以及分區(qū)容忍性(Partition Tolerance)。具體描述如下:
強(qiáng)一致性(Consistency):系統(tǒng)在執(zhí)行過(guò)某項(xiàng)操作后仍然處于一致的狀態(tài)。在分布式數(shù)據(jù)庫(kù)系統(tǒng)中,數(shù)據(jù)變更后所有的用戶都應(yīng)該讀取到近期的值,這樣的系統(tǒng)被認(rèn)為具有強(qiáng)一致性。
可用性(Availability):每一個(gè)操作都能夠在一定的時(shí)間內(nèi)返回結(jié)果。“一定時(shí)間內(nèi)”是指系統(tǒng)的結(jié)果必須在給定時(shí)間內(nèi)返回,如果超時(shí)則被認(rèn)為不可用,“返回結(jié)果”同樣非常重要,必須能提供成功或失敗的信息。
分區(qū)容錯(cuò)性(Partition Tolerance):分區(qū)容錯(cuò)性可以理解為系統(tǒng)在存在網(wǎng)絡(luò)分區(qū)的情況下仍然可以接受請(qǐng)求。
CAP是在分布式環(huán)境中設(shè)計(jì)和部署系統(tǒng)時(shí)所要考慮的三個(gè)重要的系統(tǒng)需求。根據(jù)CAP理論,數(shù)據(jù)共享系統(tǒng)只能滿足這三個(gè)特性中的兩個(gè),不能同時(shí)滿足三個(gè)條件。因此系統(tǒng)設(shè)計(jì)者必須在這三個(gè)特性之間做出權(quán)衡。例如Amazon的Dynamo具有高可用性和分區(qū)容錯(cuò)性但不支持強(qiáng)一致性,也就是說(shuō)用戶不能立即看到其他用戶更新的內(nèi)容。
(2)BASE思想
BASE(Basically Availble),基本可用,強(qiáng)調(diào)數(shù)據(jù)庫(kù)的最終一致(Eventually consistent最終一致,最終數(shù)據(jù)一致就可以,而不是時(shí)時(shí)高一致),不同于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)基于的ACID模型。
ACID特性與高性能是不兼容的。比如,在網(wǎng)店買東西,每個(gè)客戶買東西時(shí)都會(huì)通過(guò)鎖來(lái)同步數(shù)據(jù)操作,操作完成每個(gè)客戶都可以看到一致的數(shù)據(jù)。也就是說(shuō),不允許多個(gè)客戶同時(shí)買的情況。很明顯對(duì)于大多數(shù)網(wǎng)上商城,尤其是大型網(wǎng)商來(lái)說(shuō),這個(gè)方法并不適用。
BASE思想實(shí)際上是CAP理論中AP的衍伸。通過(guò)犧牲高一致性,保障高可用性和分區(qū)容忍性。BASE思想的組成有以下3個(gè)部分:基本可用、軟狀態(tài)、最終一致性。BASE模式指的是一個(gè)應(yīng)用在任意時(shí)間首先應(yīng)該能完成最基本化的工作(即基本可用),并不需要總是一致(即軟狀態(tài)),但最終應(yīng)該是一致(即最終一致性)的。
(3)最終一致性
數(shù)據(jù)一致性可分別從使用者和提供者角度看:從使用者的角度,如何觀察數(shù)據(jù)更新;從提供者的角度,也就是服務(wù)器端,更新如何在系統(tǒng)中實(shí)現(xiàn)。
一致性可分為強(qiáng)一致性和弱一致性兩種:強(qiáng)一致性要求更新過(guò)的數(shù)據(jù)能被后續(xù)的訪問(wèn)都看到,根據(jù)CAP理論,強(qiáng)一致性無(wú)法和可用性、分區(qū)容忍性同時(shí)實(shí)現(xiàn);弱一致性,指讀取操作能夠見到變化的數(shù)據(jù),但不是所有變化的數(shù)據(jù)。
最終一致性屬于弱一致性的一種,即存儲(chǔ)系統(tǒng)保障如果沒有新的更新提交,最終所有的訪問(wèn)都將獲得的更新。如果沒有故障發(fā)生,不一致性取決于通信時(shí)延、系統(tǒng)負(fù)載以及復(fù)制策略中涉及的副本數(shù)。
2.NOSQL數(shù)據(jù)庫(kù)產(chǎn)品
NOSQL(Not Only SQL)數(shù)據(jù)庫(kù)是指那些非關(guān)系型的數(shù)據(jù)庫(kù)。NOSQL數(shù)據(jù)庫(kù)分為Key-Value、Key-Document和Key-Column這3類。典型的NOSQL產(chǎn)品有Google的BigTable、基于Hadoop HDFS的HBase、Amazon的Dynamo、CouchDB、MongoDB、Redis等。
NOSQL數(shù)據(jù)庫(kù)遵循CAP理論和BASE原則,大部分Key-Value數(shù)據(jù)庫(kù)系統(tǒng)都會(huì)根據(jù)自己的設(shè)計(jì)目的進(jìn)行相應(yīng)的選擇,如Cassandra、Dynamo滿足AP,BigTable、MongoDB滿足CP。
四、結(jié)束語(yǔ)
本文首先介紹了大數(shù)據(jù)概念,分析了關(guān)系數(shù)據(jù)庫(kù)在存儲(chǔ)大數(shù)據(jù)量方面的不足,并介紹了當(dāng)前NOSQL數(shù)據(jù)庫(kù)的基本理論和當(dāng)前產(chǎn)品分類。大數(shù)據(jù)時(shí)代的來(lái)臨,我們忙于如何存儲(chǔ)和處理這些數(shù)據(jù),但隨著計(jì)算機(jī)互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等網(wǎng)絡(luò)的快速發(fā)展,數(shù)據(jù)量會(huì)持續(xù)大幅增長(zhǎng),如何長(zhǎng)期保存這些數(shù)據(jù)以及如何處理更大級(jí)別的數(shù)據(jù)量,都需要我們思考并解決。