引論：我們?yōu)槟砹?篇數(shù)據(jù)存儲技術(shù)論文范文，供您借鑒以豐富您的創(chuàng)作。它們是您寫作時的寶貴資源，期望它們能夠激發(fā)您的創(chuàng)作靈感，讓您的文章更具深度。

數(shù)據(jù)存儲技術(shù)論文:局域網(wǎng)數(shù)據(jù)存儲技術(shù)分析論文

1.局域網(wǎng)安全存儲模型淺析

基于當(dāng)前工業(yè)環(huán)境中對于局域網(wǎng)數(shù)據(jù)存儲安全的需求，內(nèi)網(wǎng)海量文件數(shù)據(jù)存儲原型系統(tǒng)（MFDSS）在局域網(wǎng)環(huán)境中得到了廣泛應(yīng)用。其邏輯結(jié)構(gòu)參見圖1。在MFDSS系統(tǒng)環(huán)境中，各個組件通過網(wǎng)絡(luò)實現(xiàn)聯(lián)系，構(gòu)成邏輯層面共同工作的整體。其中客戶端直接與用戶保持溝通，負(fù)責(zé)維護(hù)用戶存儲視圖，并且用戶面向應(yīng)用服務(wù)器實現(xiàn)請求和響應(yīng)的傳輸。并且在獲取到服務(wù)器授權(quán)的前提下，支持客戶端與基于iSCSI的存儲設(shè)備SD之間實現(xiàn)直接通信。而應(yīng)用服務(wù)器從邏輯上位于中介位置，需要負(fù)責(zé)與客戶端保持溝通，并且面向客戶提供統(tǒng)一的存儲視圖，同時還需要與SD保持溝通，實現(xiàn)對于主機認(rèn)證以及設(shè)備操作認(rèn)證的控制，并且實現(xiàn)文件到對象的映射轉(zhuǎn)換。而在MFDSS體系中，元數(shù)據(jù)是重要的概念，具體分為系統(tǒng)元數(shù)據(jù)、內(nèi)容元數(shù)據(jù)和存儲元數(shù)據(jù)三種，對應(yīng)的元數(shù)據(jù)服務(wù)器則關(guān)注元數(shù)據(jù)管理的相關(guān)工作，并且實現(xiàn)元數(shù)據(jù)在存儲對象上的映射索引，同時支持從邏輯層面上對于多個SD設(shè)備的管理。這樣的文件存儲體系，相對于傳統(tǒng)文件體系而言有著十分顯著的工作特征。傳統(tǒng)文件存儲體系中，元數(shù)據(jù)通常由文件服務(wù)器實現(xiàn)維護(hù)，因此每次對數(shù)據(jù)訪問的相關(guān)操作都需要獲取元數(shù)據(jù)，因此在訪問請求頻繁發(fā)起的時候，承擔(dān)元數(shù)據(jù)相關(guān)操作的設(shè)備就必須同時面對多個請求，對應(yīng)的形成資源瓶頸的可能性也相對較大。對應(yīng)的無序訪問進(jìn)一步加劇整個系統(tǒng)存儲環(huán)境安全隱患的產(chǎn)生。而在MFDSS系統(tǒng)中，每次操作只有一次對于元數(shù)據(jù)的訪問請求，并且進(jìn)一步由專門的SD存儲設(shè)備和應(yīng)用服務(wù)器來共同實現(xiàn)對于整個存儲訪問過程的管理，因此在元數(shù)據(jù)的操作方面實現(xiàn)了有效的降低和控制，從而增強了整個系統(tǒng)的彈性，在安全水平方面也有所改進(jìn)。

2.MFDSS體系得到實現(xiàn)的基礎(chǔ)

還可以進(jìn)一步加強多協(xié)議文件系統(tǒng)（MPSFS）的建設(shè)。MPSFS系統(tǒng)從性能角度看，保留了分布式文件系統(tǒng)本身的靈活性優(yōu)勢，并且在并發(fā)訪問管理以及安全性方面都有很大改善。從技術(shù)角度看，MPSFS系統(tǒng)除了提供文件的存取接口以外，更為重要的在于采用存儲卷實現(xiàn)存儲。存儲卷中包括文件目錄結(jié)構(gòu)以及其固有的存儲模式，對應(yīng)的進(jìn)一步包括元數(shù)據(jù)結(jié)構(gòu)、操作接口、功能函數(shù)集以及對于空間的利用優(yōu)化算法和數(shù)據(jù)結(jié)構(gòu)。在MPSFS工作環(huán)境之下，能夠?qū)崿F(xiàn)面向不同的用戶區(qū)分提供不同的存儲訪問視圖，因此在油田工作環(huán)境中，能夠更好地實現(xiàn)與權(quán)限身份控制更好的數(shù)據(jù)管理機制。除此以外，MPSFS還能夠?qū)崿F(xiàn)更為完善的用戶身份認(rèn)證，具體是通過相應(yīng)的專用認(rèn)證服務(wù)器，來依據(jù)內(nèi)部的多個證書文件來實現(xiàn)對于身份的確定。

3.結(jié)論

在面對局域網(wǎng)數(shù)據(jù)存儲安全的客觀需求時，諸多技術(shù)開始涌現(xiàn)并且不斷發(fā)展成熟。在MFDSS框架體系之下，包括MPSFS等多種相關(guān)技術(shù)，并且在集成完成之后，整個技術(shù)框架會呈現(xiàn)出良好的安全特征。與之對應(yīng)的，讀寫性能會受到一定的制約，估計下降幅度會在12%-18%之間，但是以這樣的一個效率換取整個系統(tǒng)的數(shù)據(jù)存儲安全，仍然是一個可以接受的環(huán)境。并且如果進(jìn)一步展開基于數(shù)據(jù)挖掘等相關(guān)技術(shù)的深入應(yīng)用，這樣的下降狀況還會有所縮減，將整個系統(tǒng)的安全性和可用性控制在一個相對良好的范圍內(nèi)展開工作。

作者：趙鑫鑫 單位：大慶油田信息技術(shù)公司東風(fēng)分公司

數(shù)據(jù)存儲技術(shù)論文:數(shù)據(jù)存儲安全技術(shù)分析

摘要：在云計算日益發(fā)達(dá)的今天，為方便企業(yè)運行，企業(yè)的運行數(shù)據(jù)通常放入云平臺。通過云端共享，可以將公司內(nèi)部數(shù)據(jù)傳遞給職員，方便快捷的操作方式，讓越來越多的用戶使用云平臺存儲數(shù)據(jù)，因此，如何保障信息的安全性是用戶們廣泛關(guān)注的問題。筆者首先討論了云平臺數(shù)據(jù)的數(shù)據(jù)存儲結(jié)構(gòu)，然后分析了目前的云存儲安全類型，并且介紹了云存儲數(shù)據(jù)安全技術(shù)，為廣大研究者提供理論依據(jù)。

關(guān)鍵詞：云存儲；數(shù)據(jù)安全；安全技術(shù)

各行各業(yè)的經(jīng)營數(shù)據(jù)都在不斷變化，如何完整保存和傳輸企業(yè)的數(shù)據(jù)，滿足企業(yè)的需求，是廣大研究員在研究數(shù)據(jù)技術(shù)時面臨的重要挑戰(zhàn)。云數(shù)據(jù)存儲方便員工共享企業(yè)資訊和資源，替代了傳統(tǒng)的數(shù)據(jù)保存模式，更能輔助員工移動辦公，數(shù)據(jù)保護(hù)安全技術(shù)應(yīng)運而生，降低數(shù)據(jù)泄漏風(fēng)險。如果企業(yè)數(shù)據(jù)泄漏，可能會對公司造成巨大損失，從而影響公司的發(fā)展。所以研究云數(shù)據(jù)存儲模式以及數(shù)據(jù)保護(hù)技術(shù)，可以提高企業(yè)數(shù)據(jù)存儲的安全性，保護(hù)公司的無形資產(chǎn)。

1云數(shù)據(jù)存儲結(jié)構(gòu)

云數(shù)據(jù)存儲結(jié)構(gòu)包含了云服務(wù)器、用戶和第三方。在這種三角形結(jié)構(gòu)中，用戶主要是將個人數(shù)據(jù)及公司數(shù)據(jù)通過云服務(wù)器上傳并進(jìn)行存儲，一方面能夠節(jié)省自己的計算機存儲空間，另外一方面可以將資源共享給其他的同事，讓其他人也可以查詢和下載數(shù)據(jù)，第三方只對云存儲數(shù)據(jù)起到監(jiān)管作用。

2云平臺數(shù)據(jù)存儲安全類型

2.1存儲安全性

云存儲數(shù)據(jù)平臺存儲了大量的客戶信息以及公司的運營數(shù)據(jù)，是黑客和不法人員攻擊的主要對象。云服務(wù)器的安全性至關(guān)重要，要加強管理，并且要制訂安全防護(hù)方案，建立嚴(yán)格的數(shù)據(jù)存儲安全制度體系，加強數(shù)據(jù)檢測巡邏，保障數(shù)據(jù)存儲的安全性。

2.2操作安全性

由于云存儲下的數(shù)據(jù)可以被多方用戶同時共享，其數(shù)據(jù)從生成到刪除會被許多用戶訪問，數(shù)據(jù)的生成或者更改都會出現(xiàn)操作安全問題，一方面是人為的隱患，另外一方面是由于云數(shù)據(jù)存儲系統(tǒng)發(fā)生問題而造成的隱患，后者的隱患較小。當(dāng)用戶操作數(shù)據(jù)后，數(shù)據(jù)將會更改并且同步更新，如果用戶出現(xiàn)操作錯誤，則更新后的數(shù)據(jù)無法再恢復(fù)，所以應(yīng)謹(jǐn)慎操作。另外，數(shù)據(jù)傳輸易出現(xiàn)數(shù)據(jù)損壞以及泄漏現(xiàn)象，數(shù)據(jù)在傳輸?shù)倪^程中，易被非法人員篡改或竊取等，應(yīng)提高數(shù)據(jù)的傳輸安全性。

2.3訪問安全性

云存儲數(shù)據(jù)可以被多個客戶訪問，用戶通過用戶名和密碼進(jìn)入云系統(tǒng)訪問數(shù)據(jù)，具有數(shù)據(jù)訪問的安全性。訪問用戶是否合法，應(yīng)受到系統(tǒng)的監(jiān)測，查詢和鑒定其身份信息。

3云平臺下數(shù)據(jù)存儲安全技術(shù)分類

3.1同態(tài)加密技術(shù)

要保障云平臺下的數(shù)據(jù)存儲安全，就必須同步研究數(shù)據(jù)的加密存儲技術(shù)，該技術(shù)的研究情況符合我國的云技術(shù)發(fā)展趨勢，是運用最廣泛的存儲技術(shù)。同態(tài)加密技術(shù)屬于加密技術(shù)，首先在系統(tǒng)中設(shè)置加密代碼和防護(hù)代碼，用戶在輸入密碼時，系統(tǒng)會自動進(jìn)行代數(shù)運算，根據(jù)運算結(jié)果，判定用戶是否為合法用戶。這種云計算方式，保障了用戶數(shù)據(jù)的安全性。同態(tài)加密技術(shù)由私密加密技術(shù)發(fā)展而來，設(shè)置同態(tài)加密，必須要在了解解密技術(shù)的基礎(chǔ)上才能實現(xiàn)。同態(tài)加密技術(shù)能夠解決大部分加密存儲問題，保障數(shù)據(jù)文件的安全性，然而這其中依舊存在耗時耗力、欠缺計算方法等相關(guān)問題，還需不斷調(diào)整、優(yōu)化、升級，以獲得更好的用戶體驗。

3.2SE加密技術(shù)

用戶在存儲數(shù)據(jù)之前，應(yīng)先對數(shù)據(jù)進(jìn)行加密操作，這樣才能夠較大限度保障數(shù)據(jù)的安全性、隱私性，然而會出現(xiàn)查詢難度加大的問題。如果云平臺中存儲的相關(guān)數(shù)據(jù)，其初始用戶對其進(jìn)行了加密，初始用戶沒有將密碼告訴共享用戶，則共享用戶即使下載了數(shù)據(jù)，也無法打開數(shù)據(jù)包。如果初始用戶不設(shè)置密碼，那么數(shù)據(jù)會面臨泄漏的危險。云數(shù)據(jù)加密存儲技術(shù)是建立在加密存儲技術(shù)之上的一種新型技術(shù)，簡稱為SE。SE技術(shù)方法不僅可以對數(shù)據(jù)進(jìn)行加密，還能夠在數(shù)據(jù)有密匙的情況下，查詢數(shù)據(jù)包中的數(shù)據(jù)名稱及類型，只是不能打開數(shù)據(jù)文件。云平臺存儲的數(shù)據(jù)具有共享性質(zhì)，任何用戶在使用云平臺時，都可以在搜索框中輸入相關(guān)的關(guān)鍵詞，檢索到該關(guān)鍵詞相關(guān)的文件，篩選獲得有用的數(shù)據(jù)信息。根據(jù)初始用戶的設(shè)置，有的數(shù)據(jù)可以下載，數(shù)據(jù)是否能夠打開，要看數(shù)據(jù)是否在加密狀態(tài)。云平臺的數(shù)據(jù)查詢功能，嚴(yán)格要求關(guān)鍵詞不能出錯，根據(jù)關(guān)鍵詞的相關(guān)性，云平臺的數(shù)據(jù)會自動對查詢出的數(shù)據(jù)文件進(jìn)行排列。這種搜索方式也會導(dǎo)致用戶如果要確定數(shù)據(jù)文件和其查詢的關(guān)鍵詞的關(guān)聯(lián)性，必須返回上層文件夾。很多文件的子文件和母文件相關(guān)性并不大，需要用戶進(jìn)入數(shù)據(jù)文件查詢此文件的名字，才能確定該數(shù)據(jù)文件對自己是否有用。SE加密方法的優(yōu)勢是可以篩選有用的文件，缺點是會增加網(wǎng)絡(luò)的流量。

3.3SiRiUS加解密技術(shù)

加解密技術(shù)分類較多，主要包含Ptutus加密技術(shù)、多重加密技術(shù)、密匙加密技術(shù)、SiRiUS加密技術(shù)等。較為特殊的SiRiUS系統(tǒng)，建立在NFS文件系統(tǒng)基礎(chǔ)上，多重加密保障數(shù)據(jù)的安全傳輸。當(dāng)用戶訪問數(shù)據(jù)時，SiRiUS系統(tǒng)進(jìn)行嚴(yán)格控制，每一個文件對應(yīng)一個元文件，這些文件隱藏于文件訪問的控制列表中。后來SiRiUS系統(tǒng)不斷升級，近期的加密算法是NNL廣播，其算法更加復(fù)雜，嚴(yán)格控制用戶訪問權(quán)限，雖然提高了數(shù)據(jù)傳輸?shù)陌踩裕怯捎谶^于復(fù)雜，也限制了系統(tǒng)的擴展及發(fā)展。

3.4基于VMM的數(shù)據(jù)保護(hù)技術(shù)

在虛擬化平臺上可以進(jìn)行虛擬機的工作。虛擬機工作建立在云計算的基礎(chǔ)上，同時受到監(jiān)控系統(tǒng)監(jiān)管。基于VMM的數(shù)據(jù)保護(hù)技術(shù)的作用原理建立在SSL技術(shù)的基礎(chǔ)上，一方面利用虛擬監(jiān)控系統(tǒng)，使用Daoti保護(hù)數(shù)據(jù)的存儲安全；另外一方面，SSL技術(shù)能夠保護(hù)數(shù)據(jù)的傳輸安全。其具體的作用過程中，云端接收到數(shù)據(jù)，數(shù)據(jù)傳入SSL模塊，加密數(shù)據(jù)，然后存儲數(shù)據(jù)，與此同時，會有備份數(shù)據(jù)提交到用戶設(shè)定的相關(guān)系統(tǒng)中，并且也會提交給分布式文件系統(tǒng)。如果對數(shù)據(jù)進(jìn)行了解密操作，則數(shù)據(jù)應(yīng)再次加密，其加密系統(tǒng)依舊是虛擬監(jiān)控系統(tǒng)。而如果數(shù)據(jù)已加密并且保存在分布式文件系統(tǒng)中，用戶從系統(tǒng)中獲取數(shù)據(jù)之前，應(yīng)使用虛擬機對文件先行解密，否則數(shù)據(jù)無法使用。該技術(shù)較大的特點在于云計算端和分布式文件系統(tǒng)相互隔離、獨自分開，所有的數(shù)據(jù)互不相通，除非用戶單獨上傳，數(shù)據(jù)才會同時在兩個系統(tǒng)中出現(xiàn)，因此，增強了數(shù)據(jù)安全性。在這種情況下，數(shù)據(jù)得到二次保護(hù)，當(dāng)非法者從云端竊取到數(shù)據(jù)后，數(shù)據(jù)依舊是加密狀態(tài)。除非非法者還能從分布式文件系統(tǒng)中竊取到數(shù)據(jù)，否則數(shù)據(jù)無法使用，保障數(shù)據(jù)存儲的安全性。

4結(jié)語

云平臺下數(shù)據(jù)存儲模式被廣大企業(yè)應(yīng)用。如果企業(yè)數(shù)據(jù)在云存儲系統(tǒng)中泄漏，數(shù)據(jù)安全性遭到威脅，則云計算技術(shù)將難以得到更好的發(fā)展。我國不僅要發(fā)展云計算技術(shù)，而且要同步發(fā)展云計算數(shù)據(jù)的安全性技術(shù)，提高數(shù)據(jù)存儲訪問傳輸?shù)陌踩裕苿釉朴嬎慵夹g(shù)的發(fā)展，我國有關(guān)部門還應(yīng)完善法律法規(guī)，明文制定相關(guān)的技術(shù)標(biāo)準(zhǔn)，從而保障云技術(shù)的發(fā)展。

作者：盧青華 單位：廣州大學(xué)華軟軟件學(xué)院

數(shù)據(jù)存儲技術(shù)論文:基于網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)實現(xiàn)的研究

摘要:隨著網(wǎng)絡(luò)應(yīng)用的普及和商用化,多業(yè)務(wù)、多網(wǎng)絡(luò)的融合已經(jīng)成為不可逆轉(zhuǎn)的趨勢。人們進(jìn)行信息的交流和共享越來越方便,同時數(shù)據(jù)的大規(guī)模毀滅也變得容易了。數(shù)據(jù)是現(xiàn)代企事業(yè)最寶貴的生命,數(shù)據(jù)是一切災(zāi)難發(fā)生后恢復(fù)系統(tǒng)的一道防線。因此需要正確選擇相應(yīng)的儲存技術(shù)方式,進(jìn)行經(jīng)濟而的數(shù)據(jù)存儲,從而避免可能發(fā)生的重大損失。DAS、NAS和SAN的存儲方式的實現(xiàn)值得研究。

關(guān)鍵詞:數(shù)據(jù)存儲;網(wǎng)上儲存;DAS存儲;NAS存儲;SAN存儲

1 引言

在網(wǎng)絡(luò)飛速發(fā)展的今天,選擇一種適合需求的高性能數(shù)據(jù)存儲方式變得十分重要。如何確保數(shù)據(jù)的一致性、安全性和性,如何實現(xiàn)不同主機類型的數(shù)據(jù)訪問和保護(hù),如何實現(xiàn)網(wǎng)絡(luò)上的數(shù)據(jù)集中訪問以及便于實現(xiàn)不同數(shù)據(jù)的集中管理等,這些問題必須需要新網(wǎng)絡(luò)儲存技術(shù)來實現(xiàn)。數(shù)據(jù)災(zāi)難小到一般的文件損壞、誤操作,大到整個網(wǎng)絡(luò)系統(tǒng)因病毒入侵、黑客攻擊而癱瘓。因此,企事業(yè)單位必須有一套正確的數(shù)據(jù)存儲和恢復(fù)系統(tǒng)方案。現(xiàn)代網(wǎng)絡(luò)存儲技術(shù)主要利用網(wǎng)絡(luò)技術(shù)實現(xiàn)信息的異地儲存,即電子數(shù)據(jù)不再直接儲存在本地服務(wù)器上,而是通過網(wǎng)絡(luò)保存在與服務(wù)器相連的專門設(shè)備上。當(dāng)前流行的幾種主要存儲技術(shù):DAS(Direct Attached Storage)、SAN(Network Attached Storage)、NAS(Store area Network)等。這些網(wǎng)絡(luò)儲存方式特點各異,均可應(yīng)用在不同的領(lǐng)域上。

2 DAS存儲技術(shù)

DAS是指將儲存設(shè)備通過SCSI接口或光纖通道直接連接到一臺計算機上。當(dāng)服務(wù)器在地理上比較分散、很難通過遠(yuǎn)程連接進(jìn)行互聯(lián)時,直接連接是一個比較好的方法。DAS已經(jīng)有近40年的使用歷史,是目前最常用的網(wǎng)絡(luò)儲存設(shè)備。但是隨著用戶數(shù)據(jù)的不斷增長,尤其是數(shù)百GB以上時,其在存儲、恢復(fù)、擴展、災(zāi)害等方面的問題變得日益困擾著系統(tǒng)管理員。主要原因如下:

(1)DAS儲存方式

DAS依賴服務(wù)器主機操作系統(tǒng)進(jìn)行數(shù)據(jù)的I/O讀寫和存儲維護(hù)管理,數(shù)據(jù)設(shè)備和恢復(fù)要占用服務(wù)器主機資源(包括CPU、系統(tǒng)I/O等),數(shù)據(jù)流需要流回主機再到服務(wù)器連接著的磁帶機(庫),數(shù)據(jù)存儲占用服務(wù)器主機資源的20～30%,因此許多企事業(yè)單位的用戶日常數(shù)據(jù)存儲常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時進(jìn)行,以免影響正常業(yè)務(wù)系統(tǒng)的運行。DAS儲存的數(shù)據(jù)量越大,存儲和恢復(fù)的時間就會越長,對服務(wù)器硬件的依賴性和影響力就越強。

(2)DAS的SCSI連接

DAS與服務(wù)器主機之間的連接通道是采用SCSI連接的,帶寬為10Mbps、20Mbps、40Mbps、80Mbps等。隨著服務(wù)器CPU的處理能力越來越強,存儲硬盤空間越來越大,陣列的硬盤數(shù)量越來越多,SCSI通道將會成為I/O瓶頸;服務(wù)器主機SCSI ID資源有限,能夠建立的SCSI通道連接也有限。

(3)DAS的限制

無論DAS儲存還是服務(wù)器的擴展,從一臺服務(wù)器擴展為多臺服務(wù)器組成的集群或儲存陣列容量的擴展,都會造成業(yè)務(wù)系統(tǒng)的停機,從而給企事業(yè)單位帶來經(jīng)濟損失。對于銀行、電信、傳媒等行業(yè)7×24小時服務(wù)的關(guān)鍵業(yè)務(wù)系統(tǒng),這是不可接受的。并且DAS儲存或服務(wù)器主機的升級擴展,只能原廠商提供,因此受到設(shè)備廠商限制。

3 NAS儲存技術(shù)

NAS采用(TCP/IP、ATM、FDDI)技術(shù),將一種分布、獨立的數(shù)據(jù)整合為集中化管理的中心,通過網(wǎng)絡(luò)交換機連接存儲系統(tǒng)和服務(wù)器主機,建立專用于數(shù)據(jù)存儲的儲存專網(wǎng)。如下圖所示:

(1)NAS儲存的性能

NAS實際上是一個帶有操作系統(tǒng)的儲存設(shè)備,其作用類似于一個專用的文件服務(wù)器。這種專用儲存設(shè)備具有可附加大容量的存儲,內(nèi)嵌操作系統(tǒng),專門針對文件系統(tǒng)進(jìn)行重新設(shè)計和優(yōu)化,以提供高效率的文件服務(wù)等特點。NAS的關(guān)鍵特性如下:

一是去掉了通用服務(wù)器不適用于數(shù)據(jù)傳輸?shù)拇蠖鄶?shù)計算功能,而僅僅提供文件系統(tǒng)功能用于存儲服務(wù),降低了儲存設(shè)備的成本。為方便存儲到網(wǎng)絡(luò)之間以最有效的方式發(fā)送數(shù)據(jù),專門優(yōu)化了系統(tǒng)軟硬件體系結(jié)構(gòu),多線程、多任務(wù)的網(wǎng)絡(luò)操作系統(tǒng)內(nèi)核,特別適合于處理來自網(wǎng)絡(luò)的I/O請求,不僅響應(yīng)速度快,而且數(shù)據(jù)傳輸速率也高;二是它的模式以網(wǎng)絡(luò)為中心,利用現(xiàn)有的以太網(wǎng)資源來接入專用的網(wǎng)絡(luò)儲存設(shè)備,而不是另外再部署光纖交換機來連接傳統(tǒng)的儲存設(shè)備。

(2)NAS技術(shù)性能

NAS需求旺盛已經(jīng)成為事實。主要有如下優(yōu)點:

一是為那些訪問和共享大量文件系統(tǒng)數(shù)據(jù)的企事業(yè)單位環(huán)境提供了一個高效、性能優(yōu)異的解決方案;二是在企事業(yè)單位數(shù)據(jù)量膨脹中,SAN、大型磁帶庫、硬盤柜等產(chǎn)品雖然都是很好的儲存解決方案,但它們那高貴的身份和復(fù)雜的操作是資金和技術(shù)實力有限的中小企事業(yè)單位無論如何也不能接受的,因此,NAS正是滿足這種需求的產(chǎn)品;三是適合于那些需要通過網(wǎng)絡(luò)將文件數(shù)據(jù)傳送到多臺客戶機上的用戶,非常易于部署,可以使用NAS主機、客戶機和其他設(shè)備廣泛分布在整個企事業(yè)的網(wǎng)絡(luò)環(huán)境中。

4 SAN儲存技術(shù)

SAN是指在網(wǎng)絡(luò)服務(wù)器群的后端,采用光纖通道技術(shù),通過光纖通道交換機連接儲存陣列和服務(wù)器主機,建立專用于區(qū)域網(wǎng)絡(luò)的存儲。SAN經(jīng)過十多年的發(fā)展,已經(jīng)相當(dāng)成熟,成為企事業(yè)單位的事實標(biāo)準(zhǔn)。SAN儲存采用的帶寬從100Mbps、200Mbps,發(fā)展到目前的1Gbpd、2Gbps。如下圖所示。

(1)SAN儲存性能

SAN作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施,是為了提供靈活、高性能和高擴展的存儲環(huán)境而設(shè)計的。SAN的關(guān)鍵性能如下:

一是它不同于通常所說的網(wǎng)絡(luò),為連接服務(wù)器、磁盤陣列、磁帶庫等儲存設(shè)備而建立的高性能網(wǎng)絡(luò);二是提供了良好的存儲連接,服務(wù)器可以訪問存儲區(qū)域網(wǎng)上的任何儲存設(shè)備,如磁帶、磁盤陣列,同時儲存設(shè)備之間、儲存設(shè)備同SAN交換機之間也可以進(jìn)行通信;三是獨立服務(wù)器網(wǎng)絡(luò)的一種專門的網(wǎng)絡(luò),這種網(wǎng)絡(luò)通過采用光纖通道協(xié)議來傳輸數(shù)據(jù),在連接上可以使用光纖和銅纜;四是特別適合于服務(wù)器集群、災(zāi)難恢復(fù)等數(shù)據(jù)量傳輸?shù)年P(guān)鍵領(lǐng)域,而且這種連接是本地的高速連接;五是采用光纖連接的技術(shù),從而保障了巨大的數(shù)據(jù)傳輸帶寬(100Mbps),對于所有的應(yīng)用都可以很好地滿足。

(2)SAN的性能

面對迅速增長的數(shù)據(jù)存儲需求,大型企事業(yè)單位和服務(wù)提供商漸漸開始選擇SAN作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施,因為SAN有如下優(yōu)點:一是可提供大容量儲存設(shè)備數(shù)據(jù)共享;二是實現(xiàn)調(diào)整計算機與高速儲存設(shè)備的高速互聯(lián);三是提高了數(shù)據(jù)的性、安全性和開放性;四是具有出色的擴展性,利用光纖通道技術(shù),可以有效地傳輸數(shù)據(jù)塊。

5 結(jié)束語

DAS、SAN和NAS之間的區(qū)別正在變得模糊,所有的網(wǎng)絡(luò)存儲技術(shù)在用戶的存儲需求下接受挑戰(zhàn),SAN與NAS都是為適應(yīng)高性能和密集的網(wǎng)絡(luò)儲存要求而在DAS的基礎(chǔ)上發(fā)展起來的,是新型數(shù)據(jù)儲存模式中的兩個主要發(fā)展方向。

在IT數(shù)據(jù)儲存和共享系統(tǒng)方面,傳統(tǒng)B/S的計算機模式將會演化成具有任意連接性的全球網(wǎng)絡(luò)存儲系統(tǒng)。網(wǎng)絡(luò)存儲技術(shù)的未來發(fā)展:一是走向開放化和標(biāo)準(zhǔn)化;二是NAS、SAN技術(shù)逐步取代DAS技術(shù);三是虛擬儲存技術(shù)逐步興起;四是儲存技術(shù)走向IP化等方面的趨勢。

數(shù)據(jù)存儲技術(shù)論文:基于RAID技術(shù)實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲的研究

摘要：隨著Internet技術(shù)飛速發(fā)展，人們進(jìn)行信息的交流和共享越來越方便，同時數(shù)據(jù)的大規(guī)模毀滅也變得容易了。如何確保數(shù)據(jù)的一致性、安全性和性，如何實現(xiàn)不同數(shù)據(jù)的集中管理，如何實現(xiàn)網(wǎng)絡(luò)上的數(shù)據(jù)集中訪問等，這些問題必須需要新網(wǎng)絡(luò)存儲技術(shù)確立。用RAID技術(shù)的方式，實現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲來完成上述提出問題的選擇值得研究。

關(guān)鍵詞：RAID；數(shù)據(jù)存儲；數(shù)據(jù)備份；磁盤陣列

1　引言

在網(wǎng)絡(luò)飛速發(fā)展的今天，選擇一種適合需求的高性能數(shù)據(jù)存儲方式變得十分重要。在一些企事業(yè)中，即使是網(wǎng)絡(luò)管理員，數(shù)據(jù)存儲的觀念也尚未被普遍接受。能夠正確選擇相應(yīng)的儲存設(shè)備和技術(shù)。進(jìn)行經(jīng)濟而的數(shù)據(jù)存儲與恢復(fù)，從而避免可能發(fā)生的重大損失。因此，企事業(yè)必須有一套正確的數(shù)據(jù)存儲與恢復(fù)系統(tǒng)的方案。RAID(Redun-dant Array of Inexpensive Disks)技術(shù)就是網(wǎng)絡(luò)數(shù)據(jù)存儲的一種較佳選擇方案。

RAID網(wǎng)絡(luò)存儲技術(shù)主要利用網(wǎng)絡(luò)技術(shù)實現(xiàn)信息的異地儲存，即電子數(shù)據(jù)不再直接存儲在本地客戶端上，而是儲存在遠(yuǎn)端的服務(wù)器上。并且還可以通過網(wǎng)絡(luò)保存在與遠(yuǎn)端服務(wù)器相連的專門設(shè)備上。由于RAID存儲技術(shù)的方式很多，在具體實現(xiàn)上還需進(jìn)一步的研究。

2　RAID存儲技術(shù)

RAID是指廉價(獨立)磁盤陣列，所謂“磁盤陣列”是指多張磁盤連成一個陣列上，然后，以某種方式書寫磁盤，這種方式可以在一張或多張磁盤組之間提供數(shù)據(jù)。

從主機的角度看，控制器使得整個磁盤組就像一片又快、又大、又的虛擬磁盤。它的初衷主要是為大型網(wǎng)絡(luò)服務(wù)器提供高端的存儲功能和冗余的數(shù)據(jù)安全，在系統(tǒng)中RAID被看作是一個邏輯分區(qū)。但它是由多個硬盤組成的，通過在多個硬盤上同時儲存和讀取數(shù)據(jù)來大幅度提高存儲系統(tǒng)的數(shù)據(jù)吞吐量，而且在很多RAID模式中都有較為完備的、相互校驗與恢復(fù)的措施，甚至是直接相互的鏡像存儲。當(dāng)數(shù)據(jù)災(zāi)難發(fā)生時可以自動修復(fù)，從而大大提高了RAID系統(tǒng)的容錯度，穩(wěn)定了系統(tǒng)的冗余性。

3　RAID技術(shù)規(guī)范

RAID技術(shù)是一種工業(yè)標(biāo)準(zhǔn)，通常將組成磁盤陣列的不同方式分為RAID級別。隨著RAID技術(shù)的不斷發(fā)展，現(xiàn)在已擁有了以RAID 0到RAID 6七種基本的級別。另外，還有一些基本RAID級別的組合形式，如RAID 10、RAID 50等。現(xiàn)將RAID級別在應(yīng)用中的實現(xiàn)作進(jìn)一步的研究。

(1)RAID 0：是連續(xù)以位或字節(jié)為單位分割數(shù)據(jù)，并行讀寫于多個磁盤上，因此具有很高的數(shù)據(jù)傳輸速率，但它沒有數(shù)據(jù)冗余。它只是單純地提高性能，而且其中的一個磁盤失效將影響到所有數(shù)據(jù)。因此，它不能應(yīng)用于數(shù)據(jù)安全性高的場合。

(2)RAID 1：通常被稱為RAID鏡像，是通過磁盤數(shù)據(jù)鏡像實現(xiàn)數(shù)據(jù)冗余，在成對的獨立磁盤上產(chǎn)生互為備份的數(shù)據(jù)。即所有數(shù)據(jù)都進(jìn)行百分之百的備份。當(dāng)原始數(shù)據(jù)繁忙時，可直接從鏡像磁盤上讀寫，而不需要重組失效數(shù)據(jù)。

(3)RAID 0+1：也稱為RAID 1 O標(biāo)準(zhǔn)，至少需要4塊硬盤才可以實現(xiàn)，不過它綜合了RAID 0和RAID 1的特點，將獨立磁盤配置成RAID 0，兩套完整的RAID 0互換鏡像。但構(gòu)建RAID 0+1陣列的成本投入大，數(shù)據(jù)空間利用率只有50％。

(4)RAID 2：是按位分配數(shù)據(jù)到多個驅(qū)動器的，在寫入數(shù)據(jù)時一個磁盤上保存數(shù)據(jù)的各個位，同時把一個數(shù)據(jù)不同的位運算到海明校驗碼保存在另一組磁盤上，在數(shù)據(jù)發(fā)生錯誤的情況下將錯誤校正。這種編碼技術(shù)需要多個磁盤存放檢查及恢復(fù)信息，使得RAID 2技術(shù)實施更復(fù)雜、速度最慢，因此在商業(yè)環(huán)境中很少使用，最適合用于諸如圖像之類的應(yīng)用。

(5)RAID 3：通常是按字節(jié)將數(shù)據(jù)劃分為條紋分配在許多驅(qū)動器上，雖然也可按位劃分，但它在陣列時專用一個驅(qū)動器保存奇偶校驗信息，因此它同RAID 2非常類似，區(qū)別在于它使用簡單的奇偶校驗，并用單塊磁盤存放奇偶校驗信息。如果一塊磁盤失效，奇偶盤及其他數(shù)據(jù)盤可以重新產(chǎn)生數(shù)據(jù)；如果奇偶校驗失效，則不影響數(shù)據(jù)使用，但奇偶盤會成為寫操作的瓶頸。

(6)RAID 4：除了按扇區(qū)而不是按字節(jié)對數(shù)據(jù)劃分條紋外，RAID 4與RAID 3相似。同樣也將數(shù)據(jù)條塊化并分布于不同的磁盤上，但條塊單位為塊或記錄。它使用一塊磁盤作為奇偶校驗盤，這時奇偶校驗盤會成為寫操作的瓶頸，因此它在商業(yè)環(huán)境中也很少使用。

(7)RAID 5：是把數(shù)據(jù)和相對應(yīng)的奇偶校驗信息存儲到組成RAID5的各個磁盤上，并且奇偶校驗信息和相對應(yīng)的數(shù)據(jù)分別存儲在不同磁盤上。它使用一種特殊算法，可以計算出任何一個區(qū)域校驗塊的存儲位置。這樣就可以確保對校驗塊的任何讀寫操作都會在所有RAID磁盤中進(jìn)行均衡，從而消除產(chǎn)生瓶頸的可能。它讀出效率很高，寫入效率一般，塊式的集體訪問效率較佳，但控制器的設(shè)計也相當(dāng)困難。

(8)RAID 6：與RAID 5相比，它增加了第二個獨立的奇偶校驗信息塊。兩個獨立的奇偶校驗系統(tǒng)使用不同的算法，數(shù)據(jù)的性非常高，即使兩塊磁盤同時失效也不會影響數(shù)據(jù)的使用。相對于RAID 5有更大的寫“損失”，因此“寫性能”非常差。

(g)RAID 7：這是一種新RAID標(biāo)準(zhǔn)，其自身帶有智能化實時操作系統(tǒng)和用于存儲管理的軟件工具，可獨立于主機運行，不占用主機CPU資源。它采用優(yōu)化的高速數(shù)據(jù)傳送磁盤結(jié)構(gòu)，所有的I/O傳送均是同步進(jìn)行的。可以分別控制，這樣提高了系統(tǒng)的并行性和系統(tǒng)訪問數(shù)據(jù)的速度；每個磁盤都帶有高速緩沖存儲器，實時操作系統(tǒng)可以使用任何操作芯片，達(dá)到不同實時系統(tǒng)需要。當(dāng)多用戶訪問系統(tǒng)時，可以連續(xù)多臺主機，訪問時間幾乎接近于零。

4　RAID級別間的關(guān)系

RAID0～5級的描述、速度與容錯功能如下表所示：

5　RAID技術(shù)的特點

從RAID級別的發(fā)展與應(yīng)用，歸納起來主要有如下特點：

(1)RAID控制器通過磁盤陣列的并行數(shù)據(jù)讀寫，克服了磁盤機電設(shè)計的限制，大大提高了存取速度。即如果是由四張磁盤組成的陣列，其讀寫速度幾乎是單盤的四倍，從而為不同的應(yīng)用服務(wù)。

(2)RAID系統(tǒng)提供了大容量的數(shù)據(jù)存儲，而且這張磁盤上的數(shù)據(jù)對于主機來說隨時可用。復(fù)雜的RAID系統(tǒng)可允許用戶通過控制器發(fā)的數(shù)據(jù)途徑組成多盤級連。在一個充分設(shè)置的RAID中，它的高性能控制器可同時進(jìn)行90張盤的尋址操作。

(3)RAID系統(tǒng)運用奇偶校驗技術(shù)提高數(shù)據(jù)的性。在這種體系中，當(dāng)RAID控制器在磁盤上寫數(shù)據(jù)時，它還會記錄下相應(yīng)的奇偶校驗位冗余數(shù)據(jù)。如果盤片失效，這個奇偶信息可使RAID控制器在不降低性能的情況下重新計算丟失的信息。

6　結(jié)束語

RAID技術(shù)可以通過軟件或硬件實現(xiàn)。軟件實現(xiàn)RAID需要一些網(wǎng)絡(luò)操作系統(tǒng)的支持，可以使用標(biāo)準(zhǔn)的SCSI適配卡和管理驅(qū)動器來完成。由于是操作系統(tǒng)下實現(xiàn)RAID技術(shù)，因此軟件RAID不能保護(hù)系統(tǒng)盤。并且當(dāng)系統(tǒng)崩潰需要重新安裝時，RAID信息也會丟失；硬件RAID是采用集成的陣列卡或?qū)Ｓ玫年嚵锌▉砜刂朴脖P驅(qū)動器的。這樣可以極大地節(jié)省服務(wù)器系統(tǒng)CPU和操作的資源，從而使網(wǎng)絡(luò)服務(wù)器的性能獲得很大的提高。RAID控制器與主系統(tǒng)之間有連接存取接口(如SCSI、IDE和SATA)的信道。在主機系統(tǒng)的存取接口中是一個獨立的直接存取儲存體，并且可以有不止一個邏輯盤卡，都支持在線更換、熱插拔交換，同時在部分操作系統(tǒng)下實現(xiàn)軟件監(jiān)控和管理。因此，依據(jù)企事業(yè)的實際，實現(xiàn)RAID技術(shù)的數(shù)據(jù)儲存。

數(shù)據(jù)存儲技術(shù)論文:基于層次型報表的數(shù)據(jù)存儲技術(shù)研究

摘要：數(shù)據(jù)模型常見有層次、網(wǎng)狀和關(guān)系三種模型，結(jié)合《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計中遇到的層次型報表，該文研究了將層次型模型轉(zhuǎn)化為關(guān)系模型的三種方法，最終提出了基于樹型存儲法的字典目錄法數(shù)據(jù)存儲技術(shù)，利用該技術(shù)實現(xiàn)了系統(tǒng)的成功開發(fā)，證明了字典目錄法有效性。

關(guān)鍵詞：數(shù)據(jù)模型；層次型報表；存儲技術(shù)

1 數(shù)據(jù)模型

數(shù)據(jù)庫是信息系統(tǒng)的核心和基礎(chǔ)。它把信息系統(tǒng)中的大量數(shù)據(jù)按照一定的模型組織起來，提供存儲、維護(hù)、檢索數(shù)據(jù)的功能，是信息系統(tǒng)可以方便、及時、從數(shù)據(jù)庫中獲取所需的信息。一個信息系統(tǒng)的各個部分能否緊密的結(jié)合在一起以及如何結(jié)合，關(guān)鍵在數(shù)據(jù)庫。因此必須對數(shù)據(jù)庫進(jìn)行合理設(shè)計[1]。

1.1 常見數(shù)據(jù)模型

在數(shù)據(jù)庫系統(tǒng)中，主要的數(shù)據(jù)模型有[2]：層次模型（Hierarchical Model）、網(wǎng)狀模型（Network Model）和關(guān)系模型（Relational Model）。其中，應(yīng)用最廣泛的當(dāng)屬關(guān)系模型。

1.1.1 層次模型

層次模型：用樹型（層次）結(jié)構(gòu)表示實體類型及實體之間聯(lián)系的數(shù)據(jù)模型稱為層次模型。如圖1。層次結(jié)構(gòu)是一棵樹，樹的結(jié)點是記錄類型，非根結(jié)點有且只有一個父結(jié)點。上一層記錄類型和下一層記錄類型的聯(lián)系是1:M聯(lián)系。

1.1.2 網(wǎng)狀模型

網(wǎng)狀模型：用從結(jié)構(gòu)（網(wǎng)絡(luò)結(jié)構(gòu)）表示實體類型及實體間聯(lián)系的數(shù)據(jù)模型稱為網(wǎng)狀模型。如圖2。記錄之間的聯(lián)系通過指針實現(xiàn)，M:N聯(lián)系容易實現(xiàn)（一個M:N聯(lián)系可拆成兩個1:M聯(lián)系），查詢效率高。

1.1.3 關(guān)系模型

用規(guī)范化了的二維表格結(jié)構(gòu)表示實體集，用鍵表示實體間聯(lián)系。通常是若干個關(guān)系模型組成的集合。如表1所示。

1.2 項目中數(shù)據(jù)報表

作者負(fù)責(zé)開發(fā)的《某市農(nóng)業(yè)基礎(chǔ)信息系統(tǒng)》中，提供的基礎(chǔ)信息為如表2。本文為了簡要說明問題，僅以表2中部分信息為例，展開對層次型數(shù)據(jù)的存儲與檢索的討論。表中其他同結(jié)構(gòu)信息和系統(tǒng)中涉及到的其它12張，以及其基于此基礎(chǔ)信息的統(tǒng)計表實現(xiàn)方法雷同。

對該表中數(shù)據(jù)進(jìn)行構(gòu)造，吻合層次型數(shù)據(jù)模型。在傳統(tǒng)的項目開發(fā)中經(jīng)常遇到的多是如二維表結(jié)構(gòu)的模型，即便是其它例如層次模型、網(wǎng)狀模型均可以通過描述實體關(guān)系的E-R圖轉(zhuǎn)換為關(guān)系模型。

2 項目介紹

為了實現(xiàn)某市農(nóng)業(yè)局農(nóng)業(yè)基礎(chǔ)信息的積累，便于政府決策人員獲取農(nóng)村基層涉及基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟組織收益分配、村級資產(chǎn)負(fù)債等信息統(tǒng)計，根據(jù)歷史信息，獲取農(nóng)業(yè)發(fā)展規(guī)律，為政府管理人員提供決策依據(jù)，也便于隨時隨地了解該局下屬各級行政單位縣、鄉(xiāng)、村的基本信息。保障了信息傳遞的暢通性，真實性和公正性。

2.1 項目功能

2.1.1縣、鄉(xiāng)、村類別的行政單位基礎(chǔ)信息網(wǎng)上錄入

2.1.1 村級農(nóng)經(jīng)基礎(chǔ)信息的逐年錄入

在每一年度，作為最小的基層單位，需要將本單位涉及到農(nóng)村基本情況表：基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟組織收益分配、村級資產(chǎn)負(fù)債等信息統(tǒng)計，并錄入相應(yīng)的報表中，要求數(shù)據(jù)錄入簡捷，操作方便。

2.1.2 鄉(xiāng)，縣，市年度統(tǒng)計信息

依據(jù)下屬逐年基礎(chǔ)信息的上報經(jīng)審核后由村鄉(xiāng)縣市四個級別的自動生成統(tǒng)計信息。上級部門僅有審核權(quán)限，沒有修改權(quán)限。保障了信息的真實性。

2.1.2 信息檢索

由不同行政級別的決策者查閱信息：年度基礎(chǔ)值、年度統(tǒng)計值、若干年指標(biāo)平均值、按指標(biāo)排名等。

2.1.3 信息打印

對于檢索的信息的在線打印，便于決策者查詢與參考。保障在網(wǎng)絡(luò)和電腦之外的其他傳統(tǒng)存儲介質(zhì)的使用，尤其在不能上網(wǎng)的情況下，照樣能隨時查閱農(nóng)村資料。

2.1.4 信息備份和恢復(fù)

信息備份和恢復(fù)：對于存儲的基礎(chǔ)信息，為了安全起見，能導(dǎo)出到其它存儲空間。一旦出現(xiàn)意外，數(shù)據(jù)不會丟失。保障了信息的安全性。

2.2 關(guān)鍵技術(shù)

2.2.1 數(shù)據(jù)存儲

數(shù)據(jù)的存儲是開發(fā)的基石，但是表1是一個不規(guī)則的層次型表格。對于如此復(fù)雜結(jié)構(gòu)的報表想要通過關(guān)系之間轉(zhuǎn)換， 以及如何選擇數(shù)據(jù)庫進(jìn)行存儲、數(shù)據(jù)之間的邏輯關(guān)系、選取何種數(shù)據(jù)模型，該項目的關(guān)鍵技術(shù)。并且還要考慮到本項目中數(shù)據(jù)每年不同，同時還不能覆蓋歷史信息。以及類似此結(jié)構(gòu)的（村級）基本信息表共12張，如此基本信息表生成的行政單位（鄉(xiāng)，縣，市）的統(tǒng)計表也是12張。同時初步統(tǒng)計出該市共有2375個行政村，236個鄉(xiāng)，5個縣。該項目中數(shù)據(jù)逐年增添的龐大性，也要求開發(fā)者從長遠(yuǎn)考慮，慎重選擇數(shù)據(jù)庫開發(fā)工具。

2.2.2 數(shù)據(jù)檢索

在信息找到解決方案后，如何在復(fù)雜的數(shù)據(jù)庫中依據(jù)數(shù)據(jù)表之間的對應(yīng)關(guān)系，根據(jù)散落的信息，瀏覽者中進(jìn)行查詢，要求操作簡單，查詢結(jié)果易于瀏覽，查詢信息有助于提供領(lǐng)導(dǎo)決策的要求。于是隱藏在數(shù)據(jù)之中的信息檢索也是本項目的重中之重。

3 層次型數(shù)據(jù)存儲技術(shù)

3.1 關(guān)系數(shù)據(jù)模型的確定

軟件開發(fā)中常用的數(shù)據(jù)庫技術(shù)現(xiàn)在比較流行大中型的有MySQL、IBM DB2、Oracle、SQL Server、SyBase、Informix等，個人用戶比較常用的主要是基于中小型數(shù)據(jù)庫MS SQL Server和Access。但是這些數(shù)據(jù)庫均是關(guān)系型數(shù)據(jù)庫。而現(xiàn)實項目開發(fā)中接觸的教多的初級信息多為不規(guī)范的數(shù)據(jù)，需要進(jìn)行整合重組為關(guān)系數(shù)據(jù)庫。

3.2 層次模型轉(zhuǎn)換為關(guān)系模型的方法

3.2.1 分割表法

依據(jù)層次關(guān)系依據(jù)節(jié)點的父子關(guān)系可分割為關(guān)系模型，將表2中作為父節(jié)點的單元生成新表，只要其內(nèi)容下有分支，就要產(chǎn)生一個新二維表表，具有規(guī)則的行和列，分解后的關(guān)系模型以及組成字段的簡要描述如表3。

該方法雖然實現(xiàn)了將層次型數(shù)據(jù)轉(zhuǎn)換為關(guān)系型數(shù)據(jù)[3]，但是將一個表中信息分解的支離破碎，考慮到數(shù)據(jù)的完整性，增、刪、改等操作中容易引發(fā)異常；表的數(shù)量過大，多表查詢時聯(lián)接頻繁，導(dǎo)致查詢信息的效率低下。同時對于每個行政單位的具體年份的信息無法存儲下來。結(jié)論：此方案不可行。

3.2.2 樹型存儲法

由于每個信息節(jié)點需要記錄其兩個組成部分：父節(jié)點（parentID）和自身（ID）的數(shù)據(jù)信息（Num）。借助于《數(shù)據(jù)結(jié)構(gòu)》課程中對樹型結(jié)構(gòu)數(shù)據(jù)的實現(xiàn)方法[4]，設(shè)計出對于每個節(jié)點除保存本身信息外還要記錄每個節(jié)點的父節(jié)點，對于表名視為樹的根（parentID為0），其它節(jié)點的parentID是通過記錄父親節(jié)點的（ID）實現(xiàn)的。

對于表1行的數(shù)量不發(fā)生改變，以添加新列記錄下每個單位每年度的信息數(shù)據(jù)。此方法中便于查詢和統(tǒng)計信息生成。因為行的數(shù)量固定，但是列的再逐年改變。依據(jù)開發(fā)經(jīng)驗，基于表的信息的操作，一般是表結(jié)構(gòu)固定下來后，添加數(shù)據(jù)、更新數(shù)據(jù)、查詢數(shù)據(jù)等操作不要做表的結(jié)構(gòu)變化。但是此方法雖然記錄了表之間的關(guān)系，然而表中信息的年度和行政單位等資料無法存儲，如要存儲需要添加新列，而列的名字等信息還不穩(wěn)定的話，開發(fā)人員無法正確讀取信息[5]。同時在每個年度添加列，修改表的結(jié)構(gòu)會可能會導(dǎo)致表的部分重要信息丟失頻繁，尤其是對于特殊的數(shù)據(jù)（如必填字段）無法正常執(zhí)行，導(dǎo)致表的信息或修改表的結(jié)構(gòu)無法正常結(jié)束。結(jié)論：此方案不可行。

3.2.3 字典目錄法

結(jié)合樹型存儲法能記錄層次型數(shù)據(jù)報表的特點，經(jīng)項目組研究將樹型存儲法延伸為兩部分組成，形同表1的報表結(jié)構(gòu)，稱之為目錄表，表4稱為信息表。在表4中記錄每個節(jié)點在某個年度的數(shù)值信息，以及該信息來自何行政單位。而節(jié)點的名字和層次需要查詢表4來獲取。而查詢的依據(jù)是TableID的值是參照表1中ID而得到的，Depart指的是歸屬的行政單位名稱，Year代表數(shù)據(jù)是哪個年份。該方法的優(yōu)點是保存了表的結(jié)構(gòu),支持表的結(jié)構(gòu)修改，記錄了各個指標(biāo)的值。目錄表基本不變化，但是信息表每年均隨單位個數(shù)成倍遞增。查詢指定的統(tǒng)計信息較難，數(shù)據(jù)冗余較大。但是此方案實現(xiàn)了信息的完整保存：指標(biāo)名，指標(biāo)數(shù)，單位和年度信息的一體化。結(jié)論：此方案對于本項目是可行的。

4 基于字典目錄法的系統(tǒng)設(shè)計實現(xiàn)

系統(tǒng)確定了數(shù)據(jù)庫的設(shè)計思路后，基于字典目錄法的數(shù)據(jù)存儲實現(xiàn)由邏輯設(shè)計到物理設(shè)計的實現(xiàn)，為開發(fā)基于WEB《某市農(nóng)業(yè)信息系統(tǒng)》的奠定了根基。

4.1 錄入實現(xiàn)

在本系統(tǒng)中確定了信息的存儲方法，由于用戶的涉及面廣，文化程度不一，對于信息技術(shù)的操作熟練程度不等，要求對于錄入界面要求界面友好，操作簡潔，信息數(shù)據(jù)錄入方便。根據(jù)用戶具體情況，設(shè)計如如圖3錄入界面，在系統(tǒng)使用過程中以操作方便、界面友好，能自動校驗數(shù)據(jù)之間的平衡關(guān)系等特點，得到了用戶喜愛。

4.2 信息檢索

根據(jù)系統(tǒng)設(shè)計的表：結(jié)構(gòu)表，信息表，行政單位表三個基本表，將基于字典目錄法的數(shù)據(jù)存儲成功后，就可進(jìn)行信息查詢。查詢的基本思路如下：

查詢的條件-用戶要錄入選擇-查詢的指標(biāo)內(nèi)容和何年度指標(biāo)。

4.2.1 確定檢索指標(biāo)種類

選擇檢索的信息的種類，是基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟組織收益分配、村級資產(chǎn)負(fù)債等信息中的哪個類別。依次確定該類別信息涉及到的表名。

4.2.2 查找目錄表

根據(jù)信息種類依據(jù)目錄表來還原為層次模型結(jié)構(gòu)原型。

4.2.3 取出信息表數(shù)據(jù)

根據(jù)層次表原型，結(jié)合信息表中的年度信息，取出基本數(shù)據(jù)。

4.2.4 顯示檢索指標(biāo)數(shù)據(jù)

將基本數(shù)據(jù)載入到層次型結(jié)構(gòu)中。顯示用戶檢索信息。

由于篇幅有限，且此檢索功能需要涉及到項目中的各表，而本文僅重點討論層次型數(shù)據(jù)存儲技術(shù)，檢索算法的詳

細(xì)算法和流程圖略。

5 結(jié)束語

本文主要結(jié)合項目課題基于Web的《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計，延伸出對于層次型報表轉(zhuǎn)化為關(guān)系模型存儲中的重要技術(shù)作了討論；同時結(jié)合分割表法、樹型存儲法分析了常用方法的優(yōu)缺點，提出了基于樹型存儲法的字典目錄法存儲數(shù)據(jù)。該方法解決了層次模型轉(zhuǎn)化為關(guān)系模型的困難，結(jié)合項目的功能要求，實現(xiàn)了與農(nóng)業(yè)局各級行政單位在指定年度的各項指標(biāo)信息的存儲問題。本系統(tǒng)的實現(xiàn)是新農(nóng)村信息化的具體表現(xiàn)，解決了農(nóng)業(yè)部門信息資料收集區(qū)域廣，信息統(tǒng)計困難、數(shù)據(jù)誤差大等問題，真正實現(xiàn)了信息的時效性、真實性，為政府部門提供了決策依據(jù)。

數(shù)據(jù)存儲技術(shù)論文:基于層次型報表的數(shù)據(jù)存儲技術(shù)研究

摘要：數(shù)據(jù)模型常見有層次、網(wǎng)狀和關(guān)系三種模型，結(jié)合《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計中遇到的層次型報表，該文研究了將層次型模型轉(zhuǎn)化為關(guān)系模型的三種方法，最終提出了基于樹型存儲法的字典目錄法數(shù)據(jù)存儲技術(shù)，利用該技術(shù)實現(xiàn)了系統(tǒng)的成功開發(fā)，證明了字典目錄法有效性。

關(guān)鍵詞：數(shù)據(jù)模型；層次型報表；存儲技術(shù)

1 數(shù)據(jù)模型

數(shù)據(jù)庫是信息系統(tǒng)的核心和基礎(chǔ)。它把信息系統(tǒng)中的大量數(shù)據(jù)按照一定的模型組織起來，提供存儲、維護(hù)、檢索數(shù)據(jù)的功能，是信息系統(tǒng)可以方便、及時、從數(shù)據(jù)庫中獲取所需的信息。一個信息系統(tǒng)的各個部分能否緊密的結(jié)合在一起以及如何結(jié)合，關(guān)鍵在數(shù)據(jù)庫。因此必須對數(shù)據(jù)庫進(jìn)行合理設(shè)計[1]。

1.1 常見數(shù)據(jù)模型

在數(shù)據(jù)庫系統(tǒng)中，主要的數(shù)據(jù)模型有[2]：層次模型（Hierarchical Model）、網(wǎng)狀模型（Network Model）和關(guān)系模型（Relational Model）。其中，應(yīng)用最廣泛的當(dāng)屬關(guān)系模型。

1.1.1 層次模型

層次模型：用樹型（層次）結(jié)構(gòu)表示實體類型及實體之間聯(lián)系的數(shù)據(jù)模型稱為層次模型。如圖1。層次結(jié)構(gòu)是一棵樹，樹的結(jié)點是記錄類型，非根結(jié)點有且只有一個父結(jié)點。上一層記錄類型和下一層記錄類型的聯(lián)系是1:M聯(lián)系。

1.1.2 網(wǎng)狀模型

網(wǎng)狀模型：用從結(jié)構(gòu)（網(wǎng)絡(luò)結(jié)構(gòu)）表示實體類型及實體間聯(lián)系的數(shù)據(jù)模型稱為網(wǎng)狀模型。如圖2。記錄之間的聯(lián)系通過指針實現(xiàn)，M:N聯(lián)系容易實現(xiàn)（一個M:N聯(lián)系可拆成兩個1:M聯(lián)系），查詢效率高。

1.1.3 關(guān)系模型

用規(guī)范化了的二維表格結(jié)構(gòu)表示實體集，用鍵表示實體間聯(lián)系。通常是若干個關(guān)系模型組成的集合。如表1所示。

1.2 項目中數(shù)據(jù)報表

作者負(fù)責(zé)開發(fā)的《某市農(nóng)業(yè)基礎(chǔ)信息系統(tǒng)》中，提供的基礎(chǔ)信息為如表2。本文為了簡要說明問題，僅以表2中部分信息為例，展開對層次型數(shù)據(jù)的存儲與檢索的討論。表中其他同結(jié)構(gòu)信息和系統(tǒng)中涉及到的其它12張，以及其基于此基礎(chǔ)信息的統(tǒng)計表實現(xiàn)方法雷同。

對該表中數(shù)據(jù)進(jìn)行構(gòu)造，吻合層次型數(shù)據(jù)模型。在傳統(tǒng)的項目開發(fā)中經(jīng)常遇到的多是如二維表結(jié)構(gòu)的模型，即便是其它例如層次模型、網(wǎng)狀模型均可以通過描述實體關(guān)系的E-R圖轉(zhuǎn)換為關(guān)系模型。

2 項目介紹

為了實現(xiàn)某市農(nóng)業(yè)局農(nóng)業(yè)基礎(chǔ)信息的積累，便于政府決策人員獲取農(nóng)村基層涉及基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟組織收益分配、村級資產(chǎn)負(fù)債等信息統(tǒng)計，根據(jù)歷史信息，獲取農(nóng)業(yè)發(fā)展規(guī)律，為政府管理人員提供決策依據(jù)，也便于隨時隨地了解該局下屬各級行政單位縣、鄉(xiāng)、村的基本信息。保障了信息傳遞的暢通性，真實性和公正性。

2.1 項目功能

2.1.1縣、鄉(xiāng)、村類別的行政單位基礎(chǔ)信息網(wǎng)上錄入

1) 村級農(nóng)經(jīng)基礎(chǔ)信息的逐年錄入

在每一年度，作為最小的基層單位，需要將本單位涉及到農(nóng)村基本情況表：基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟組織收益分配、村級資產(chǎn)負(fù)債等信息統(tǒng)計，并錄入相應(yīng)的報表中，要求數(shù)據(jù)錄入簡捷，操作方便。

2) 鄉(xiāng)、縣、市年度統(tǒng)計信息

依據(jù)下屬逐年基礎(chǔ)信息的上報經(jīng)審核后由村鄉(xiāng)縣市四個級別的自動生成統(tǒng)計信息。上級部門僅有審核權(quán)限，沒有修改權(quán)限。保障了信息的真實性。

2.1.2 信息檢索

由不同行政級別的決策者查閱信息：年度基礎(chǔ)值、年度統(tǒng)計值、若干年指標(biāo)平均值、按指標(biāo)排名等。

2.1.3 信息打印

對于檢索的信息的在線打印，便于決策者查詢與參考。保障在網(wǎng)絡(luò)和電腦之外的其他傳統(tǒng)存儲介質(zhì)的使用，尤其在不能上網(wǎng)的情況下，照樣能隨時查閱農(nóng)村資料。

2.1.4 信息備份和恢復(fù)

信息備份和恢復(fù)：對于存儲的基礎(chǔ)信息，為了安全起見，能導(dǎo)出到其它存儲空間。一旦出現(xiàn)意外，數(shù)據(jù)不會丟失。保障了信息的安全性。

2.2 關(guān)鍵技術(shù)

2.2.1 數(shù)據(jù)存儲

數(shù)據(jù)的存儲是開發(fā)的基石，但是表1是一個不規(guī)則的層次型表格。對于如此復(fù)雜結(jié)構(gòu)的報表想要通過關(guān)系之間轉(zhuǎn)換， 以及如何選擇數(shù)據(jù)庫進(jìn)行存儲、數(shù)據(jù)之間的邏輯關(guān)系、選取何種數(shù)據(jù)模型，該項目的關(guān)鍵技術(shù)。并且還要考慮到本項目中數(shù)據(jù)每年不同，同時還不能覆蓋歷史信息。以及類似此結(jié)構(gòu)的（村級）基本信息表共12張，如此基本信息表生成的行政單位（鄉(xiāng)，縣，市）的統(tǒng)計表也是12張。同時初步統(tǒng)計出該市共有2375個行政村，236個鄉(xiāng)，5個縣。該項目中數(shù)據(jù)逐年增添的龐大性，也要求開發(fā)者從長遠(yuǎn)考慮，慎重選擇數(shù)據(jù)庫開發(fā)工具。

2.2.2 數(shù)據(jù)檢索

在信息找到解決方案后，如何在復(fù)雜的數(shù)據(jù)庫中依據(jù)數(shù)據(jù)表之間的對應(yīng)關(guān)系，根據(jù)散落的信息，瀏覽者中進(jìn)行查詢，要求操作簡單，查詢結(jié)果易于瀏覽，查詢信息有助于提供領(lǐng)導(dǎo)決策的要求。于是隱藏在數(shù)據(jù)之中的信息檢索也是本項目的重中之重。

3 層次型數(shù)據(jù)存儲技術(shù)

3.1 關(guān)系數(shù)據(jù)模型的確定

軟件開發(fā)中常用的數(shù)據(jù)庫技術(shù)現(xiàn)在比較流行大中型的有MySQL、IBM DB2、Oracle、SQL Server、SyBase、Informix等，個人用戶比較常用的主要是基于中小型數(shù)據(jù)庫MS SQL Server和Access。但是這些數(shù)據(jù)庫均是關(guān)系型數(shù)據(jù)庫。而現(xiàn)實項目開發(fā)中接觸的教多的初級信息多為不規(guī)范的數(shù)據(jù)，需要進(jìn)行整合重組為關(guān)系數(shù)據(jù)庫。

3.2 層次模型轉(zhuǎn)換為關(guān)系模型的方法

3.2.1 分割表法

依據(jù)層次關(guān)系依據(jù)節(jié)點的父子關(guān)系可分割為關(guān)系模型，將表2中作為父節(jié)點的單元生成新表，只要其內(nèi)容下有分支，就要產(chǎn)生一個新二維表表，具有規(guī)則的行和列，分解后的關(guān)系模型以及組成字段的簡要描述如表3。

該方法雖然實現(xiàn)了將層次型數(shù)據(jù)轉(zhuǎn)換為關(guān)系型數(shù)據(jù)[3]，但是將一個表中信息分解的支離破碎，考慮到數(shù)據(jù)的完整性，增、刪、改等操作中容易引發(fā)異常；表的數(shù)量過大，多表查詢時聯(lián)接頻繁，導(dǎo)致查詢信息的效率低下。同時對于每個行政單位的具體年份的信息無法存儲下來。結(jié)論：此方案不可行。

3.2.2 樹型存儲法

由于每個信息節(jié)點需要記錄其兩個組成部分：父節(jié)點（parentID）和自身（ID）的數(shù)據(jù)信息（Num）。借助于《數(shù)據(jù)結(jié)構(gòu)》課程中對樹型結(jié)構(gòu)數(shù)據(jù)的實現(xiàn)方法[4]，設(shè)計出對于每個節(jié)點除保存本身信息外還要記錄每個節(jié)點的父節(jié)點，對于表名視為樹的根（parentID為0），其它節(jié)點的parentID是通過記錄父親節(jié)點的（ID）實現(xiàn)的。

表3 分割表法實現(xiàn)的關(guān)系模型組成 表4 字典目錄法的信息表

對于表1行的數(shù)量不發(fā)生改變，以添加新列記錄下每個單位每年度的信息數(shù)據(jù)。此方法中便于查詢和統(tǒng)計信息生成。因為行的數(shù)量固定，但是列的再逐年改變。依據(jù)開發(fā)經(jīng)驗，基于表的信息的操作，一般是表結(jié)構(gòu)固定下來后，添加數(shù)據(jù)、更新數(shù)據(jù)、查詢數(shù)據(jù)等操作不要做表的結(jié)構(gòu)變化。但是此方法雖然記錄了表之間的關(guān)系，然而表中信息的年度和行政單位等資料無法存儲，如要存儲需要添加新列，而列的名字等信息還不穩(wěn)定的話，開發(fā)人員無法正確讀取信息[5]。同時在每個年度添加列，修改表的結(jié)構(gòu)會可能會導(dǎo)致表的部分重要信息丟失頻繁，尤其是對于特殊的數(shù)據(jù)（如必填字段）無法正常執(zhí)行，導(dǎo)致表的信息或修改表的結(jié)構(gòu)無法正常結(jié)束。結(jié)論：此方案不可行。

3.2.3 字典目錄法

結(jié)合樹型存儲法能記錄層次型數(shù)據(jù)報表的特點，經(jīng)項目組研究將樹型存儲法延伸為兩部分組成，形同表1的報表結(jié)構(gòu)，稱之為目錄表，表4稱為信息表。在表4中記錄每個節(jié)點在某個年度的數(shù)值信息，以及該信息來自何行政單位。而節(jié)點的名字和層次需要查詢表4來獲取。而查詢的依據(jù)是TableID的值是參照表1中ID而得到的，Depart指的是歸屬的行政單位名稱，Year代表數(shù)據(jù)是哪個年份。該方法的優(yōu)點是保存了表的結(jié)構(gòu),支持表的結(jié)構(gòu)修改，記錄了各個指標(biāo)的值。目錄表基本不變化，但是信息表每年均隨單位個數(shù)成倍遞增。查詢指定的統(tǒng)計信息較難，數(shù)據(jù)冗余較大。但是此方案實現(xiàn)了信息的完整保存：指標(biāo)名，指標(biāo)數(shù)，單位和年度信息的一體化。結(jié)論：此方案對于本項目是可行的。

4 基于字典目錄法的系統(tǒng)設(shè)計實現(xiàn)

系統(tǒng)確定了數(shù)據(jù)庫的設(shè)計思路后，基于字典目錄法的數(shù)據(jù)存儲實現(xiàn)由邏輯設(shè)計到物理設(shè)計的實現(xiàn)，為開發(fā)基于WEB《某市農(nóng)業(yè)信息系統(tǒng)》的奠定了根基。

4.1 錄入實現(xiàn)

在本系統(tǒng)中確定了信息的存儲方法，由于用戶的涉及面廣，文化程度不一，對于信息技術(shù)的操作熟練程度不等，要求對于錄入界面要求界面友好，操作簡潔，信息數(shù)據(jù)錄入方便。根據(jù)用戶具體情況，設(shè)計如如圖3錄入界面，在系統(tǒng)使用過程中以操作方便、界面友好，能自動校驗數(shù)據(jù)之間的平衡關(guān)系等特點，得到了用戶喜愛。

4.2 信息檢索

根據(jù)系統(tǒng)設(shè)計的表：結(jié)構(gòu)表，信息表，行政單位表三個基本表，將基于字典目錄法的數(shù)據(jù)存儲成功后，就可進(jìn)行信息查詢。查詢的基本思路如下：

查詢的條件-用戶要錄入選擇-查詢的指標(biāo)內(nèi)容和何年度指標(biāo)。

4.2.1 確定檢索指標(biāo)種類

選擇檢索的信息的種類，是基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟組織收益分配、村級資產(chǎn)負(fù)債等信息中的哪個類別。依次確定該類別信息涉及到的表名。

4.2.2 查找目錄表

根據(jù)信息種類依據(jù)目錄表來還原為層次模型結(jié)構(gòu)原型。

4.2.3 取出信息表數(shù)據(jù)

根據(jù)層次表原型，結(jié)合信息表中的年度信息，取出基本數(shù)據(jù)。

4.2.4 顯示檢索指標(biāo)數(shù)據(jù)

將基本數(shù)據(jù)載入到層次型結(jié)構(gòu)中。顯示用戶檢索信息。

由于篇幅有限，且此檢索功能需要涉及到項目中的各表，而本文僅重點討論層次型數(shù)據(jù)存儲技術(shù)，檢索算法的詳細(xì)算法和流程圖略。

5 結(jié)束語

本文主要結(jié)合項目課題基于Web的《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計，延伸出對于層次型報表轉(zhuǎn)化為關(guān)系模型存儲中的重要技術(shù)作了討論；同時結(jié)合分割表法、樹型存儲法分析了常用方法的優(yōu)缺點，提出了基于樹型存儲法的字典目錄法存儲數(shù)據(jù)。該方法解決了層次模型轉(zhuǎn)化為關(guān)系模型的困難，結(jié)合項目的功能要求，實現(xiàn)了與農(nóng)業(yè)局各級行政單位在指定年度的各項指標(biāo)信息的存儲問題。本系統(tǒng)的實現(xiàn)是新農(nóng)村信息化的具體表現(xiàn)，解決了農(nóng)業(yè)部門信息資料收集區(qū)域廣，信息統(tǒng)計困難、數(shù)據(jù)誤差大等問題，真正實現(xiàn)了信息的時效性、真實性，為政府部門提供了決策依據(jù)。

數(shù)據(jù)存儲技術(shù)論文:海量數(shù)據(jù)存儲關(guān)鍵技術(shù)淺析

摘要：海量數(shù)據(jù)的大量出現(xiàn)，使存儲技術(shù)正發(fā)生革命性的變化。針對海量數(shù)據(jù)存儲環(huán)境，對網(wǎng)絡(luò)附加存儲(NAS)及存儲區(qū)域網(wǎng)絡(luò)(SAN)進(jìn)行了分析，研究了面向?qū)ο蟠鎯夹g(shù)。并且對海量數(shù)據(jù)存儲的數(shù)據(jù)庫策略進(jìn)行了闡述，包括Oracle數(shù)據(jù)庫的表分區(qū)技術(shù)的策略、特性及應(yīng)用；Oracle數(shù)據(jù)庫并行處理結(jié)構(gòu)及特性。

關(guān)鍵詞：海量數(shù)據(jù)；對象存儲技術(shù)；分區(qū)技術(shù)；并行處理技術(shù)

1 問題提出

當(dāng)今是一個信息大爆炸的時代，網(wǎng)絡(luò)的廣泛使用更加劇了信息爆炸的速度。信息資源的爆炸性增長，對存儲系統(tǒng)在存儲容量、數(shù)據(jù)可用性以及I/O性能等方面提出了越來越高的要求。信息技術(shù)正從以計算設(shè)備為核心的計算時代步入以存儲設(shè)備為核心的存儲時代。

海量數(shù)據(jù)是指數(shù)據(jù)量極大，往往是Terabyte(1012bytes)、Petabyte(1015bytes)甚至Exabyte(1018bytes)級的數(shù)據(jù)集合。存儲這些海量信息不但要求存儲設(shè)備有很大的儲存容量，且還需要大規(guī)模數(shù)據(jù)庫來存儲和處理這些數(shù)據(jù)，在滿足通用關(guān)系數(shù)據(jù)庫技術(shù)要求的同時，更需要對海量存儲的模式、數(shù)據(jù)庫策略及應(yīng)用體系架構(gòu)有更高的設(shè)計考慮。

2 海量數(shù)據(jù)存儲模式選擇

存儲系統(tǒng)的存儲模式影響著整個海量數(shù)據(jù)存儲系統(tǒng)的性能，為了提供高性能的海量數(shù)據(jù)存儲系統(tǒng)，應(yīng)該考慮選擇良好的海量存儲模式。

對于海量數(shù)據(jù)而言，實現(xiàn)單一設(shè)備上的存儲顯然是不合適的，甚至是不可能的。結(jié)合網(wǎng)絡(luò)環(huán)境，對它們進(jìn)行分布式存儲不失為當(dāng)前的上策之選。如何在網(wǎng)絡(luò)環(huán)境下，對海量數(shù)據(jù)進(jìn)行合理組織、存儲，并提供高效、高可用、安全的數(shù)據(jù)訪問性能成為當(dāng)前一個研究熱點。適合海量數(shù)據(jù)的理想存儲模式應(yīng)該能夠提供高性能、可伸縮、跨平臺、安全的數(shù)據(jù)共享能力。

2.1 現(xiàn)有存儲模式分析

目前磁盤存儲市場上，根據(jù)服務(wù)器類型存儲分類如圖1所示。

其中外掛存儲占目前磁盤存儲市場的70%以上。由于網(wǎng)絡(luò)技術(shù)的崛起，直連式存儲(DAS)已顯得非常力不從心，存儲模式從以服務(wù)器為中心轉(zhuǎn)向以數(shù)據(jù)為中心的網(wǎng)絡(luò)存儲模式，目前典型的代表是：網(wǎng)絡(luò)附加存儲(NAS)和存儲區(qū)域網(wǎng)絡(luò)(SAN) [1-3]。

2.1.1 網(wǎng)絡(luò)附加存儲(NAS)

NAS(Network Attached Storage，網(wǎng)絡(luò)附加存儲)是一種文件級的網(wǎng)絡(luò)存儲模式，結(jié)構(gòu)如圖2所示。它擁有自己的文件系統(tǒng)，通過NFS或CIFS對外提供文件訪問服務(wù)。NAS將存儲設(shè)備通過標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接到現(xiàn)有的網(wǎng)絡(luò)上來提供數(shù)據(jù)和文件服務(wù)。NAS管理簡單、擴容方便，統(tǒng)一的文件系統(tǒng)使數(shù)據(jù)共享變得非常簡單，所以其較大的優(yōu)點是跨平臺性很好，但NAS服務(wù)器在網(wǎng)絡(luò)存儲中處于數(shù)據(jù)通路上，當(dāng)服務(wù)請求激增時存在I/O瓶頸，性能是NAS的較大問題，因此基于NAS的存儲方案對于組建海量存儲共享系統(tǒng)來說并不是一種理想的方案。

2.1.2 存儲區(qū)域網(wǎng)絡(luò)(SAN)

SAN(Storage Area Network，存儲區(qū)域網(wǎng)絡(luò)) 結(jié)構(gòu)如圖3所示。它是存儲設(shè)備與服務(wù)器經(jīng)由高速網(wǎng)絡(luò)設(shè)備連接而形成的存儲專用網(wǎng)絡(luò)。SAN一般基于光纖通道FC(Fibre Channel)或iSCSI(internet SCSI )構(gòu)建，它是塊級的存儲，系統(tǒng)性能非常優(yōu)越。SAN的優(yōu)點是高容量、高性、低延遲，缺點是SAN沒有一個統(tǒng)一的存儲系統(tǒng)接口，對存儲設(shè)備的共享訪問存在數(shù)據(jù)的完整性與安全性問題，設(shè)備的跨平臺性較差。

2.2 對象存儲技術(shù)

對象存儲技術(shù)提供基于對象的訪問接口，將NAS和SAN兩種存儲結(jié)構(gòu)的優(yōu)勢進(jìn)行了有效地整合，通過高層次的抽象，使之既具有NAS的跨平臺共享數(shù)據(jù)和安全訪問的優(yōu)點，同時又具有SAN的高性能和可伸縮性的優(yōu)點。

2.2.1 對象存儲模式

對象存儲模式[4]一般由Client、MDS(Metadata Server)和OSD(Object Storage Device)三部分組成，如圖4所示。

Client為客戶端，用來發(fā)起數(shù)據(jù)訪問；MDS為服務(wù)器，用來管理對象存儲系統(tǒng)中的元數(shù)據(jù)并保障訪問的一致性；OSD為存儲對象數(shù)據(jù)的設(shè)備，它是一個智能設(shè)備，包括處理器、RAM內(nèi)存、網(wǎng)絡(luò)接口、存儲介質(zhì)等以及運行在其中的控制軟件[5]。

對象存儲設(shè)備(OSD)中，將對象(object)作為對象存儲的基本單元，每個對象具有惟一的ID標(biāo)識符。對象由對象ID、對象數(shù)據(jù)的起始位置、數(shù)據(jù)的長度來進(jìn)行訪問。對象提供類似文件訪問的方法，如Create，Open，Close，Read，Write，對象屬性等；對象的數(shù)據(jù)包括自身的元數(shù)據(jù)和用戶數(shù)據(jù)，其中，元數(shù)據(jù)用于描述對象特定的屬性，如對象的邏輯大小、對象的元數(shù)據(jù)大小、總的字節(jié)大小；用戶數(shù)據(jù)用來保存實際的二進(jìn)制數(shù)據(jù)。

對象分為根對象、組對象和用戶對象。根對象定義了存儲設(shè)備以及存儲設(shè)備本身的不同屬性；組對象為存儲設(shè)備上對象提供了目錄；用戶對象存儲實際應(yīng)用數(shù)據(jù)。

2.2.2 對象存儲模式用于海量數(shù)據(jù)存儲的優(yōu)勢

對象存儲模式的特性使其在處理海量數(shù)據(jù)存儲請求時具有較大優(yōu)勢，主要體現(xiàn)在：

1) 高性能數(shù)據(jù)存儲：訪問節(jié)點有獨立的數(shù)據(jù)通路和元數(shù)據(jù)訪問通路，可以對多個OSD進(jìn)行并行訪問，從而解決了當(dāng)前存儲系統(tǒng)的一個性能瓶頸問題。

2) 跨平臺數(shù)據(jù)共享：由于在對象存儲系統(tǒng)上部署基于對象的分布式文件系統(tǒng)比較容易，所有能夠?qū)崿F(xiàn)不同平臺下的設(shè)備和數(shù)據(jù)的共享。

3) 方便安全的數(shù)據(jù)訪問：I/O通道的建立及數(shù)據(jù)的讀寫需要經(jīng)過授權(quán)許可才能進(jìn)行，從而保障了數(shù)據(jù)訪問的安全性；另一方面，任何Client都可以通過對象存儲系統(tǒng)提供的標(biāo)準(zhǔn)文件接口訪問OSD上的數(shù)據(jù)，統(tǒng)一的命名空間使Client訪問數(shù)據(jù)的一致性得到了保障。

4) 可伸縮性：對象存儲模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨立的智能設(shè)備，可以通過增加OSD數(shù)量，使存儲系統(tǒng)的聚合I/O帶寬、存儲容量和處理能力得到提高，這種平衡擴展模式使得存儲系統(tǒng)能夠具有良好的可伸縮性。

5) 智能的存儲設(shè)備：OSD中集成了部分的存儲管理功能，因此OSD具有一定智能的自主存儲功能。

3 數(shù)據(jù)庫策略

數(shù)據(jù)庫管理系統(tǒng)(DBMS)是海量數(shù)據(jù)存儲檢索系統(tǒng)的核心部件，所有對數(shù)據(jù)的控制都要通過DBMS來實現(xiàn)。Oracle數(shù)據(jù)庫管理系統(tǒng)應(yīng)用十分普及，是目前高性能存儲檢索系統(tǒng)主要選擇的關(guān)系數(shù)據(jù)庫管理系統(tǒng)，因此本文海量數(shù)據(jù)的存儲基于Oracle數(shù)據(jù)庫管理系統(tǒng)來實現(xiàn)。

本文基于海量數(shù)據(jù)環(huán)境，對通用的數(shù)據(jù)庫管理策略不作研究，只針對海量數(shù)據(jù)找到有效存儲方法，設(shè)計并實現(xiàn)高性能面向海量數(shù)據(jù)存儲的數(shù)據(jù)庫關(guān)鍵策略。

實現(xiàn)高性能的海量數(shù)據(jù)存儲可采取的數(shù)據(jù)庫策略有：

1) 分區(qū)技術(shù)：為了更精細(xì)地對數(shù)據(jù)庫對象如表、索引及索引編排表進(jìn)行管理和訪問。可以對這些數(shù)據(jù)庫對象進(jìn)行進(jìn)一步的劃分，這就是所謂的分區(qū)技術(shù)。

2) 并行處理技術(shù)：為了提高系統(tǒng)性能，可以讓多個處理器協(xié)同工作來執(zhí)行單個SQL語句，這就是所謂的并行處理技術(shù)。

3.1 數(shù)據(jù)庫表分區(qū)技術(shù)

3.1.1 基本概念

本文研究的主要存儲對象為海量數(shù)據(jù)，數(shù)據(jù)庫的大小常常達(dá)到數(shù)百GB甚至用TB來計算。而單表的數(shù)據(jù)量往往會達(dá)到上億的記錄，并且記錄數(shù)會隨著時間而增長。當(dāng)表和索引變得非常大時，分區(qū)可以將數(shù)據(jù)分為更小、更容易管理的部分來提高系統(tǒng)的運行效率。對表和索引進(jìn)行分區(qū)的主要目的就是改善大型表的可伸縮性和可管理性。所以對大型表進(jìn)行分區(qū)是處理海量數(shù)據(jù)的一種十分高效的方法。

由于本文研究的主要存儲對象為海量數(shù)據(jù)，存儲時數(shù)據(jù)庫中只存儲文件名、摘要及其它文字說明，源文件的內(nèi)容存儲在數(shù)據(jù)庫以外的物理介質(zhì)上。

3.1.2 分區(qū)策略

Oracle分區(qū)的表通過使用“分區(qū)關(guān)鍵字”分區(qū)，分區(qū)關(guān)鍵字是確定某個行所在分區(qū)的一組列。Oracle提供了三種基本數(shù)據(jù)分配方法：范圍(range)、列表(1ist)與散列(hash)。使用上述的數(shù)據(jù)分配方法，可以將表分成單一分區(qū)表或組合分區(qū)表。則Oracle提供的分區(qū)技術(shù)主要分為以下幾種： 范圍分區(qū)，列表分區(qū)，散列分區(qū)，組合范圍-散列分區(qū)，組合范圍-列表分區(qū)[6]。

此外Oracle還提供三種類型的分區(qū)索引，包括本地索引、全局分區(qū)索引和全局非分區(qū)索引。可以根據(jù)業(yè)務(wù)需求選擇相應(yīng)的索引分區(qū)策略，從而實現(xiàn)最合適的分區(qū)，以支持任何類型的應(yīng)用程序。

Oracle提供一套強健的技術(shù)用于表、索引和索引編排表的分區(qū)。海量數(shù)據(jù)的數(shù)據(jù)庫存儲可以選用以上分區(qū)技術(shù)中的一種或幾種，通過一組完整的SQL命令來管理分區(qū)表，從而達(dá)到高性能檢索的目的。

3.1.3 分區(qū)技術(shù)的應(yīng)用

本文的研究對象是海量的文檔數(shù)據(jù)集，對文檔集進(jìn)行分類處理，采用范圍分區(qū)技術(shù)的應(yīng)用將使系統(tǒng)各方面得到改善：

1) 增強可用性：如果數(shù)據(jù)庫表的某個分區(qū)出現(xiàn)了故障，可以確保數(shù)據(jù)庫表在其它分區(qū)中的數(shù)據(jù)仍然可用。

2) 維護(hù)方便：如果數(shù)據(jù)庫表的某個分區(qū)出現(xiàn)了故障，則僅需修復(fù)該故障分區(qū)的數(shù)據(jù)即可，而不需要對整個數(shù)據(jù)庫表進(jìn)行維護(hù)。

3) 均衡I/O：可以將數(shù)據(jù)庫表不同的分區(qū)映射到磁盤用以平衡I/O，可以使系統(tǒng)的整體性能得到改善。

4)改善查詢性能：用戶對分區(qū)對象進(jìn)行查詢時，只需要搜索用戶關(guān)心的分區(qū)，從而可以提高查詢速度，改善查詢性能。

3.2 數(shù)據(jù)庫并行處理技術(shù)

3.2.1 基本概念

并行處理技術(shù)是數(shù)據(jù)庫的一項核心技術(shù)，是指利用多個CPU和I/O資源來執(zhí)行單個數(shù)據(jù)庫操作，從而使得數(shù)據(jù)庫能夠高效地管理和訪問TB級的數(shù)據(jù)[7]。盡管目前主流的數(shù)據(jù)庫管理系統(tǒng)都表示可以提供并行處理能力，但在并行處理結(jié)構(gòu)上都存在著關(guān)鍵的差異。

3.2.2 Oracle并行處理結(jié)構(gòu)

所謂并行處理是指：將單個任務(wù)分解為多個更小的單元。不是將所有工作通過一個進(jìn)程完成，而是將任務(wù)并行化，從而使得多個進(jìn)程同時在更小的單元上運行，這樣做能極大地提高系統(tǒng)性能并且能地利用系統(tǒng)資源。

Oracle使用動態(tài)并行處理框架，數(shù)據(jù)操作可以依據(jù)當(dāng)前工作特征、查詢及負(fù)載的重要性，使用1~N個真正應(yīng)用集群節(jié)點并行運行。

3.2.3 并行處理技術(shù)的特性

Oracle數(shù)據(jù)庫并行技術(shù)能提高數(shù)據(jù)庫性能，并且能提高數(shù)據(jù)庫的較大運行速度和較大負(fù)載量。由于并行系統(tǒng)的每個節(jié)點都相互獨立，使得一個節(jié)點如果出現(xiàn)故障不會導(dǎo)致這個數(shù)據(jù)庫崩潰，剩余的節(jié)點可以在為用戶提供服務(wù)的同時對故障節(jié)點進(jìn)行恢復(fù)，因此并行技術(shù)比單節(jié)點的性要高。Oracle數(shù)據(jù)庫并行技術(shù)還能根據(jù)需要隨時分配和釋放數(shù)據(jù)庫實例，數(shù)據(jù)庫的機動性高。還有一點就是并行技術(shù)可以克服內(nèi)存限制，為更多的用戶提供數(shù)據(jù)服務(wù)。

4 結(jié)束語

對象存儲模式由于具有良好的可伸縮性、高性能、跨平臺、安全數(shù)據(jù)共享等能力，成為海量數(shù)據(jù)存儲模式的一個理想選擇；配合數(shù)據(jù)庫的分區(qū)技術(shù)和并行處理技術(shù)，可以實現(xiàn)高性能的海量數(shù)據(jù)存儲。

數(shù)據(jù)存儲技術(shù)論文:關(guān)于電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)的分析

摘 要：在新形勢下，電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理需要應(yīng)用不同的技術(shù)方式，提高電網(wǎng)調(diào)控運行的質(zhì)量和水平。文章主要就電網(wǎng)調(diào)控運行大數(shù)據(jù)分類及特征、電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)框架、電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)的應(yīng)用三個方面內(nèi)容進(jìn)行論述。

關(guān)鍵詞：電網(wǎng)調(diào)控運行；大數(shù)據(jù)；分類及特征；存儲與處理；框架；應(yīng)用

引言

隨著科學(xué)技術(shù)的進(jìn)步和發(fā)展，為更好的滿足各種電力系統(tǒng)應(yīng)用需求，提高電力系統(tǒng)的質(zhì)量和水平，我國開展了智能電網(wǎng)的建設(shè)工作。其中，一個重要的工作是對于新型技術(shù)方式的應(yīng)用。比如：具有更好質(zhì)量、更大規(guī)模、更多數(shù)據(jù)信息來源的電網(wǎng)調(diào)控中心需要進(jìn)行高質(zhì)量的應(yīng)用，對于電網(wǎng)調(diào)控運行大數(shù)據(jù)進(jìn)行良好的存儲與處理，開展更好的應(yīng)用，對于整個的電網(wǎng)系統(tǒng)運行進(jìn)行數(shù)據(jù)信息保障。因此，我們針對電網(wǎng)調(diào)控運行大數(shù)據(jù)分類及特征、電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)框架、電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)的應(yīng)用問題進(jìn)行研究和分析工作，為加快我國的智能電網(wǎng)建設(shè)貢獻(xiàn)出一份力量，更好的滿足人們對電力資源應(yīng)用的需求。

1 電網(wǎng)調(diào)控運行大數(shù)據(jù)分類及特征

電網(wǎng)調(diào)控運行大數(shù)據(jù)可以依據(jù)來源方式的不同分為電網(wǎng)調(diào)控運行大數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、外部信息數(shù)據(jù)、電網(wǎng)運行及設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)四種不同的類型。這四種不同類型數(shù)據(jù)在應(yīng)用中具有緊密的關(guān)系。在電網(wǎng)調(diào)控運行的眾多數(shù)據(jù)中，計劃類的數(shù)據(jù)、負(fù)荷預(yù)測數(shù)據(jù)、電網(wǎng)運行的數(shù)據(jù)、基礎(chǔ)性的數(shù)據(jù)等屬于結(jié)構(gòu)性的數(shù)據(jù)方式。同時，在應(yīng)用中還存在一些非結(jié)構(gòu)性的數(shù)據(jù)方式。比如：圖形圖像的處理、視頻的監(jiān)控等漸漸在應(yīng)用中發(fā)揮出重要的作用。

隨著電網(wǎng)調(diào)控規(guī)模的擴大、數(shù)據(jù)體積的變大、應(yīng)用種類的增多、結(jié)構(gòu)的漸漸復(fù)雜，進(jìn)行高質(zhì)量的數(shù)據(jù)處理和存儲已經(jīng)變得比較困y。因此，需要對于系統(tǒng)運行的結(jié)構(gòu)、方式等等進(jìn)行性改變，提高存儲和處理的質(zhì)量和水平[1]。

2 電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)框架

2.1 大數(shù)據(jù)的分類存儲

為提高電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲質(zhì)量，我們需要進(jìn)行原始數(shù)據(jù)資源信息獲得，并且進(jìn)行有效性預(yù)處理，通過開展高質(zhì)量的原始數(shù)據(jù)信息過濾、篩選等等工作，提高存儲的質(zhì)量和水平，為今后的分析提供保障。在智能化電網(wǎng)建設(shè)的背景下，為更好的滿足數(shù)據(jù)存儲的需求，我們需要應(yīng)用合理化的方式來提高存儲的速度和水平。如：可以進(jìn)行實時性的存儲工作，對于不同來源的數(shù)據(jù)信息進(jìn)行分類的管理存儲。

2.2 大數(shù)據(jù)的分類處理

從不同類型數(shù)據(jù)的實時性出發(fā)，對于數(shù)據(jù)信息進(jìn)行專業(yè)化整理工作，進(jìn)行不同一次數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集之間關(guān)系的充分表示，形成關(guān)聯(lián)性的函數(shù)。然后應(yīng)用合理化方式進(jìn)行電網(wǎng)調(diào)控業(yè)務(wù)數(shù)據(jù)流程的優(yōu)化。電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理的流程為：電網(wǎng)運行設(shè)備狀態(tài)監(jiān)測數(shù)據(jù)――電網(wǎng)調(diào)控運行大數(shù)據(jù)――大數(shù)據(jù)預(yù)處理――實時數(shù)據(jù)存儲/非實時數(shù)據(jù)存儲――流處理/批處理――數(shù)據(jù)駁動――數(shù)據(jù)應(yīng)用[2]。

3 電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)的應(yīng)用

3.1 對電網(wǎng)狀態(tài)的智能化監(jiān)控

通過對電網(wǎng)調(diào)控運行大數(shù)據(jù)分類存儲與處理，對于系統(tǒng)中的I/O優(yōu)點進(jìn)行有效性應(yīng)用，對于系統(tǒng)的數(shù)據(jù)進(jìn)行有效性監(jiān)控和管理，開展分類的存儲。比如：對于系統(tǒng)中的電流、電壓、保護(hù)動作信號、諧波等開展有效性管理工作，最終可以構(gòu)建高質(zhì)量的數(shù)據(jù)驅(qū)動機組安全運行狀態(tài)模型，對于系統(tǒng)應(yīng)用中存在的不穩(wěn)定因素進(jìn)行分析和研究，有利于檢修人員在最短時間中趕到現(xiàn)場進(jìn)行專業(yè)化處理，提高電網(wǎng)狀態(tài)運行質(zhì)量和水平，保障電網(wǎng)系統(tǒng)的安全，有利于電網(wǎng)系統(tǒng)的功能得到充分發(fā)揮[3]。（其主要的管理監(jiān)控流程如圖1所示）

3.2 安全智能預(yù)警

通過對于變電站和調(diào)控中心的應(yīng)用，系統(tǒng)主要是對于預(yù)想事故中典型運行方式進(jìn)行專業(yè)化的離線計算。但是，這種方式在應(yīng)用中存在明顯的缺點，即預(yù)警方式不、不及時。因此，我們對電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)進(jìn)行有效性的應(yīng)用，通過對高質(zhì)量網(wǎng)絡(luò)信息技術(shù)、計算機技術(shù)等進(jìn)行充分應(yīng)用，建立起新型的全網(wǎng)一體化實時仿真計算方式，可以對系統(tǒng)應(yīng)用中的故障和問題進(jìn)行性、實時性的預(yù)警，提高了系統(tǒng)大數(shù)據(jù)存儲與處理的質(zhì)量和水平，對于原有系統(tǒng)中的問題進(jìn)行解決，可以對電網(wǎng)的整體性運行狀態(tài)進(jìn)行了科學(xué)化評估，有利于電網(wǎng)調(diào)控中心內(nèi)的工作人員依據(jù)實際情況需要，采取正確合理化的控制舉措。比如：將有關(guān)的問題通過智能化的溝通平臺及時通知有關(guān)維護(hù)人員，使得他們在最短的時間內(nèi)趕到現(xiàn)場，應(yīng)用專業(yè)化的手法來進(jìn)行故障問題的處理，提高系統(tǒng)安全運行的能力，保障了電網(wǎng)系統(tǒng)在未來的應(yīng)用中具有良好的應(yīng)用價值和水平，更好的滿足人們對于高質(zhì)量電力資源應(yīng)用的需求[4]。（其主要的管理模式如圖2所示）

3.3 廣域源荷互動的優(yōu)化調(diào)度

科學(xué)技術(shù)的發(fā)展，使得眾多的新型能源在電網(wǎng)中進(jìn)行了并網(wǎng)應(yīng)用。比如：風(fēng)能（孝感電網(wǎng)包括：雷鼓臺、岳家山、江家山、仙居頂、界嶺風(fēng)電場）、光伏能源（孝感電網(wǎng)包括：天紫、竹園、曹崗、楊畈、三汊光伏發(fā)電廠）、生物質(zhì)能（孝感電網(wǎng)包括：金秋電廠）等等具有間歇性特點的新能源。在這種情況下，應(yīng)用傳統(tǒng)的發(fā)電機組來進(jìn)行電網(wǎng)的自動化智能化調(diào)節(jié)和控制無法實現(xiàn)。而應(yīng)用大數(shù)據(jù)分類存儲和處理技術(shù)可以對全網(wǎng)電力資源的需求和負(fù)荷信息進(jìn)行科學(xué)化調(diào)控監(jiān)督工作，依據(jù)不同的時間、地點等進(jìn)行電力資源的合理化配置，提高整個電網(wǎng)運行的質(zhì)量和水平，通過科學(xué)性的調(diào)控決策、整體應(yīng)用態(tài)勢的感知，在保障電網(wǎng)穩(wěn)定和安全的前提下充分挖掘電網(wǎng)新能源的應(yīng)用潛能，有利于實現(xiàn)我國電力能源的多樣化，降低了煤炭等傳統(tǒng)能源應(yīng)用的數(shù)量，更好的開展節(jié)能環(huán)保工作[5]。

4 結(jié)束語

對于電網(wǎng)調(diào)控運行大數(shù)據(jù)存儲與處理技術(shù)進(jìn)行分析，有利于我們開展電網(wǎng)調(diào)控運行大數(shù)據(jù)分類存儲和分類處理，然后對于原有的電網(wǎng)調(diào)控系統(tǒng)進(jìn)行現(xiàn)代化、智能化的改造，提高電網(wǎng)調(diào)控大數(shù)據(jù)運行的質(zhì)量和水平，保障電網(wǎng)系統(tǒng)的安全，更好的滿足人們對高質(zhì)量、穩(wěn)定安全電力資源應(yīng)用的需求。

數(shù)據(jù)存儲技術(shù)論文:現(xiàn)代計算機數(shù)據(jù)存儲技術(shù)探析

摘 要 S著全社會科學(xué)技術(shù)的迅猛發(fā)展，在日常的工作和生活中，產(chǎn)生的信息越來越多，運行的程序也逐漸在臧鐸和復(fù)雜，需要存儲的信息量也是越來越大，對信息存儲載體的質(zhì)量要求也越來越高。同時，所需要存儲的信息的重要性是不可否認(rèn)的，所以對信息安全的要求也是非常高的。在這樣的社會背景下，需要非常有保障的安全保障的信息存儲技術(shù)，對現(xiàn)代計算機數(shù)據(jù)存儲技術(shù)的研究推動了存儲、網(wǎng)絡(luò)、計算機等多方面的發(fā)展。所以，對計算機數(shù)據(jù)存儲技術(shù)的研究是目前階段一個比較重要的問題。本文主要分析現(xiàn)代計算機存儲技術(shù)存在的重要性以及必然性，同時分析目前集中主要的技術(shù)。

關(guān)鍵詞 計算機 數(shù)據(jù) 存儲技術(shù)

0引言

現(xiàn)代社會，計算機是一種十分常見的事物，無論是在生活中、學(xué)習(xí)中還是工作中，計算機都隨處可見，計算機技術(shù)也無時無刻不在影響著我們的生活，計算機在最初的階段，所涉及和被應(yīng)用的領(lǐng)域也不是非常廣泛，所以，計算機需要運行的程序和需要存儲的數(shù)據(jù)在有所增加，進(jìn)而就需要計算的作出相應(yīng)的完善。基于計算機的運行速度加快的需要和對信息存儲量的增加的需求，計算機需要在發(fā)展變化的過程中，逐漸完善有關(guān)軟件和硬件設(shè)施。尤其是現(xiàn)代社會，計算機的大部分工作的基礎(chǔ)都是用于數(shù)據(jù)的處理，處理數(shù)據(jù)量在增大的同時，數(shù)據(jù)的價值也在逐漸的提高。數(shù)據(jù)在逐漸發(fā)展的過程中，成為了一個獨立的實體，自由存儲，也不屬于其他任何的有關(guān)系統(tǒng)之內(nèi)，就是相對獨立的實體。并且，數(shù)據(jù)在被處理的過程中，有著共享性的特點，也是一種存儲和保護(hù)的有價值的實體財富。由此可見，對數(shù)據(jù)的存儲設(shè)備的研究開發(fā)和保護(hù)也變得越來越重要，對信息存儲技術(shù)的研究也是一項有著極高價值的活動和行為。

1 計算機數(shù)據(jù)存儲技術(shù)的必要性

計算機數(shù)據(jù)是計算機主要運行的數(shù)據(jù)基礎(chǔ)，計算機的需要量很大，自然對出具的處理和存儲能力的需求就非常大，不難得出結(jié)論，計算機數(shù)據(jù)存儲技術(shù)的研究是一個十分重要，而且意義重大的研究問題。下面，從以下幾個方面，對現(xiàn)代計算機數(shù)據(jù)存儲技術(shù)的重要性進(jìn)行分析。

1.1數(shù)據(jù)存儲技術(shù)是大數(shù)據(jù)時代的時代要求

隨著信息技術(shù)的飛速發(fā)展，數(shù)據(jù)產(chǎn)生的量非常大，數(shù)據(jù)產(chǎn)生的手段也非常先進(jìn)，同時數(shù)據(jù)獲取的手段也是多渠道的。在這樣的背景之下，面對大量的數(shù)據(jù)，對數(shù)據(jù)處理的要求就自然而然的有所升高，大規(guī)模的數(shù)據(jù)密集型應(yīng)用系統(tǒng)數(shù)據(jù)量也在呈指數(shù)級的上升趨勢，可以說是一個爆炸式的增長，目前被稱為是“大數(shù)據(jù)時代”。正是這樣的社會背景，大數(shù)據(jù)時代，顧名思義數(shù)據(jù)量是很大的，那么每個單位就需要一種可以處理大數(shù)據(jù)的程序和工具。在這樣的趨勢下，在未來的發(fā)展中，這樣的勢頭不會減少只會增加，數(shù)據(jù)量的增大，原有的數(shù)據(jù)處理的系統(tǒng)必然會在這時出現(xiàn)無法滿足目前大量數(shù)據(jù)的需求，這樣現(xiàn)代的計算機數(shù)據(jù)存儲技術(shù)的出現(xiàn)就是必然的事件了。時代的發(fā)展，科學(xué)技術(shù)的發(fā)展，數(shù)據(jù)的數(shù)量的變化，都是這個時代對計算機數(shù)據(jù)存儲技術(shù)的發(fā)展要求，計算機技術(shù)在這個變化的過程中起著非常重要的作用。

1.2方便了信息的管理

現(xiàn)在的社會的節(jié)奏非常快，每天的信息量都非常大，生活中是這樣，工作中就更是讓人手忙腳亂，在這個時代中產(chǎn)生的信息和需要處理的信息量也在逐漸的增大，那么對信息的處理工具和程序的要求自然也在提高。可以存儲大量、復(fù)雜種類信息的載體就是當(dāng)前環(huán)境所需要的。信息的管理是一個復(fù)雜的過程，如果沒有很好的信息存儲的系統(tǒng)，那么就會嚴(yán)重影響信息的質(zhì)量，就會為以后的工作帶來很多不必要的麻煩。現(xiàn)代計算機存儲技術(shù)的誕生，為信息管理系統(tǒng)的存儲帶來了方便，可以保障大量的信息可以有空間存儲、按照種類的不同分類存儲、根據(jù)信息的使用頻率分別存儲等，這些對于信息管理過程中信息的存儲都是有很大的益處的，現(xiàn)代計算機數(shù)據(jù)存儲技術(shù)為信息的管理提供了可以直接利用的技術(shù)支持和手段，為信息的有效管理提供了很大的方便。

1.3保障企業(yè)內(nèi)部數(shù)據(jù)安全

現(xiàn)在的社會中，無論是什么樣的企業(yè)，一定會有很多電腦辦公的環(huán)境和情況，就是一種依賴計算機運行來處理公司一些事務(wù)的情況，那么計算機的的效率就對企業(yè)產(chǎn)生非常大的影響。在傳統(tǒng)的情況下，使用電腦辦公所占的比例相對較小，但是，現(xiàn)在這個時代，信息化辦公已經(jīng)是一個主流的形式，面對著這樣的情況，依賴計算機，其實就是依賴計算機的對數(shù)據(jù)的處理，既然是這樣，對計算機數(shù)據(jù)存儲的需求就有所表現(xiàn)。現(xiàn)在計算機的使用非常多，那么也就是計算機的數(shù)據(jù)存儲和處理出現(xiàn)的非常頻繁。數(shù)據(jù)量大，就非常容易出現(xiàn)數(shù)據(jù)之間無法明確任務(wù)，對數(shù)據(jù)的安全性造成一定的威脅，現(xiàn)代計算機數(shù)據(jù)存儲技術(shù)就可以在更高的程度上避免這種數(shù)據(jù)安全性受到威脅限制。

2現(xiàn)代計算機數(shù)據(jù)存儲的有關(guān)技術(shù)

面對與日俱增的數(shù)據(jù)量，為了滿足這樣的數(shù)據(jù)量的存儲需求，多種存儲技術(shù)應(yīng)著需求在逐漸的發(fā)展起來，各種技術(shù)有著各自的存在理由和各自的發(fā)展優(yōu)勢，下文分析幾種技術(shù)的詳細(xì)原理和應(yīng)用。

2.1磁盤陣列技術(shù)

磁盤陣列是由一個硬盤控制器來控制多個硬盤的連接，在讀寫的過程中，多個硬盤同時進(jìn)行，降低了在讀寫過程中發(fā)生的錯誤，提高了技術(shù)處理的效率，和性。磁盤陣列技術(shù)主要針對的寸處對象是計算機的硬盤，磁盤陣列技術(shù)是目前很多領(lǐng)域應(yīng)用的技術(shù)，主要是利用數(shù)據(jù)組的形式來作為磁盤，配合著數(shù)據(jù)分散排列的設(shè)計，有效提高數(shù)據(jù)的安全性。一個硬盤連接多個硬盤，進(jìn)而多個硬盤一起進(jìn)行讀寫的程序，不難理解，在對數(shù)據(jù)進(jìn)行讀寫的過程中，效率是非常高的。磁盤陣列技術(shù)在對數(shù)據(jù)進(jìn)行存儲時的存儲速度是非常快的，同時安全性在很大程度上可以得以保障，并且該技術(shù)的性也是非常高的。

2.2 NAS技術(shù)

NAS是一種特殊的專用數(shù)據(jù)存儲的服務(wù)器，有單獨的存儲處理核心，CPU、內(nèi)存、操作系統(tǒng)等，也常被稱為是一種網(wǎng)絡(luò)附加的存儲技術(shù)。NAS技術(shù)通過網(wǎng)絡(luò)把文件系統(tǒng)和存儲系統(tǒng)連接在一起，控制器來運行和維護(hù)文件系統(tǒng)，判斷文件的流向。在使用的過程中，服務(wù)器與存儲設(shè)備互相分離，也就是說NAS是一個獨立于外的單獨個體。由于獨立性，當(dāng)有一個設(shè)備或系統(tǒng)出現(xiàn)不能正常運行的狀況時，不會影響其他的系統(tǒng)的運行，不會因為以處的故障而影響整個存儲系統(tǒng)的正常工作，是一個比較適合應(yīng)用于大范圍的技術(shù)，而且應(yīng)用起來更加方便。

2.3 SAN技g

SAN是一種存儲的域網(wǎng)絡(luò)，是網(wǎng)絡(luò)存儲技術(shù)的核心，企業(yè)在業(yè)務(wù)系統(tǒng)方面的核心部分，可以借助于具有高性、高性能的數(shù)據(jù)訪問方式，這是SAN技術(shù)的好處所在。對于SAN技術(shù)而言，相關(guān)聯(lián)的存儲設(shè)備可以通過效率高的連接設(shè)備與多種服務(wù)器進(jìn)行諒解，這種配置對于所有設(shè)備而言都可以進(jìn)行連接，也就是在服務(wù)器和存儲器之間的連接提供了一個很好地紐帶。SAN技術(shù)可以滿足多客戶同時運行的需求，還可以在很大程度上保障應(yīng)用性能的穩(wěn)定性。隨著自身存儲容量的增大，SAN還可以允許用戶獨立增大自身的存儲容量，不僅可以很好的存儲數(shù)據(jù)，還可以實現(xiàn)對存儲資源進(jìn)行集中的管理。SAN技術(shù)的應(yīng)用具有很高的靈活性，存儲設(shè)備和數(shù)據(jù)的管理方式發(fā)生了一定的改變，在SAN網(wǎng)絡(luò)中，不再是某一個占據(jù)主導(dǎo)地位的設(shè)備可以連接，有效的提高了存儲數(shù)據(jù)資源的共享性。

2.4云存儲技術(shù)

云存儲是當(dāng)今社會非常熱門的話題，我們身邊也有一些常見的應(yīng)用，比如，我們自己日常的學(xué)習(xí)和工作中使用的百度云，就是一種云存儲的技術(shù)應(yīng)用。云存儲，就是通過集群技術(shù)、網(wǎng)格技術(shù)等系統(tǒng)功能，把網(wǎng)絡(luò)中各種類型的存儲設(shè)備通過應(yīng)用軟件集合起來，使之協(xié)同工作，一起對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。云存儲可以說不是一個單獨的存儲的技術(shù)手段，但是可以說是技術(shù)的結(jié)合體，也是一種技術(shù)的手法的表現(xiàn)，畢竟達(dá)到了存儲的效果，同時還可以很大程度上提高了存儲的效率，而且數(shù)據(jù)存儲技術(shù)的結(jié)合使用，滿足了不同類型數(shù)據(jù)存儲的需求。

3存儲技術(shù)的選擇使用細(xì)節(jié)

存儲的技術(shù)有很多種，那么作為一個獨立的單位在選擇存儲自己的內(nèi)部數(shù)據(jù)信息的過程中，也不是盲目的選擇的，而是在作出選擇的時候，要有一定的選擇的理由，下面就是技術(shù)在實踐的使用中應(yīng)該注意的幾點問題。

3.1科學(xué)合理的選擇和使用

多種計算機數(shù)據(jù)存儲的優(yōu)勢已經(jīng)明確，但是在選擇和具體的使用中，還是要非常注意一些問題的。在選擇使用之前，一定要認(rèn)真分析自己企業(yè)內(nèi)部數(shù)據(jù)存儲的要求，是否該項技術(shù)的應(yīng)用可以滿足的，一定要結(jié)合實際情況，對自己的情況加以明確，確保做出的決策可以為企業(yè)內(nèi)部數(shù)據(jù)的存儲帶來好處。

3.2使用者要了解該技術(shù)

技術(shù)的應(yīng)用目的是提高數(shù)據(jù)存儲的效率和水平，那么前提一定是對技術(shù)有所了解，明確技術(shù)應(yīng)用前的準(zhǔn)備，以及在技術(shù)的應(yīng)用過程中，需要注意什么問題。如果，使用者不了解技術(shù)，就盲目的引入應(yīng)用，比較不好的情況就是技術(shù)的核心功能不能有效的發(fā)揮，不可以為企業(yè)提供方便。使用者要明確各種存儲技術(shù)的特點，確保在使用的過程中對該技術(shù)的操作得心應(yīng)手，這樣才可以達(dá)到預(yù)想的技術(shù)引入的結(jié)果。

3.3使用過程中注重結(jié)合企業(yè)的實際情況

現(xiàn)代計算機數(shù)據(jù)存儲技術(shù)是一種固定的技術(shù)手段，有多重表現(xiàn)形式，如果應(yīng)用到自身的數(shù)據(jù)存儲系統(tǒng)中，每一個企業(yè)的數(shù)據(jù)存儲的原有實際情況都是有一定差異的，所以，在使用的過程中，不要按照既定的思維模式和對該技術(shù)的認(rèn)知來思考技術(shù)的使用，而是要順應(yīng)技術(shù)的需求，調(diào)整對技術(shù)的理解和認(rèn)識。確保技術(shù)的應(yīng)用可以真正的實現(xiàn)企業(yè)內(nèi)部數(shù)據(jù)的科學(xué)合理有效存儲。

4總結(jié)

在現(xiàn)代這個科學(xué)技術(shù)發(fā)達(dá)、計算機應(yīng)用普遍、計算機數(shù)據(jù)量極大的社會環(huán)境中，計算機數(shù)據(jù)存儲的安全性、高效性、性等重要性能，越來越成為人們關(guān)注和討論的重點話題，當(dāng)然技術(shù)的使用也成為了技術(shù)研究者研究的重點內(nèi)容。現(xiàn)代計算機存儲技術(shù)的有效合理使用，很大程度上解決了上述部分問題。計算機存儲技術(shù)在逐漸的發(fā)展過程中匯總，已經(jīng)衍生出了自己獨特的個性結(jié)構(gòu)，保障的信息的存儲安全、獨立，提高信息存儲量，保障了數(shù)據(jù)存儲的目的實現(xiàn)。在以后的環(huán)境中，對計算機數(shù)據(jù)存儲技術(shù)的研究和開發(fā)仍然是一個重點的話題。

數(shù)據(jù)存儲技術(shù)論文:計算機數(shù)據(jù)存儲技術(shù)分析

摘 要：計算機技術(shù)現(xiàn)在已經(jīng)得到了廣泛應(yīng)用，但是因為運行環(huán)境特殊，需要面臨較大的安全風(fēng)險，必須要對其進(jìn)行綜合分析，采取有效措施來提高對數(shù)據(jù)存儲的安全性與性。就實際應(yīng)用現(xiàn)狀來看，確定影響計算機數(shù)據(jù)存儲效果的因素，根據(jù)需求來確定最為合適的存儲技術(shù)，爭取從根本上來消除各類因素的影響，改善數(shù)據(jù)存儲效果。本文基于計算機數(shù)據(jù)存儲要求，對各類存儲技術(shù)進(jìn)行了分析和對比。

關(guān)鍵詞：計算機；數(shù)據(jù)存儲；安全性

現(xiàn)在已經(jīng)進(jìn)入到信息化時代，產(chǎn)生和處理的數(shù)據(jù)更多，數(shù)據(jù)所具有的價值也越來越高。為充分發(fā)揮各類數(shù)據(jù)具有的應(yīng)用優(yōu)勢，必須要加強對安全存儲技術(shù)的分析，降低外界各項因素的影響，確保數(shù)據(jù)的完整性與性。積極結(jié)合各項新型技術(shù)，對信息存儲技術(shù)進(jìn)行更新和完善，進(jìn)一步促進(jìn)行業(yè)的發(fā)展。

一、計算機數(shù)據(jù)存儲分析

1.大數(shù)據(jù)應(yīng)用要求

在信息技術(shù)水平不斷提高背景下，數(shù)據(jù)產(chǎn)生與獲取的手段更為先進(jìn)，面對大數(shù)據(jù)時代，想要充分發(fā)揮出各類數(shù)據(jù)具有的優(yōu)勢，除了要對其應(yīng)用技術(shù)進(jìn)行分析外，還需要對其存儲技術(shù)進(jìn)行研究，爭取為大數(shù)據(jù)處理提供保障。企業(yè)想要在市場內(nèi)占據(jù)有利競爭位置，必須要有大量的數(shù)據(jù)作為支持，這樣就使得大數(shù)據(jù)技術(shù)與服務(wù)需求不斷升級，并且會在未來發(fā)展過程中，數(shù)據(jù)產(chǎn)生、處理以及存儲數(shù)據(jù)量會繼續(xù)增長。但是在數(shù)據(jù)快速增長背景下，很容易造成單機系統(tǒng)性能降低，即便持續(xù)對系統(tǒng)硬件進(jìn)行更新，也難以與數(shù)據(jù)增長速度保持平衡，這樣就需要加強對數(shù)據(jù)存儲技術(shù)的研究，根據(jù)實際需求，來對現(xiàn)有存儲技術(shù)進(jìn)行更新完善[1]。

2.文件管理需求

生產(chǎn)生活中均會產(chǎn)生大量的數(shù)據(jù)，雖然可以為下一階段活動提供依據(jù)，但是想要在大量數(shù)據(jù)內(nèi)提取出有用信息，需要大量的時間作為支持，這樣為保障該階段內(nèi)數(shù)據(jù)不會出現(xiàn)損壞、缺失等問題，就需要對其進(jìn)行有效存儲。通過外圍設(shè)備將存儲在物理介質(zhì)上的記錄與傳輸數(shù)據(jù)接收進(jìn)來，經(jīng)過專業(yè)處理后得到相應(yīng)結(jié)果，然后對數(shù)據(jù)賦予意義，使其成為人們所需的信息。對比傳統(tǒng)紙質(zhì)文件來對數(shù)據(jù)信息的存儲，現(xiàn)通過計算機語言編程以及處理軟件可以直接將各項數(shù)據(jù)制作成文檔，保存在計算機內(nèi)，不僅可以降低管理工作難度，并且在查詢和利用上具有更大優(yōu)勢。

3.企業(yè)發(fā)展需求

數(shù)據(jù)為促進(jìn)企業(yè)進(jìn)一步發(fā)展的重要依據(jù)，包括數(shù)字、文本以及圖表，根據(jù)實際需求對其進(jìn)行匯總、分析和利用，為下一步工作規(guī)劃策略的制定提供數(shù)據(jù)支持。現(xiàn)在已經(jīng)進(jìn)入到信息化時代，企業(yè)所需要面臨的競爭更加激烈，需要面對的數(shù)據(jù)更多，除了自身數(shù)據(jù)外，還需要對市場內(nèi)所有行業(yè)信息數(shù)據(jù)進(jìn)行綜合分析，這樣如果依然應(yīng)用傳統(tǒng)方式已經(jīng)逐漸不能滿足應(yīng)用需求。對數(shù)據(jù)存儲技術(shù)進(jìn)行更新，經(jīng)過對數(shù)據(jù)處理后，減少存儲容量，并降低成本，爭取更進(jìn)一步滿足信息技術(shù)發(fā)展要求[2]。企業(yè)應(yīng)對自身存儲系統(tǒng)進(jìn)行更新，提高對數(shù)據(jù)保護(hù)的效率，提高數(shù)據(jù)存儲工作的性、靈活性以及實用性。

二、計算機數(shù)據(jù)存儲影響因素

1.物理安全

對影響計算機數(shù)據(jù)物理安全因素的分析，可以從主觀與客觀兩個角度進(jìn)行，其中主觀因素為操作不當(dāng)、管理不到位等，客觀因素則主要為自然災(zāi)害和硬件損壞等。一方面，主觀因素。雖然現(xiàn)在數(shù)據(jù)存儲工作人員技能水平不斷提高，但是在實際操作中，很難保障沒有一點問題，尤其是計算機維護(hù)時，經(jīng)常會因為失誤造成系統(tǒng)文件被刪除，或者是修改部分系統(tǒng)參數(shù)，造成系統(tǒng)運行錯誤，甚至?xí)斐上到y(tǒng)崩潰。同時，因為存儲系統(tǒng)復(fù)雜程度不斷提高，對維護(hù)人員的專業(yè)能力也有更高要求，要求其可以不斷更新自我知識結(jié)構(gòu)，能夠靈活應(yīng)對遇到的各類問題，降低數(shù)據(jù)破壞和丟失問題發(fā)生概率。另一方面，客觀因素。自然災(zāi)害對數(shù)據(jù)存儲帶來的影響是不可控的，例如火災(zāi)、地震等，如果在服務(wù)器運維階段遇到此種情況，將會直接對數(shù)據(jù)帶來毀滅性破壞，并且破壞是不可逆的，一旦丟失無法找回。因此必須要及時對稻萁行備份，爭取在災(zāi)害發(fā)生后，將損失降到低。另外，現(xiàn)在市場上硬件數(shù)量與種類不斷增多，相互之間差異較大，如果所用硬件質(zhì)量比較差，不僅無法滿足數(shù)據(jù)存儲要求，還容易產(chǎn)生故障造成數(shù)據(jù)損壞。

2.邏輯安全

及時，電磁波輻射。即計算機與通信部件產(chǎn)生的輻射，包括主機、顯示器、通信線路等，為降低此類因素影響，可以應(yīng)用接收并解密電磁波的技術(shù)。第二，計算機聯(lián)網(wǎng)。互聯(lián)網(wǎng)運行環(huán)境特殊，受到黑客攻擊以及病毒感染的可能性比較大，如果不采取任何措施，會在根本上影響數(shù)據(jù)存儲安全性，出現(xiàn)數(shù)據(jù)損壞、丟失等問題。第三，計算機病毒。計算機病毒為一段可執(zhí)行程序代碼，并且具有自我復(fù)制能力，可以感染計算機系統(tǒng)，并且不斷傳播和復(fù)制。同時病毒感染計算機系統(tǒng)后，能夠控制計算機完成一些隱蔽操作，嚴(yán)重威脅信息數(shù)據(jù)安全性。

三、計算機數(shù)據(jù)存儲技術(shù)要點

1.數(shù)據(jù)加密處理

數(shù)據(jù)加密是現(xiàn)在計算機數(shù)據(jù)存儲比較常見的保護(hù)技術(shù)之一，利用密碼技術(shù)來對信息進(jìn)行加密處理，然后將加密后密文信息存儲在存儲介質(zhì)內(nèi)，對整個傳輸過程和存儲進(jìn)行機密性保護(hù)。根據(jù)加密類型主要包括主機軟件加密、嵌入式專門加密、加密存儲安全交換機以及基礎(chǔ)存儲層存儲設(shè)備等，可以根據(jù)實際需求來選擇應(yīng)用。

2.訪問控制技術(shù)

主要包括操作系統(tǒng)自身訪問控制、邊界訪問控制以及應(yīng)用系統(tǒng)訪問控制三個方面。現(xiàn)在操作系統(tǒng)多為C1、C2級，安全操作系統(tǒng)可以達(dá)到B1級，且安全操作系統(tǒng)可以提高操作系統(tǒng)強制訪問控制能力、密碼存取能力、安全審計能力等，對文件、目錄以及文件進(jìn)行有效保護(hù)[3]。而邊界訪問控制則是利用防火墻系統(tǒng)以及支持VLAN網(wǎng)絡(luò)設(shè)備，對數(shù)據(jù)存儲進(jìn)行保護(hù)。另外，應(yīng)用系統(tǒng)訪問控制的實現(xiàn)，一般需要通過應(yīng)用系統(tǒng)的開發(fā)，或者是調(diào)用地層操作系統(tǒng)訪問控制功能來進(jìn)行保護(hù)。

3.GFS技術(shù)

即Google File System文件系統(tǒng)，其為分布式且可擴展，可用于大型分布式以及大量數(shù)據(jù)的訪問，可提供硬件容錯性能。每個GFS均由一個master與大量chunkserver構(gòu)成，可以支持多用戶訪問，且在資源不限情況下，chunkserver可與訪問同時進(jìn)行[4]。GFS文件分成小塊，小塊標(biāo)識為chunk-handle，創(chuàng)建chunk-handle需要由master進(jìn)行分配，且每小塊可被幅值成多個chunkserver，由用戶決定保護(hù)的副本。

結(jié)束語：

為提高計算機數(shù)據(jù)存儲綜合效果，需要對各項影響因素進(jìn)行分析，并根據(jù)實際需求來確定存儲和安全保護(hù)技術(shù)，爭取提高數(shù)據(jù)存儲質(zhì)量，為實際應(yīng)用提供保障，滿足生產(chǎn)生活需求。

數(shù)據(jù)存儲技術(shù)論文:云計算的數(shù)據(jù)存儲技術(shù)

摘 要

隨著計算機信息技術(shù)的發(fā)展，一種新型的計算模式――云計算逐漸興起，云計算具有超強的計算能力、性、虛擬性、通用性、按需付費等特點，因此云計算近年來發(fā)展迅速，已經(jīng)成為未來計算機發(fā)展的方向。本文主要闡述了云計算和云儲存的概念，并分析了云計算環(huán)境下云計算數(shù)據(jù)存儲Google File System和Hadoop Distributed File System兩種存儲數(shù)據(jù)。

【關(guān)鍵詞】云計算 云儲存 數(shù)據(jù)存儲技術(shù)

21世紀(jì)是信息知識爆炸的年代，每天產(chǎn)生海量的信息，企業(yè)需要處理和存儲的數(shù)據(jù)信息越來越多。如果按照傳統(tǒng)計算機算法，企業(yè)為了存儲信息需要購置大量的硬件設(shè)施和軟件設(shè)施，并需要專人對數(shù)據(jù)信息進(jìn)行管理，對設(shè)備進(jìn)行維護(hù)，需要耗費大量的人力和物力成本。而云計算這種計算方式，省去了企業(yè)管理和維修的麻煩，企業(yè)可以將大量的數(shù)據(jù)信息放在服務(wù)器或者云端，企業(yè)只需要支付少量的管理費用，就能隨時調(diào)取云端的數(shù)據(jù)信息，并享受圖片處理、歸檔服務(wù)、音視頻轉(zhuǎn)碼等多種數(shù)據(jù)增值服務(wù)。

1 云計算與云存儲的概念

1.1 云計算

根據(jù)美國國家標(biāo)準(zhǔn)與技術(shù)研究院的定義：云計算是一種按使用量付費的模式，這種模式提供便捷的、可用的、按需的網(wǎng)絡(luò)訪問，用戶只需要進(jìn)入到可配置的計算資源共享池，包括服務(wù)器、存儲、網(wǎng)絡(luò)、應(yīng)用軟件和服務(wù)器等，云端管理人員只要通過少量的管理或者與服務(wù)商進(jìn)行少量的交互，就能實現(xiàn)對云端的管理。云其實是互聯(lián)網(wǎng)的一種比喻說法，通過云計算可以將數(shù)據(jù)信息存儲在計算機中，這里的計算機指的是遠(yuǎn)程服務(wù)器。然后企業(yè)根據(jù)自己的需求，對計算機存儲系統(tǒng)進(jìn)行訪問，并將信息資源直接切換到實際應(yīng)用方面。計算機直接將主機功能交給了云端，云端的計算能力就跟水電一樣，成為了一種商品，這就促使傳統(tǒng)計算機方式向現(xiàn)代計算機方式轉(zhuǎn)變。

1.2 云儲存

云儲存是在云計算的基礎(chǔ)上提出的，它與云計算有很多相同的地方。云計算主要是通過網(wǎng)絡(luò)技術(shù)、集群應(yīng)用和分布式文件系統(tǒng)，利用應(yīng)用軟件將網(wǎng)絡(luò)中大量不同類型的存儲設(shè)備連接起來，共同合作，對外提供業(yè)務(wù)訪問和數(shù)據(jù)存儲功能。云存儲與傳統(tǒng)的存儲模式相比，它是一種特殊的構(gòu)架服務(wù)，它必須建立在互聯(lián)網(wǎng)基礎(chǔ)上，為用戶提供在線的存儲服務(wù)。用戶不需要考慮存儲器中的容量、數(shù)據(jù)存儲位置、安全等問題，只需要按時付費就可以了。

2 云計算的數(shù)據(jù)存儲技術(shù)

云計算存儲技術(shù)具有比較明顯的兩個特點：及時是高傳輸率，第二是高吞吐率。當(dāng)前，云計算存儲技術(shù)比較主要有谷歌開發(fā)的非開源的GFS和Hadoop團隊開發(fā)的HDFS技術(shù)。不過后者在IT廠商應(yīng)用的比較廣泛。

2.1 Google File System

Google File System簡稱GFS，這種存儲技術(shù)不僅開源擴展，而且是分布式的，廣泛應(yīng)用在分布式的數(shù)據(jù)訪問。它的硬件價格比較低，但是卻提供了容錯的功能。每一個GFS都是由一個master和多個chunkserver構(gòu)成，能夠提供多用戶的訪問權(quán)限，只要用戶的訪問資源不受限制。chunkserver可以和訪問同時進(jìn)行。GFS系統(tǒng)文件被分成很多個小塊，每一個小塊的標(biāo)識是chunk―handle，chunk―handle由master分配。為了保障數(shù)據(jù)的安全性和性，GFS系統(tǒng)文件會被復(fù)制在多個chunk―handle上，文件的副本由用戶決定，master會對系統(tǒng)文件進(jìn)行維護(hù)。比如系統(tǒng)訪問控制、空間名字。此外它還可以控制系統(tǒng)的活動范圍，chunkserver間的遷移和單個模塊的垃圾收集等。master還會定期指令給chunkserver，讓chunkserver收集它的發(fā)展?fàn)顟B(tài)。目前谷歌公司開發(fā)的GFS客戶代碼基本已經(jīng)實現(xiàn)了系統(tǒng)文件的AP，所以用戶與master的數(shù)據(jù)交換，之限制元數(shù)據(jù)操作，存儲數(shù)據(jù)直接和chunkserver聯(lián)系，chunkserver和文件數(shù)據(jù)客戶不會緩存。

2.2 Hadoop Distributed File System（HDFS）

Hadoop分布式文件系統(tǒng)是HDFS由多個存儲數(shù)據(jù)的終點和管理節(jié)點構(gòu)成的。它的中心服務(wù)器是namenode，客戶端和文件管理系統(tǒng)namenode對文件進(jìn)行訪問。每一個namenode節(jié)點都有一臺普通的計算機對應(yīng)，運行時與單機計算機文件系統(tǒng)類似，可以在文件系統(tǒng)常見名錄、更改文件名。其實系統(tǒng)的底層已經(jīng)把文件分割成了Block，并⒄廡Block進(jìn)行不同的存儲，從而達(dá)到容錯的目的。namenode是HDFS文件系統(tǒng)的核心內(nèi)容，它可以維護(hù)一些數(shù)據(jù)結(jié)果，再把記錄文件分割成Block，并在namenode獲得相關(guān)的消息。

3 結(jié)語

云計算是一種新型的計算模式，它必須依靠大數(shù)據(jù)或者在大數(shù)據(jù)的基礎(chǔ)上，為計算機用戶提供服務(wù)和幫助。為了確保計算機數(shù)據(jù)的性和安全性，云計算對云端數(shù)據(jù)采取了分層存儲的方式，為用戶提供多層次的安全防護(hù)。但是如今云計算的安全問題依然是用戶關(guān)心的重點。云存儲已經(jīng)是未來存儲的一種趨勢。當(dāng)前各大云存儲運營商正在積極開發(fā)應(yīng)用技術(shù)、搜索和云存儲相結(jié)合的技術(shù)，為用戶提供更加便利的服務(wù)，但是云存儲的發(fā)展還須加強云存儲的安全防護(hù)功能和技術(shù)研究。

作者單位

河南省師范大學(xué)附屬中學(xué) 河南省新鄉(xiāng)市 453002

數(shù)據(jù)存儲技術(shù)論文:大數(shù)據(jù)存儲技術(shù)及其標(biāo)準(zhǔn)化分析探討

摘 要：隨著現(xiàn)代化技術(shù)的不斷發(fā)展，在數(shù)據(jù)存儲上也發(fā)生了極大變化，各行各業(yè)均開始運用大數(shù)據(jù)存儲來保障系統(tǒng)運行有效性。本文基于這一背景，簡單闡述了大數(shù)據(jù)以及存儲技術(shù)的概念，分析了大數(shù)據(jù)存儲的幾項技術(shù)，并在此基礎(chǔ)上針對其標(biāo)準(zhǔn)化展開研究，旨在優(yōu)化大數(shù)據(jù)存儲方式，提升數(shù)據(jù)使用有效性。

關(guān)鍵詞：大數(shù)據(jù)；存儲技術(shù)；標(biāo)準(zhǔn)化

大數(shù)據(jù)指的是一種存儲、積累以及挖掘的大文件達(dá)到400GB甚至TB存儲程度的現(xiàn)象，在現(xiàn)如今信息化、網(wǎng)絡(luò)化發(fā)展時代下，大數(shù)據(jù)已經(jīng)并不罕見，且廣泛應(yīng)用于各行各業(yè)。傳統(tǒng)數(shù)據(jù)存儲及管理中，面對海量的數(shù)據(jù)存儲，其無論是存儲能力還是存儲效率，甚至是存儲安全性方面，均呈現(xiàn)出滯后狀態(tài)。目前在存儲技術(shù)上通常分為網(wǎng)絡(luò)存儲以及直接附加存儲兩種，其中網(wǎng)絡(luò)存儲又分為存儲域網(wǎng)絡(luò)以及網(wǎng)絡(luò)附屬存儲兩種。不同存儲技術(shù)適用范圍不同，本文針對其存儲方式以及標(biāo)準(zhǔn)化展開分析，現(xiàn)報告如下：

1 大數(shù)據(jù)存儲技術(shù)研究

1.1 非結(jié)構(gòu)化數(shù)據(jù)的處理

在這一方面，要數(shù)HDFS具代表性。HDFS主要服務(wù)于系統(tǒng)中的各項應(yīng)用程序，其將一些POSIX接口開放，通過主/從結(jié)構(gòu)讓流式訪問文件的數(shù)據(jù)被允許操作。它是由不同的數(shù)據(jù)節(jié)點以及一個名字節(jié)點所組成，能夠讓數(shù)據(jù)按照一定模式分割為不同的64位數(shù)模塊，并將其安排到不同分布式集群（由不同數(shù)據(jù)節(jié)點組成）中進(jìn)行存儲。當(dāng)然，若在使用過程中大數(shù)據(jù)存儲量不斷增多，只需要增加數(shù)據(jù)節(jié)點即可輕松實現(xiàn)存儲功能，擴展性能較強。另外，非結(jié)構(gòu)化數(shù)據(jù)處理在數(shù)據(jù)吞吐量方面性能較好，海量的數(shù)據(jù)處理不會明顯影響到用戶體驗。

1.2 分布式并行數(shù)據(jù)庫

分布式并行數(shù)據(jù)庫主要用于處理海量的、結(jié)構(gòu)化的數(shù)據(jù)，是一種無共享、并行處理架構(gòu)的數(shù)據(jù)管理系統(tǒng)。這類型系統(tǒng)主要采用Slave或是Master架構(gòu)。Slave在運用上較多，例如用戶數(shù)據(jù)的存儲方面，多是被通過散列方式存儲在不同的Slave服務(wù)器之中，且數(shù)據(jù)在Slave的不同節(jié)點上也具有副本，在系統(tǒng)適用性上較高。Master架構(gòu)則只用于對元數(shù)據(jù)的存儲。

1.3 半結(jié)構(gòu)化數(shù)據(jù)的處理

傳統(tǒng)數(shù)據(jù)處理由于沒有使用NoSQL數(shù)據(jù)庫，當(dāng)遇到大數(shù)據(jù)存儲時往往表現(xiàn)出低性能、低擴展性以及低靈活性缺陷。使用了NoSQL數(shù)據(jù)庫之后，云計算得以適應(yīng)，目前其數(shù)據(jù)庫類型主要有以下幾種：列存儲數(shù)據(jù)庫、鍵值存儲數(shù)據(jù)庫、圖形數(shù)據(jù)庫以及文檔型數(shù)據(jù)庫。

2 大數(shù)據(jù)存數(shù)的標(biāo)準(zhǔn)化分析

2.1 云存儲服務(wù)

目前在大數(shù)據(jù)存儲上，普通用戶使用的云存儲服務(wù)大多為基于對象類型，表現(xiàn)為以下幾種模式：⑴綁定。綁定對象為特定的編程語言，表現(xiàn)為API開發(fā)包，這類型的綁定處理利用了在REST接口上的一層封裝，讓編程語言在運行效率上能夠大大提升。⑵接口設(shè)置。接口設(shè)置方面，主要采用HTTP接口或是REST接口兩種，要想實現(xiàn)云存儲服務(wù)，就必須通過編程實現(xiàn)其交互功能，達(dá)到數(shù)據(jù)存儲的有效性。⑶非編程狀態(tài)下的存儲。這一種形式是由第三方軟件或是云存儲本身所在的運營商通過其門戶管理來完成的。對于使用者而言，它不需要再次編程，直接利用管理軟件調(diào)用REST接口或是圖形界面即可使用數(shù)據(jù)存儲功能。在這一形式中，使用者在后臺控制上會受到第三方軟件或者Portal的限制。

2.2 數(shù)據(jù)模型的設(shè)定及應(yīng)用接口研究

在數(shù)據(jù)存儲管理方面，應(yīng)注意對隊列對象、能力對象、域?qū)ο蟆?shù)據(jù)對象以及容器對象這5個對象的管理，并實現(xiàn)對存儲數(shù)據(jù)的訪問功能。在這5個對象中，前三個屬于特殊容器對象的一種。在Key-Valuc幫助下，每個對象均能夠?qū)崿F(xiàn)元數(shù)據(jù)描述功能。這里的元數(shù)據(jù)指的是使用者自定義數(shù)據(jù)、存儲管理數(shù)據(jù)以及安全元數(shù)據(jù)等。

應(yīng)用接口方面，大數(shù)據(jù)存儲技術(shù)的應(yīng)用系統(tǒng)可分為4種，即對象存儲系統(tǒng)、分布式文件系統(tǒng)、分布式關(guān)系型數(shù)據(jù)庫系統(tǒng)以及NoSQL數(shù)據(jù)庫系統(tǒng)，不同系統(tǒng)在應(yīng)用接口類型、應(yīng)用環(huán)境以及特性方面對比如下：⑴對象存儲系統(tǒng)。可適用REST或是HTTP接口，用于處理基于對象的設(shè)備操作以及數(shù)據(jù)存儲，可有效定義對象的屬性，為用戶提供基于數(shù)據(jù)對象的功能操作。⑵分布式文件系統(tǒng)。其應(yīng)用接口可使用HTTP、CIFS或是NFS，主要應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)的管理以及存儲，能夠?qū)⒃獢?shù)據(jù)有效定義，同時為用戶提供應(yīng)用及功能并管理相關(guān)數(shù)據(jù)。⑶分布式關(guān)系型數(shù)據(jù)庫系統(tǒng)。可適用SQL、JDBC、ODBC應(yīng)用接口，應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)的管理與存儲，能夠?qū)﹃P(guān)系型數(shù)據(jù)模型有效定義，訪問時基于數(shù)據(jù)組織結(jié)構(gòu)狀態(tài)。⑷NoSQL數(shù)據(jù)庫系統(tǒng)。適用于API、REST或是HTTP接口，用于對半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行管理與存儲，其不支持SQL，數(shù)據(jù)模型處理原則采用schema-free原則。

3 結(jié)束語

大數(shù)據(jù)存儲并非一項單純技術(shù)，而是多種不同存儲技術(shù)的綜合。在具體操作方面，其應(yīng)用接口類型多樣化，目前應(yīng)用最為成熟的算是分布式文件系統(tǒng)。NoSQL數(shù)據(jù)庫系統(tǒng)以及對象存儲系統(tǒng)在應(yīng)用上尚未達(dá)到成熟階段，相信在今后的研究中會不斷完善，讓大數(shù)據(jù)存儲不斷趨近標(biāo)準(zhǔn)化，提升其使用可行性。

數(shù)據(jù)存儲技術(shù)論文:淺談網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)及其應(yīng)用

摘 要：現(xiàn)在網(wǎng)絡(luò)已經(jīng)在人們的生活中得到普及，選擇良好的數(shù)據(jù)存儲方式已經(jīng)越來越重要。目前存儲已經(jīng)從主機系統(tǒng)中脫離出來發(fā)展成為了一個獨立的系統(tǒng)。網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)的發(fā)展目標(biāo)就是低成本、高智能。本文就將對現(xiàn)在出現(xiàn)的網(wǎng)絡(luò)存儲技術(shù)進(jìn)行深入分析，分別研究傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)和現(xiàn)代化網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)的運用。

關(guān)鍵詞：網(wǎng)絡(luò)數(shù)據(jù)；存儲技術(shù)；運用分析

伴隨網(wǎng)絡(luò)快速的發(fā)展，對于用戶選擇一種能夠滿足需求的高性能網(wǎng)絡(luò)數(shù)據(jù)存儲方式變得尤其重要。怎樣做到保障數(shù)據(jù)的安全性、一致性、性。怎樣能夠集中的對網(wǎng)上數(shù)據(jù)進(jìn)行訪問，做到集中管理不同的數(shù)據(jù)，又怎樣實現(xiàn)保護(hù)和訪問不同主機類型的數(shù)據(jù)等一系列問題，都是需要通過網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)完成的。現(xiàn)在數(shù)據(jù)存儲中經(jīng)常會出現(xiàn)數(shù)據(jù)災(zāi)難，小到錯誤的操作和普通文件的損壞，大到由于病毒入侵或是黑客攻擊導(dǎo)致整個網(wǎng)絡(luò)出現(xiàn)癱瘓。所以現(xiàn)在的各個企業(yè)單位必須有完善的數(shù)據(jù)存儲和數(shù)據(jù)恢復(fù)計劃方案。現(xiàn)在人們普遍使用的就是采用網(wǎng)絡(luò)技術(shù)將數(shù)據(jù)信息進(jìn)行異地儲存，也就是數(shù)據(jù)信息不直接儲存到本地的服務(wù)器上，而是采用相關(guān)網(wǎng)絡(luò)存儲技術(shù)將信息儲存在和服務(wù)器相連的專業(yè)設(shè)備上。現(xiàn)在主要使用的網(wǎng)絡(luò)信息存儲技術(shù)有：DAS、SAN、NAS，以下將對這三種技術(shù)進(jìn)行分析。

1 傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)分析

DAS存儲技術(shù)是指利用光纖通道或是SCSI接口將儲存設(shè)備直接連接到計算機上。當(dāng)服務(wù)器所在的位置較為分散，無法使用遠(yuǎn)程連接實現(xiàn)互聯(lián)時，就可以直接連接。直接連接需要投入的成本較少，而且需要的時間也很短，一般在集群環(huán)境中對存儲容量進(jìn)行拓展。DAS已經(jīng)有很長的發(fā)展歷史了，也是現(xiàn)在較為普遍的網(wǎng)絡(luò)儲存設(shè)備。但是伴隨用戶數(shù)據(jù)在不斷增長，也就在擴展、存儲等方面暴露出很多的問題。問題的出現(xiàn)主要有以下幾點原因：

1.1 DAS儲存方式。DAS在進(jìn)行存儲維護(hù)管理和系統(tǒng)的I/O讀寫對服務(wù)器主機操作系統(tǒng)有很強的依賴性，數(shù)據(jù)設(shè)備和恢復(fù)需要占用CPU、I/O等服務(wù)器主機資源，數(shù)據(jù)流必須要流回到主機之后再到服務(wù)器連接著的磁帶機。一般而言數(shù)據(jù)存儲需要占用20%-30%的主機資源，這也就導(dǎo)致企業(yè)的數(shù)據(jù)日常存儲工作一般需要在業(yè)務(wù)系統(tǒng)不繁忙的情況下進(jìn)行，防止由于占用到服務(wù)器主機資源影響企業(yè)業(yè)務(wù)系統(tǒng)的正常運行。當(dāng)DAS儲存的數(shù)據(jù)量很大時，就需要花費很長的時間，而且對服務(wù)器硬件會有一定的影響。

（1）DAS的SCSI連接。采用SCSI連接DAS與服務(wù)器主機之間的連接通道。服務(wù)器的CPU不斷的加強，存儲硬盤空間就會變大，排列出來的硬盤數(shù)量也就越來越多，SCSI通道將會成為I/O瓶頸，由于服務(wù)器主機的SCSI的ID是有限的，所以SCSI連接通道也是有限的。（2）DAS的限制。將一臺服務(wù)器拓展成為由多臺服務(wù)器組成的集群或是拓展儲存陣列的容量，都有可能導(dǎo)致企業(yè)業(yè)務(wù)系統(tǒng)出現(xiàn)停機，給企業(yè)帶來不同程度的經(jīng)濟損失，而且無論是DAS的存儲還是主機服務(wù)器的拓展都是需要原廠商提供，受到了一定的限制。

1.2 NAS儲存技術(shù)。NAS是一種數(shù)據(jù)存儲附加技術(shù)，在計算機網(wǎng)絡(luò)系統(tǒng)中有著重要地位，能夠?qū)⒂嬎銠C網(wǎng)絡(luò)系統(tǒng)和計算機磁盤序列直接連接起來，由計算機操作系統(tǒng)和計算機服務(wù)器構(gòu)成NAS技術(shù)的服務(wù)器，在實際運用中能夠發(fā)揮很強的拓展性，而且NAS也是帶有操作系統(tǒng)的存儲設(shè)備，就相當(dāng)于一個專用的文件服務(wù)器，對文件系統(tǒng)能進(jìn)行針對性的優(yōu)化，具有安全、等優(yōu)點，在電子出版、法律、教育等方面有廣泛的使用。

（1）NAS的關(guān)鍵特性。一是將一般服務(wù)器中沒有發(fā)揮作用的計算功能給去掉，只提供存儲服務(wù)需要使用的文件系統(tǒng)功能，減少了成本。對系統(tǒng)軟硬件的結(jié)構(gòu)進(jìn)行優(yōu)化，使得存儲和網(wǎng)絡(luò)之間以最有效的方式發(fā)送數(shù)據(jù)，網(wǎng)絡(luò)操作系統(tǒng)內(nèi)核具有多線程、多任務(wù)的特點，數(shù)據(jù)傳輸速率高、非常適合處理網(wǎng)絡(luò)的I/O請求。二是NAS主要以網(wǎng)絡(luò)為中心，直接運用現(xiàn)有的網(wǎng)絡(luò)資源接入到專用的存儲設(shè)備，而不需要再連接儲存設(shè)備

（2）NAS的技術(shù)性能。現(xiàn)在NAS得到非常普遍的需求主要因為它有以下優(yōu)點：一是能夠共享和訪問大量的文件數(shù)據(jù)，很好的滿足企業(yè)的需求。二是企業(yè)在不斷的發(fā)展，大型的磁帶庫或是硬盤等產(chǎn)品雖然能夠解決儲存問題，但是由于成本過高，對于一些中小型企業(yè)可能很難接受，所以NAS能夠改善這個問題。三是文件數(shù)據(jù)能夠通過網(wǎng)絡(luò)傳輸?shù)蕉嗯_客戶機上，方便部署。

（3）NAS的存在的缺陷。NAS本身有很大的網(wǎng)絡(luò)協(xié)議的開銷，因此在數(shù)據(jù)訪問上一些對訪問速度要求很高的場合是不適合使用NAS的，比如數(shù)據(jù)庫的一些運用等。NAS技術(shù)在使用時會對LAN相關(guān)帶寬有所占用，從而會有一部分的網(wǎng)絡(luò)資源被浪費掉，可能會造成用戶的正常使用。NAS還有一個限制因素就是很難統(tǒng)一集中管理多個相關(guān)設(shè)備，只能夠?qū)蝹€儲存設(shè)備進(jìn)行單一管理，目前還無法跨越不同的設(shè)備。

1.3 SAN。SAN采用光纖通道技術(shù)，在網(wǎng)絡(luò)服務(wù)群后端，使用交換機連接服務(wù)器主機和儲存陣列，形成專門用于區(qū)域網(wǎng)絡(luò)的存儲。

（1）SAN存儲性能。一是SAN和一般的網(wǎng)絡(luò)不同，是為了連接服務(wù)器、磁帶庫、磁盤陣列專門設(shè)計的網(wǎng)絡(luò)，并且具有很高的性能。二是由于具有很好的存儲連接，服務(wù)器能夠訪問磁盤陣列、磁帶等任何的儲存設(shè)備，而且儲存設(shè)備和SAN交換機以及儲存設(shè)備和儲存設(shè)備之都能進(jìn)行信息間傳遞。三是非常適合一些數(shù)據(jù)恢復(fù)和服務(wù)器集群等需要傳輸大量數(shù)據(jù)的應(yīng)用。（2）SAN的技術(shù)性能。現(xiàn)代企業(yè)對數(shù)據(jù)存儲的要求越來越高，所以有些企業(yè)采用SAN技術(shù)作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施。SAN有以下優(yōu)點：一是能過實現(xiàn)大容量存儲設(shè)備的數(shù)據(jù)共享。二是加強了數(shù)據(jù)存儲的性、開放性。三是利用光纖數(shù)據(jù)傳輸效率很快，還具有超強的拓展性。（3）SAN的缺陷。SAN技術(shù)在維護(hù)和構(gòu)建時，需要具有很強專業(yè)能力、業(yè)務(wù)知識、豐富經(jīng)驗的工作人員，這也就增加一筆人力費用。并且SAN在連接距離上受到了一定的限制。而且由于連接設(shè)備在價格上比較高昂，這也就阻礙了SAN技術(shù)的發(fā)展。

2 現(xiàn)代化新型網(wǎng)絡(luò)存儲技術(shù)

2.1 OBS。OBS是基于對象存儲的，它的數(shù)據(jù)塊長度是可以變化的，存儲屬性的基本容器也是具有可拓展性的存儲容器能夠提供和文件相似的訪問方式，比如能夠打開、進(jìn)行讀寫等操作。NAS和SAN的一些優(yōu)點在OBS上得到了綜合體現(xiàn)，由于是采用的對象接口，所以在很大程度上提升了網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)的性能，具備了非常高的擴展性。OBS有一大顯著特點，就是能夠?qū)⒕W(wǎng)絡(luò)數(shù)據(jù)存儲的相關(guān)物理視圖下放到一些存儲設(shè)備當(dāng)中，OBS的技術(shù)理念是人們關(guān)注的重點內(nèi)容，它的高性能和極強的擴展性使其得到了人們的認(rèn)可，也在網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)領(lǐng)域占得重要地位。

2.2 云存儲。云儲存和云計算非常的相似，它的發(fā)展基礎(chǔ)就是云計算，主要是通過相關(guān)軟件將網(wǎng)絡(luò)各種存儲數(shù)據(jù)集合在一起，共同進(jìn)行工作。使用網(wǎng)絡(luò)技術(shù)或是集群運用等功能，對外進(jìn)行業(yè)務(wù)訪問或是對相關(guān)數(shù)據(jù)進(jìn)行存儲。

3 結(jié)束語

現(xiàn)在NAS、DAS、SAN之間存在的差異正逐漸被模糊。目前所有的網(wǎng)絡(luò)存儲技術(shù)在社會經(jīng)濟的不斷發(fā)展和用戶的各種需求下逐步的趨于完善。NAS、SAN都是在人們對網(wǎng)絡(luò)數(shù)據(jù)存儲的各種訴求中在之前DAS的基礎(chǔ)上發(fā)展起來的。在新時期又出現(xiàn)了OBS和云存儲，目前無論是傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)還是現(xiàn)代化的網(wǎng)絡(luò)存儲技術(shù)，都還存在一些或多或少的問題，需要不斷的進(jìn)行研究和完善。通過加強網(wǎng)絡(luò)數(shù)據(jù)存儲的安全性、拓展性、性，來促進(jìn)網(wǎng)絡(luò)數(shù)據(jù)存儲技術(shù)的運用。

數(shù)據(jù)存儲技術(shù)論文:芻議海量數(shù)據(jù)存儲系統(tǒng)的高性關(guān)鍵技術(shù)研究與應(yīng)用

【摘要】近些年，隨著存儲技術(shù)的日益發(fā)展，如何對海量的數(shù)據(jù)進(jìn)行高效的處理和存儲，已經(jīng)成為計算機信息技術(shù)中急需解決的問題，TB或PB級容量存儲系統(tǒng)的出現(xiàn)已經(jīng)成為現(xiàn)實。本文介紹了海量數(shù)據(jù)的基本特征，分析了海量數(shù)據(jù)存儲的基本原則，提出幾種適用于海量數(shù)據(jù)的存儲方式來提升存儲的高性。

【關(guān)鍵詞】海量數(shù)據(jù) 存儲系統(tǒng) 性 技術(shù)

隨著信息技術(shù)的不斷發(fā)展，數(shù)據(jù)已經(jīng)成為了越來越多人日常生活中的重要資源。據(jù)統(tǒng)計，全球信息化進(jìn)程大步推進(jìn)，2010年創(chuàng)建、存儲和復(fù)制的數(shù)據(jù)總數(shù)已達(dá)到1.2ZB，2011年又達(dá)到了一個新里程碑1.8ZB，根據(jù)這種增長速度，預(yù)計到2015年將達(dá)到近8ZB。與此同時，也有許多海量數(shù)據(jù)存儲單位，如國家地震局、國家氣象局、國家圖書館、中央電視臺等，每年可高達(dá)數(shù)幾十PB的數(shù)據(jù)存儲量。對于這樣的單位和企業(yè)，解決他們數(shù)據(jù)高效的存儲問題已經(jīng)成為當(dāng)下的主要問題之一。所以在數(shù)據(jù)爆炸式增長的大背景下，無論是個體還是單位和企業(yè)，數(shù)據(jù)的存儲量持續(xù)增加必然導(dǎo)致存儲設(shè)備的不堪重負(fù)。為了滿足人們?nèi)找鏀U大的數(shù)據(jù)存儲需求，對數(shù)據(jù)存儲的性、安全性提出了更高的要求，傳統(tǒng)技術(shù)和傳統(tǒng)手段已經(jīng)無法應(yīng)付目前的形式，如何實現(xiàn)高質(zhì)量、性高的數(shù)據(jù)存儲已經(jīng)成為整個行業(yè)面臨的巨大挑戰(zhàn)。

一、海量數(shù)據(jù)存儲的一般基本原則

海量數(shù)據(jù)是指數(shù)據(jù)量大、數(shù)據(jù)記錄多，具有非常復(fù)雜的不同類型。如何處理這樣一種特殊的信息，使其充分發(fā)揮作用，是我們關(guān)注的問題。出于全局考慮，存儲海量數(shù)據(jù)應(yīng)遵循以下基本原則。首先，海量數(shù)據(jù)存儲應(yīng)“分層存儲”，引入數(shù)據(jù)的綜合分析概念，區(qū)別數(shù)據(jù)的本質(zhì)從而采取不同的存儲策略。讀取頻次較高的數(shù)據(jù)應(yīng)當(dāng)存儲在大容量磁盤陣列，低速磁盤陣列則應(yīng)當(dāng)儲存訪問頻次較低的數(shù)據(jù)，訪問頻次極低的數(shù)據(jù)則應(yīng)當(dāng)儲存在磁帶介質(zhì)上。其次，配備足夠容量的高性能陣列，并輔之以相關(guān)的軟件將數(shù)據(jù)自動分層存儲管理。再次，考慮需要存儲的數(shù)據(jù)的復(fù)雜類型，應(yīng)設(shè)計相對完整的解決方案，以確保數(shù)據(jù)儲存的性。

二、存儲系統(tǒng)及其性實現(xiàn)

（一）磁盤陣列存儲。

RAID（Redundant Array of Independent Disks） 是冗余的獨立磁盤陣列的英文縮寫。1988年提出由美國加州大學(xué)伯克利分校的David Patterson等人提出了這一概念。冗余是為了糾正錯誤，并采取有效方法提高性，獨立是指陣列不存在于主機內(nèi)，而是自成一體的系統(tǒng)。一般可以分為多個不同的RAID級別，最常用的是RAID0到RAID6。

（1）RAID0：沒有任何冗余磁盤陣列。RAID0無法提供一個良好的冗余或奇偶校驗，但它能夠提供非常高的傳輸速率和I/O速率。

（2）RAID1：提供了非常高的性和安全性，適合存放重要數(shù)據(jù)。

（3）RAID2：并行處理陣列，提供鏡像和分段的數(shù)據(jù)存儲。

（4）RAID3：RAID2的基礎(chǔ)上，增加一個奇偶校驗驅(qū)動器，為每個I/O操作提供服務(wù)。

（5）RAID4：使用塊級拆分，一個單獨的磁盤為其他N-1個磁盤保留奇偶校驗塊。此等級很少使用。

（6）RAID5：RAID4的基礎(chǔ)上，將數(shù)據(jù)和奇偶校驗分布在所有N+1個磁盤中，是適合大型數(shù)據(jù)系統(tǒng)的等級。

（7）RAID6：RAID5的基礎(chǔ)上進(jìn)行改進(jìn)，提供一個安全網(wǎng)，防止多個磁盤發(fā)生故障的情況。

RAID技術(shù)為用戶提供了可以同時兼顧速度和良好數(shù)據(jù)安全的解決方案，磁盤陣列可避免單個磁盤故障帶來災(zāi)難性的后果，從而保障了高性的數(shù)據(jù)存儲。但不同的RAID級別在完整性和性方面還有不同程度的缺陷。

（二）網(wǎng)格存儲。

和網(wǎng)格計算類似，是部署和管理分布在多個系統(tǒng)和網(wǎng)絡(luò)存儲的新模式，網(wǎng)格實際上是一個網(wǎng)狀網(wǎng)絡(luò)，它不控制單個集中式交換機或集線器的路由。網(wǎng)格提供了無限的可擴展性的大小和性能，因為它們不會受到集中的中央交換機的舒服。因此，降低了網(wǎng)格網(wǎng)絡(luò)部件的成本，以產(chǎn)生和靈活的結(jié)構(gòu)。

（三）P2P 存儲。

P2P帶來的變化是改變“內(nèi)容”所在位置，從“中心”走向“邊緣”，該內(nèi)容將不再是存儲在在幾個主要的服務(wù)器上的，而是存儲在所有的用戶PC上。這為網(wǎng)絡(luò)存儲提供了可能，我們將提高網(wǎng)絡(luò)的剩余存儲空間的利用率。對存儲容量的需求是無止境的，提高存儲容量，在某種程度上也是保障了數(shù)據(jù)的高性。

（四）存儲容災(zāi)。

存儲容災(zāi)是指建立一個異地的數(shù)據(jù)系統(tǒng)，可以理解為是一個本地副本，可用于存儲關(guān)鍵數(shù)據(jù)。當(dāng)本地數(shù)據(jù)及整個應(yīng)用系統(tǒng)崩潰時，系統(tǒng)保存的異地數(shù)據(jù)系統(tǒng)可以提供至少一個可用的關(guān)鍵業(yè)務(wù)數(shù)據(jù)。該數(shù)據(jù)可以實時地與本地生產(chǎn)完整數(shù)據(jù)復(fù)制，也可以稍微落后于本地數(shù)據(jù)，但它是可用的。采用的主要技術(shù)是數(shù)據(jù)備份和數(shù)據(jù)復(fù)制技術(shù)。通過特定的容災(zāi)機制，可以將崩潰發(fā)生后的傷害降到低，較大限度保護(hù)海量數(shù)據(jù)系統(tǒng)的正常應(yīng)用以及不間斷服務(wù)。

三、總結(jié)

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展及普及，全球化數(shù)字時代已經(jīng)到來，數(shù)據(jù)呈現(xiàn)出了飛速增長的趨勢，這樣就給數(shù)據(jù)的存儲工作帶來了大量的工作難度。在數(shù)據(jù)爆炸式增長的大背景下，無論是個體還是單位和企業(yè)，數(shù)據(jù)的存儲量持續(xù)增加必然導(dǎo)致存儲設(shè)備的不堪重負(fù)。為了滿足人們?nèi)找鏀U大的數(shù)據(jù)存儲需求，對數(shù)據(jù)存儲的性、安全性提出了更高的要求。通過以上四種信息存儲方式，可以有效提高海量數(shù)據(jù)的存儲，實現(xiàn)數(shù)據(jù)的安全性。

數(shù)據(jù)存儲技術(shù)論文:大數(shù)據(jù)時代數(shù)據(jù)存儲技術(shù)的發(fā)展

【摘要】數(shù)據(jù)存儲技術(shù)經(jīng)歷了從手工管理到文件管理、再到數(shù)據(jù)庫管理系統(tǒng)三個階段，數(shù)據(jù)庫技術(shù)中關(guān)系數(shù)據(jù)庫占據(jù)了主要地位。互聯(lián)網(wǎng)絡(luò)的興起，促使用戶數(shù)據(jù)暴增，大數(shù)據(jù)時代已經(jīng)來臨，對存儲介質(zhì)容量和數(shù)據(jù)檢索速度都提出了更高的要求，傳統(tǒng)的關(guān)系數(shù)據(jù)庫難以勝任這一角色，NOSQL數(shù)據(jù)庫逐漸興起。本文在介紹大數(shù)據(jù)概念的基礎(chǔ)上，分析關(guān)系數(shù)據(jù)庫的優(yōu)劣勢，并介紹NOSQL數(shù)據(jù)庫的理論基礎(chǔ)和當(dāng)前NOSQL數(shù)據(jù)庫產(chǎn)品。

【關(guān)鍵詞】大數(shù)據(jù);關(guān)系數(shù)據(jù)庫;NOSQL

一、大數(shù)據(jù)

1.大數(shù)據(jù)產(chǎn)生的背景

大數(shù)據(jù)（Big Data），也稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的資訊，通常被認(rèn)為是PB或EB或更高數(shù)量級的數(shù)據(jù)。

互聯(lián)網(wǎng)絡(luò)從上世紀(jì)90年代開始，發(fā)展迅速，加快了信息傳播和共享的速度，尤其是一些社交網(wǎng)站的興起，數(shù)據(jù)量更是以前所未有的速度暴增，文字資料、聲音、視頻、圖像等多媒體數(shù)據(jù)鋪天蓋地。據(jù)資料顯示，上世紀(jì)90年代，互聯(lián)網(wǎng)資源不是很豐富的時代，網(wǎng)民月平均流量1MB左右，之后則快速增長，2000年后，逐漸發(fā)展為每月10MB、100MB、1GB，據(jù)估計2014年可能會達(dá)到10GB。淘寶網(wǎng)每日幾千萬筆交易，單日數(shù)據(jù)量達(dá)幾十TB，數(shù)據(jù)存儲量幾十PB，百度公司目前數(shù)據(jù)總量接近1000PB，存儲網(wǎng)頁數(shù)量接近1萬億頁，每天大約要處理60億次搜索請求，幾十PB數(shù)據(jù)。

隨著技術(shù)發(fā)展，大數(shù)據(jù)廣泛存在，如企業(yè)數(shù)據(jù)、統(tǒng)計數(shù)據(jù)、科學(xué)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、移動數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等等。總之，大數(shù)據(jù)存在于各行各業(yè)，一個大數(shù)據(jù)的時代已經(jīng)到來。

2.大數(shù)據(jù)時代的挑戰(zhàn)

大數(shù)據(jù)特點是容量在增長、種類在增長、速度也在增長，面臨如此龐大的數(shù)據(jù)量，數(shù)據(jù)的存儲和檢索面臨著巨大挑戰(zhàn)。比如2007年時，F(xiàn)acebook使用數(shù)據(jù)倉庫存儲15個TB的數(shù)據(jù)，但到了2010年，每天壓縮過的數(shù)據(jù)比過去總和還多，那時商業(yè)并行數(shù)據(jù)庫很少有超過100個節(jié)點以上的，而現(xiàn)在雅虎的Hadoop集群超過4000個節(jié)點，F(xiàn)acebook倉庫節(jié)點超過2700個。大量的數(shù)據(jù)現(xiàn)在已經(jīng)開始影響我們整個的工作、生活、甚至經(jīng)濟，如何存儲和高效利用這些數(shù)據(jù)是需要我們解決的。

二、關(guān)系數(shù)據(jù)庫

1.關(guān)系數(shù)據(jù)庫概述

關(guān)系型數(shù)據(jù)庫是支持關(guān)系模型的數(shù)據(jù)庫系統(tǒng)，他是目前各類數(shù)據(jù)庫中最重要，也是使用最廣泛的數(shù)據(jù)庫系統(tǒng)。關(guān)系型數(shù)據(jù)庫從上世紀(jì)70年代誕生到現(xiàn)在經(jīng)過幾十年的發(fā)展，已經(jīng)非常成熟，目前市場上主流的數(shù)據(jù)庫都為關(guān)系型數(shù)據(jù)庫，比較知名的有Oracle數(shù)據(jù)庫、DB2、Sybase、SQL Server等等。

2.關(guān)系數(shù)據(jù)庫優(yōu)勢

關(guān)系數(shù)據(jù)庫相比其他模型的數(shù)據(jù)庫而言，有著以下優(yōu)點：

模型容易理解：關(guān)系模型中的二維表結(jié)構(gòu)非常貼近邏輯世界，相對于網(wǎng)狀、層次等其他模型來說更容易理解。

使用方便：通用的SQL語言使得操作關(guān)系型數(shù)據(jù)庫非常方便，只需使用SQL語言在邏輯層面操作數(shù)據(jù)庫，而不必理解其底層實現(xiàn)。

易于維護(hù)：豐富的完整性大大降低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率。

3.關(guān)系數(shù)據(jù)庫存在問題

傳統(tǒng)的關(guān)系數(shù)據(jù)庫具有不錯的性能，穩(wěn)定性高，歷經(jīng)多年發(fā)展已日臻成熟，而且使用簡單，功能強大，也積累了大量的成功案例。上世紀(jì)90年代的互聯(lián)網(wǎng)領(lǐng)域，網(wǎng)站基本都是靜態(tài)網(wǎng)頁，主要以文字為主，訪問量也不大，當(dāng)時用單個數(shù)據(jù)庫可以應(yīng)對。可近幾年，動態(tài)網(wǎng)站隨處可見，各種論壇、博克、微博異常火爆，在大幅度提升交流方式的同時，用戶數(shù)據(jù)量迅速增長，處理事務(wù)性的數(shù)據(jù)關(guān)系數(shù)據(jù)庫得心應(yīng)手，可面對互聯(lián)網(wǎng)的高并發(fā)、大數(shù)據(jù)量關(guān)系數(shù)據(jù)庫顯得力不從心，暴露了很多難以克服的問題：

數(shù)據(jù)庫高并發(fā)讀寫：高并發(fā)的動態(tài)網(wǎng)站數(shù)據(jù)庫并發(fā)負(fù)載非常高，往往要達(dá)到每秒上萬次甚至百萬次、千萬次的讀寫請求。關(guān)系數(shù)據(jù)庫應(yīng)付上萬次SQL查詢沒問題，但是應(yīng)付上百萬、千萬次SQL數(shù)據(jù)請求，硬盤IO就已經(jīng)無法承受了。

海量數(shù)據(jù)的高效率訪問：一般大型數(shù)據(jù)庫在百萬級的數(shù)據(jù)庫表中檢索數(shù)據(jù)可達(dá)到秒級，但面對數(shù)億條記錄的數(shù)據(jù)庫表，檢索速度效率是極其低下，難以忍受的。

數(shù)據(jù)庫可擴展性和高可用性：基于web的架構(gòu)當(dāng)中，數(shù)據(jù)庫無法通過添加更多的硬件和服務(wù)節(jié)點來擴展性能和負(fù)載能力，對于很多需要提供24小時不間斷服務(wù)的網(wǎng)站來說，數(shù)據(jù)庫系統(tǒng)升級和擴展卻只能通過停機來實現(xiàn)，這無疑是一個艱難的決定。

三、NOSQL數(shù)據(jù)庫

1.NOSQL數(shù)據(jù)庫理論基礎(chǔ)

NOSQL作為新興數(shù)據(jù)庫系統(tǒng)概念，由于其具備處理海量數(shù)據(jù)的能力，近年來受到各大IT公司的追捧。Amazon、Google等大型網(wǎng)商已紛紛斥資進(jìn)行研究并開發(fā)了適用的產(chǎn)品。談及NOSQL數(shù)據(jù)庫，首先應(yīng)該了解支持NOSQL的理論：CAP理論、BASE思想和最終一致性。

（1）CAP理論

CAP理論由Eric Brewer在ACM PODC會議上的主題報告中提出，這個理論是NOSQL數(shù)據(jù)管理系統(tǒng)構(gòu)建的基礎(chǔ)，CAP解釋為一致性（Consistency）、可用性（Availability）以及分區(qū)容忍性（Partition Tolerance）。具體描述如下：

強一致性（Consistency）：系統(tǒng)在執(zhí)行過某項操作后仍然處于一致的狀態(tài)。在分布式數(shù)據(jù)庫系統(tǒng)中，數(shù)據(jù)變更后所有的用戶都應(yīng)該讀取到近期的值，這樣的系統(tǒng)被認(rèn)為具有強一致性。

可用性（Availability）：每一個操作都能夠在一定的時間內(nèi)返回結(jié)果。“一定時間內(nèi)”是指系統(tǒng)的結(jié)果必須在給定時間內(nèi)返回，如果超時則被認(rèn)為不可用，“返回結(jié)果”同樣非常重要，必須能提供成功或失敗的信息。

分區(qū)容錯性（Partition Tolerance）：分區(qū)容錯性可以理解為系統(tǒng)在存在網(wǎng)絡(luò)分區(qū)的情況下仍然可以接受請求。

CAP是在分布式環(huán)境中設(shè)計和部署系統(tǒng)時所要考慮的三個重要的系統(tǒng)需求。根據(jù)CAP理論，數(shù)據(jù)共享系統(tǒng)只能滿足這三個特性中的兩個，不能同時滿足三個條件。因此系統(tǒng)設(shè)計者必須在這三個特性之間做出權(quán)衡。例如Amazon的Dynamo具有高可用性和分區(qū)容錯性但不支持強一致性，也就是說用戶不能立即看到其他用戶更新的內(nèi)容。

（2）BASE思想

BASE（Basically Availble），基本可用，強調(diào)數(shù)據(jù)庫的最終一致（Eventually consistent最終一致，最終數(shù)據(jù)一致就可以，而不是時時高一致），不同于傳統(tǒng)關(guān)系數(shù)據(jù)庫基于的ACID模型。

ACID特性與高性能是不兼容的。比如，在網(wǎng)店買東西，每個客戶買東西時都會通過鎖來同步數(shù)據(jù)操作，操作完成每個客戶都可以看到一致的數(shù)據(jù)。也就是說，不允許多個客戶同時買的情況。很明顯對于大多數(shù)網(wǎng)上商城，尤其是大型網(wǎng)商來說，這個方法并不適用。

BASE思想實際上是CAP理論中AP的衍伸。通過犧牲高一致性，保障高可用性和分區(qū)容忍性。BASE思想的組成有以下3個部分：基本可用、軟狀態(tài)、最終一致性。BASE模式指的是一個應(yīng)用在任意時間首先應(yīng)該能完成最基本化的工作（即基本可用），并不需要總是一致（即軟狀態(tài)），但最終應(yīng)該是一致（即最終一致性）的。

（3）最終一致性

數(shù)據(jù)一致性可分別從使用者和提供者角度看：從使用者的角度，如何觀察數(shù)據(jù)更新;從提供者的角度，也就是服務(wù)器端，更新如何在系統(tǒng)中實現(xiàn)。

一致性可分為強一致性和弱一致性兩種：強一致性要求更新過的數(shù)據(jù)能被后續(xù)的訪問都看到，根據(jù)CAP理論，強一致性無法和可用性、分區(qū)容忍性同時實現(xiàn);弱一致性，指讀取操作能夠見到變化的數(shù)據(jù)，但不是所有變化的數(shù)據(jù)。

最終一致性屬于弱一致性的一種，即存儲系統(tǒng)保障如果沒有新的更新提交，最終所有的訪問都將獲得的更新。如果沒有故障發(fā)生，不一致性取決于通信時延、系統(tǒng)負(fù)載以及復(fù)制策略中涉及的副本數(shù)。

2.NOSQL數(shù)據(jù)庫產(chǎn)品

NOSQL（Not Only SQL）數(shù)據(jù)庫是指那些非關(guān)系型的數(shù)據(jù)庫。NOSQL數(shù)據(jù)庫分為Key-Value、Key-Document和Key-Column這3類。典型的NOSQL產(chǎn)品有Google的BigTable、基于Hadoop HDFS的HBase、Amazon的Dynamo、CouchDB、MongoDB、Redis等。

NOSQL數(shù)據(jù)庫遵循CAP理論和BASE原則，大部分Key-Value數(shù)據(jù)庫系統(tǒng)都會根據(jù)自己的設(shè)計目的進(jìn)行相應(yīng)的選擇，如Cassandra、Dynamo滿足AP，BigTable、MongoDB滿足CP。

四、結(jié)束語

本文首先介紹了大數(shù)據(jù)概念，分析了關(guān)系數(shù)據(jù)庫在存儲大數(shù)據(jù)量方面的不足，并介紹了當(dāng)前NOSQL數(shù)據(jù)庫的基本理論和當(dāng)前產(chǎn)品分類。大數(shù)據(jù)時代的來臨，我們忙于如何存儲和處理這些數(shù)據(jù)，但隨著計算機互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等網(wǎng)絡(luò)的快速發(fā)展，數(shù)據(jù)量會持續(xù)大幅增長，如何長期保存這些數(shù)據(jù)以及如何處理更大級別的數(shù)據(jù)量，都需要我們思考并解決。