引論：我們?yōu)槟砹?篇數(shù)據(jù)存儲(chǔ)技術(shù)論文范文，供您借鑒以豐富您的創(chuàng)作。它們是您寫作時(shí)的寶貴資源，期望它們能夠激發(fā)您的創(chuàng)作靈感，讓您的文章更具深度。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:局域網(wǎng)數(shù)據(jù)存儲(chǔ)技術(shù)分析論文

1.局域網(wǎng)安全存儲(chǔ)模型淺析

基于當(dāng)前工業(yè)環(huán)境中對(duì)于局域網(wǎng)數(shù)據(jù)存儲(chǔ)安全的需求，內(nèi)網(wǎng)海量文件數(shù)據(jù)存儲(chǔ)原型系統(tǒng)（MFDSS）在局域網(wǎng)環(huán)境中得到了廣泛應(yīng)用。其邏輯結(jié)構(gòu)參見圖1。在MFDSS系統(tǒng)環(huán)境中，各個(gè)組件通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)聯(lián)系，構(gòu)成邏輯層面共同工作的整體。其中客戶端直接與用戶保持溝通，負(fù)責(zé)維護(hù)用戶存儲(chǔ)視圖，并且用戶面向應(yīng)用服務(wù)器實(shí)現(xiàn)請(qǐng)求和響應(yīng)的傳輸。并且在獲取到服務(wù)器授權(quán)的前提下，支持客戶端與基于iSCSI的存儲(chǔ)設(shè)備SD之間實(shí)現(xiàn)直接通信。而應(yīng)用服務(wù)器從邏輯上位于中介位置，需要負(fù)責(zé)與客戶端保持溝通，并且面向客戶提供統(tǒng)一的存儲(chǔ)視圖，同時(shí)還需要與SD保持溝通，實(shí)現(xiàn)對(duì)于主機(jī)認(rèn)證以及設(shè)備操作認(rèn)證的控制，并且實(shí)現(xiàn)文件到對(duì)象的映射轉(zhuǎn)換。而在MFDSS體系中，元數(shù)據(jù)是重要的概念，具體分為系統(tǒng)元數(shù)據(jù)、內(nèi)容元數(shù)據(jù)和存儲(chǔ)元數(shù)據(jù)三種，對(duì)應(yīng)的元數(shù)據(jù)服務(wù)器則關(guān)注元數(shù)據(jù)管理的相關(guān)工作，并且實(shí)現(xiàn)元數(shù)據(jù)在存儲(chǔ)對(duì)象上的映射索引，同時(shí)支持從邏輯層面上對(duì)于多個(gè)SD設(shè)備的管理。這樣的文件存儲(chǔ)體系，相對(duì)于傳統(tǒng)文件體系而言有著十分顯著的工作特征。傳統(tǒng)文件存儲(chǔ)體系中，元數(shù)據(jù)通常由文件服務(wù)器實(shí)現(xiàn)維護(hù)，因此每次對(duì)數(shù)據(jù)訪問(wèn)的相關(guān)操作都需要獲取元數(shù)據(jù)，因此在訪問(wèn)請(qǐng)求頻繁發(fā)起的時(shí)候，承擔(dān)元數(shù)據(jù)相關(guān)操作的設(shè)備就必須同時(shí)面對(duì)多個(gè)請(qǐng)求，對(duì)應(yīng)的形成資源瓶頸的可能性也相對(duì)較大。對(duì)應(yīng)的無(wú)序訪問(wèn)進(jìn)一步加劇整個(gè)系統(tǒng)存儲(chǔ)環(huán)境安全隱患的產(chǎn)生。而在MFDSS系統(tǒng)中，每次操作只有一次對(duì)于元數(shù)據(jù)的訪問(wèn)請(qǐng)求，并且進(jìn)一步由專門的SD存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器來(lái)共同實(shí)現(xiàn)對(duì)于整個(gè)存儲(chǔ)訪問(wèn)過(guò)程的管理，因此在元數(shù)據(jù)的操作方面實(shí)現(xiàn)了有效的降低和控制，從而增強(qiáng)了整個(gè)系統(tǒng)的彈性，在安全水平方面也有所改進(jìn)。

2.MFDSS體系得到實(shí)現(xiàn)的基礎(chǔ)

還可以進(jìn)一步加強(qiáng)多協(xié)議文件系統(tǒng)（MPSFS）的建設(shè)。MPSFS系統(tǒng)從性能角度看，保留了分布式文件系統(tǒng)本身的靈活性優(yōu)勢(shì)，并且在并發(fā)訪問(wèn)管理以及安全性方面都有很大改善。從技術(shù)角度看，MPSFS系統(tǒng)除了提供文件的存取接口以外，更為重要的在于采用存儲(chǔ)卷實(shí)現(xiàn)存儲(chǔ)。存儲(chǔ)卷中包括文件目錄結(jié)構(gòu)以及其固有的存儲(chǔ)模式，對(duì)應(yīng)的進(jìn)一步包括元數(shù)據(jù)結(jié)構(gòu)、操作接口、功能函數(shù)集以及對(duì)于空間的利用優(yōu)化算法和數(shù)據(jù)結(jié)構(gòu)。在MPSFS工作環(huán)境之下，能夠?qū)崿F(xiàn)面向不同的用戶區(qū)分提供不同的存儲(chǔ)訪問(wèn)視圖，因此在油田工作環(huán)境中，能夠更好地實(shí)現(xiàn)與權(quán)限身份控制更好的數(shù)據(jù)管理機(jī)制。除此以外，MPSFS還能夠?qū)崿F(xiàn)更為完善的用戶身份認(rèn)證，具體是通過(guò)相應(yīng)的專用認(rèn)證服務(wù)器，來(lái)依據(jù)內(nèi)部的多個(gè)證書文件來(lái)實(shí)現(xiàn)對(duì)于身份的確定。

3.結(jié)論

在面對(duì)局域網(wǎng)數(shù)據(jù)存儲(chǔ)安全的客觀需求時(shí)，諸多技術(shù)開始涌現(xiàn)并且不斷發(fā)展成熟。在MFDSS框架體系之下，包括MPSFS等多種相關(guān)技術(shù)，并且在集成完成之后，整個(gè)技術(shù)框架會(huì)呈現(xiàn)出良好的安全特征。與之對(duì)應(yīng)的，讀寫性能會(huì)受到一定的制約，估計(jì)下降幅度會(huì)在12%-18%之間，但是以這樣的一個(gè)效率換取整個(gè)系統(tǒng)的數(shù)據(jù)存儲(chǔ)安全，仍然是一個(gè)可以接受的環(huán)境。并且如果進(jìn)一步展開基于數(shù)據(jù)挖掘等相關(guān)技術(shù)的深入應(yīng)用，這樣的下降狀況還會(huì)有所縮減，將整個(gè)系統(tǒng)的安全性和可用性控制在一個(gè)相對(duì)良好的范圍內(nèi)展開工作。

作者：趙鑫鑫 單位：大慶油田信息技術(shù)公司東風(fēng)分公司

數(shù)據(jù)存儲(chǔ)技術(shù)論文:數(shù)據(jù)存儲(chǔ)安全技術(shù)分析

摘要：在云計(jì)算日益發(fā)達(dá)的今天，為方便企業(yè)運(yùn)行，企業(yè)的運(yùn)行數(shù)據(jù)通常放入云平臺(tái)。通過(guò)云端共享，可以將公司內(nèi)部數(shù)據(jù)傳遞給職員，方便快捷的操作方式，讓越來(lái)越多的用戶使用云平臺(tái)存儲(chǔ)數(shù)據(jù)，因此，如何保障信息的安全性是用戶們廣泛關(guān)注的問(wèn)題。筆者首先討論了云平臺(tái)數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，然后分析了目前的云存儲(chǔ)安全類型，并且介紹了云存儲(chǔ)數(shù)據(jù)安全技術(shù)，為廣大研究者提供理論依據(jù)。

關(guān)鍵詞：云存儲(chǔ)；數(shù)據(jù)安全；安全技術(shù)

各行各業(yè)的經(jīng)營(yíng)數(shù)據(jù)都在不斷變化，如何完整保存和傳輸企業(yè)的數(shù)據(jù)，滿足企業(yè)的需求，是廣大研究員在研究數(shù)據(jù)技術(shù)時(shí)面臨的重要挑戰(zhàn)。云數(shù)據(jù)存儲(chǔ)方便員工共享企業(yè)資訊和資源，替代了傳統(tǒng)的數(shù)據(jù)保存模式，更能輔助員工移動(dòng)辦公，數(shù)據(jù)保護(hù)安全技術(shù)應(yīng)運(yùn)而生，降低數(shù)據(jù)泄漏風(fēng)險(xiǎn)。如果企業(yè)數(shù)據(jù)泄漏，可能會(huì)對(duì)公司造成巨大損失，從而影響公司的發(fā)展。所以研究云數(shù)據(jù)存儲(chǔ)模式以及數(shù)據(jù)保護(hù)技術(shù)，可以提高企業(yè)數(shù)據(jù)存儲(chǔ)的安全性，保護(hù)公司的無(wú)形資產(chǎn)。

1云數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)

云數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)包含了云服務(wù)器、用戶和第三方。在這種三角形結(jié)構(gòu)中，用戶主要是將個(gè)人數(shù)據(jù)及公司數(shù)據(jù)通過(guò)云服務(wù)器上傳并進(jìn)行存儲(chǔ)，一方面能夠節(jié)省自己的計(jì)算機(jī)存儲(chǔ)空間，另外一方面可以將資源共享給其他的同事，讓其他人也可以查詢和下載數(shù)據(jù)，第三方只對(duì)云存儲(chǔ)數(shù)據(jù)起到監(jiān)管作用。

2云平臺(tái)數(shù)據(jù)存儲(chǔ)安全類型

2.1存儲(chǔ)安全性

云存儲(chǔ)數(shù)據(jù)平臺(tái)存儲(chǔ)了大量的客戶信息以及公司的運(yùn)營(yíng)數(shù)據(jù)，是黑客和不法人員攻擊的主要對(duì)象。云服務(wù)器的安全性至關(guān)重要，要加強(qiáng)管理，并且要制訂安全防護(hù)方案，建立嚴(yán)格的數(shù)據(jù)存儲(chǔ)安全制度體系，加強(qiáng)數(shù)據(jù)檢測(cè)巡邏，保障數(shù)據(jù)存儲(chǔ)的安全性。

2.2操作安全性

由于云存儲(chǔ)下的數(shù)據(jù)可以被多方用戶同時(shí)共享，其數(shù)據(jù)從生成到刪除會(huì)被許多用戶訪問(wèn)，數(shù)據(jù)的生成或者更改都會(huì)出現(xiàn)操作安全問(wèn)題，一方面是人為的隱患，另外一方面是由于云數(shù)據(jù)存儲(chǔ)系統(tǒng)發(fā)生問(wèn)題而造成的隱患，后者的隱患較小。當(dāng)用戶操作數(shù)據(jù)后，數(shù)據(jù)將會(huì)更改并且同步更新，如果用戶出現(xiàn)操作錯(cuò)誤，則更新后的數(shù)據(jù)無(wú)法再恢復(fù)，所以應(yīng)謹(jǐn)慎操作。另外，數(shù)據(jù)傳輸易出現(xiàn)數(shù)據(jù)損壞以及泄漏現(xiàn)象，數(shù)據(jù)在傳輸?shù)倪^(guò)程中，易被非法人員篡改或竊取等，應(yīng)提高數(shù)據(jù)的傳輸安全性。

2.3訪問(wèn)安全性

云存儲(chǔ)數(shù)據(jù)可以被多個(gè)客戶訪問(wèn)，用戶通過(guò)用戶名和密碼進(jìn)入云系統(tǒng)訪問(wèn)數(shù)據(jù)，具有數(shù)據(jù)訪問(wèn)的安全性。訪問(wèn)用戶是否合法，應(yīng)受到系統(tǒng)的監(jiān)測(cè)，查詢和鑒定其身份信息。

3云平臺(tái)下數(shù)據(jù)存儲(chǔ)安全技術(shù)分類

3.1同態(tài)加密技術(shù)

要保障云平臺(tái)下的數(shù)據(jù)存儲(chǔ)安全，就必須同步研究數(shù)據(jù)的加密存儲(chǔ)技術(shù)，該技術(shù)的研究情況符合我國(guó)的云技術(shù)發(fā)展趨勢(shì)，是運(yùn)用最廣泛的存儲(chǔ)技術(shù)。同態(tài)加密技術(shù)屬于加密技術(shù)，首先在系統(tǒng)中設(shè)置加密代碼和防護(hù)代碼，用戶在輸入密碼時(shí)，系統(tǒng)會(huì)自動(dòng)進(jìn)行代數(shù)運(yùn)算，根據(jù)運(yùn)算結(jié)果，判定用戶是否為合法用戶。這種云計(jì)算方式，保障了用戶數(shù)據(jù)的安全性。同態(tài)加密技術(shù)由私密加密技術(shù)發(fā)展而來(lái)，設(shè)置同態(tài)加密，必須要在了解解密技術(shù)的基礎(chǔ)上才能實(shí)現(xiàn)。同態(tài)加密技術(shù)能夠解決大部分加密存儲(chǔ)問(wèn)題，保障數(shù)據(jù)文件的安全性，然而這其中依舊存在耗時(shí)耗力、欠缺計(jì)算方法等相關(guān)問(wèn)題，還需不斷調(diào)整、優(yōu)化、升級(jí)，以獲得更好的用戶體驗(yàn)。

3.2SE加密技術(shù)

用戶在存儲(chǔ)數(shù)據(jù)之前，應(yīng)先對(duì)數(shù)據(jù)進(jìn)行加密操作，這樣才能夠較大限度保障數(shù)據(jù)的安全性、隱私性，然而會(huì)出現(xiàn)查詢難度加大的問(wèn)題。如果云平臺(tái)中存儲(chǔ)的相關(guān)數(shù)據(jù)，其初始用戶對(duì)其進(jìn)行了加密，初始用戶沒有將密碼告訴共享用戶，則共享用戶即使下載了數(shù)據(jù)，也無(wú)法打開數(shù)據(jù)包。如果初始用戶不設(shè)置密碼，那么數(shù)據(jù)會(huì)面臨泄漏的危險(xiǎn)。云數(shù)據(jù)加密存儲(chǔ)技術(shù)是建立在加密存儲(chǔ)技術(shù)之上的一種新型技術(shù)，簡(jiǎn)稱為SE。SE技術(shù)方法不僅可以對(duì)數(shù)據(jù)進(jìn)行加密，還能夠在數(shù)據(jù)有密匙的情況下，查詢數(shù)據(jù)包中的數(shù)據(jù)名稱及類型，只是不能打開數(shù)據(jù)文件。云平臺(tái)存儲(chǔ)的數(shù)據(jù)具有共享性質(zhì)，任何用戶在使用云平臺(tái)時(shí)，都可以在搜索框中輸入相關(guān)的關(guān)鍵詞，檢索到該關(guān)鍵詞相關(guān)的文件，篩選獲得有用的數(shù)據(jù)信息。根據(jù)初始用戶的設(shè)置，有的數(shù)據(jù)可以下載，數(shù)據(jù)是否能夠打開，要看數(shù)據(jù)是否在加密狀態(tài)。云平臺(tái)的數(shù)據(jù)查詢功能，嚴(yán)格要求關(guān)鍵詞不能出錯(cuò)，根據(jù)關(guān)鍵詞的相關(guān)性，云平臺(tái)的數(shù)據(jù)會(huì)自動(dòng)對(duì)查詢出的數(shù)據(jù)文件進(jìn)行排列。這種搜索方式也會(huì)導(dǎo)致用戶如果要確定數(shù)據(jù)文件和其查詢的關(guān)鍵詞的關(guān)聯(lián)性，必須返回上層文件夾。很多文件的子文件和母文件相關(guān)性并不大，需要用戶進(jìn)入數(shù)據(jù)文件查詢此文件的名字，才能確定該數(shù)據(jù)文件對(duì)自己是否有用。SE加密方法的優(yōu)勢(shì)是可以篩選有用的文件，缺點(diǎn)是會(huì)增加網(wǎng)絡(luò)的流量。

3.3SiRiUS加解密技術(shù)

加解密技術(shù)分類較多，主要包含Ptutus加密技術(shù)、多重加密技術(shù)、密匙加密技術(shù)、SiRiUS加密技術(shù)等。較為特殊的SiRiUS系統(tǒng)，建立在NFS文件系統(tǒng)基礎(chǔ)上，多重加密保障數(shù)據(jù)的安全傳輸。當(dāng)用戶訪問(wèn)數(shù)據(jù)時(shí)，SiRiUS系統(tǒng)進(jìn)行嚴(yán)格控制，每一個(gè)文件對(duì)應(yīng)一個(gè)元文件，這些文件隱藏于文件訪問(wèn)的控制列表中。后來(lái)SiRiUS系統(tǒng)不斷升級(jí)，近期的加密算法是NNL廣播，其算法更加復(fù)雜，嚴(yán)格控制用戶訪問(wèn)權(quán)限，雖然提高了數(shù)據(jù)傳輸?shù)陌踩裕怯捎谶^(guò)于復(fù)雜，也限制了系統(tǒng)的擴(kuò)展及發(fā)展。

3.4基于VMM的數(shù)據(jù)保護(hù)技術(shù)

在虛擬化平臺(tái)上可以進(jìn)行虛擬機(jī)的工作。虛擬機(jī)工作建立在云計(jì)算的基礎(chǔ)上，同時(shí)受到監(jiān)控系統(tǒng)監(jiān)管。基于VMM的數(shù)據(jù)保護(hù)技術(shù)的作用原理建立在SSL技術(shù)的基礎(chǔ)上，一方面利用虛擬監(jiān)控系統(tǒng)，使用Daoti保護(hù)數(shù)據(jù)的存儲(chǔ)安全；另外一方面，SSL技術(shù)能夠保護(hù)數(shù)據(jù)的傳輸安全。其具體的作用過(guò)程中，云端接收到數(shù)據(jù)，數(shù)據(jù)傳入SSL模塊，加密數(shù)據(jù)，然后存儲(chǔ)數(shù)據(jù)，與此同時(shí)，會(huì)有備份數(shù)據(jù)提交到用戶設(shè)定的相關(guān)系統(tǒng)中，并且也會(huì)提交給分布式文件系統(tǒng)。如果對(duì)數(shù)據(jù)進(jìn)行了解密操作，則數(shù)據(jù)應(yīng)再次加密，其加密系統(tǒng)依舊是虛擬監(jiān)控系統(tǒng)。而如果數(shù)據(jù)已加密并且保存在分布式文件系統(tǒng)中，用戶從系統(tǒng)中獲取數(shù)據(jù)之前，應(yīng)使用虛擬機(jī)對(duì)文件先行解密，否則數(shù)據(jù)無(wú)法使用。該技術(shù)較大的特點(diǎn)在于云計(jì)算端和分布式文件系統(tǒng)相互隔離、獨(dú)自分開，所有的數(shù)據(jù)互不相通，除非用戶單獨(dú)上傳，數(shù)據(jù)才會(huì)同時(shí)在兩個(gè)系統(tǒng)中出現(xiàn)，因此，增強(qiáng)了數(shù)據(jù)安全性。在這種情況下，數(shù)據(jù)得到二次保護(hù)，當(dāng)非法者從云端竊取到數(shù)據(jù)后，數(shù)據(jù)依舊是加密狀態(tài)。除非非法者還能從分布式文件系統(tǒng)中竊取到數(shù)據(jù)，否則數(shù)據(jù)無(wú)法使用，保障數(shù)據(jù)存儲(chǔ)的安全性。

4結(jié)語(yǔ)

云平臺(tái)下數(shù)據(jù)存儲(chǔ)模式被廣大企業(yè)應(yīng)用。如果企業(yè)數(shù)據(jù)在云存儲(chǔ)系統(tǒng)中泄漏，數(shù)據(jù)安全性遭到威脅，則云計(jì)算技術(shù)將難以得到更好的發(fā)展。我國(guó)不僅要發(fā)展云計(jì)算技術(shù)，而且要同步發(fā)展云計(jì)算數(shù)據(jù)的安全性技術(shù)，提高數(shù)據(jù)存儲(chǔ)訪問(wèn)傳輸?shù)陌踩裕苿?dòng)云計(jì)算技術(shù)的發(fā)展，我國(guó)有關(guān)部門還應(yīng)完善法律法規(guī)，明文制定相關(guān)的技術(shù)標(biāo)準(zhǔn)，從而保障云技術(shù)的發(fā)展。

作者：盧青華 單位：廣州大學(xué)華軟軟件學(xué)院

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)實(shí)現(xiàn)的研究

摘要:隨著網(wǎng)絡(luò)應(yīng)用的普及和商用化,多業(yè)務(wù)、多網(wǎng)絡(luò)的融合已經(jīng)成為不可逆轉(zhuǎn)的趨勢(shì)。人們進(jìn)行信息的交流和共享越來(lái)越方便,同時(shí)數(shù)據(jù)的大規(guī)模毀滅也變得容易了。數(shù)據(jù)是現(xiàn)代企事業(yè)最寶貴的生命,數(shù)據(jù)是一切災(zāi)難發(fā)生后恢復(fù)系統(tǒng)的一道防線。因此需要正確選擇相應(yīng)的儲(chǔ)存技術(shù)方式,進(jìn)行經(jīng)濟(jì)而的數(shù)據(jù)存儲(chǔ),從而避免可能發(fā)生的重大損失。DAS、NAS和SAN的存儲(chǔ)方式的實(shí)現(xiàn)值得研究。

關(guān)鍵詞:數(shù)據(jù)存儲(chǔ);網(wǎng)上儲(chǔ)存;DAS存儲(chǔ);NAS存儲(chǔ);SAN存儲(chǔ)

1 引言

在網(wǎng)絡(luò)飛速發(fā)展的今天,選擇一種適合需求的高性能數(shù)據(jù)存儲(chǔ)方式變得十分重要。如何確保數(shù)據(jù)的一致性、安全性和性,如何實(shí)現(xiàn)不同主機(jī)類型的數(shù)據(jù)訪問(wèn)和保護(hù),如何實(shí)現(xiàn)網(wǎng)絡(luò)上的數(shù)據(jù)集中訪問(wèn)以及便于實(shí)現(xiàn)不同數(shù)據(jù)的集中管理等,這些問(wèn)題必須需要新網(wǎng)絡(luò)儲(chǔ)存技術(shù)來(lái)實(shí)現(xiàn)。數(shù)據(jù)災(zāi)難小到一般的文件損壞、誤操作,大到整個(gè)網(wǎng)絡(luò)系統(tǒng)因病毒入侵、黑客攻擊而癱瘓。因此,企事業(yè)單位必須有一套正確的數(shù)據(jù)存儲(chǔ)和恢復(fù)系統(tǒng)方案。現(xiàn)代網(wǎng)絡(luò)存儲(chǔ)技術(shù)主要利用網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)信息的異地儲(chǔ)存,即電子數(shù)據(jù)不再直接儲(chǔ)存在本地服務(wù)器上,而是通過(guò)網(wǎng)絡(luò)保存在與服務(wù)器相連的專門設(shè)備上。當(dāng)前流行的幾種主要存儲(chǔ)技術(shù):DAS(Direct Attached Storage)、SAN(Network Attached Storage)、NAS(Store area Network)等。這些網(wǎng)絡(luò)儲(chǔ)存方式特點(diǎn)各異,均可應(yīng)用在不同的領(lǐng)域上。

2 DAS存儲(chǔ)技術(shù)

DAS是指將儲(chǔ)存設(shè)備通過(guò)SCSI接口或光纖通道直接連接到一臺(tái)計(jì)算機(jī)上。當(dāng)服務(wù)器在地理上比較分散、很難通過(guò)遠(yuǎn)程連接進(jìn)行互聯(lián)時(shí),直接連接是一個(gè)比較好的方法。DAS已經(jīng)有近40年的使用歷史,是目前最常用的網(wǎng)絡(luò)儲(chǔ)存設(shè)備。但是隨著用戶數(shù)據(jù)的不斷增長(zhǎng),尤其是數(shù)百GB以上時(shí),其在存儲(chǔ)、恢復(fù)、擴(kuò)展、災(zāi)害等方面的問(wèn)題變得日益困擾著系統(tǒng)管理員。主要原因如下:

(1)DAS儲(chǔ)存方式

DAS依賴服務(wù)器主機(jī)操作系統(tǒng)進(jìn)行數(shù)據(jù)的I/O讀寫和存儲(chǔ)維護(hù)管理,數(shù)據(jù)設(shè)備和恢復(fù)要占用服務(wù)器主機(jī)資源(包括CPU、系統(tǒng)I/O等),數(shù)據(jù)流需要流回主機(jī)再到服務(wù)器連接著的磁帶機(jī)(庫(kù)),數(shù)據(jù)存儲(chǔ)占用服務(wù)器主機(jī)資源的20～30%,因此許多企事業(yè)單位的用戶日常數(shù)據(jù)存儲(chǔ)常常在深夜或業(yè)務(wù)系統(tǒng)不繁忙時(shí)進(jìn)行,以免影響正常業(yè)務(wù)系統(tǒng)的運(yùn)行。DAS儲(chǔ)存的數(shù)據(jù)量越大,存儲(chǔ)和恢復(fù)的時(shí)間就會(huì)越長(zhǎng),對(duì)服務(wù)器硬件的依賴性和影響力就越強(qiáng)。

(2)DAS的SCSI連接

DAS與服務(wù)器主機(jī)之間的連接通道是采用SCSI連接的,帶寬為10Mbps、20Mbps、40Mbps、80Mbps等。隨著服務(wù)器CPU的處理能力越來(lái)越強(qiáng),存儲(chǔ)硬盤空間越來(lái)越大,陣列的硬盤數(shù)量越來(lái)越多,SCSI通道將會(huì)成為I/O瓶頸;服務(wù)器主機(jī)SCSI ID資源有限,能夠建立的SCSI通道連接也有限。

(3)DAS的限制

無(wú)論DAS儲(chǔ)存還是服務(wù)器的擴(kuò)展,從一臺(tái)服務(wù)器擴(kuò)展為多臺(tái)服務(wù)器組成的集群或儲(chǔ)存陣列容量的擴(kuò)展,都會(huì)造成業(yè)務(wù)系統(tǒng)的停機(jī),從而給企事業(yè)單位帶來(lái)經(jīng)濟(jì)損失。對(duì)于銀行、電信、傳媒等行業(yè)7×24小時(shí)服務(wù)的關(guān)鍵業(yè)務(wù)系統(tǒng),這是不可接受的。并且DAS儲(chǔ)存或服務(wù)器主機(jī)的升級(jí)擴(kuò)展,只能原廠商提供,因此受到設(shè)備廠商限制。

3 NAS儲(chǔ)存技術(shù)

NAS采用(TCP/IP、ATM、FDDI)技術(shù),將一種分布、獨(dú)立的數(shù)據(jù)整合為集中化管理的中心,通過(guò)網(wǎng)絡(luò)交換機(jī)連接存儲(chǔ)系統(tǒng)和服務(wù)器主機(jī),建立專用于數(shù)據(jù)存儲(chǔ)的儲(chǔ)存專網(wǎng)。如下圖所示:

(1)NAS儲(chǔ)存的性能

NAS實(shí)際上是一個(gè)帶有操作系統(tǒng)的儲(chǔ)存設(shè)備,其作用類似于一個(gè)專用的文件服務(wù)器。這種專用儲(chǔ)存設(shè)備具有可附加大容量的存儲(chǔ),內(nèi)嵌操作系統(tǒng),專門針對(duì)文件系統(tǒng)進(jìn)行重新設(shè)計(jì)和優(yōu)化,以提供高效率的文件服務(wù)等特點(diǎn)。NAS的關(guān)鍵特性如下:

一是去掉了通用服務(wù)器不適用于數(shù)據(jù)傳輸?shù)拇蠖鄶?shù)計(jì)算功能,而僅僅提供文件系統(tǒng)功能用于存儲(chǔ)服務(wù),降低了儲(chǔ)存設(shè)備的成本。為方便存儲(chǔ)到網(wǎng)絡(luò)之間以最有效的方式發(fā)送數(shù)據(jù),專門優(yōu)化了系統(tǒng)軟硬件體系結(jié)構(gòu),多線程、多任務(wù)的網(wǎng)絡(luò)操作系統(tǒng)內(nèi)核,特別適合于處理來(lái)自網(wǎng)絡(luò)的I/O請(qǐng)求,不僅響應(yīng)速度快,而且數(shù)據(jù)傳輸速率也高;二是它的模式以網(wǎng)絡(luò)為中心,利用現(xiàn)有的以太網(wǎng)資源來(lái)接入專用的網(wǎng)絡(luò)儲(chǔ)存設(shè)備,而不是另外再部署光纖交換機(jī)來(lái)連接傳統(tǒng)的儲(chǔ)存設(shè)備。

(2)NAS技術(shù)性能

NAS需求旺盛已經(jīng)成為事實(shí)。主要有如下優(yōu)點(diǎn):

一是為那些訪問(wèn)和共享大量文件系統(tǒng)數(shù)據(jù)的企事業(yè)單位環(huán)境提供了一個(gè)高效、性能優(yōu)異的解決方案;二是在企事業(yè)單位數(shù)據(jù)量膨脹中,SAN、大型磁帶庫(kù)、硬盤柜等產(chǎn)品雖然都是很好的儲(chǔ)存解決方案,但它們那高貴的身份和復(fù)雜的操作是資金和技術(shù)實(shí)力有限的中小企事業(yè)單位無(wú)論如何也不能接受的,因此,NAS正是滿足這種需求的產(chǎn)品;三是適合于那些需要通過(guò)網(wǎng)絡(luò)將文件數(shù)據(jù)傳送到多臺(tái)客戶機(jī)上的用戶,非常易于部署,可以使用NAS主機(jī)、客戶機(jī)和其他設(shè)備廣泛分布在整個(gè)企事業(yè)的網(wǎng)絡(luò)環(huán)境中。

4 SAN儲(chǔ)存技術(shù)

SAN是指在網(wǎng)絡(luò)服務(wù)器群的后端,采用光纖通道技術(shù),通過(guò)光纖通道交換機(jī)連接儲(chǔ)存陣列和服務(wù)器主機(jī),建立專用于區(qū)域網(wǎng)絡(luò)的存儲(chǔ)。SAN經(jīng)過(guò)十多年的發(fā)展,已經(jīng)相當(dāng)成熟,成為企事業(yè)單位的事實(shí)標(biāo)準(zhǔn)。SAN儲(chǔ)存采用的帶寬從100Mbps、200Mbps,發(fā)展到目前的1Gbpd、2Gbps。如下圖所示。

(1)SAN儲(chǔ)存性能

SAN作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施,是為了提供靈活、高性能和高擴(kuò)展的存儲(chǔ)環(huán)境而設(shè)計(jì)的。SAN的關(guān)鍵性能如下:

一是它不同于通常所說(shuō)的網(wǎng)絡(luò),為連接服務(wù)器、磁盤陣列、磁帶庫(kù)等儲(chǔ)存設(shè)備而建立的高性能網(wǎng)絡(luò);二是提供了良好的存儲(chǔ)連接,服務(wù)器可以訪問(wèn)存儲(chǔ)區(qū)域網(wǎng)上的任何儲(chǔ)存設(shè)備,如磁帶、磁盤陣列,同時(shí)儲(chǔ)存設(shè)備之間、儲(chǔ)存設(shè)備同SAN交換機(jī)之間也可以進(jìn)行通信;三是獨(dú)立服務(wù)器網(wǎng)絡(luò)的一種專門的網(wǎng)絡(luò),這種網(wǎng)絡(luò)通過(guò)采用光纖通道協(xié)議來(lái)傳輸數(shù)據(jù),在連接上可以使用光纖和銅纜;四是特別適合于服務(wù)器集群、災(zāi)難恢復(fù)等數(shù)據(jù)量傳輸?shù)年P(guān)鍵領(lǐng)域,而且這種連接是本地的高速連接;五是采用光纖連接的技術(shù),從而保障了巨大的數(shù)據(jù)傳輸帶寬(100Mbps),對(duì)于所有的應(yīng)用都可以很好地滿足。

(2)SAN的性能

面對(duì)迅速增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求,大型企事業(yè)單位和服務(wù)提供商漸漸開始選擇SAN作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施,因?yàn)镾AN有如下優(yōu)點(diǎn):一是可提供大容量?jī)?chǔ)存設(shè)備數(shù)據(jù)共享;二是實(shí)現(xiàn)調(diào)整計(jì)算機(jī)與高速儲(chǔ)存設(shè)備的高速互聯(lián);三是提高了數(shù)據(jù)的性、安全性和開放性;四是具有出色的擴(kuò)展性,利用光纖通道技術(shù),可以有效地傳輸數(shù)據(jù)塊。

5 結(jié)束語(yǔ)

DAS、SAN和NAS之間的區(qū)別正在變得模糊,所有的網(wǎng)絡(luò)存儲(chǔ)技術(shù)在用戶的存儲(chǔ)需求下接受挑戰(zhàn),SAN與NAS都是為適應(yīng)高性能和密集的網(wǎng)絡(luò)儲(chǔ)存要求而在DAS的基礎(chǔ)上發(fā)展起來(lái)的,是新型數(shù)據(jù)儲(chǔ)存模式中的兩個(gè)主要發(fā)展方向。

在IT數(shù)據(jù)儲(chǔ)存和共享系統(tǒng)方面,傳統(tǒng)B/S的計(jì)算機(jī)模式將會(huì)演化成具有任意連接性的全球網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)。網(wǎng)絡(luò)存儲(chǔ)技術(shù)的未來(lái)發(fā)展:一是走向開放化和標(biāo)準(zhǔn)化;二是NAS、SAN技術(shù)逐步取代DAS技術(shù);三是虛擬儲(chǔ)存技術(shù)逐步興起;四是儲(chǔ)存技術(shù)走向IP化等方面的趨勢(shì)。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于RAID技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的研究

摘要：隨著Internet技術(shù)飛速發(fā)展，人們進(jìn)行信息的交流和共享越來(lái)越方便，同時(shí)數(shù)據(jù)的大規(guī)模毀滅也變得容易了。如何確保數(shù)據(jù)的一致性、安全性和性，如何實(shí)現(xiàn)不同數(shù)據(jù)的集中管理，如何實(shí)現(xiàn)網(wǎng)絡(luò)上的數(shù)據(jù)集中訪問(wèn)等，這些問(wèn)題必須需要新網(wǎng)絡(luò)存儲(chǔ)技術(shù)確立。用RAID技術(shù)的方式，實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)來(lái)完成上述提出問(wèn)題的選擇值得研究。

關(guān)鍵詞：RAID；數(shù)據(jù)存儲(chǔ)；數(shù)據(jù)備份；磁盤陣列

1　引言

在網(wǎng)絡(luò)飛速發(fā)展的今天，選擇一種適合需求的高性能數(shù)據(jù)存儲(chǔ)方式變得十分重要。在一些企事業(yè)中，即使是網(wǎng)絡(luò)管理員，數(shù)據(jù)存儲(chǔ)的觀念也尚未被普遍接受。能夠正確選擇相應(yīng)的儲(chǔ)存設(shè)備和技術(shù)。進(jìn)行經(jīng)濟(jì)而的數(shù)據(jù)存儲(chǔ)與恢復(fù)，從而避免可能發(fā)生的重大損失。因此，企事業(yè)必須有一套正確的數(shù)據(jù)存儲(chǔ)與恢復(fù)系統(tǒng)的方案。RAID(Redun-dant Array of Inexpensive Disks)技術(shù)就是網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的一種較佳選擇方案。

RAID網(wǎng)絡(luò)存儲(chǔ)技術(shù)主要利用網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)信息的異地儲(chǔ)存，即電子數(shù)據(jù)不再直接存儲(chǔ)在本地客戶端上，而是儲(chǔ)存在遠(yuǎn)端的服務(wù)器上。并且還可以通過(guò)網(wǎng)絡(luò)保存在與遠(yuǎn)端服務(wù)器相連的專門設(shè)備上。由于RAID存儲(chǔ)技術(shù)的方式很多，在具體實(shí)現(xiàn)上還需進(jìn)一步的研究。

2　RAID存儲(chǔ)技術(shù)

RAID是指廉價(jià)(獨(dú)立)磁盤陣列，所謂“磁盤陣列”是指多張磁盤連成一個(gè)陣列上，然后，以某種方式書寫磁盤，這種方式可以在一張或多張磁盤組之間提供數(shù)據(jù)。

從主機(jī)的角度看，控制器使得整個(gè)磁盤組就像一片又快、又大、又的虛擬磁盤。它的初衷主要是為大型網(wǎng)絡(luò)服務(wù)器提供高端的存儲(chǔ)功能和冗余的數(shù)據(jù)安全，在系統(tǒng)中RAID被看作是一個(gè)邏輯分區(qū)。但它是由多個(gè)硬盤組成的，通過(guò)在多個(gè)硬盤上同時(shí)儲(chǔ)存和讀取數(shù)據(jù)來(lái)大幅度提高存儲(chǔ)系統(tǒng)的數(shù)據(jù)吞吐量，而且在很多RAID模式中都有較為完備的、相互校驗(yàn)與恢復(fù)的措施，甚至是直接相互的鏡像存儲(chǔ)。當(dāng)數(shù)據(jù)災(zāi)難發(fā)生時(shí)可以自動(dòng)修復(fù)，從而大大提高了RAID系統(tǒng)的容錯(cuò)度，穩(wěn)定了系統(tǒng)的冗余性。

3　RAID技術(shù)規(guī)范

RAID技術(shù)是一種工業(yè)標(biāo)準(zhǔn)，通常將組成磁盤陣列的不同方式分為RAID級(jí)別。隨著RAID技術(shù)的不斷發(fā)展，現(xiàn)在已擁有了以RAID 0到RAID 6七種基本的級(jí)別。另外，還有一些基本RAID級(jí)別的組合形式，如RAID 10、RAID 50等。現(xiàn)將RAID級(jí)別在應(yīng)用中的實(shí)現(xiàn)作進(jìn)一步的研究。

(1)RAID 0：是連續(xù)以位或字節(jié)為單位分割數(shù)據(jù)，并行讀寫于多個(gè)磁盤上，因此具有很高的數(shù)據(jù)傳輸速率，但它沒有數(shù)據(jù)冗余。它只是單純地提高性能，而且其中的一個(gè)磁盤失效將影響到所有數(shù)據(jù)。因此，它不能應(yīng)用于數(shù)據(jù)安全性高的場(chǎng)合。

(2)RAID 1：通常被稱為RAID鏡像，是通過(guò)磁盤數(shù)據(jù)鏡像實(shí)現(xiàn)數(shù)據(jù)冗余，在成對(duì)的獨(dú)立磁盤上產(chǎn)生互為備份的數(shù)據(jù)。即所有數(shù)據(jù)都進(jìn)行百分之百的備份。當(dāng)原始數(shù)據(jù)繁忙時(shí)，可直接從鏡像磁盤上讀寫，而不需要重組失效數(shù)據(jù)。

(3)RAID 0+1：也稱為RAID 1 O標(biāo)準(zhǔn)，至少需要4塊硬盤才可以實(shí)現(xiàn)，不過(guò)它綜合了RAID 0和RAID 1的特點(diǎn)，將獨(dú)立磁盤配置成RAID 0，兩套完整的RAID 0互換鏡像。但構(gòu)建RAID 0+1陣列的成本投入大，數(shù)據(jù)空間利用率只有50％。

(4)RAID 2：是按位分配數(shù)據(jù)到多個(gè)驅(qū)動(dòng)器的，在寫入數(shù)據(jù)時(shí)一個(gè)磁盤上保存數(shù)據(jù)的各個(gè)位，同時(shí)把一個(gè)數(shù)據(jù)不同的位運(yùn)算到海明校驗(yàn)碼保存在另一組磁盤上，在數(shù)據(jù)發(fā)生錯(cuò)誤的情況下將錯(cuò)誤校正。這種編碼技術(shù)需要多個(gè)磁盤存放檢查及恢復(fù)信息，使得RAID 2技術(shù)實(shí)施更復(fù)雜、速度最慢，因此在商業(yè)環(huán)境中很少使用，最適合用于諸如圖像之類的應(yīng)用。

(5)RAID 3：通常是按字節(jié)將數(shù)據(jù)劃分為條紋分配在許多驅(qū)動(dòng)器上，雖然也可按位劃分，但它在陣列時(shí)專用一個(gè)驅(qū)動(dòng)器保存奇偶校驗(yàn)信息，因此它同RAID 2非常類似，區(qū)別在于它使用簡(jiǎn)單的奇偶校驗(yàn)，并用單塊磁盤存放奇偶校驗(yàn)信息。如果一塊磁盤失效，奇偶盤及其他數(shù)據(jù)盤可以重新產(chǎn)生數(shù)據(jù)；如果奇偶校驗(yàn)失效，則不影響數(shù)據(jù)使用，但奇偶盤會(huì)成為寫操作的瓶頸。

(6)RAID 4：除了按扇區(qū)而不是按字節(jié)對(duì)數(shù)據(jù)劃分條紋外，RAID 4與RAID 3相似。同樣也將數(shù)據(jù)條塊化并分布于不同的磁盤上，但條塊單位為塊或記錄。它使用一塊磁盤作為奇偶校驗(yàn)盤，這時(shí)奇偶校驗(yàn)盤會(huì)成為寫操作的瓶頸，因此它在商業(yè)環(huán)境中也很少使用。

(7)RAID 5：是把數(shù)據(jù)和相對(duì)應(yīng)的奇偶校驗(yàn)信息存儲(chǔ)到組成RAID5的各個(gè)磁盤上，并且奇偶校驗(yàn)信息和相對(duì)應(yīng)的數(shù)據(jù)分別存儲(chǔ)在不同磁盤上。它使用一種特殊算法，可以計(jì)算出任何一個(gè)區(qū)域校驗(yàn)塊的存儲(chǔ)位置。這樣就可以確保對(duì)校驗(yàn)塊的任何讀寫操作都會(huì)在所有RAID磁盤中進(jìn)行均衡，從而消除產(chǎn)生瓶頸的可能。它讀出效率很高，寫入效率一般，塊式的集體訪問(wèn)效率較佳，但控制器的設(shè)計(jì)也相當(dāng)困難。

(8)RAID 6：與RAID 5相比，它增加了第二個(gè)獨(dú)立的奇偶校驗(yàn)信息塊。兩個(gè)獨(dú)立的奇偶校驗(yàn)系統(tǒng)使用不同的算法，數(shù)據(jù)的性非常高，即使兩塊磁盤同時(shí)失效也不會(huì)影響數(shù)據(jù)的使用。相對(duì)于RAID 5有更大的寫“損失”，因此“寫性能”非常差。

(g)RAID 7：這是一種新RAID標(biāo)準(zhǔn)，其自身帶有智能化實(shí)時(shí)操作系統(tǒng)和用于存儲(chǔ)管理的軟件工具，可獨(dú)立于主機(jī)運(yùn)行，不占用主機(jī)CPU資源。它采用優(yōu)化的高速數(shù)據(jù)傳送磁盤結(jié)構(gòu)，所有的I/O傳送均是同步進(jìn)行的。可以分別控制，這樣提高了系統(tǒng)的并行性和系統(tǒng)訪問(wèn)數(shù)據(jù)的速度；每個(gè)磁盤都帶有高速緩沖存儲(chǔ)器，實(shí)時(shí)操作系統(tǒng)可以使用任何操作芯片，達(dá)到不同實(shí)時(shí)系統(tǒng)需要。當(dāng)多用戶訪問(wèn)系統(tǒng)時(shí)，可以連續(xù)多臺(tái)主機(jī)，訪問(wèn)時(shí)間幾乎接近于零。

4　RAID級(jí)別間的關(guān)系

RAID0～5級(jí)的描述、速度與容錯(cuò)功能如下表所示：

5　RAID技術(shù)的特點(diǎn)

從RAID級(jí)別的發(fā)展與應(yīng)用，歸納起來(lái)主要有如下特點(diǎn)：

(1)RAID控制器通過(guò)磁盤陣列的并行數(shù)據(jù)讀寫，克服了磁盤機(jī)電設(shè)計(jì)的限制，大大提高了存取速度。即如果是由四張磁盤組成的陣列，其讀寫速度幾乎是單盤的四倍，從而為不同的應(yīng)用服務(wù)。

(2)RAID系統(tǒng)提供了大容量的數(shù)據(jù)存儲(chǔ)，而且這張磁盤上的數(shù)據(jù)對(duì)于主機(jī)來(lái)說(shuō)隨時(shí)可用。復(fù)雜的RAID系統(tǒng)可允許用戶通過(guò)控制器發(fā)的數(shù)據(jù)途徑組成多盤級(jí)連。在一個(gè)充分設(shè)置的RAID中，它的高性能控制器可同時(shí)進(jìn)行90張盤的尋址操作。

(3)RAID系統(tǒng)運(yùn)用奇偶校驗(yàn)技術(shù)提高數(shù)據(jù)的性。在這種體系中，當(dāng)RAID控制器在磁盤上寫數(shù)據(jù)時(shí)，它還會(huì)記錄下相應(yīng)的奇偶校驗(yàn)位冗余數(shù)據(jù)。如果盤片失效，這個(gè)奇偶信息可使RAID控制器在不降低性能的情況下重新計(jì)算丟失的信息。

6　結(jié)束語(yǔ)

RAID技術(shù)可以通過(guò)軟件或硬件實(shí)現(xiàn)。軟件實(shí)現(xiàn)RAID需要一些網(wǎng)絡(luò)操作系統(tǒng)的支持，可以使用標(biāo)準(zhǔn)的SCSI適配卡和管理驅(qū)動(dòng)器來(lái)完成。由于是操作系統(tǒng)下實(shí)現(xiàn)RAID技術(shù)，因此軟件RAID不能保護(hù)系統(tǒng)盤。并且當(dāng)系統(tǒng)崩潰需要重新安裝時(shí)，RAID信息也會(huì)丟失；硬件RAID是采用集成的陣列卡或?qū)Ｓ玫年嚵锌▉?lái)控制硬盤驅(qū)動(dòng)器的。這樣可以極大地節(jié)省服務(wù)器系統(tǒng)CPU和操作的資源，從而使網(wǎng)絡(luò)服務(wù)器的性能獲得很大的提高。RAID控制器與主系統(tǒng)之間有連接存取接口(如SCSI、IDE和SATA)的信道。在主機(jī)系統(tǒng)的存取接口中是一個(gè)獨(dú)立的直接存取儲(chǔ)存體，并且可以有不止一個(gè)邏輯盤卡，都支持在線更換、熱插拔交換，同時(shí)在部分操作系統(tǒng)下實(shí)現(xiàn)軟件監(jiān)控和管理。因此，依據(jù)企事業(yè)的實(shí)際，實(shí)現(xiàn)RAID技術(shù)的數(shù)據(jù)儲(chǔ)存。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于層次型報(bào)表的數(shù)據(jù)存儲(chǔ)技術(shù)研究

摘要：數(shù)據(jù)模型常見有層次、網(wǎng)狀和關(guān)系三種模型，結(jié)合《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計(jì)中遇到的層次型報(bào)表，該文研究了將層次型模型轉(zhuǎn)化為關(guān)系模型的三種方法，最終提出了基于樹型存儲(chǔ)法的字典目錄法數(shù)據(jù)存儲(chǔ)技術(shù)，利用該技術(shù)實(shí)現(xiàn)了系統(tǒng)的成功開發(fā)，證明了字典目錄法有效性。

關(guān)鍵詞：數(shù)據(jù)模型；層次型報(bào)表；存儲(chǔ)技術(shù)

1 數(shù)據(jù)模型

數(shù)據(jù)庫(kù)是信息系統(tǒng)的核心和基礎(chǔ)。它把信息系統(tǒng)中的大量數(shù)據(jù)按照一定的模型組織起來(lái)，提供存儲(chǔ)、維護(hù)、檢索數(shù)據(jù)的功能，是信息系統(tǒng)可以方便、及時(shí)、從數(shù)據(jù)庫(kù)中獲取所需的信息。一個(gè)信息系統(tǒng)的各個(gè)部分能否緊密的結(jié)合在一起以及如何結(jié)合，關(guān)鍵在數(shù)據(jù)庫(kù)。因此必須對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理設(shè)計(jì)[1]。

1.1 常見數(shù)據(jù)模型

在數(shù)據(jù)庫(kù)系統(tǒng)中，主要的數(shù)據(jù)模型有[2]：層次模型（Hierarchical Model）、網(wǎng)狀模型（Network Model）和關(guān)系模型（Relational Model）。其中，應(yīng)用最廣泛的當(dāng)屬關(guān)系模型。

1.1.1 層次模型

層次模型：用樹型（層次）結(jié)構(gòu)表示實(shí)體類型及實(shí)體之間聯(lián)系的數(shù)據(jù)模型稱為層次模型。如圖1。層次結(jié)構(gòu)是一棵樹，樹的結(jié)點(diǎn)是記錄類型，非根結(jié)點(diǎn)有且只有一個(gè)父結(jié)點(diǎn)。上一層記錄類型和下一層記錄類型的聯(lián)系是1:M聯(lián)系。

1.1.2 網(wǎng)狀模型

網(wǎng)狀模型：用從結(jié)構(gòu)（網(wǎng)絡(luò)結(jié)構(gòu)）表示實(shí)體類型及實(shí)體間聯(lián)系的數(shù)據(jù)模型稱為網(wǎng)狀模型。如圖2。記錄之間的聯(lián)系通過(guò)指針實(shí)現(xiàn)，M:N聯(lián)系容易實(shí)現(xiàn)（一個(gè)M:N聯(lián)系可拆成兩個(gè)1:M聯(lián)系），查詢效率高。

1.1.3 關(guān)系模型

用規(guī)范化了的二維表格結(jié)構(gòu)表示實(shí)體集，用鍵表示實(shí)體間聯(lián)系。通常是若干個(gè)關(guān)系模型組成的集合。如表1所示。

1.2 項(xiàng)目中數(shù)據(jù)報(bào)表

作者負(fù)責(zé)開發(fā)的《某市農(nóng)業(yè)基礎(chǔ)信息系統(tǒng)》中，提供的基礎(chǔ)信息為如表2。本文為了簡(jiǎn)要說(shuō)明問(wèn)題，僅以表2中部分信息為例，展開對(duì)層次型數(shù)據(jù)的存儲(chǔ)與檢索的討論。表中其他同結(jié)構(gòu)信息和系統(tǒng)中涉及到的其它12張，以及其基于此基礎(chǔ)信息的統(tǒng)計(jì)表實(shí)現(xiàn)方法雷同。

對(duì)該表中數(shù)據(jù)進(jìn)行構(gòu)造，吻合層次型數(shù)據(jù)模型。在傳統(tǒng)的項(xiàng)目開發(fā)中經(jīng)常遇到的多是如二維表結(jié)構(gòu)的模型，即便是其它例如層次模型、網(wǎng)狀模型均可以通過(guò)描述實(shí)體關(guān)系的E-R圖轉(zhuǎn)換為關(guān)系模型。

2 項(xiàng)目介紹

為了實(shí)現(xiàn)某市農(nóng)業(yè)局農(nóng)業(yè)基礎(chǔ)信息的積累，便于政府決策人員獲取農(nóng)村基層涉及基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息統(tǒng)計(jì)，根據(jù)歷史信息，獲取農(nóng)業(yè)發(fā)展規(guī)律，為政府管理人員提供決策依據(jù)，也便于隨時(shí)隨地了解該局下屬各級(jí)行政單位縣、鄉(xiāng)、村的基本信息。保障了信息傳遞的暢通性，真實(shí)性和公正性。

2.1 項(xiàng)目功能

2.1.1縣、鄉(xiāng)、村類別的行政單位基礎(chǔ)信息網(wǎng)上錄入

2.1.1 村級(jí)農(nóng)經(jīng)基礎(chǔ)信息的逐年錄入

在每一年度，作為最小的基層單位，需要將本單位涉及到農(nóng)村基本情況表：基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息統(tǒng)計(jì)，并錄入相應(yīng)的報(bào)表中，要求數(shù)據(jù)錄入簡(jiǎn)捷，操作方便。

2.1.2 鄉(xiāng)，縣，市年度統(tǒng)計(jì)信息

依據(jù)下屬逐年基礎(chǔ)信息的上報(bào)經(jīng)審核后由村鄉(xiāng)縣市四個(gè)級(jí)別的自動(dòng)生成統(tǒng)計(jì)信息。上級(jí)部門僅有審核權(quán)限，沒有修改權(quán)限。保障了信息的真實(shí)性。

2.1.2 信息檢索

由不同行政級(jí)別的決策者查閱信息：年度基礎(chǔ)值、年度統(tǒng)計(jì)值、若干年指標(biāo)平均值、按指標(biāo)排名等。

2.1.3 信息打印

對(duì)于檢索的信息的在線打印，便于決策者查詢與參考。保障在網(wǎng)絡(luò)和電腦之外的其他傳統(tǒng)存儲(chǔ)介質(zhì)的使用，尤其在不能上網(wǎng)的情況下，照樣能隨時(shí)查閱農(nóng)村資料。

2.1.4 信息備份和恢復(fù)

信息備份和恢復(fù)：對(duì)于存儲(chǔ)的基礎(chǔ)信息，為了安全起見，能導(dǎo)出到其它存儲(chǔ)空間。一旦出現(xiàn)意外，數(shù)據(jù)不會(huì)丟失。保障了信息的安全性。

2.2 關(guān)鍵技術(shù)

2.2.1 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)的存儲(chǔ)是開發(fā)的基石，但是表1是一個(gè)不規(guī)則的層次型表格。對(duì)于如此復(fù)雜結(jié)構(gòu)的報(bào)表想要通過(guò)關(guān)系之間轉(zhuǎn)換， 以及如何選擇數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)、數(shù)據(jù)之間的邏輯關(guān)系、選取何種數(shù)據(jù)模型，該項(xiàng)目的關(guān)鍵技術(shù)。并且還要考慮到本項(xiàng)目中數(shù)據(jù)每年不同，同時(shí)還不能覆蓋歷史信息。以及類似此結(jié)構(gòu)的（村級(jí)）基本信息表共12張，如此基本信息表生成的行政單位（鄉(xiāng)，縣，市）的統(tǒng)計(jì)表也是12張。同時(shí)初步統(tǒng)計(jì)出該市共有2375個(gè)行政村，236個(gè)鄉(xiāng)，5個(gè)縣。該項(xiàng)目中數(shù)據(jù)逐年增添的龐大性，也要求開發(fā)者從長(zhǎng)遠(yuǎn)考慮，慎重選擇數(shù)據(jù)庫(kù)開發(fā)工具。

2.2.2 數(shù)據(jù)檢索

在信息找到解決方案后，如何在復(fù)雜的數(shù)據(jù)庫(kù)中依據(jù)數(shù)據(jù)表之間的對(duì)應(yīng)關(guān)系，根據(jù)散落的信息，瀏覽者中進(jìn)行查詢，要求操作簡(jiǎn)單，查詢結(jié)果易于瀏覽，查詢信息有助于提供領(lǐng)導(dǎo)決策的要求。于是隱藏在數(shù)據(jù)之中的信息檢索也是本項(xiàng)目的重中之重。

3 層次型數(shù)據(jù)存儲(chǔ)技術(shù)

3.1 關(guān)系數(shù)據(jù)模型的確定

軟件開發(fā)中常用的數(shù)據(jù)庫(kù)技術(shù)現(xiàn)在比較流行大中型的有MySQL、IBM DB2、Oracle、SQL Server、SyBase、Informix等，個(gè)人用戶比較常用的主要是基于中小型數(shù)據(jù)庫(kù)MS SQL Server和Access。但是這些數(shù)據(jù)庫(kù)均是關(guān)系型數(shù)據(jù)庫(kù)。而現(xiàn)實(shí)項(xiàng)目開發(fā)中接觸的教多的初級(jí)信息多為不規(guī)范的數(shù)據(jù)，需要進(jìn)行整合重組為關(guān)系數(shù)據(jù)庫(kù)。

3.2 層次模型轉(zhuǎn)換為關(guān)系模型的方法

3.2.1 分割表法

依據(jù)層次關(guān)系依據(jù)節(jié)點(diǎn)的父子關(guān)系可分割為關(guān)系模型，將表2中作為父節(jié)點(diǎn)的單元生成新表，只要其內(nèi)容下有分支，就要產(chǎn)生一個(gè)新二維表表，具有規(guī)則的行和列，分解后的關(guān)系模型以及組成字段的簡(jiǎn)要描述如表3。

該方法雖然實(shí)現(xiàn)了將層次型數(shù)據(jù)轉(zhuǎn)換為關(guān)系型數(shù)據(jù)[3]，但是將一個(gè)表中信息分解的支離破碎，考慮到數(shù)據(jù)的完整性，增、刪、改等操作中容易引發(fā)異常；表的數(shù)量過(guò)大，多表查詢時(shí)聯(lián)接頻繁，導(dǎo)致查詢信息的效率低下。同時(shí)對(duì)于每個(gè)行政單位的具體年份的信息無(wú)法存儲(chǔ)下來(lái)。結(jié)論：此方案不可行。

3.2.2 樹型存儲(chǔ)法

由于每個(gè)信息節(jié)點(diǎn)需要記錄其兩個(gè)組成部分：父節(jié)點(diǎn)（parentID）和自身（ID）的數(shù)據(jù)信息（Num）。借助于《數(shù)據(jù)結(jié)構(gòu)》課程中對(duì)樹型結(jié)構(gòu)數(shù)據(jù)的實(shí)現(xiàn)方法[4]，設(shè)計(jì)出對(duì)于每個(gè)節(jié)點(diǎn)除保存本身信息外還要記錄每個(gè)節(jié)點(diǎn)的父節(jié)點(diǎn)，對(duì)于表名視為樹的根（parentID為0），其它節(jié)點(diǎn)的parentID是通過(guò)記錄父親節(jié)點(diǎn)的（ID）實(shí)現(xiàn)的。

對(duì)于表1行的數(shù)量不發(fā)生改變，以添加新列記錄下每個(gè)單位每年度的信息數(shù)據(jù)。此方法中便于查詢和統(tǒng)計(jì)信息生成。因?yàn)樾械臄?shù)量固定，但是列的再逐年改變。依據(jù)開發(fā)經(jīng)驗(yàn)，基于表的信息的操作，一般是表結(jié)構(gòu)固定下來(lái)后，添加數(shù)據(jù)、更新數(shù)據(jù)、查詢數(shù)據(jù)等操作不要做表的結(jié)構(gòu)變化。但是此方法雖然記錄了表之間的關(guān)系，然而表中信息的年度和行政單位等資料無(wú)法存儲(chǔ)，如要存儲(chǔ)需要添加新列，而列的名字等信息還不穩(wěn)定的話，開發(fā)人員無(wú)法正確讀取信息[5]。同時(shí)在每個(gè)年度添加列，修改表的結(jié)構(gòu)會(huì)可能會(huì)導(dǎo)致表的部分重要信息丟失頻繁，尤其是對(duì)于特殊的數(shù)據(jù)（如必填字段）無(wú)法正常執(zhí)行，導(dǎo)致表的信息或修改表的結(jié)構(gòu)無(wú)法正常結(jié)束。結(jié)論：此方案不可行。

3.2.3 字典目錄法

結(jié)合樹型存儲(chǔ)法能記錄層次型數(shù)據(jù)報(bào)表的特點(diǎn)，經(jīng)項(xiàng)目組研究將樹型存儲(chǔ)法延伸為兩部分組成，形同表1的報(bào)表結(jié)構(gòu)，稱之為目錄表，表4稱為信息表。在表4中記錄每個(gè)節(jié)點(diǎn)在某個(gè)年度的數(shù)值信息，以及該信息來(lái)自何行政單位。而節(jié)點(diǎn)的名字和層次需要查詢表4來(lái)獲取。而查詢的依據(jù)是TableID的值是參照表1中ID而得到的，Depart指的是歸屬的行政單位名稱，Year代表數(shù)據(jù)是哪個(gè)年份。該方法的優(yōu)點(diǎn)是保存了表的結(jié)構(gòu),支持表的結(jié)構(gòu)修改，記錄了各個(gè)指標(biāo)的值。目錄表基本不變化，但是信息表每年均隨單位個(gè)數(shù)成倍遞增。查詢指定的統(tǒng)計(jì)信息較難，數(shù)據(jù)冗余較大。但是此方案實(shí)現(xiàn)了信息的完整保存：指標(biāo)名，指標(biāo)數(shù)，單位和年度信息的一體化。結(jié)論：此方案對(duì)于本項(xiàng)目是可行的。

4 基于字典目錄法的系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)

系統(tǒng)確定了數(shù)據(jù)庫(kù)的設(shè)計(jì)思路后，基于字典目錄法的數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)由邏輯設(shè)計(jì)到物理設(shè)計(jì)的實(shí)現(xiàn)，為開發(fā)基于WEB《某市農(nóng)業(yè)信息系統(tǒng)》的奠定了根基。

4.1 錄入實(shí)現(xiàn)

在本系統(tǒng)中確定了信息的存儲(chǔ)方法，由于用戶的涉及面廣，文化程度不一，對(duì)于信息技術(shù)的操作熟練程度不等，要求對(duì)于錄入界面要求界面友好，操作簡(jiǎn)潔，信息數(shù)據(jù)錄入方便。根據(jù)用戶具體情況，設(shè)計(jì)如如圖3錄入界面，在系統(tǒng)使用過(guò)程中以操作方便、界面友好，能自動(dòng)校驗(yàn)數(shù)據(jù)之間的平衡關(guān)系等特點(diǎn)，得到了用戶喜愛。

4.2 信息檢索

根據(jù)系統(tǒng)設(shè)計(jì)的表：結(jié)構(gòu)表，信息表，行政單位表三個(gè)基本表，將基于字典目錄法的數(shù)據(jù)存儲(chǔ)成功后，就可進(jìn)行信息查詢。查詢的基本思路如下：

查詢的條件-用戶要錄入選擇-查詢的指標(biāo)內(nèi)容和何年度指標(biāo)。

4.2.1 確定檢索指標(biāo)種類

選擇檢索的信息的種類，是基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息中的哪個(gè)類別。依次確定該類別信息涉及到的表名。

4.2.2 查找目錄表

根據(jù)信息種類依據(jù)目錄表來(lái)還原為層次模型結(jié)構(gòu)原型。

4.2.3 取出信息表數(shù)據(jù)

根據(jù)層次表原型，結(jié)合信息表中的年度信息，取出基本數(shù)據(jù)。

4.2.4 顯示檢索指標(biāo)數(shù)據(jù)

將基本數(shù)據(jù)載入到層次型結(jié)構(gòu)中。顯示用戶檢索信息。

由于篇幅有限，且此檢索功能需要涉及到項(xiàng)目中的各表，而本文僅重點(diǎn)討論層次型數(shù)據(jù)存儲(chǔ)技術(shù)，檢索算法的詳

細(xì)算法和流程圖略。

5 結(jié)束語(yǔ)

本文主要結(jié)合項(xiàng)目課題基于Web的《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計(jì)，延伸出對(duì)于層次型報(bào)表轉(zhuǎn)化為關(guān)系模型存儲(chǔ)中的重要技術(shù)作了討論；同時(shí)結(jié)合分割表法、樹型存儲(chǔ)法分析了常用方法的優(yōu)缺點(diǎn)，提出了基于樹型存儲(chǔ)法的字典目錄法存儲(chǔ)數(shù)據(jù)。該方法解決了層次模型轉(zhuǎn)化為關(guān)系模型的困難，結(jié)合項(xiàng)目的功能要求，實(shí)現(xiàn)了與農(nóng)業(yè)局各級(jí)行政單位在指定年度的各項(xiàng)指標(biāo)信息的存儲(chǔ)問(wèn)題。本系統(tǒng)的實(shí)現(xiàn)是新農(nóng)村信息化的具體表現(xiàn)，解決了農(nóng)業(yè)部門信息資料收集區(qū)域廣，信息統(tǒng)計(jì)困難、數(shù)據(jù)誤差大等問(wèn)題，真正實(shí)現(xiàn)了信息的時(shí)效性、真實(shí)性，為政府部門提供了決策依據(jù)。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于層次型報(bào)表的數(shù)據(jù)存儲(chǔ)技術(shù)研究

摘要：數(shù)據(jù)模型常見有層次、網(wǎng)狀和關(guān)系三種模型，結(jié)合《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計(jì)中遇到的層次型報(bào)表，該文研究了將層次型模型轉(zhuǎn)化為關(guān)系模型的三種方法，最終提出了基于樹型存儲(chǔ)法的字典目錄法數(shù)據(jù)存儲(chǔ)技術(shù)，利用該技術(shù)實(shí)現(xiàn)了系統(tǒng)的成功開發(fā)，證明了字典目錄法有效性。

關(guān)鍵詞：數(shù)據(jù)模型；層次型報(bào)表；存儲(chǔ)技術(shù)

1 數(shù)據(jù)模型

數(shù)據(jù)庫(kù)是信息系統(tǒng)的核心和基礎(chǔ)。它把信息系統(tǒng)中的大量數(shù)據(jù)按照一定的模型組織起來(lái)，提供存儲(chǔ)、維護(hù)、檢索數(shù)據(jù)的功能，是信息系統(tǒng)可以方便、及時(shí)、從數(shù)據(jù)庫(kù)中獲取所需的信息。一個(gè)信息系統(tǒng)的各個(gè)部分能否緊密的結(jié)合在一起以及如何結(jié)合，關(guān)鍵在數(shù)據(jù)庫(kù)。因此必須對(duì)數(shù)據(jù)庫(kù)進(jìn)行合理設(shè)計(jì)[1]。

1.1 常見數(shù)據(jù)模型

在數(shù)據(jù)庫(kù)系統(tǒng)中，主要的數(shù)據(jù)模型有[2]：層次模型（Hierarchical Model）、網(wǎng)狀模型（Network Model）和關(guān)系模型（Relational Model）。其中，應(yīng)用最廣泛的當(dāng)屬關(guān)系模型。

1.1.1 層次模型

層次模型：用樹型（層次）結(jié)構(gòu)表示實(shí)體類型及實(shí)體之間聯(lián)系的數(shù)據(jù)模型稱為層次模型。如圖1。層次結(jié)構(gòu)是一棵樹，樹的結(jié)點(diǎn)是記錄類型，非根結(jié)點(diǎn)有且只有一個(gè)父結(jié)點(diǎn)。上一層記錄類型和下一層記錄類型的聯(lián)系是1:M聯(lián)系。

1.1.2 網(wǎng)狀模型

網(wǎng)狀模型：用從結(jié)構(gòu)（網(wǎng)絡(luò)結(jié)構(gòu)）表示實(shí)體類型及實(shí)體間聯(lián)系的數(shù)據(jù)模型稱為網(wǎng)狀模型。如圖2。記錄之間的聯(lián)系通過(guò)指針實(shí)現(xiàn)，M:N聯(lián)系容易實(shí)現(xiàn)（一個(gè)M:N聯(lián)系可拆成兩個(gè)1:M聯(lián)系），查詢效率高。

1.1.3 關(guān)系模型

用規(guī)范化了的二維表格結(jié)構(gòu)表示實(shí)體集，用鍵表示實(shí)體間聯(lián)系。通常是若干個(gè)關(guān)系模型組成的集合。如表1所示。

1.2 項(xiàng)目中數(shù)據(jù)報(bào)表

作者負(fù)責(zé)開發(fā)的《某市農(nóng)業(yè)基礎(chǔ)信息系統(tǒng)》中，提供的基礎(chǔ)信息為如表2。本文為了簡(jiǎn)要說(shuō)明問(wèn)題，僅以表2中部分信息為例，展開對(duì)層次型數(shù)據(jù)的存儲(chǔ)與檢索的討論。表中其他同結(jié)構(gòu)信息和系統(tǒng)中涉及到的其它12張，以及其基于此基礎(chǔ)信息的統(tǒng)計(jì)表實(shí)現(xiàn)方法雷同。

對(duì)該表中數(shù)據(jù)進(jìn)行構(gòu)造，吻合層次型數(shù)據(jù)模型。在傳統(tǒng)的項(xiàng)目開發(fā)中經(jīng)常遇到的多是如二維表結(jié)構(gòu)的模型，即便是其它例如層次模型、網(wǎng)狀模型均可以通過(guò)描述實(shí)體關(guān)系的E-R圖轉(zhuǎn)換為關(guān)系模型。

2 項(xiàng)目介紹

為了實(shí)現(xiàn)某市農(nóng)業(yè)局農(nóng)業(yè)基礎(chǔ)信息的積累，便于政府決策人員獲取農(nóng)村基層涉及基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息統(tǒng)計(jì)，根據(jù)歷史信息，獲取農(nóng)業(yè)發(fā)展規(guī)律，為政府管理人員提供決策依據(jù)，也便于隨時(shí)隨地了解該局下屬各級(jí)行政單位縣、鄉(xiāng)、村的基本信息。保障了信息傳遞的暢通性，真實(shí)性和公正性。

2.1 項(xiàng)目功能

2.1.1縣、鄉(xiāng)、村類別的行政單位基礎(chǔ)信息網(wǎng)上錄入

1) 村級(jí)農(nóng)經(jīng)基礎(chǔ)信息的逐年錄入

在每一年度，作為最小的基層單位，需要將本單位涉及到農(nóng)村基本情況表：基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息統(tǒng)計(jì)，并錄入相應(yīng)的報(bào)表中，要求數(shù)據(jù)錄入簡(jiǎn)捷，操作方便。

2) 鄉(xiāng)、縣、市年度統(tǒng)計(jì)信息

依據(jù)下屬逐年基礎(chǔ)信息的上報(bào)經(jīng)審核后由村鄉(xiāng)縣市四個(gè)級(jí)別的自動(dòng)生成統(tǒng)計(jì)信息。上級(jí)部門僅有審核權(quán)限，沒有修改權(quán)限。保障了信息的真實(shí)性。

2.1.2 信息檢索

由不同行政級(jí)別的決策者查閱信息：年度基礎(chǔ)值、年度統(tǒng)計(jì)值、若干年指標(biāo)平均值、按指標(biāo)排名等。

2.1.3 信息打印

對(duì)于檢索的信息的在線打印，便于決策者查詢與參考。保障在網(wǎng)絡(luò)和電腦之外的其他傳統(tǒng)存儲(chǔ)介質(zhì)的使用，尤其在不能上網(wǎng)的情況下，照樣能隨時(shí)查閱農(nóng)村資料。

2.1.4 信息備份和恢復(fù)

信息備份和恢復(fù)：對(duì)于存儲(chǔ)的基礎(chǔ)信息，為了安全起見，能導(dǎo)出到其它存儲(chǔ)空間。一旦出現(xiàn)意外，數(shù)據(jù)不會(huì)丟失。保障了信息的安全性。

2.2 關(guān)鍵技術(shù)

2.2.1 數(shù)據(jù)存儲(chǔ)

數(shù)據(jù)的存儲(chǔ)是開發(fā)的基石，但是表1是一個(gè)不規(guī)則的層次型表格。對(duì)于如此復(fù)雜結(jié)構(gòu)的報(bào)表想要通過(guò)關(guān)系之間轉(zhuǎn)換， 以及如何選擇數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)、數(shù)據(jù)之間的邏輯關(guān)系、選取何種數(shù)據(jù)模型，該項(xiàng)目的關(guān)鍵技術(shù)。并且還要考慮到本項(xiàng)目中數(shù)據(jù)每年不同，同時(shí)還不能覆蓋歷史信息。以及類似此結(jié)構(gòu)的（村級(jí)）基本信息表共12張，如此基本信息表生成的行政單位（鄉(xiāng)，縣，市）的統(tǒng)計(jì)表也是12張。同時(shí)初步統(tǒng)計(jì)出該市共有2375個(gè)行政村，236個(gè)鄉(xiāng)，5個(gè)縣。該項(xiàng)目中數(shù)據(jù)逐年增添的龐大性，也要求開發(fā)者從長(zhǎng)遠(yuǎn)考慮，慎重選擇數(shù)據(jù)庫(kù)開發(fā)工具。

2.2.2 數(shù)據(jù)檢索

在信息找到解決方案后，如何在復(fù)雜的數(shù)據(jù)庫(kù)中依據(jù)數(shù)據(jù)表之間的對(duì)應(yīng)關(guān)系，根據(jù)散落的信息，瀏覽者中進(jìn)行查詢，要求操作簡(jiǎn)單，查詢結(jié)果易于瀏覽，查詢信息有助于提供領(lǐng)導(dǎo)決策的要求。于是隱藏在數(shù)據(jù)之中的信息檢索也是本項(xiàng)目的重中之重。

3 層次型數(shù)據(jù)存儲(chǔ)技術(shù)

3.1 關(guān)系數(shù)據(jù)模型的確定

軟件開發(fā)中常用的數(shù)據(jù)庫(kù)技術(shù)現(xiàn)在比較流行大中型的有MySQL、IBM DB2、Oracle、SQL Server、SyBase、Informix等，個(gè)人用戶比較常用的主要是基于中小型數(shù)據(jù)庫(kù)MS SQL Server和Access。但是這些數(shù)據(jù)庫(kù)均是關(guān)系型數(shù)據(jù)庫(kù)。而現(xiàn)實(shí)項(xiàng)目開發(fā)中接觸的教多的初級(jí)信息多為不規(guī)范的數(shù)據(jù)，需要進(jìn)行整合重組為關(guān)系數(shù)據(jù)庫(kù)。

3.2 層次模型轉(zhuǎn)換為關(guān)系模型的方法

3.2.1 分割表法

依據(jù)層次關(guān)系依據(jù)節(jié)點(diǎn)的父子關(guān)系可分割為關(guān)系模型，將表2中作為父節(jié)點(diǎn)的單元生成新表，只要其內(nèi)容下有分支，就要產(chǎn)生一個(gè)新二維表表，具有規(guī)則的行和列，分解后的關(guān)系模型以及組成字段的簡(jiǎn)要描述如表3。

該方法雖然實(shí)現(xiàn)了將層次型數(shù)據(jù)轉(zhuǎn)換為關(guān)系型數(shù)據(jù)[3]，但是將一個(gè)表中信息分解的支離破碎，考慮到數(shù)據(jù)的完整性，增、刪、改等操作中容易引發(fā)異常；表的數(shù)量過(guò)大，多表查詢時(shí)聯(lián)接頻繁，導(dǎo)致查詢信息的效率低下。同時(shí)對(duì)于每個(gè)行政單位的具體年份的信息無(wú)法存儲(chǔ)下來(lái)。結(jié)論：此方案不可行。

3.2.2 樹型存儲(chǔ)法

由于每個(gè)信息節(jié)點(diǎn)需要記錄其兩個(gè)組成部分：父節(jié)點(diǎn)（parentID）和自身（ID）的數(shù)據(jù)信息（Num）。借助于《數(shù)據(jù)結(jié)構(gòu)》課程中對(duì)樹型結(jié)構(gòu)數(shù)據(jù)的實(shí)現(xiàn)方法[4]，設(shè)計(jì)出對(duì)于每個(gè)節(jié)點(diǎn)除保存本身信息外還要記錄每個(gè)節(jié)點(diǎn)的父節(jié)點(diǎn)，對(duì)于表名視為樹的根（parentID為0），其它節(jié)點(diǎn)的parentID是通過(guò)記錄父親節(jié)點(diǎn)的（ID）實(shí)現(xiàn)的。

表3 分割表法實(shí)現(xiàn)的關(guān)系模型組成 表4 字典目錄法的信息表

對(duì)于表1行的數(shù)量不發(fā)生改變，以添加新列記錄下每個(gè)單位每年度的信息數(shù)據(jù)。此方法中便于查詢和統(tǒng)計(jì)信息生成。因?yàn)樾械臄?shù)量固定，但是列的再逐年改變。依據(jù)開發(fā)經(jīng)驗(yàn)，基于表的信息的操作，一般是表結(jié)構(gòu)固定下來(lái)后，添加數(shù)據(jù)、更新數(shù)據(jù)、查詢數(shù)據(jù)等操作不要做表的結(jié)構(gòu)變化。但是此方法雖然記錄了表之間的關(guān)系，然而表中信息的年度和行政單位等資料無(wú)法存儲(chǔ)，如要存儲(chǔ)需要添加新列，而列的名字等信息還不穩(wěn)定的話，開發(fā)人員無(wú)法正確讀取信息[5]。同時(shí)在每個(gè)年度添加列，修改表的結(jié)構(gòu)會(huì)可能會(huì)導(dǎo)致表的部分重要信息丟失頻繁，尤其是對(duì)于特殊的數(shù)據(jù)（如必填字段）無(wú)法正常執(zhí)行，導(dǎo)致表的信息或修改表的結(jié)構(gòu)無(wú)法正常結(jié)束。結(jié)論：此方案不可行。

3.2.3 字典目錄法

結(jié)合樹型存儲(chǔ)法能記錄層次型數(shù)據(jù)報(bào)表的特點(diǎn)，經(jīng)項(xiàng)目組研究將樹型存儲(chǔ)法延伸為兩部分組成，形同表1的報(bào)表結(jié)構(gòu)，稱之為目錄表，表4稱為信息表。在表4中記錄每個(gè)節(jié)點(diǎn)在某個(gè)年度的數(shù)值信息，以及該信息來(lái)自何行政單位。而節(jié)點(diǎn)的名字和層次需要查詢表4來(lái)獲取。而查詢的依據(jù)是TableID的值是參照表1中ID而得到的，Depart指的是歸屬的行政單位名稱，Year代表數(shù)據(jù)是哪個(gè)年份。該方法的優(yōu)點(diǎn)是保存了表的結(jié)構(gòu),支持表的結(jié)構(gòu)修改，記錄了各個(gè)指標(biāo)的值。目錄表基本不變化，但是信息表每年均隨單位個(gè)數(shù)成倍遞增。查詢指定的統(tǒng)計(jì)信息較難，數(shù)據(jù)冗余較大。但是此方案實(shí)現(xiàn)了信息的完整保存：指標(biāo)名，指標(biāo)數(shù)，單位和年度信息的一體化。結(jié)論：此方案對(duì)于本項(xiàng)目是可行的。

4 基于字典目錄法的系統(tǒng)設(shè)計(jì)實(shí)現(xiàn)

系統(tǒng)確定了數(shù)據(jù)庫(kù)的設(shè)計(jì)思路后，基于字典目錄法的數(shù)據(jù)存儲(chǔ)實(shí)現(xiàn)由邏輯設(shè)計(jì)到物理設(shè)計(jì)的實(shí)現(xiàn)，為開發(fā)基于WEB《某市農(nóng)業(yè)信息系統(tǒng)》的奠定了根基。

4.1 錄入實(shí)現(xiàn)

在本系統(tǒng)中確定了信息的存儲(chǔ)方法，由于用戶的涉及面廣，文化程度不一，對(duì)于信息技術(shù)的操作熟練程度不等，要求對(duì)于錄入界面要求界面友好，操作簡(jiǎn)潔，信息數(shù)據(jù)錄入方便。根據(jù)用戶具體情況，設(shè)計(jì)如如圖3錄入界面，在系統(tǒng)使用過(guò)程中以操作方便、界面友好，能自動(dòng)校驗(yàn)數(shù)據(jù)之間的平衡關(guān)系等特點(diǎn)，得到了用戶喜愛。

4.2 信息檢索

根據(jù)系統(tǒng)設(shè)計(jì)的表：結(jié)構(gòu)表，信息表，行政單位表三個(gè)基本表，將基于字典目錄法的數(shù)據(jù)存儲(chǔ)成功后，就可進(jìn)行信息查詢。查詢的基本思路如下：

查詢的條件-用戶要錄入選擇-查詢的指標(biāo)內(nèi)容和何年度指標(biāo)。

4.2.1 確定檢索指標(biāo)種類

選擇檢索的信息的種類，是基礎(chǔ)設(shè)施、文化、衛(wèi)生、福利情況、養(yǎng)殖業(yè)、種植業(yè)、專業(yè)村、經(jīng)濟(jì)收益分配、農(nóng)民負(fù)擔(dān)、村集體經(jīng)濟(jì)組織收益分配、村級(jí)資產(chǎn)負(fù)債等信息中的哪個(gè)類別。依次確定該類別信息涉及到的表名。

4.2.2 查找目錄表

根據(jù)信息種類依據(jù)目錄表來(lái)還原為層次模型結(jié)構(gòu)原型。

4.2.3 取出信息表數(shù)據(jù)

根據(jù)層次表原型，結(jié)合信息表中的年度信息，取出基本數(shù)據(jù)。

4.2.4 顯示檢索指標(biāo)數(shù)據(jù)

將基本數(shù)據(jù)載入到層次型結(jié)構(gòu)中。顯示用戶檢索信息。

由于篇幅有限，且此檢索功能需要涉及到項(xiàng)目中的各表，而本文僅重點(diǎn)討論層次型數(shù)據(jù)存儲(chǔ)技術(shù)，檢索算法的詳細(xì)算法和流程圖略。

5 結(jié)束語(yǔ)

本文主要結(jié)合項(xiàng)目課題基于Web的《某市農(nóng)業(yè)信息系統(tǒng)》的設(shè)計(jì)，延伸出對(duì)于層次型報(bào)表轉(zhuǎn)化為關(guān)系模型存儲(chǔ)中的重要技術(shù)作了討論；同時(shí)結(jié)合分割表法、樹型存儲(chǔ)法分析了常用方法的優(yōu)缺點(diǎn)，提出了基于樹型存儲(chǔ)法的字典目錄法存儲(chǔ)數(shù)據(jù)。該方法解決了層次模型轉(zhuǎn)化為關(guān)系模型的困難，結(jié)合項(xiàng)目的功能要求，實(shí)現(xiàn)了與農(nóng)業(yè)局各級(jí)行政單位在指定年度的各項(xiàng)指標(biāo)信息的存儲(chǔ)問(wèn)題。本系統(tǒng)的實(shí)現(xiàn)是新農(nóng)村信息化的具體表現(xiàn)，解決了農(nóng)業(yè)部門信息資料收集區(qū)域廣，信息統(tǒng)計(jì)困難、數(shù)據(jù)誤差大等問(wèn)題，真正實(shí)現(xiàn)了信息的時(shí)效性、真實(shí)性，為政府部門提供了決策依據(jù)。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:海量數(shù)據(jù)存儲(chǔ)關(guān)鍵技術(shù)淺析

摘要：海量數(shù)據(jù)的大量出現(xiàn)，使存儲(chǔ)技術(shù)正發(fā)生革命性的變化。針對(duì)海量數(shù)據(jù)存儲(chǔ)環(huán)境，對(duì)網(wǎng)絡(luò)附加存儲(chǔ)(NAS)及存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)進(jìn)行了分析，研究了面向?qū)ο蟠鎯?chǔ)技術(shù)。并且對(duì)海量數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)策略進(jìn)行了闡述，包括Oracle數(shù)據(jù)庫(kù)的表分區(qū)技術(shù)的策略、特性及應(yīng)用；Oracle數(shù)據(jù)庫(kù)并行處理結(jié)構(gòu)及特性。

關(guān)鍵詞：海量數(shù)據(jù)；對(duì)象存儲(chǔ)技術(shù)；分區(qū)技術(shù)；并行處理技術(shù)

1 問(wèn)題提出

當(dāng)今是一個(gè)信息大爆炸的時(shí)代，網(wǎng)絡(luò)的廣泛使用更加劇了信息爆炸的速度。信息資源的爆炸性增長(zhǎng)，對(duì)存儲(chǔ)系統(tǒng)在存儲(chǔ)容量、數(shù)據(jù)可用性以及I/O性能等方面提出了越來(lái)越高的要求。信息技術(shù)正從以計(jì)算設(shè)備為核心的計(jì)算時(shí)代步入以存儲(chǔ)設(shè)備為核心的存儲(chǔ)時(shí)代。

海量數(shù)據(jù)是指數(shù)據(jù)量極大，往往是Terabyte(1012bytes)、Petabyte(1015bytes)甚至Exabyte(1018bytes)級(jí)的數(shù)據(jù)集合。存儲(chǔ)這些海量信息不但要求存儲(chǔ)設(shè)備有很大的儲(chǔ)存容量，且還需要大規(guī)模數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)和處理這些數(shù)據(jù)，在滿足通用關(guān)系數(shù)據(jù)庫(kù)技術(shù)要求的同時(shí)，更需要對(duì)海量存儲(chǔ)的模式、數(shù)據(jù)庫(kù)策略及應(yīng)用體系架構(gòu)有更高的設(shè)計(jì)考慮。

2 海量數(shù)據(jù)存儲(chǔ)模式選擇

存儲(chǔ)系統(tǒng)的存儲(chǔ)模式影響著整個(gè)海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的性能，為了提供高性能的海量數(shù)據(jù)存儲(chǔ)系統(tǒng)，應(yīng)該考慮選擇良好的海量存儲(chǔ)模式。

對(duì)于海量數(shù)據(jù)而言，實(shí)現(xiàn)單一設(shè)備上的存儲(chǔ)顯然是不合適的，甚至是不可能的。結(jié)合網(wǎng)絡(luò)環(huán)境，對(duì)它們進(jìn)行分布式存儲(chǔ)不失為當(dāng)前的上策之選。如何在網(wǎng)絡(luò)環(huán)境下，對(duì)海量數(shù)據(jù)進(jìn)行合理組織、存儲(chǔ)，并提供高效、高可用、安全的數(shù)據(jù)訪問(wèn)性能成為當(dāng)前一個(gè)研究熱點(diǎn)。適合海量數(shù)據(jù)的理想存儲(chǔ)模式應(yīng)該能夠提供高性能、可伸縮、跨平臺(tái)、安全的數(shù)據(jù)共享能力。

2.1 現(xiàn)有存儲(chǔ)模式分析

目前磁盤存儲(chǔ)市場(chǎng)上，根據(jù)服務(wù)器類型存儲(chǔ)分類如圖1所示。

其中外掛存儲(chǔ)占目前磁盤存儲(chǔ)市場(chǎng)的70%以上。由于網(wǎng)絡(luò)技術(shù)的崛起，直連式存儲(chǔ)(DAS)已顯得非常力不從心，存儲(chǔ)模式從以服務(wù)器為中心轉(zhuǎn)向以數(shù)據(jù)為中心的網(wǎng)絡(luò)存儲(chǔ)模式，目前典型的代表是：網(wǎng)絡(luò)附加存儲(chǔ)(NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN) [1-3]。

2.1.1 網(wǎng)絡(luò)附加存儲(chǔ)(NAS)

NAS(Network Attached Storage，網(wǎng)絡(luò)附加存儲(chǔ))是一種文件級(jí)的網(wǎng)絡(luò)存儲(chǔ)模式，結(jié)構(gòu)如圖2所示。它擁有自己的文件系統(tǒng)，通過(guò)NFS或CIFS對(duì)外提供文件訪問(wèn)服務(wù)。NAS將存儲(chǔ)設(shè)備通過(guò)標(biāo)準(zhǔn)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)連接到現(xiàn)有的網(wǎng)絡(luò)上來(lái)提供數(shù)據(jù)和文件服務(wù)。NAS管理簡(jiǎn)單、擴(kuò)容方便，統(tǒng)一的文件系統(tǒng)使數(shù)據(jù)共享變得非常簡(jiǎn)單，所以其較大的優(yōu)點(diǎn)是跨平臺(tái)性很好，但NAS服務(wù)器在網(wǎng)絡(luò)存儲(chǔ)中處于數(shù)據(jù)通路上，當(dāng)服務(wù)請(qǐng)求激增時(shí)存在I/O瓶頸，性能是NAS的較大問(wèn)題，因此基于NAS的存儲(chǔ)方案對(duì)于組建海量存儲(chǔ)共享系統(tǒng)來(lái)說(shuō)并不是一種理想的方案。

2.1.2 存儲(chǔ)區(qū)域網(wǎng)絡(luò)(SAN)

SAN(Storage Area Network，存儲(chǔ)區(qū)域網(wǎng)絡(luò)) 結(jié)構(gòu)如圖3所示。它是存儲(chǔ)設(shè)備與服務(wù)器經(jīng)由高速網(wǎng)絡(luò)設(shè)備連接而形成的存儲(chǔ)專用網(wǎng)絡(luò)。SAN一般基于光纖通道FC(Fibre Channel)或iSCSI(internet SCSI )構(gòu)建，它是塊級(jí)的存儲(chǔ)，系統(tǒng)性能非常優(yōu)越。SAN的優(yōu)點(diǎn)是高容量、高性、低延遲，缺點(diǎn)是SAN沒有一個(gè)統(tǒng)一的存儲(chǔ)系統(tǒng)接口，對(duì)存儲(chǔ)設(shè)備的共享訪問(wèn)存在數(shù)據(jù)的完整性與安全性問(wèn)題，設(shè)備的跨平臺(tái)性較差。

2.2 對(duì)象存儲(chǔ)技術(shù)

對(duì)象存儲(chǔ)技術(shù)提供基于對(duì)象的訪問(wèn)接口，將NAS和SAN兩種存儲(chǔ)結(jié)構(gòu)的優(yōu)勢(shì)進(jìn)行了有效地整合，通過(guò)高層次的抽象，使之既具有NAS的跨平臺(tái)共享數(shù)據(jù)和安全訪問(wèn)的優(yōu)點(diǎn)，同時(shí)又具有SAN的高性能和可伸縮性的優(yōu)點(diǎn)。

2.2.1 對(duì)象存儲(chǔ)模式

對(duì)象存儲(chǔ)模式[4]一般由Client、MDS(Metadata Server)和OSD(Object Storage Device)三部分組成，如圖4所示。

Client為客戶端，用來(lái)發(fā)起數(shù)據(jù)訪問(wèn)；MDS為服務(wù)器，用來(lái)管理對(duì)象存儲(chǔ)系統(tǒng)中的元數(shù)據(jù)并保障訪問(wèn)的一致性；OSD為存儲(chǔ)對(duì)象數(shù)據(jù)的設(shè)備，它是一個(gè)智能設(shè)備，包括處理器、RAM內(nèi)存、網(wǎng)絡(luò)接口、存儲(chǔ)介質(zhì)等以及運(yùn)行在其中的控制軟件[5]。

對(duì)象存儲(chǔ)設(shè)備(OSD)中，將對(duì)象(object)作為對(duì)象存儲(chǔ)的基本單元，每個(gè)對(duì)象具有惟一的ID標(biāo)識(shí)符。對(duì)象由對(duì)象ID、對(duì)象數(shù)據(jù)的起始位置、數(shù)據(jù)的長(zhǎng)度來(lái)進(jìn)行訪問(wèn)。對(duì)象提供類似文件訪問(wèn)的方法，如Create，Open，Close，Read，Write，對(duì)象屬性等；對(duì)象的數(shù)據(jù)包括自身的元數(shù)據(jù)和用戶數(shù)據(jù)，其中，元數(shù)據(jù)用于描述對(duì)象特定的屬性，如對(duì)象的邏輯大小、對(duì)象的元數(shù)據(jù)大小、總的字節(jié)大小；用戶數(shù)據(jù)用來(lái)保存實(shí)際的二進(jìn)制數(shù)據(jù)。

對(duì)象分為根對(duì)象、組對(duì)象和用戶對(duì)象。根對(duì)象定義了存儲(chǔ)設(shè)備以及存儲(chǔ)設(shè)備本身的不同屬性；組對(duì)象為存儲(chǔ)設(shè)備上對(duì)象提供了目錄；用戶對(duì)象存儲(chǔ)實(shí)際應(yīng)用數(shù)據(jù)。

2.2.2 對(duì)象存儲(chǔ)模式用于海量數(shù)據(jù)存儲(chǔ)的優(yōu)勢(shì)

對(duì)象存儲(chǔ)模式的特性使其在處理海量數(shù)據(jù)存儲(chǔ)請(qǐng)求時(shí)具有較大優(yōu)勢(shì)，主要體現(xiàn)在：

1) 高性能數(shù)據(jù)存儲(chǔ)：訪問(wèn)節(jié)點(diǎn)有獨(dú)立的數(shù)據(jù)通路和元數(shù)據(jù)訪問(wèn)通路，可以對(duì)多個(gè)OSD進(jìn)行并行訪問(wèn)，從而解決了當(dāng)前存儲(chǔ)系統(tǒng)的一個(gè)性能瓶頸問(wèn)題。

2) 跨平臺(tái)數(shù)據(jù)共享：由于在對(duì)象存儲(chǔ)系統(tǒng)上部署基于對(duì)象的分布式文件系統(tǒng)比較容易，所有能夠?qū)崿F(xiàn)不同平臺(tái)下的設(shè)備和數(shù)據(jù)的共享。

3) 方便安全的數(shù)據(jù)訪問(wèn)：I/O通道的建立及數(shù)據(jù)的讀寫需要經(jīng)過(guò)授權(quán)許可才能進(jìn)行，從而保障了數(shù)據(jù)訪問(wèn)的安全性；另一方面，任何Client都可以通過(guò)對(duì)象存儲(chǔ)系統(tǒng)提供的標(biāo)準(zhǔn)文件接口訪問(wèn)OSD上的數(shù)據(jù)，統(tǒng)一的命名空間使Client訪問(wèn)數(shù)據(jù)的一致性得到了保障。

4) 可伸縮性：對(duì)象存儲(chǔ)模式具有分布式結(jié)構(gòu)的特性。由于OSD是獨(dú)立的智能設(shè)備，可以通過(guò)增加OSD數(shù)量，使存儲(chǔ)系統(tǒng)的聚合I/O帶寬、存儲(chǔ)容量和處理能力得到提高，這種平衡擴(kuò)展模式使得存儲(chǔ)系統(tǒng)能夠具有良好的可伸縮性。

5) 智能的存儲(chǔ)設(shè)備：OSD中集成了部分的存儲(chǔ)管理功能，因此OSD具有一定智能的自主存儲(chǔ)功能。

3 數(shù)據(jù)庫(kù)策略

數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)是海量數(shù)據(jù)存儲(chǔ)檢索系統(tǒng)的核心部件，所有對(duì)數(shù)據(jù)的控制都要通過(guò)DBMS來(lái)實(shí)現(xiàn)。Oracle數(shù)據(jù)庫(kù)管理系統(tǒng)應(yīng)用十分普及，是目前高性能存儲(chǔ)檢索系統(tǒng)主要選擇的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)，因此本文海量數(shù)據(jù)的存儲(chǔ)基于Oracle數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)實(shí)現(xiàn)。

本文基于海量數(shù)據(jù)環(huán)境，對(duì)通用的數(shù)據(jù)庫(kù)管理策略不作研究，只針對(duì)海量數(shù)據(jù)找到有效存儲(chǔ)方法，設(shè)計(jì)并實(shí)現(xiàn)高性能面向海量數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)關(guān)鍵策略。

實(shí)現(xiàn)高性能的海量數(shù)據(jù)存儲(chǔ)可采取的數(shù)據(jù)庫(kù)策略有：

1) 分區(qū)技術(shù)：為了更精細(xì)地對(duì)數(shù)據(jù)庫(kù)對(duì)象如表、索引及索引編排表進(jìn)行管理和訪問(wèn)。可以對(duì)這些數(shù)據(jù)庫(kù)對(duì)象進(jìn)行進(jìn)一步的劃分，這就是所謂的分區(qū)技術(shù)。

2) 并行處理技術(shù)：為了提高系統(tǒng)性能，可以讓多個(gè)處理器協(xié)同工作來(lái)執(zhí)行單個(gè)SQL語(yǔ)句，這就是所謂的并行處理技術(shù)。

3.1 數(shù)據(jù)庫(kù)表分區(qū)技術(shù)

3.1.1 基本概念

本文研究的主要存儲(chǔ)對(duì)象為海量數(shù)據(jù)，數(shù)據(jù)庫(kù)的大小常常達(dá)到數(shù)百GB甚至用TB來(lái)計(jì)算。而單表的數(shù)據(jù)量往往會(huì)達(dá)到上億的記錄，并且記錄數(shù)會(huì)隨著時(shí)間而增長(zhǎng)。當(dāng)表和索引變得非常大時(shí)，分區(qū)可以將數(shù)據(jù)分為更小、更容易管理的部分來(lái)提高系統(tǒng)的運(yùn)行效率。對(duì)表和索引進(jìn)行分區(qū)的主要目的就是改善大型表的可伸縮性和可管理性。所以對(duì)大型表進(jìn)行分區(qū)是處理海量數(shù)據(jù)的一種十分高效的方法。

由于本文研究的主要存儲(chǔ)對(duì)象為海量數(shù)據(jù)，存儲(chǔ)時(shí)數(shù)據(jù)庫(kù)中只存儲(chǔ)文件名、摘要及其它文字說(shuō)明，源文件的內(nèi)容存儲(chǔ)在數(shù)據(jù)庫(kù)以外的物理介質(zhì)上。

3.1.2 分區(qū)策略

Oracle分區(qū)的表通過(guò)使用“分區(qū)關(guān)鍵字”分區(qū)，分區(qū)關(guān)鍵字是確定某個(gè)行所在分區(qū)的一組列。Oracle提供了三種基本數(shù)據(jù)分配方法：范圍(range)、列表(1ist)與散列(hash)。使用上述的數(shù)據(jù)分配方法，可以將表分成單一分區(qū)表或組合分區(qū)表。則Oracle提供的分區(qū)技術(shù)主要分為以下幾種： 范圍分區(qū)，列表分區(qū)，散列分區(qū)，組合范圍-散列分區(qū)，組合范圍-列表分區(qū)[6]。

此外Oracle還提供三種類型的分區(qū)索引，包括本地索引、全局分區(qū)索引和全局非分區(qū)索引。可以根據(jù)業(yè)務(wù)需求選擇相應(yīng)的索引分區(qū)策略，從而實(shí)現(xiàn)最合適的分區(qū)，以支持任何類型的應(yīng)用程序。

Oracle提供一套強(qiáng)健的技術(shù)用于表、索引和索引編排表的分區(qū)。海量數(shù)據(jù)的數(shù)據(jù)庫(kù)存儲(chǔ)可以選用以上分區(qū)技術(shù)中的一種或幾種，通過(guò)一組完整的SQL命令來(lái)管理分區(qū)表，從而達(dá)到高性能檢索的目的。

3.1.3 分區(qū)技術(shù)的應(yīng)用

本文的研究對(duì)象是海量的文檔數(shù)據(jù)集，對(duì)文檔集進(jìn)行分類處理，采用范圍分區(qū)技術(shù)的應(yīng)用將使系統(tǒng)各方面得到改善：

1) 增強(qiáng)可用性：如果數(shù)據(jù)庫(kù)表的某個(gè)分區(qū)出現(xiàn)了故障，可以確保數(shù)據(jù)庫(kù)表在其它分區(qū)中的數(shù)據(jù)仍然可用。

2) 維護(hù)方便：如果數(shù)據(jù)庫(kù)表的某個(gè)分區(qū)出現(xiàn)了故障，則僅需修復(fù)該故障分區(qū)的數(shù)據(jù)即可，而不需要對(duì)整個(gè)數(shù)據(jù)庫(kù)表進(jìn)行維護(hù)。

3) 均衡I/O：可以將數(shù)據(jù)庫(kù)表不同的分區(qū)映射到磁盤用以平衡I/O，可以使系統(tǒng)的整體性能得到改善。

4)改善查詢性能：用戶對(duì)分區(qū)對(duì)象進(jìn)行查詢時(shí)，只需要搜索用戶關(guān)心的分區(qū)，從而可以提高查詢速度，改善查詢性能。

3.2 數(shù)據(jù)庫(kù)并行處理技術(shù)

3.2.1 基本概念

并行處理技術(shù)是數(shù)據(jù)庫(kù)的一項(xiàng)核心技術(shù)，是指利用多個(gè)CPU和I/O資源來(lái)執(zhí)行單個(gè)數(shù)據(jù)庫(kù)操作，從而使得數(shù)據(jù)庫(kù)能夠高效地管理和訪問(wèn)TB級(jí)的數(shù)據(jù)[7]。盡管目前主流的數(shù)據(jù)庫(kù)管理系統(tǒng)都表示可以提供并行處理能力，但在并行處理結(jié)構(gòu)上都存在著關(guān)鍵的差異。

3.2.2 Oracle并行處理結(jié)構(gòu)

所謂并行處理是指：將單個(gè)任務(wù)分解為多個(gè)更小的單元。不是將所有工作通過(guò)一個(gè)進(jìn)程完成，而是將任務(wù)并行化，從而使得多個(gè)進(jìn)程同時(shí)在更小的單元上運(yùn)行，這樣做能極大地提高系統(tǒng)性能并且能地利用系統(tǒng)資源。

Oracle使用動(dòng)態(tài)并行處理框架，數(shù)據(jù)操作可以依據(jù)當(dāng)前工作特征、查詢及負(fù)載的重要性，使用1~N個(gè)真正應(yīng)用集群節(jié)點(diǎn)并行運(yùn)行。

3.2.3 并行處理技術(shù)的特性

Oracle數(shù)據(jù)庫(kù)并行技術(shù)能提高數(shù)據(jù)庫(kù)性能，并且能提高數(shù)據(jù)庫(kù)的較大運(yùn)行速度和較大負(fù)載量。由于并行系統(tǒng)的每個(gè)節(jié)點(diǎn)都相互獨(dú)立，使得一個(gè)節(jié)點(diǎn)如果出現(xiàn)故障不會(huì)導(dǎo)致這個(gè)數(shù)據(jù)庫(kù)崩潰，剩余的節(jié)點(diǎn)可以在為用戶提供服務(wù)的同時(shí)對(duì)故障節(jié)點(diǎn)進(jìn)行恢復(fù)，因此并行技術(shù)比單節(jié)點(diǎn)的性要高。Oracle數(shù)據(jù)庫(kù)并行技術(shù)還能根據(jù)需要隨時(shí)分配和釋放數(shù)據(jù)庫(kù)實(shí)例，數(shù)據(jù)庫(kù)的機(jī)動(dòng)性高。還有一點(diǎn)就是并行技術(shù)可以克服內(nèi)存限制，為更多的用戶提供數(shù)據(jù)服務(wù)。

4 結(jié)束語(yǔ)

對(duì)象存儲(chǔ)模式由于具有良好的可伸縮性、高性能、跨平臺(tái)、安全數(shù)據(jù)共享等能力，成為海量數(shù)據(jù)存儲(chǔ)模式的一個(gè)理想選擇；配合數(shù)據(jù)庫(kù)的分區(qū)技術(shù)和并行處理技術(shù)，可以實(shí)現(xiàn)高性能的海量數(shù)據(jù)存儲(chǔ)。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:關(guān)于電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的分析

摘 要：在新形勢(shì)下，電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理需要應(yīng)用不同的技術(shù)方式，提高電網(wǎng)調(diào)控運(yùn)行的質(zhì)量和水平。文章主要就電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類及特征、電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)框架、電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的應(yīng)用三個(gè)方面內(nèi)容進(jìn)行論述。

關(guān)鍵詞：電網(wǎng)調(diào)控運(yùn)行；大數(shù)據(jù)；分類及特征；存儲(chǔ)與處理；框架；應(yīng)用

引言

隨著科學(xué)技術(shù)的進(jìn)步和發(fā)展，為更好的滿足各種電力系統(tǒng)應(yīng)用需求，提高電力系統(tǒng)的質(zhì)量和水平，我國(guó)開展了智能電網(wǎng)的建設(shè)工作。其中，一個(gè)重要的工作是對(duì)于新型技術(shù)方式的應(yīng)用。比如：具有更好質(zhì)量、更大規(guī)模、更多數(shù)據(jù)信息來(lái)源的電網(wǎng)調(diào)控中心需要進(jìn)行高質(zhì)量的應(yīng)用，對(duì)于電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)進(jìn)行良好的存儲(chǔ)與處理，開展更好的應(yīng)用，對(duì)于整個(gè)的電網(wǎng)系統(tǒng)運(yùn)行進(jìn)行數(shù)據(jù)信息保障。因此，我們針對(duì)電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類及特征、電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)框架、電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的應(yīng)用問(wèn)題進(jìn)行研究和分析工作，為加快我國(guó)的智能電網(wǎng)建設(shè)貢獻(xiàn)出一份力量，更好的滿足人們對(duì)電力資源應(yīng)用的需求。

1 電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類及特征

電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)可以依據(jù)來(lái)源方式的不同分為電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)、外部信息數(shù)據(jù)、電網(wǎng)運(yùn)行及設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)四種不同的類型。這四種不同類型數(shù)據(jù)在應(yīng)用中具有緊密的關(guān)系。在電網(wǎng)調(diào)控運(yùn)行的眾多數(shù)據(jù)中，計(jì)劃類的數(shù)據(jù)、負(fù)荷預(yù)測(cè)數(shù)據(jù)、電網(wǎng)運(yùn)行的數(shù)據(jù)、基礎(chǔ)性的數(shù)據(jù)等屬于結(jié)構(gòu)性的數(shù)據(jù)方式。同時(shí)，在應(yīng)用中還存在一些非結(jié)構(gòu)性的數(shù)據(jù)方式。比如：圖形圖像的處理、視頻的監(jiān)控等漸漸在應(yīng)用中發(fā)揮出重要的作用。

隨著電網(wǎng)調(diào)控規(guī)模的擴(kuò)大、數(shù)據(jù)體積的變大、應(yīng)用種類的增多、結(jié)構(gòu)的漸漸復(fù)雜，進(jìn)行高質(zhì)量的數(shù)據(jù)處理和存儲(chǔ)已經(jīng)變得比較困y。因此，需要對(duì)于系統(tǒng)運(yùn)行的結(jié)構(gòu)、方式等等進(jìn)行性改變，提高存儲(chǔ)和處理的質(zhì)量和水平[1]。

2 電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)框架

2.1 大數(shù)據(jù)的分類存儲(chǔ)

為提高電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)質(zhì)量，我們需要進(jìn)行原始數(shù)據(jù)資源信息獲得，并且進(jìn)行有效性預(yù)處理，通過(guò)開展高質(zhì)量的原始數(shù)據(jù)信息過(guò)濾、篩選等等工作，提高存儲(chǔ)的質(zhì)量和水平，為今后的分析提供保障。在智能化電網(wǎng)建設(shè)的背景下，為更好的滿足數(shù)據(jù)存儲(chǔ)的需求，我們需要應(yīng)用合理化的方式來(lái)提高存儲(chǔ)的速度和水平。如：可以進(jìn)行實(shí)時(shí)性的存儲(chǔ)工作，對(duì)于不同來(lái)源的數(shù)據(jù)信息進(jìn)行分類的管理存儲(chǔ)。

2.2 大數(shù)據(jù)的分類處理

從不同類型數(shù)據(jù)的實(shí)時(shí)性出發(fā)，對(duì)于數(shù)據(jù)信息進(jìn)行專業(yè)化整理工作，進(jìn)行不同一次數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集之間關(guān)系的充分表示，形成關(guān)聯(lián)性的函數(shù)。然后應(yīng)用合理化方式進(jìn)行電網(wǎng)調(diào)控業(yè)務(wù)數(shù)據(jù)流程的優(yōu)化。電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理的流程為：電網(wǎng)運(yùn)行設(shè)備狀態(tài)監(jiān)測(cè)數(shù)據(jù)――電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)――大數(shù)據(jù)預(yù)處理――實(shí)時(shí)數(shù)據(jù)存儲(chǔ)/非實(shí)時(shí)數(shù)據(jù)存儲(chǔ)――流處理/批處理――數(shù)據(jù)駁動(dòng)――數(shù)據(jù)應(yīng)用[2]。

3 電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)的應(yīng)用

3.1 對(duì)電網(wǎng)狀態(tài)的智能化監(jiān)控

通過(guò)對(duì)電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類存儲(chǔ)與處理，對(duì)于系統(tǒng)中的I/O優(yōu)點(diǎn)進(jìn)行有效性應(yīng)用，對(duì)于系統(tǒng)的數(shù)據(jù)進(jìn)行有效性監(jiān)控和管理，開展分類的存儲(chǔ)。比如：對(duì)于系統(tǒng)中的電流、電壓、保護(hù)動(dòng)作信號(hào)、諧波等開展有效性管理工作，最終可以構(gòu)建高質(zhì)量的數(shù)據(jù)驅(qū)動(dòng)機(jī)組安全運(yùn)行狀態(tài)模型，對(duì)于系統(tǒng)應(yīng)用中存在的不穩(wěn)定因素進(jìn)行分析和研究，有利于檢修人員在最短時(shí)間中趕到現(xiàn)場(chǎng)進(jìn)行專業(yè)化處理，提高電網(wǎng)狀態(tài)運(yùn)行質(zhì)量和水平，保障電網(wǎng)系統(tǒng)的安全，有利于電網(wǎng)系統(tǒng)的功能得到充分發(fā)揮[3]。（其主要的管理監(jiān)控流程如圖1所示）

3.2 安全智能預(yù)警

通過(guò)對(duì)于變電站和調(diào)控中心的應(yīng)用，系統(tǒng)主要是對(duì)于預(yù)想事故中典型運(yùn)行方式進(jìn)行專業(yè)化的離線計(jì)算。但是，這種方式在應(yīng)用中存在明顯的缺點(diǎn)，即預(yù)警方式不、不及時(shí)。因此，我們對(duì)電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)進(jìn)行有效性的應(yīng)用，通過(guò)對(duì)高質(zhì)量網(wǎng)絡(luò)信息技術(shù)、計(jì)算機(jī)技術(shù)等進(jìn)行充分應(yīng)用，建立起新型的全網(wǎng)一體化實(shí)時(shí)仿真計(jì)算方式，可以對(duì)系統(tǒng)應(yīng)用中的故障和問(wèn)題進(jìn)行性、實(shí)時(shí)性的預(yù)警，提高了系統(tǒng)大數(shù)據(jù)存儲(chǔ)與處理的質(zhì)量和水平，對(duì)于原有系統(tǒng)中的問(wèn)題進(jìn)行解決，可以對(duì)電網(wǎng)的整體性運(yùn)行狀態(tài)進(jìn)行了科學(xué)化評(píng)估，有利于電網(wǎng)調(diào)控中心內(nèi)的工作人員依據(jù)實(shí)際情況需要，采取正確合理化的控制舉措。比如：將有關(guān)的問(wèn)題通過(guò)智能化的溝通平臺(tái)及時(shí)通知有關(guān)維護(hù)人員，使得他們?cè)谧疃痰臅r(shí)間內(nèi)趕到現(xiàn)場(chǎng)，應(yīng)用專業(yè)化的手法來(lái)進(jìn)行故障問(wèn)題的處理，提高系統(tǒng)安全運(yùn)行的能力，保障了電網(wǎng)系統(tǒng)在未來(lái)的應(yīng)用中具有良好的應(yīng)用價(jià)值和水平，更好的滿足人們對(duì)于高質(zhì)量電力資源應(yīng)用的需求[4]。（其主要的管理模式如圖2所示）

3.3 廣域源荷互動(dòng)的優(yōu)化調(diào)度

科學(xué)技術(shù)的發(fā)展，使得眾多的新型能源在電網(wǎng)中進(jìn)行了并網(wǎng)應(yīng)用。比如：風(fēng)能（孝感電網(wǎng)包括：雷鼓臺(tái)、岳家山、江家山、仙居頂、界嶺風(fēng)電場(chǎng)）、光伏能源（孝感電網(wǎng)包括：天紫、竹園、曹崗、楊畈、三汊光伏發(fā)電廠）、生物質(zhì)能（孝感電網(wǎng)包括：金秋電廠）等等具有間歇性特點(diǎn)的新能源。在這種情況下，應(yīng)用傳統(tǒng)的發(fā)電機(jī)組來(lái)進(jìn)行電網(wǎng)的自動(dòng)化智能化調(diào)節(jié)和控制無(wú)法實(shí)現(xiàn)。而應(yīng)用大數(shù)據(jù)分類存儲(chǔ)和處理技術(shù)可以對(duì)全網(wǎng)電力資源的需求和負(fù)荷信息進(jìn)行科學(xué)化調(diào)控監(jiān)督工作，依據(jù)不同的時(shí)間、地點(diǎn)等進(jìn)行電力資源的合理化配置，提高整個(gè)電網(wǎng)運(yùn)行的質(zhì)量和水平，通過(guò)科學(xué)性的調(diào)控決策、整體應(yīng)用態(tài)勢(shì)的感知，在保障電網(wǎng)穩(wěn)定和安全的前提下充分挖掘電網(wǎng)新能源的應(yīng)用潛能，有利于實(shí)現(xiàn)我國(guó)電力能源的多樣化，降低了煤炭等傳統(tǒng)能源應(yīng)用的數(shù)量，更好的開展節(jié)能環(huán)保工作[5]。

4 結(jié)束語(yǔ)

對(duì)于電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)存儲(chǔ)與處理技術(shù)進(jìn)行分析，有利于我們開展電網(wǎng)調(diào)控運(yùn)行大數(shù)據(jù)分類存儲(chǔ)和分類處理，然后對(duì)于原有的電網(wǎng)調(diào)控系統(tǒng)進(jìn)行現(xiàn)代化、智能化的改造，提高電網(wǎng)調(diào)控大數(shù)據(jù)運(yùn)行的質(zhì)量和水平，保障電網(wǎng)系統(tǒng)的安全，更好的滿足人們對(duì)高質(zhì)量、穩(wěn)定安全電力資源應(yīng)用的需求。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)探析

摘 要 S著全社會(huì)科學(xué)技術(shù)的迅猛發(fā)展，在日常的工作和生活中，產(chǎn)生的信息越來(lái)越多，運(yùn)行的程序也逐漸在臧鐸和復(fù)雜，需要存儲(chǔ)的信息量也是越來(lái)越大，對(duì)信息存儲(chǔ)載體的質(zhì)量要求也越來(lái)越高。同時(shí)，所需要存儲(chǔ)的信息的重要性是不可否認(rèn)的，所以對(duì)信息安全的要求也是非常高的。在這樣的社會(huì)背景下，需要非常有保障的安全保障的信息存儲(chǔ)技術(shù)，對(duì)現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的研究推動(dòng)了存儲(chǔ)、網(wǎng)絡(luò)、計(jì)算機(jī)等多方面的發(fā)展。所以，對(duì)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的研究是目前階段一個(gè)比較重要的問(wèn)題。本文主要分析現(xiàn)代計(jì)算機(jī)存儲(chǔ)技術(shù)存在的重要性以及必然性，同時(shí)分析目前集中主要的技術(shù)。

關(guān)鍵詞 計(jì)算機(jī) 數(shù)據(jù) 存儲(chǔ)技術(shù)

0引言

現(xiàn)代社會(huì)，計(jì)算機(jī)是一種十分常見的事物，無(wú)論是在生活中、學(xué)習(xí)中還是工作中，計(jì)算機(jī)都隨處可見，計(jì)算機(jī)技術(shù)也無(wú)時(shí)無(wú)刻不在影響著我們的生活，計(jì)算機(jī)在最初的階段，所涉及和被應(yīng)用的領(lǐng)域也不是非常廣泛，所以，計(jì)算機(jī)需要運(yùn)行的程序和需要存儲(chǔ)的數(shù)據(jù)在有所增加，進(jìn)而就需要計(jì)算的作出相應(yīng)的完善。基于計(jì)算機(jī)的運(yùn)行速度加快的需要和對(duì)信息存儲(chǔ)量的增加的需求，計(jì)算機(jī)需要在發(fā)展變化的過(guò)程中，逐漸完善有關(guān)軟件和硬件設(shè)施。尤其是現(xiàn)代社會(huì)，計(jì)算機(jī)的大部分工作的基礎(chǔ)都是用于數(shù)據(jù)的處理，處理數(shù)據(jù)量在增大的同時(shí)，數(shù)據(jù)的價(jià)值也在逐漸的提高。數(shù)據(jù)在逐漸發(fā)展的過(guò)程中，成為了一個(gè)獨(dú)立的實(shí)體，自由存儲(chǔ)，也不屬于其他任何的有關(guān)系統(tǒng)之內(nèi)，就是相對(duì)獨(dú)立的實(shí)體。并且，數(shù)據(jù)在被處理的過(guò)程中，有著共享性的特點(diǎn)，也是一種存儲(chǔ)和保護(hù)的有價(jià)值的實(shí)體財(cái)富。由此可見，對(duì)數(shù)據(jù)的存儲(chǔ)設(shè)備的研究開發(fā)和保護(hù)也變得越來(lái)越重要，對(duì)信息存儲(chǔ)技術(shù)的研究也是一項(xiàng)有著極高價(jià)值的活動(dòng)和行為。

1 計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的必要性

計(jì)算機(jī)數(shù)據(jù)是計(jì)算機(jī)主要運(yùn)行的數(shù)據(jù)基礎(chǔ)，計(jì)算機(jī)的需要量很大，自然對(duì)出具的處理和存儲(chǔ)能力的需求就非常大，不難得出結(jié)論，計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的研究是一個(gè)十分重要，而且意義重大的研究問(wèn)題。下面，從以下幾個(gè)方面，對(duì)現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的重要性進(jìn)行分析。

1.1數(shù)據(jù)存儲(chǔ)技術(shù)是大數(shù)據(jù)時(shí)代的時(shí)代要求

隨著信息技術(shù)的飛速發(fā)展，數(shù)據(jù)產(chǎn)生的量非常大，數(shù)據(jù)產(chǎn)生的手段也非常先進(jìn)，同時(shí)數(shù)據(jù)獲取的手段也是多渠道的。在這樣的背景之下，面對(duì)大量的數(shù)據(jù)，對(duì)數(shù)據(jù)處理的要求就自然而然的有所升高，大規(guī)模的數(shù)據(jù)密集型應(yīng)用系統(tǒng)數(shù)據(jù)量也在呈指數(shù)級(jí)的上升趨勢(shì)，可以說(shuō)是一個(gè)爆炸式的增長(zhǎng)，目前被稱為是“大數(shù)據(jù)時(shí)代”。正是這樣的社會(huì)背景，大數(shù)據(jù)時(shí)代，顧名思義數(shù)據(jù)量是很大的，那么每個(gè)單位就需要一種可以處理大數(shù)據(jù)的程序和工具。在這樣的趨勢(shì)下，在未來(lái)的發(fā)展中，這樣的勢(shì)頭不會(huì)減少只會(huì)增加，數(shù)據(jù)量的增大，原有的數(shù)據(jù)處理的系統(tǒng)必然會(huì)在這時(shí)出現(xiàn)無(wú)法滿足目前大量數(shù)據(jù)的需求，這樣現(xiàn)代的計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的出現(xiàn)就是必然的事件了。時(shí)代的發(fā)展，科學(xué)技術(shù)的發(fā)展，數(shù)據(jù)的數(shù)量的變化，都是這個(gè)時(shí)代對(duì)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展要求，計(jì)算機(jī)技術(shù)在這個(gè)變化的過(guò)程中起著非常重要的作用。

1.2方便了信息的管理

現(xiàn)在的社會(huì)的節(jié)奏非常快，每天的信息量都非常大，生活中是這樣，工作中就更是讓人手忙腳亂，在這個(gè)時(shí)代中產(chǎn)生的信息和需要處理的信息量也在逐漸的增大，那么對(duì)信息的處理工具和程序的要求自然也在提高。可以存儲(chǔ)大量、復(fù)雜種類信息的載體就是當(dāng)前環(huán)境所需要的。信息的管理是一個(gè)復(fù)雜的過(guò)程，如果沒有很好的信息存儲(chǔ)的系統(tǒng)，那么就會(huì)嚴(yán)重影響信息的質(zhì)量，就會(huì)為以后的工作帶來(lái)很多不必要的麻煩。現(xiàn)代計(jì)算機(jī)存儲(chǔ)技術(shù)的誕生，為信息管理系統(tǒng)的存儲(chǔ)帶來(lái)了方便，可以保障大量的信息可以有空間存儲(chǔ)、按照種類的不同分類存儲(chǔ)、根據(jù)信息的使用頻率分別存儲(chǔ)等，這些對(duì)于信息管理過(guò)程中信息的存儲(chǔ)都是有很大的益處的，現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)為信息的管理提供了可以直接利用的技術(shù)支持和手段，為信息的有效管理提供了很大的方便。

1.3保障企業(yè)內(nèi)部數(shù)據(jù)安全

現(xiàn)在的社會(huì)中，無(wú)論是什么樣的企業(yè)，一定會(huì)有很多電腦辦公的環(huán)境和情況，就是一種依賴計(jì)算機(jī)運(yùn)行來(lái)處理公司一些事務(wù)的情況，那么計(jì)算機(jī)的的效率就對(duì)企業(yè)產(chǎn)生非常大的影響。在傳統(tǒng)的情況下，使用電腦辦公所占的比例相對(duì)較小，但是，現(xiàn)在這個(gè)時(shí)代，信息化辦公已經(jīng)是一個(gè)主流的形式，面對(duì)著這樣的情況，依賴計(jì)算機(jī)，其實(shí)就是依賴計(jì)算機(jī)的對(duì)數(shù)據(jù)的處理，既然是這樣，對(duì)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的需求就有所表現(xiàn)。現(xiàn)在計(jì)算機(jī)的使用非常多，那么也就是計(jì)算機(jī)的數(shù)據(jù)存儲(chǔ)和處理出現(xiàn)的非常頻繁。數(shù)據(jù)量大，就非常容易出現(xiàn)數(shù)據(jù)之間無(wú)法明確任務(wù)，對(duì)數(shù)據(jù)的安全性造成一定的威脅，現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)就可以在更高的程度上避免這種數(shù)據(jù)安全性受到威脅限制。

2現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的有關(guān)技術(shù)

面對(duì)與日俱增的數(shù)據(jù)量，為了滿足這樣的數(shù)據(jù)量的存儲(chǔ)需求，多種存儲(chǔ)技術(shù)應(yīng)著需求在逐漸的發(fā)展起來(lái)，各種技術(shù)有著各自的存在理由和各自的發(fā)展優(yōu)勢(shì)，下文分析幾種技術(shù)的詳細(xì)原理和應(yīng)用。

2.1磁盤陣列技術(shù)

磁盤陣列是由一個(gè)硬盤控制器來(lái)控制多個(gè)硬盤的連接，在讀寫的過(guò)程中，多個(gè)硬盤同時(shí)進(jìn)行，降低了在讀寫過(guò)程中發(fā)生的錯(cuò)誤，提高了技術(shù)處理的效率，和性。磁盤陣列技術(shù)主要針對(duì)的寸處對(duì)象是計(jì)算機(jī)的硬盤，磁盤陣列技術(shù)是目前很多領(lǐng)域應(yīng)用的技術(shù)，主要是利用數(shù)據(jù)組的形式來(lái)作為磁盤，配合著數(shù)據(jù)分散排列的設(shè)計(jì)，有效提高數(shù)據(jù)的安全性。一個(gè)硬盤連接多個(gè)硬盤，進(jìn)而多個(gè)硬盤一起進(jìn)行讀寫的程序，不難理解，在對(duì)數(shù)據(jù)進(jìn)行讀寫的過(guò)程中，效率是非常高的。磁盤陣列技術(shù)在對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí)的存儲(chǔ)速度是非常快的，同時(shí)安全性在很大程度上可以得以保障，并且該技術(shù)的性也是非常高的。

2.2 NAS技術(shù)

NAS是一種特殊的專用數(shù)據(jù)存儲(chǔ)的服務(wù)器，有單獨(dú)的存儲(chǔ)處理核心，CPU、內(nèi)存、操作系統(tǒng)等，也常被稱為是一種網(wǎng)絡(luò)附加的存儲(chǔ)技術(shù)。NAS技術(shù)通過(guò)網(wǎng)絡(luò)把文件系統(tǒng)和存儲(chǔ)系統(tǒng)連接在一起，控制器來(lái)運(yùn)行和維護(hù)文件系統(tǒng)，判斷文件的流向。在使用的過(guò)程中，服務(wù)器與存儲(chǔ)設(shè)備互相分離，也就是說(shuō)NAS是一個(gè)獨(dú)立于外的單獨(dú)個(gè)體。由于獨(dú)立性，當(dāng)有一個(gè)設(shè)備或系統(tǒng)出現(xiàn)不能正常運(yùn)行的狀況時(shí)，不會(huì)影響其他的系統(tǒng)的運(yùn)行，不會(huì)因?yàn)橐蕴幍墓收隙绊懻麄€(gè)存儲(chǔ)系統(tǒng)的正常工作，是一個(gè)比較適合應(yīng)用于大范圍的技術(shù)，而且應(yīng)用起來(lái)更加方便。

2.3 SAN技g

SAN是一種存儲(chǔ)的域網(wǎng)絡(luò)，是網(wǎng)絡(luò)存儲(chǔ)技術(shù)的核心，企業(yè)在業(yè)務(wù)系統(tǒng)方面的核心部分，可以借助于具有高性、高性能的數(shù)據(jù)訪問(wèn)方式，這是SAN技術(shù)的好處所在。對(duì)于SAN技術(shù)而言，相關(guān)聯(lián)的存儲(chǔ)設(shè)備可以通過(guò)效率高的連接設(shè)備與多種服務(wù)器進(jìn)行諒解，這種配置對(duì)于所有設(shè)備而言都可以進(jìn)行連接，也就是在服務(wù)器和存儲(chǔ)器之間的連接提供了一個(gè)很好地紐帶。SAN技術(shù)可以滿足多客戶同時(shí)運(yùn)行的需求，還可以在很大程度上保障應(yīng)用性能的穩(wěn)定性。隨著自身存儲(chǔ)容量的增大，SAN還可以允許用戶獨(dú)立增大自身的存儲(chǔ)容量，不僅可以很好的存儲(chǔ)數(shù)據(jù)，還可以實(shí)現(xiàn)對(duì)存儲(chǔ)資源進(jìn)行集中的管理。SAN技術(shù)的應(yīng)用具有很高的靈活性，存儲(chǔ)設(shè)備和數(shù)據(jù)的管理方式發(fā)生了一定的改變，在SAN網(wǎng)絡(luò)中，不再是某一個(gè)占據(jù)主導(dǎo)地位的設(shè)備可以連接，有效的提高了存儲(chǔ)數(shù)據(jù)資源的共享性。

2.4云存儲(chǔ)技術(shù)

云存儲(chǔ)是當(dāng)今社會(huì)非常熱門的話題，我們身邊也有一些常見的應(yīng)用，比如，我們自己日常的學(xué)習(xí)和工作中使用的百度云，就是一種云存儲(chǔ)的技術(shù)應(yīng)用。云存儲(chǔ)，就是通過(guò)集群技術(shù)、網(wǎng)格技術(shù)等系統(tǒng)功能，把網(wǎng)絡(luò)中各種類型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)，使之協(xié)同工作，一起對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。云存儲(chǔ)可以說(shuō)不是一個(gè)單獨(dú)的存儲(chǔ)的技術(shù)手段，但是可以說(shuō)是技術(shù)的結(jié)合體，也是一種技術(shù)的手法的表現(xiàn)，畢竟達(dá)到了存儲(chǔ)的效果，同時(shí)還可以很大程度上提高了存儲(chǔ)的效率，而且數(shù)據(jù)存儲(chǔ)技術(shù)的結(jié)合使用，滿足了不同類型數(shù)據(jù)存儲(chǔ)的需求。

3存儲(chǔ)技術(shù)的選擇使用細(xì)節(jié)

存儲(chǔ)的技術(shù)有很多種，那么作為一個(gè)獨(dú)立的單位在選擇存儲(chǔ)自己的內(nèi)部數(shù)據(jù)信息的過(guò)程中，也不是盲目的選擇的，而是在作出選擇的時(shí)候，要有一定的選擇的理由，下面就是技術(shù)在實(shí)踐的使用中應(yīng)該注意的幾點(diǎn)問(wèn)題。

3.1科學(xué)合理的選擇和使用

多種計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的優(yōu)勢(shì)已經(jīng)明確，但是在選擇和具體的使用中，還是要非常注意一些問(wèn)題的。在選擇使用之前，一定要認(rèn)真分析自己企業(yè)內(nèi)部數(shù)據(jù)存儲(chǔ)的要求，是否該項(xiàng)技術(shù)的應(yīng)用可以滿足的，一定要結(jié)合實(shí)際情況，對(duì)自己的情況加以明確，確保做出的決策可以為企業(yè)內(nèi)部數(shù)據(jù)的存儲(chǔ)帶來(lái)好處。

3.2使用者要了解該技術(shù)

技術(shù)的應(yīng)用目的是提高數(shù)據(jù)存儲(chǔ)的效率和水平，那么前提一定是對(duì)技術(shù)有所了解，明確技術(shù)應(yīng)用前的準(zhǔn)備，以及在技術(shù)的應(yīng)用過(guò)程中，需要注意什么問(wèn)題。如果，使用者不了解技術(shù)，就盲目的引入應(yīng)用，比較不好的情況就是技術(shù)的核心功能不能有效的發(fā)揮，不可以為企業(yè)提供方便。使用者要明確各種存儲(chǔ)技術(shù)的特點(diǎn)，確保在使用的過(guò)程中對(duì)該技術(shù)的操作得心應(yīng)手，這樣才可以達(dá)到預(yù)想的技術(shù)引入的結(jié)果。

3.3使用過(guò)程中注重結(jié)合企業(yè)的實(shí)際情況

現(xiàn)代計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)是一種固定的技術(shù)手段，有多重表現(xiàn)形式，如果應(yīng)用到自身的數(shù)據(jù)存儲(chǔ)系統(tǒng)中，每一個(gè)企業(yè)的數(shù)據(jù)存儲(chǔ)的原有實(shí)際情況都是有一定差異的，所以，在使用的過(guò)程中，不要按照既定的思維模式和對(duì)該技術(shù)的認(rèn)知來(lái)思考技術(shù)的使用，而是要順應(yīng)技術(shù)的需求，調(diào)整對(duì)技術(shù)的理解和認(rèn)識(shí)。確保技術(shù)的應(yīng)用可以真正的實(shí)現(xiàn)企業(yè)內(nèi)部數(shù)據(jù)的科學(xué)合理有效存儲(chǔ)。

4總結(jié)

在現(xiàn)代這個(gè)科學(xué)技術(shù)發(fā)達(dá)、計(jì)算機(jī)應(yīng)用普遍、計(jì)算機(jī)數(shù)據(jù)量極大的社會(huì)環(huán)境中，計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的安全性、高效性、性等重要性能，越來(lái)越成為人們關(guān)注和討論的重點(diǎn)話題，當(dāng)然技術(shù)的使用也成為了技術(shù)研究者研究的重點(diǎn)內(nèi)容。現(xiàn)代計(jì)算機(jī)存儲(chǔ)技術(shù)的有效合理使用，很大程度上解決了上述部分問(wèn)題。計(jì)算機(jī)存儲(chǔ)技術(shù)在逐漸的發(fā)展過(guò)程中匯總，已經(jīng)衍生出了自己獨(dú)特的個(gè)性結(jié)構(gòu)，保障的信息的存儲(chǔ)安全、獨(dú)立，提高信息存儲(chǔ)量，保障了數(shù)據(jù)存儲(chǔ)的目的實(shí)現(xiàn)。在以后的環(huán)境中，對(duì)計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)的研究和開發(fā)仍然是一個(gè)重點(diǎn)的話題。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)分析

摘 要：計(jì)算機(jī)技術(shù)現(xiàn)在已經(jīng)得到了廣泛應(yīng)用，但是因?yàn)檫\(yùn)行環(huán)境特殊，需要面臨較大的安全風(fēng)險(xiǎn)，必須要對(duì)其進(jìn)行綜合分析，采取有效措施來(lái)提高對(duì)數(shù)據(jù)存儲(chǔ)的安全性與性。就實(shí)際應(yīng)用現(xiàn)狀來(lái)看，確定影響計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)效果的因素，根據(jù)需求來(lái)確定最為合適的存儲(chǔ)技術(shù)，爭(zhēng)取從根本上來(lái)消除各類因素的影響，改善數(shù)據(jù)存儲(chǔ)效果。本文基于計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)要求，對(duì)各類存儲(chǔ)技術(shù)進(jìn)行了分析和對(duì)比。

關(guān)鍵詞：計(jì)算機(jī)；數(shù)據(jù)存儲(chǔ)；安全性

現(xiàn)在已經(jīng)進(jìn)入到信息化時(shí)代，產(chǎn)生和處理的數(shù)據(jù)更多，數(shù)據(jù)所具有的價(jià)值也越來(lái)越高。為充分發(fā)揮各類數(shù)據(jù)具有的應(yīng)用優(yōu)勢(shì)，必須要加強(qiáng)對(duì)安全存儲(chǔ)技術(shù)的分析，降低外界各項(xiàng)因素的影響，確保數(shù)據(jù)的完整性與性。積極結(jié)合各項(xiàng)新型技術(shù)，對(duì)信息存儲(chǔ)技術(shù)進(jìn)行更新和完善，進(jìn)一步促進(jìn)行業(yè)的發(fā)展。

一、計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)分析

1.大數(shù)據(jù)應(yīng)用要求

在信息技術(shù)水平不斷提高背景下，數(shù)據(jù)產(chǎn)生與獲取的手段更為先進(jìn)，面對(duì)大數(shù)據(jù)時(shí)代，想要充分發(fā)揮出各類數(shù)據(jù)具有的優(yōu)勢(shì)，除了要對(duì)其應(yīng)用技術(shù)進(jìn)行分析外，還需要對(duì)其存儲(chǔ)技術(shù)進(jìn)行研究，爭(zhēng)取為大數(shù)據(jù)處理提供保障。企業(yè)想要在市場(chǎng)內(nèi)占據(jù)有利競(jìng)爭(zhēng)位置，必須要有大量的數(shù)據(jù)作為支持，這樣就使得大數(shù)據(jù)技術(shù)與服務(wù)需求不斷升級(jí)，并且會(huì)在未來(lái)發(fā)展過(guò)程中，數(shù)據(jù)產(chǎn)生、處理以及存儲(chǔ)數(shù)據(jù)量會(huì)繼續(xù)增長(zhǎng)。但是在數(shù)據(jù)快速增長(zhǎng)背景下，很容易造成單機(jī)系統(tǒng)性能降低，即便持續(xù)對(duì)系統(tǒng)硬件進(jìn)行更新，也難以與數(shù)據(jù)增長(zhǎng)速度保持平衡，這樣就需要加強(qiáng)對(duì)數(shù)據(jù)存儲(chǔ)技術(shù)的研究，根據(jù)實(shí)際需求，來(lái)對(duì)現(xiàn)有存儲(chǔ)技術(shù)進(jìn)行更新完善[1]。

2.文件管理需求

生產(chǎn)生活中均會(huì)產(chǎn)生大量的數(shù)據(jù)，雖然可以為下一階段活動(dòng)提供依據(jù)，但是想要在大量數(shù)據(jù)內(nèi)提取出有用信息，需要大量的時(shí)間作為支持，這樣為保障該階段內(nèi)數(shù)據(jù)不會(huì)出現(xiàn)損壞、缺失等問(wèn)題，就需要對(duì)其進(jìn)行有效存儲(chǔ)。通過(guò)外圍設(shè)備將存儲(chǔ)在物理介質(zhì)上的記錄與傳輸數(shù)據(jù)接收進(jìn)來(lái)，經(jīng)過(guò)專業(yè)處理后得到相應(yīng)結(jié)果，然后對(duì)數(shù)據(jù)賦予意義，使其成為人們所需的信息。對(duì)比傳統(tǒng)紙質(zhì)文件來(lái)對(duì)數(shù)據(jù)信息的存儲(chǔ)，現(xiàn)通過(guò)計(jì)算機(jī)語(yǔ)言編程以及處理軟件可以直接將各項(xiàng)數(shù)據(jù)制作成文檔，保存在計(jì)算機(jī)內(nèi)，不僅可以降低管理工作難度，并且在查詢和利用上具有更大優(yōu)勢(shì)。

3.企業(yè)發(fā)展需求

數(shù)據(jù)為促進(jìn)企業(yè)進(jìn)一步發(fā)展的重要依據(jù)，包括數(shù)字、文本以及圖表，根據(jù)實(shí)際需求對(duì)其進(jìn)行匯總、分析和利用，為下一步工作規(guī)劃策略的制定提供數(shù)據(jù)支持。現(xiàn)在已經(jīng)進(jìn)入到信息化時(shí)代，企業(yè)所需要面臨的競(jìng)爭(zhēng)更加激烈，需要面對(duì)的數(shù)據(jù)更多，除了自身數(shù)據(jù)外，還需要對(duì)市場(chǎng)內(nèi)所有行業(yè)信息數(shù)據(jù)進(jìn)行綜合分析，這樣如果依然應(yīng)用傳統(tǒng)方式已經(jīng)逐漸不能滿足應(yīng)用需求。對(duì)數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)行更新，經(jīng)過(guò)對(duì)數(shù)據(jù)處理后，減少存儲(chǔ)容量，并降低成本，爭(zhēng)取更進(jìn)一步滿足信息技術(shù)發(fā)展要求[2]。企業(yè)應(yīng)對(duì)自身存儲(chǔ)系統(tǒng)進(jìn)行更新，提高對(duì)數(shù)據(jù)保護(hù)的效率，提高數(shù)據(jù)存儲(chǔ)工作的性、靈活性以及實(shí)用性。

二、計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)影響因素

1.物理安全

對(duì)影響計(jì)算機(jī)數(shù)據(jù)物理安全因素的分析，可以從主觀與客觀兩個(gè)角度進(jìn)行，其中主觀因素為操作不當(dāng)、管理不到位等，客觀因素則主要為自然災(zāi)害和硬件損壞等。一方面，主觀因素。雖然現(xiàn)在數(shù)據(jù)存儲(chǔ)工作人員技能水平不斷提高，但是在實(shí)際操作中，很難保障沒有一點(diǎn)問(wèn)題，尤其是計(jì)算機(jī)維護(hù)時(shí)，經(jīng)常會(huì)因?yàn)槭д`造成系統(tǒng)文件被刪除，或者是修改部分系統(tǒng)參數(shù)，造成系統(tǒng)運(yùn)行錯(cuò)誤，甚至?xí)斐上到y(tǒng)崩潰。同時(shí)，因?yàn)榇鎯?chǔ)系統(tǒng)復(fù)雜程度不斷提高，對(duì)維護(hù)人員的專業(yè)能力也有更高要求，要求其可以不斷更新自我知識(shí)結(jié)構(gòu)，能夠靈活應(yīng)對(duì)遇到的各類問(wèn)題，降低數(shù)據(jù)破壞和丟失問(wèn)題發(fā)生概率。另一方面，客觀因素。自然災(zāi)害對(duì)數(shù)據(jù)存儲(chǔ)帶來(lái)的影響是不可控的，例如火災(zāi)、地震等，如果在服務(wù)器運(yùn)維階段遇到此種情況，將會(huì)直接對(duì)數(shù)據(jù)帶來(lái)毀滅性破壞，并且破壞是不可逆的，一旦丟失無(wú)法找回。因此必須要及時(shí)對(duì)稻萁行備份，爭(zhēng)取在災(zāi)害發(fā)生后，將損失降到低。另外，現(xiàn)在市場(chǎng)上硬件數(shù)量與種類不斷增多，相互之間差異較大，如果所用硬件質(zhì)量比較差，不僅無(wú)法滿足數(shù)據(jù)存儲(chǔ)要求，還容易產(chǎn)生故障造成數(shù)據(jù)損壞。

2.邏輯安全

及時(shí)，電磁波輻射。即計(jì)算機(jī)與通信部件產(chǎn)生的輻射，包括主機(jī)、顯示器、通信線路等，為降低此類因素影響，可以應(yīng)用接收并解密電磁波的技術(shù)。第二，計(jì)算機(jī)聯(lián)網(wǎng)。互聯(lián)網(wǎng)運(yùn)行環(huán)境特殊，受到黑客攻擊以及病毒感染的可能性比較大，如果不采取任何措施，會(huì)在根本上影響數(shù)據(jù)存儲(chǔ)安全性，出現(xiàn)數(shù)據(jù)損壞、丟失等問(wèn)題。第三，計(jì)算機(jī)病毒。計(jì)算機(jī)病毒為一段可執(zhí)行程序代碼，并且具有自我復(fù)制能力，可以感染計(jì)算機(jī)系統(tǒng)，并且不斷傳播和復(fù)制。同時(shí)病毒感染計(jì)算機(jī)系統(tǒng)后，能夠控制計(jì)算機(jī)完成一些隱蔽操作，嚴(yán)重威脅信息數(shù)據(jù)安全性。

三、計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)要點(diǎn)

1.數(shù)據(jù)加密處理

數(shù)據(jù)加密是現(xiàn)在計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)比較常見的保護(hù)技術(shù)之一，利用密碼技術(shù)來(lái)對(duì)信息進(jìn)行加密處理，然后將加密后密文信息存儲(chǔ)在存儲(chǔ)介質(zhì)內(nèi)，對(duì)整個(gè)傳輸過(guò)程和存儲(chǔ)進(jìn)行機(jī)密性保護(hù)。根據(jù)加密類型主要包括主機(jī)軟件加密、嵌入式專門加密、加密存儲(chǔ)安全交換機(jī)以及基礎(chǔ)存儲(chǔ)層存儲(chǔ)設(shè)備等，可以根據(jù)實(shí)際需求來(lái)選擇應(yīng)用。

2.訪問(wèn)控制技術(shù)

主要包括操作系統(tǒng)自身訪問(wèn)控制、邊界訪問(wèn)控制以及應(yīng)用系統(tǒng)訪問(wèn)控制三個(gè)方面。現(xiàn)在操作系統(tǒng)多為C1、C2級(jí)，安全操作系統(tǒng)可以達(dá)到B1級(jí)，且安全操作系統(tǒng)可以提高操作系統(tǒng)強(qiáng)制訪問(wèn)控制能力、密碼存取能力、安全審計(jì)能力等，對(duì)文件、目錄以及文件進(jìn)行有效保護(hù)[3]。而邊界訪問(wèn)控制則是利用防火墻系統(tǒng)以及支持VLAN網(wǎng)絡(luò)設(shè)備，對(duì)數(shù)據(jù)存儲(chǔ)進(jìn)行保護(hù)。另外，應(yīng)用系統(tǒng)訪問(wèn)控制的實(shí)現(xiàn)，一般需要通過(guò)應(yīng)用系統(tǒng)的開發(fā)，或者是調(diào)用地層操作系統(tǒng)訪問(wèn)控制功能來(lái)進(jìn)行保護(hù)。

3.GFS技術(shù)

即Google File System文件系統(tǒng)，其為分布式且可擴(kuò)展，可用于大型分布式以及大量數(shù)據(jù)的訪問(wèn)，可提供硬件容錯(cuò)性能。每個(gè)GFS均由一個(gè)master與大量chunkserver構(gòu)成，可以支持多用戶訪問(wèn)，且在資源不限情況下，chunkserver可與訪問(wèn)同時(shí)進(jìn)行[4]。GFS文件分成小塊，小塊標(biāo)識(shí)為chunk-handle，創(chuàng)建chunk-handle需要由master進(jìn)行分配，且每小塊可被幅值成多個(gè)chunkserver，由用戶決定保護(hù)的副本。

結(jié)束語(yǔ)：

為提高計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)綜合效果，需要對(duì)各項(xiàng)影響因素進(jìn)行分析，并根據(jù)實(shí)際需求來(lái)確定存儲(chǔ)和安全保護(hù)技術(shù)，爭(zhēng)取提高數(shù)據(jù)存儲(chǔ)質(zhì)量，為實(shí)際應(yīng)用提供保障，滿足生產(chǎn)生活需求。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)

摘 要

隨著計(jì)算機(jī)信息技術(shù)的發(fā)展，一種新型的計(jì)算模式――云計(jì)算逐漸興起，云計(jì)算具有超強(qiáng)的計(jì)算能力、性、虛擬性、通用性、按需付費(fèi)等特點(diǎn)，因此云計(jì)算近年來(lái)發(fā)展迅速，已經(jīng)成為未來(lái)計(jì)算機(jī)發(fā)展的方向。本文主要闡述了云計(jì)算和云儲(chǔ)存的概念，并分析了云計(jì)算環(huán)境下云計(jì)算數(shù)據(jù)存儲(chǔ)Google File System和Hadoop Distributed File System兩種存儲(chǔ)數(shù)據(jù)。

【關(guān)鍵詞】云計(jì)算 云儲(chǔ)存 數(shù)據(jù)存儲(chǔ)技術(shù)

21世紀(jì)是信息知識(shí)爆炸的年代，每天產(chǎn)生海量的信息，企業(yè)需要處理和存儲(chǔ)的數(shù)據(jù)信息越來(lái)越多。如果按照傳統(tǒng)計(jì)算機(jī)算法，企業(yè)為了存儲(chǔ)信息需要購(gòu)置大量的硬件設(shè)施和軟件設(shè)施，并需要專人對(duì)數(shù)據(jù)信息進(jìn)行管理，對(duì)設(shè)備進(jìn)行維護(hù)，需要耗費(fèi)大量的人力和物力成本。而云計(jì)算這種計(jì)算方式，省去了企業(yè)管理和維修的麻煩，企業(yè)可以將大量的數(shù)據(jù)信息放在服務(wù)器或者云端，企業(yè)只需要支付少量的管理費(fèi)用，就能隨時(shí)調(diào)取云端的數(shù)據(jù)信息，并享受圖片處理、歸檔服務(wù)、音視頻轉(zhuǎn)碼等多種數(shù)據(jù)增值服務(wù)。

1 云計(jì)算與云存儲(chǔ)的概念

1.1 云計(jì)算

根據(jù)美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院的定義：云計(jì)算是一種按使用量付費(fèi)的模式，這種模式提供便捷的、可用的、按需的網(wǎng)絡(luò)訪問(wèn)，用戶只需要進(jìn)入到可配置的計(jì)算資源共享池，包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、應(yīng)用軟件和服務(wù)器等，云端管理人員只要通過(guò)少量的管理或者與服務(wù)商進(jìn)行少量的交互，就能實(shí)現(xiàn)對(duì)云端的管理。云其實(shí)是互聯(lián)網(wǎng)的一種比喻說(shuō)法，通過(guò)云計(jì)算可以將數(shù)據(jù)信息存儲(chǔ)在計(jì)算機(jī)中，這里的計(jì)算機(jī)指的是遠(yuǎn)程服務(wù)器。然后企業(yè)根據(jù)自己的需求，對(duì)計(jì)算機(jī)存儲(chǔ)系統(tǒng)進(jìn)行訪問(wèn)，并將信息資源直接切換到實(shí)際應(yīng)用方面。計(jì)算機(jī)直接將主機(jī)功能交給了云端，云端的計(jì)算能力就跟水電一樣，成為了一種商品，這就促使傳統(tǒng)計(jì)算機(jī)方式向現(xiàn)代計(jì)算機(jī)方式轉(zhuǎn)變。

1.2 云儲(chǔ)存

云儲(chǔ)存是在云計(jì)算的基礎(chǔ)上提出的，它與云計(jì)算有很多相同的地方。云計(jì)算主要是通過(guò)網(wǎng)絡(luò)技術(shù)、集群應(yīng)用和分布式文件系統(tǒng)，利用應(yīng)用軟件將網(wǎng)絡(luò)中大量不同類型的存儲(chǔ)設(shè)備連接起來(lái)，共同合作，對(duì)外提供業(yè)務(wù)訪問(wèn)和數(shù)據(jù)存儲(chǔ)功能。云存儲(chǔ)與傳統(tǒng)的存儲(chǔ)模式相比，它是一種特殊的構(gòu)架服務(wù)，它必須建立在互聯(lián)網(wǎng)基礎(chǔ)上，為用戶提供在線的存儲(chǔ)服務(wù)。用戶不需要考慮存儲(chǔ)器中的容量、數(shù)據(jù)存儲(chǔ)位置、安全等問(wèn)題，只需要按時(shí)付費(fèi)就可以了。

2 云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)

云計(jì)算存儲(chǔ)技術(shù)具有比較明顯的兩個(gè)特點(diǎn)：及時(shí)是高傳輸率，第二是高吞吐率。當(dāng)前，云計(jì)算存儲(chǔ)技術(shù)比較主要有谷歌開發(fā)的非開源的GFS和Hadoop團(tuán)隊(duì)開發(fā)的HDFS技術(shù)。不過(guò)后者在IT廠商應(yīng)用的比較廣泛。

2.1 Google File System

Google File System簡(jiǎn)稱GFS，這種存儲(chǔ)技術(shù)不僅開源擴(kuò)展，而且是分布式的，廣泛應(yīng)用在分布式的數(shù)據(jù)訪問(wèn)。它的硬件價(jià)格比較低，但是卻提供了容錯(cuò)的功能。每一個(gè)GFS都是由一個(gè)master和多個(gè)chunkserver構(gòu)成，能夠提供多用戶的訪問(wèn)權(quán)限，只要用戶的訪問(wèn)資源不受限制。chunkserver可以和訪問(wèn)同時(shí)進(jìn)行。GFS系統(tǒng)文件被分成很多個(gè)小塊，每一個(gè)小塊的標(biāo)識(shí)是chunk―handle，chunk―handle由master分配。為了保障數(shù)據(jù)的安全性和性，GFS系統(tǒng)文件會(huì)被復(fù)制在多個(gè)chunk―handle上，文件的副本由用戶決定，master會(huì)對(duì)系統(tǒng)文件進(jìn)行維護(hù)。比如系統(tǒng)訪問(wèn)控制、空間名字。此外它還可以控制系統(tǒng)的活動(dòng)范圍，chunkserver間的遷移和單個(gè)模塊的垃圾收集等。master還會(huì)定期指令給chunkserver，讓chunkserver收集它的發(fā)展?fàn)顟B(tài)。目前谷歌公司開發(fā)的GFS客戶代碼基本已經(jīng)實(shí)現(xiàn)了系統(tǒng)文件的AP，所以用戶與master的數(shù)據(jù)交換，之限制元數(shù)據(jù)操作，存儲(chǔ)數(shù)據(jù)直接和chunkserver聯(lián)系，chunkserver和文件數(shù)據(jù)客戶不會(huì)緩存。

2.2 Hadoop Distributed File System（HDFS）

Hadoop分布式文件系統(tǒng)是HDFS由多個(gè)存儲(chǔ)數(shù)據(jù)的終點(diǎn)和管理節(jié)點(diǎn)構(gòu)成的。它的中心服務(wù)器是namenode，客戶端和文件管理系統(tǒng)namenode對(duì)文件進(jìn)行訪問(wèn)。每一個(gè)namenode節(jié)點(diǎn)都有一臺(tái)普通的計(jì)算機(jī)對(duì)應(yīng)，運(yùn)行時(shí)與單機(jī)計(jì)算機(jī)文件系統(tǒng)類似，可以在文件系統(tǒng)常見名錄、更改文件名。其實(shí)系統(tǒng)的底層已經(jīng)把文件分割成了Block，并⒄廡Block進(jìn)行不同的存儲(chǔ)，從而達(dá)到容錯(cuò)的目的。namenode是HDFS文件系統(tǒng)的核心內(nèi)容，它可以維護(hù)一些數(shù)據(jù)結(jié)果，再把記錄文件分割成Block，并在namenode獲得相關(guān)的消息。

3 結(jié)語(yǔ)

云計(jì)算是一種新型的計(jì)算模式，它必須依靠大數(shù)據(jù)或者在大數(shù)據(jù)的基礎(chǔ)上，為計(jì)算機(jī)用戶提供服務(wù)和幫助。為了確保計(jì)算機(jī)數(shù)據(jù)的性和安全性，云計(jì)算對(duì)云端數(shù)據(jù)采取了分層存儲(chǔ)的方式，為用戶提供多層次的安全防護(hù)。但是如今云計(jì)算的安全問(wèn)題依然是用戶關(guān)心的重點(diǎn)。云存儲(chǔ)已經(jīng)是未來(lái)存儲(chǔ)的一種趨勢(shì)。當(dāng)前各大云存儲(chǔ)運(yùn)營(yíng)商正在積極開發(fā)應(yīng)用技術(shù)、搜索和云存儲(chǔ)相結(jié)合的技術(shù)，為用戶提供更加便利的服務(wù)，但是云存儲(chǔ)的發(fā)展還須加強(qiáng)云存儲(chǔ)的安全防護(hù)功能和技術(shù)研究。

作者單位

河南省師范大學(xué)附屬中學(xué) 河南省新鄉(xiāng)市 453002

數(shù)據(jù)存儲(chǔ)技術(shù)論文:大數(shù)據(jù)存儲(chǔ)技術(shù)及其標(biāo)準(zhǔn)化分析探討

摘 要：隨著現(xiàn)代化技術(shù)的不斷發(fā)展，在數(shù)據(jù)存儲(chǔ)上也發(fā)生了極大變化，各行各業(yè)均開始運(yùn)用大數(shù)據(jù)存儲(chǔ)來(lái)保障系統(tǒng)運(yùn)行有效性。本文基于這一背景，簡(jiǎn)單闡述了大數(shù)據(jù)以及存儲(chǔ)技術(shù)的概念，分析了大數(shù)據(jù)存儲(chǔ)的幾項(xiàng)技術(shù)，并在此基礎(chǔ)上針對(duì)其標(biāo)準(zhǔn)化展開研究，旨在優(yōu)化大數(shù)據(jù)存儲(chǔ)方式，提升數(shù)據(jù)使用有效性。

關(guān)鍵詞：大數(shù)據(jù)；存儲(chǔ)技術(shù)；標(biāo)準(zhǔn)化

大數(shù)據(jù)指的是一種存儲(chǔ)、積累以及挖掘的大文件達(dá)到400GB甚至TB存儲(chǔ)程度的現(xiàn)象，在現(xiàn)如今信息化、網(wǎng)絡(luò)化發(fā)展時(shí)代下，大數(shù)據(jù)已經(jīng)并不罕見，且廣泛應(yīng)用于各行各業(yè)。傳統(tǒng)數(shù)據(jù)存儲(chǔ)及管理中，面對(duì)海量的數(shù)據(jù)存儲(chǔ)，其無(wú)論是存儲(chǔ)能力還是存儲(chǔ)效率，甚至是存儲(chǔ)安全性方面，均呈現(xiàn)出滯后狀態(tài)。目前在存儲(chǔ)技術(shù)上通常分為網(wǎng)絡(luò)存儲(chǔ)以及直接附加存儲(chǔ)兩種，其中網(wǎng)絡(luò)存儲(chǔ)又分為存儲(chǔ)域網(wǎng)絡(luò)以及網(wǎng)絡(luò)附屬存儲(chǔ)兩種。不同存儲(chǔ)技術(shù)適用范圍不同，本文針對(duì)其存儲(chǔ)方式以及標(biāo)準(zhǔn)化展開分析，現(xiàn)報(bào)告如下：

1 大數(shù)據(jù)存儲(chǔ)技術(shù)研究

1.1 非結(jié)構(gòu)化數(shù)據(jù)的處理

在這一方面，要數(shù)HDFS具代表性。HDFS主要服務(wù)于系統(tǒng)中的各項(xiàng)應(yīng)用程序，其將一些POSIX接口開放，通過(guò)主/從結(jié)構(gòu)讓流式訪問(wèn)文件的數(shù)據(jù)被允許操作。它是由不同的數(shù)據(jù)節(jié)點(diǎn)以及一個(gè)名字節(jié)點(diǎn)所組成，能夠讓數(shù)據(jù)按照一定模式分割為不同的64位數(shù)模塊，并將其安排到不同分布式集群（由不同數(shù)據(jù)節(jié)點(diǎn)組成）中進(jìn)行存儲(chǔ)。當(dāng)然，若在使用過(guò)程中大數(shù)據(jù)存儲(chǔ)量不斷增多，只需要增加數(shù)據(jù)節(jié)點(diǎn)即可輕松實(shí)現(xiàn)存儲(chǔ)功能，擴(kuò)展性能較強(qiáng)。另外，非結(jié)構(gòu)化數(shù)據(jù)處理在數(shù)據(jù)吞吐量方面性能較好，海量的數(shù)據(jù)處理不會(huì)明顯影響到用戶體驗(yàn)。

1.2 分布式并行數(shù)據(jù)庫(kù)

分布式并行數(shù)據(jù)庫(kù)主要用于處理海量的、結(jié)構(gòu)化的數(shù)據(jù)，是一種無(wú)共享、并行處理架構(gòu)的數(shù)據(jù)管理系統(tǒng)。這類型系統(tǒng)主要采用Slave或是Master架構(gòu)。Slave在運(yùn)用上較多，例如用戶數(shù)據(jù)的存儲(chǔ)方面，多是被通過(guò)散列方式存儲(chǔ)在不同的Slave服務(wù)器之中，且數(shù)據(jù)在Slave的不同節(jié)點(diǎn)上也具有副本，在系統(tǒng)適用性上較高。Master架構(gòu)則只用于對(duì)元數(shù)據(jù)的存儲(chǔ)。

1.3 半結(jié)構(gòu)化數(shù)據(jù)的處理

傳統(tǒng)數(shù)據(jù)處理由于沒有使用NoSQL數(shù)據(jù)庫(kù)，當(dāng)遇到大數(shù)據(jù)存儲(chǔ)時(shí)往往表現(xiàn)出低性能、低擴(kuò)展性以及低靈活性缺陷。使用了NoSQL數(shù)據(jù)庫(kù)之后，云計(jì)算得以適應(yīng)，目前其數(shù)據(jù)庫(kù)類型主要有以下幾種：列存儲(chǔ)數(shù)據(jù)庫(kù)、鍵值存儲(chǔ)數(shù)據(jù)庫(kù)、圖形數(shù)據(jù)庫(kù)以及文檔型數(shù)據(jù)庫(kù)。

2 大數(shù)據(jù)存數(shù)的標(biāo)準(zhǔn)化分析

2.1 云存儲(chǔ)服務(wù)

目前在大數(shù)據(jù)存儲(chǔ)上，普通用戶使用的云存儲(chǔ)服務(wù)大多為基于對(duì)象類型，表現(xiàn)為以下幾種模式：⑴綁定。綁定對(duì)象為特定的編程語(yǔ)言，表現(xiàn)為API開發(fā)包，這類型的綁定處理利用了在REST接口上的一層封裝，讓編程語(yǔ)言在運(yùn)行效率上能夠大大提升。⑵接口設(shè)置。接口設(shè)置方面，主要采用HTTP接口或是REST接口兩種，要想實(shí)現(xiàn)云存儲(chǔ)服務(wù)，就必須通過(guò)編程實(shí)現(xiàn)其交互功能，達(dá)到數(shù)據(jù)存儲(chǔ)的有效性。⑶非編程狀態(tài)下的存儲(chǔ)。這一種形式是由第三方軟件或是云存儲(chǔ)本身所在的運(yùn)營(yíng)商通過(guò)其門戶管理來(lái)完成的。對(duì)于使用者而言，它不需要再次編程，直接利用管理軟件調(diào)用REST接口或是圖形界面即可使用數(shù)據(jù)存儲(chǔ)功能。在這一形式中，使用者在后臺(tái)控制上會(huì)受到第三方軟件或者Portal的限制。

2.2 數(shù)據(jù)模型的設(shè)定及應(yīng)用接口研究

在數(shù)據(jù)存儲(chǔ)管理方面，應(yīng)注意對(duì)隊(duì)列對(duì)象、能力對(duì)象、域?qū)ο蟆?shù)據(jù)對(duì)象以及容器對(duì)象這5個(gè)對(duì)象的管理，并實(shí)現(xiàn)對(duì)存儲(chǔ)數(shù)據(jù)的訪問(wèn)功能。在這5個(gè)對(duì)象中，前三個(gè)屬于特殊容器對(duì)象的一種。在Key-Valuc幫助下，每個(gè)對(duì)象均能夠?qū)崿F(xiàn)元數(shù)據(jù)描述功能。這里的元數(shù)據(jù)指的是使用者自定義數(shù)據(jù)、存儲(chǔ)管理數(shù)據(jù)以及安全元數(shù)據(jù)等。

應(yīng)用接口方面，大數(shù)據(jù)存儲(chǔ)技術(shù)的應(yīng)用系統(tǒng)可分為4種，即對(duì)象存儲(chǔ)系統(tǒng)、分布式文件系統(tǒng)、分布式關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)以及NoSQL數(shù)據(jù)庫(kù)系統(tǒng)，不同系統(tǒng)在應(yīng)用接口類型、應(yīng)用環(huán)境以及特性方面對(duì)比如下：⑴對(duì)象存儲(chǔ)系統(tǒng)。可適用REST或是HTTP接口，用于處理基于對(duì)象的設(shè)備操作以及數(shù)據(jù)存儲(chǔ)，可有效定義對(duì)象的屬性，為用戶提供基于數(shù)據(jù)對(duì)象的功能操作。⑵分布式文件系統(tǒng)。其應(yīng)用接口可使用HTTP、CIFS或是NFS，主要應(yīng)用于非結(jié)構(gòu)化數(shù)據(jù)的管理以及存儲(chǔ)，能夠?qū)⒃獢?shù)據(jù)有效定義，同時(shí)為用戶提供應(yīng)用及功能并管理相關(guān)數(shù)據(jù)。⑶分布式關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)。可適用SQL、JDBC、ODBC應(yīng)用接口，應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)的管理與存儲(chǔ)，能夠?qū)﹃P(guān)系型數(shù)據(jù)模型有效定義，訪問(wèn)時(shí)基于數(shù)據(jù)組織結(jié)構(gòu)狀態(tài)。⑷NoSQL數(shù)據(jù)庫(kù)系統(tǒng)。適用于API、REST或是HTTP接口，用于對(duì)半結(jié)構(gòu)化數(shù)據(jù)進(jìn)行管理與存儲(chǔ)，其不支持SQL，數(shù)據(jù)模型處理原則采用schema-free原則。

3 結(jié)束語(yǔ)

大數(shù)據(jù)存儲(chǔ)并非一項(xiàng)單純技術(shù)，而是多種不同存儲(chǔ)技術(shù)的綜合。在具體操作方面，其應(yīng)用接口類型多樣化，目前應(yīng)用最為成熟的算是分布式文件系統(tǒng)。NoSQL數(shù)據(jù)庫(kù)系統(tǒng)以及對(duì)象存儲(chǔ)系統(tǒng)在應(yīng)用上尚未達(dá)到成熟階段，相信在今后的研究中會(huì)不斷完善，讓大數(shù)據(jù)存儲(chǔ)不斷趨近標(biāo)準(zhǔn)化，提升其使用可行性。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:淺談網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)及其應(yīng)用

摘 要：現(xiàn)在網(wǎng)絡(luò)已經(jīng)在人們的生活中得到普及，選擇良好的數(shù)據(jù)存儲(chǔ)方式已經(jīng)越來(lái)越重要。目前存儲(chǔ)已經(jīng)從主機(jī)系統(tǒng)中脫離出來(lái)發(fā)展成為了一個(gè)獨(dú)立的系統(tǒng)。網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展目標(biāo)就是低成本、高智能。本文就將對(duì)現(xiàn)在出現(xiàn)的網(wǎng)絡(luò)存儲(chǔ)技術(shù)進(jìn)行深入分析，分別研究傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)和現(xiàn)代化網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的運(yùn)用。

關(guān)鍵詞：網(wǎng)絡(luò)數(shù)據(jù)；存儲(chǔ)技術(shù)；運(yùn)用分析

伴隨網(wǎng)絡(luò)快速的發(fā)展，對(duì)于用戶選擇一種能夠滿足需求的高性能網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方式變得尤其重要。怎樣做到保障數(shù)據(jù)的安全性、一致性、性。怎樣能夠集中的對(duì)網(wǎng)上數(shù)據(jù)進(jìn)行訪問(wèn)，做到集中管理不同的數(shù)據(jù)，又怎樣實(shí)現(xiàn)保護(hù)和訪問(wèn)不同主機(jī)類型的數(shù)據(jù)等一系列問(wèn)題，都是需要通過(guò)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)完成的。現(xiàn)在數(shù)據(jù)存儲(chǔ)中經(jīng)常會(huì)出現(xiàn)數(shù)據(jù)災(zāi)難，小到錯(cuò)誤的操作和普通文件的損壞，大到由于病毒入侵或是黑客攻擊導(dǎo)致整個(gè)網(wǎng)絡(luò)出現(xiàn)癱瘓。所以現(xiàn)在的各個(gè)企業(yè)單位必須有完善的數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)恢復(fù)計(jì)劃方案。現(xiàn)在人們普遍使用的就是采用網(wǎng)絡(luò)技術(shù)將數(shù)據(jù)信息進(jìn)行異地儲(chǔ)存，也就是數(shù)據(jù)信息不直接儲(chǔ)存到本地的服務(wù)器上，而是采用相關(guān)網(wǎng)絡(luò)存儲(chǔ)技術(shù)將信息儲(chǔ)存在和服務(wù)器相連的專業(yè)設(shè)備上。現(xiàn)在主要使用的網(wǎng)絡(luò)信息存儲(chǔ)技術(shù)有：DAS、SAN、NAS，以下將對(duì)這三種技術(shù)進(jìn)行分析。

1 傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)分析

DAS存儲(chǔ)技術(shù)是指利用光纖通道或是SCSI接口將儲(chǔ)存設(shè)備直接連接到計(jì)算機(jī)上。當(dāng)服務(wù)器所在的位置較為分散，無(wú)法使用遠(yuǎn)程連接實(shí)現(xiàn)互聯(lián)時(shí)，就可以直接連接。直接連接需要投入的成本較少，而且需要的時(shí)間也很短，一般在集群環(huán)境中對(duì)存儲(chǔ)容量進(jìn)行拓展。DAS已經(jīng)有很長(zhǎng)的發(fā)展歷史了，也是現(xiàn)在較為普遍的網(wǎng)絡(luò)儲(chǔ)存設(shè)備。但是伴隨用戶數(shù)據(jù)在不斷增長(zhǎng)，也就在擴(kuò)展、存儲(chǔ)等方面暴露出很多的問(wèn)題。問(wèn)題的出現(xiàn)主要有以下幾點(diǎn)原因：

1.1 DAS儲(chǔ)存方式。DAS在進(jìn)行存儲(chǔ)維護(hù)管理和系統(tǒng)的I/O讀寫對(duì)服務(wù)器主機(jī)操作系統(tǒng)有很強(qiáng)的依賴性，數(shù)據(jù)設(shè)備和恢復(fù)需要占用CPU、I/O等服務(wù)器主機(jī)資源，數(shù)據(jù)流必須要流回到主機(jī)之后再到服務(wù)器連接著的磁帶機(jī)。一般而言數(shù)據(jù)存儲(chǔ)需要占用20%-30%的主機(jī)資源，這也就導(dǎo)致企業(yè)的數(shù)據(jù)日常存儲(chǔ)工作一般需要在業(yè)務(wù)系統(tǒng)不繁忙的情況下進(jìn)行，防止由于占用到服務(wù)器主機(jī)資源影響企業(yè)業(yè)務(wù)系統(tǒng)的正常運(yùn)行。當(dāng)DAS儲(chǔ)存的數(shù)據(jù)量很大時(shí)，就需要花費(fèi)很長(zhǎng)的時(shí)間，而且對(duì)服務(wù)器硬件會(huì)有一定的影響。

（1）DAS的SCSI連接。采用SCSI連接DAS與服務(wù)器主機(jī)之間的連接通道。服務(wù)器的CPU不斷的加強(qiáng)，存儲(chǔ)硬盤空間就會(huì)變大，排列出來(lái)的硬盤數(shù)量也就越來(lái)越多，SCSI通道將會(huì)成為I/O瓶頸，由于服務(wù)器主機(jī)的SCSI的ID是有限的，所以SCSI連接通道也是有限的。（2）DAS的限制。將一臺(tái)服務(wù)器拓展成為由多臺(tái)服務(wù)器組成的集群或是拓展儲(chǔ)存陣列的容量，都有可能導(dǎo)致企業(yè)業(yè)務(wù)系統(tǒng)出現(xiàn)停機(jī)，給企業(yè)帶來(lái)不同程度的經(jīng)濟(jì)損失，而且無(wú)論是DAS的存儲(chǔ)還是主機(jī)服務(wù)器的拓展都是需要原廠商提供，受到了一定的限制。

1.2 NAS儲(chǔ)存技術(shù)。NAS是一種數(shù)據(jù)存儲(chǔ)附加技術(shù)，在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中有著重要地位，能夠?qū)⒂?jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)和計(jì)算機(jī)磁盤序列直接連接起來(lái)，由計(jì)算機(jī)操作系統(tǒng)和計(jì)算機(jī)服務(wù)器構(gòu)成NAS技術(shù)的服務(wù)器，在實(shí)際運(yùn)用中能夠發(fā)揮很強(qiáng)的拓展性，而且NAS也是帶有操作系統(tǒng)的存儲(chǔ)設(shè)備，就相當(dāng)于一個(gè)專用的文件服務(wù)器，對(duì)文件系統(tǒng)能進(jìn)行針對(duì)性的優(yōu)化，具有安全、等優(yōu)點(diǎn)，在電子出版、法律、教育等方面有廣泛的使用。

（1）NAS的關(guān)鍵特性。一是將一般服務(wù)器中沒有發(fā)揮作用的計(jì)算功能給去掉，只提供存儲(chǔ)服務(wù)需要使用的文件系統(tǒng)功能，減少了成本。對(duì)系統(tǒng)軟硬件的結(jié)構(gòu)進(jìn)行優(yōu)化，使得存儲(chǔ)和網(wǎng)絡(luò)之間以最有效的方式發(fā)送數(shù)據(jù)，網(wǎng)絡(luò)操作系統(tǒng)內(nèi)核具有多線程、多任務(wù)的特點(diǎn)，數(shù)據(jù)傳輸速率高、非常適合處理網(wǎng)絡(luò)的I/O請(qǐng)求。二是NAS主要以網(wǎng)絡(luò)為中心，直接運(yùn)用現(xiàn)有的網(wǎng)絡(luò)資源接入到專用的存儲(chǔ)設(shè)備，而不需要再連接儲(chǔ)存設(shè)備

（2）NAS的技術(shù)性能。現(xiàn)在NAS得到非常普遍的需求主要因?yàn)樗幸韵聝?yōu)點(diǎn)：一是能夠共享和訪問(wèn)大量的文件數(shù)據(jù)，很好的滿足企業(yè)的需求。二是企業(yè)在不斷的發(fā)展，大型的磁帶庫(kù)或是硬盤等產(chǎn)品雖然能夠解決儲(chǔ)存問(wèn)題，但是由于成本過(guò)高，對(duì)于一些中小型企業(yè)可能很難接受，所以NAS能夠改善這個(gè)問(wèn)題。三是文件數(shù)據(jù)能夠通過(guò)網(wǎng)絡(luò)傳輸?shù)蕉嗯_(tái)客戶機(jī)上，方便部署。

（3）NAS的存在的缺陷。NAS本身有很大的網(wǎng)絡(luò)協(xié)議的開銷，因此在數(shù)據(jù)訪問(wèn)上一些對(duì)訪問(wèn)速度要求很高的場(chǎng)合是不適合使用NAS的，比如數(shù)據(jù)庫(kù)的一些運(yùn)用等。NAS技術(shù)在使用時(shí)會(huì)對(duì)LAN相關(guān)帶寬有所占用，從而會(huì)有一部分的網(wǎng)絡(luò)資源被浪費(fèi)掉，可能會(huì)造成用戶的正常使用。NAS還有一個(gè)限制因素就是很難統(tǒng)一集中管理多個(gè)相關(guān)設(shè)備，只能夠?qū)蝹€(gè)儲(chǔ)存設(shè)備進(jìn)行單一管理，目前還無(wú)法跨越不同的設(shè)備。

1.3 SAN。SAN采用光纖通道技術(shù)，在網(wǎng)絡(luò)服務(wù)群后端，使用交換機(jī)連接服務(wù)器主機(jī)和儲(chǔ)存陣列，形成專門用于區(qū)域網(wǎng)絡(luò)的存儲(chǔ)。

（1）SAN存儲(chǔ)性能。一是SAN和一般的網(wǎng)絡(luò)不同，是為了連接服務(wù)器、磁帶庫(kù)、磁盤陣列專門設(shè)計(jì)的網(wǎng)絡(luò)，并且具有很高的性能。二是由于具有很好的存儲(chǔ)連接，服務(wù)器能夠訪問(wèn)磁盤陣列、磁帶等任何的儲(chǔ)存設(shè)備，而且儲(chǔ)存設(shè)備和SAN交換機(jī)以及儲(chǔ)存設(shè)備和儲(chǔ)存設(shè)備之都能進(jìn)行信息間傳遞。三是非常適合一些數(shù)據(jù)恢復(fù)和服務(wù)器集群等需要傳輸大量數(shù)據(jù)的應(yīng)用。（2）SAN的技術(shù)性能。現(xiàn)代企業(yè)對(duì)數(shù)據(jù)存儲(chǔ)的要求越來(lái)越高，所以有些企業(yè)采用SAN技術(shù)作為網(wǎng)絡(luò)基礎(chǔ)設(shè)施。SAN有以下優(yōu)點(diǎn)：一是能過(guò)實(shí)現(xiàn)大容量存儲(chǔ)設(shè)備的數(shù)據(jù)共享。二是加強(qiáng)了數(shù)據(jù)存儲(chǔ)的性、開放性。三是利用光纖數(shù)據(jù)傳輸效率很快，還具有超強(qiáng)的拓展性。（3）SAN的缺陷。SAN技術(shù)在維護(hù)和構(gòu)建時(shí)，需要具有很強(qiáng)專業(yè)能力、業(yè)務(wù)知識(shí)、豐富經(jīng)驗(yàn)的工作人員，這也就增加一筆人力費(fèi)用。并且SAN在連接距離上受到了一定的限制。而且由于連接設(shè)備在價(jià)格上比較高昂，這也就阻礙了SAN技術(shù)的發(fā)展。

2 現(xiàn)代化新型網(wǎng)絡(luò)存儲(chǔ)技術(shù)

2.1 OBS。OBS是基于對(duì)象存儲(chǔ)的，它的數(shù)據(jù)塊長(zhǎng)度是可以變化的，存儲(chǔ)屬性的基本容器也是具有可拓展性的存儲(chǔ)容器能夠提供和文件相似的訪問(wèn)方式，比如能夠打開、進(jìn)行讀寫等操作。NAS和SAN的一些優(yōu)點(diǎn)在OBS上得到了綜合體現(xiàn)，由于是采用的對(duì)象接口，所以在很大程度上提升了網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的性能，具備了非常高的擴(kuò)展性。OBS有一大顯著特點(diǎn)，就是能夠?qū)⒕W(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的相關(guān)物理視圖下放到一些存儲(chǔ)設(shè)備當(dāng)中，OBS的技術(shù)理念是人們關(guān)注的重點(diǎn)內(nèi)容，它的高性能和極強(qiáng)的擴(kuò)展性使其得到了人們的認(rèn)可，也在網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域占得重要地位。

2.2 云存儲(chǔ)。云儲(chǔ)存和云計(jì)算非常的相似，它的發(fā)展基礎(chǔ)就是云計(jì)算，主要是通過(guò)相關(guān)軟件將網(wǎng)絡(luò)各種存儲(chǔ)數(shù)據(jù)集合在一起，共同進(jìn)行工作。使用網(wǎng)絡(luò)技術(shù)或是集群運(yùn)用等功能，對(duì)外進(jìn)行業(yè)務(wù)訪問(wèn)或是對(duì)相關(guān)數(shù)據(jù)進(jìn)行存儲(chǔ)。

3 結(jié)束語(yǔ)

現(xiàn)在NAS、DAS、SAN之間存在的差異正逐漸被模糊。目前所有的網(wǎng)絡(luò)存儲(chǔ)技術(shù)在社會(huì)經(jīng)濟(jì)的不斷發(fā)展和用戶的各種需求下逐步的趨于完善。NAS、SAN都是在人們對(duì)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的各種訴求中在之前DAS的基礎(chǔ)上發(fā)展起來(lái)的。在新時(shí)期又出現(xiàn)了OBS和云存儲(chǔ)，目前無(wú)論是傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)還是現(xiàn)代化的網(wǎng)絡(luò)存儲(chǔ)技術(shù)，都還存在一些或多或少的問(wèn)題，需要不斷的進(jìn)行研究和完善。通過(guò)加強(qiáng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的安全性、拓展性、性，來(lái)促進(jìn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的運(yùn)用。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:芻議海量數(shù)據(jù)存儲(chǔ)系統(tǒng)的高性關(guān)鍵技術(shù)研究與應(yīng)用

【摘要】近些年，隨著存儲(chǔ)技術(shù)的日益發(fā)展，如何對(duì)海量的數(shù)據(jù)進(jìn)行高效的處理和存儲(chǔ)，已經(jīng)成為計(jì)算機(jī)信息技術(shù)中急需解決的問(wèn)題，TB或PB級(jí)容量存儲(chǔ)系統(tǒng)的出現(xiàn)已經(jīng)成為現(xiàn)實(shí)。本文介紹了海量數(shù)據(jù)的基本特征，分析了海量數(shù)據(jù)存儲(chǔ)的基本原則，提出幾種適用于海量數(shù)據(jù)的存儲(chǔ)方式來(lái)提升存儲(chǔ)的高性。

【關(guān)鍵詞】海量數(shù)據(jù) 存儲(chǔ)系統(tǒng) 性 技術(shù)

隨著信息技術(shù)的不斷發(fā)展，數(shù)據(jù)已經(jīng)成為了越來(lái)越多人日常生活中的重要資源。據(jù)統(tǒng)計(jì)，全球信息化進(jìn)程大步推進(jìn)，2010年創(chuàng)建、存儲(chǔ)和復(fù)制的數(shù)據(jù)總數(shù)已達(dá)到1.2ZB，2011年又達(dá)到了一個(gè)新里程碑1.8ZB，根據(jù)這種增長(zhǎng)速度，預(yù)計(jì)到2015年將達(dá)到近8ZB。與此同時(shí)，也有許多海量數(shù)據(jù)存儲(chǔ)單位，如國(guó)家地震局、國(guó)家氣象局、國(guó)家圖書館、中央電視臺(tái)等，每年可高達(dá)數(shù)幾十PB的數(shù)據(jù)存儲(chǔ)量。對(duì)于這樣的單位和企業(yè)，解決他們數(shù)據(jù)高效的存儲(chǔ)問(wèn)題已經(jīng)成為當(dāng)下的主要問(wèn)題之一。所以在數(shù)據(jù)爆炸式增長(zhǎng)的大背景下，無(wú)論是個(gè)體還是單位和企業(yè)，數(shù)據(jù)的存儲(chǔ)量持續(xù)增加必然導(dǎo)致存儲(chǔ)設(shè)備的不堪重負(fù)。為了滿足人們?nèi)找鏀U(kuò)大的數(shù)據(jù)存儲(chǔ)需求，對(duì)數(shù)據(jù)存儲(chǔ)的性、安全性提出了更高的要求，傳統(tǒng)技術(shù)和傳統(tǒng)手段已經(jīng)無(wú)法應(yīng)付目前的形式，如何實(shí)現(xiàn)高質(zhì)量、性高的數(shù)據(jù)存儲(chǔ)已經(jīng)成為整個(gè)行業(yè)面臨的巨大挑戰(zhàn)。

一、海量數(shù)據(jù)存儲(chǔ)的一般基本原則

海量數(shù)據(jù)是指數(shù)據(jù)量大、數(shù)據(jù)記錄多，具有非常復(fù)雜的不同類型。如何處理這樣一種特殊的信息，使其充分發(fā)揮作用，是我們關(guān)注的問(wèn)題。出于全局考慮，存儲(chǔ)海量數(shù)據(jù)應(yīng)遵循以下基本原則。首先，海量數(shù)據(jù)存儲(chǔ)應(yīng)“分層存儲(chǔ)”，引入數(shù)據(jù)的綜合分析概念，區(qū)別數(shù)據(jù)的本質(zhì)從而采取不同的存儲(chǔ)策略。讀取頻次較高的數(shù)據(jù)應(yīng)當(dāng)存儲(chǔ)在大容量磁盤陣列，低速磁盤陣列則應(yīng)當(dāng)儲(chǔ)存訪問(wèn)頻次較低的數(shù)據(jù)，訪問(wèn)頻次極低的數(shù)據(jù)則應(yīng)當(dāng)儲(chǔ)存在磁帶介質(zhì)上。其次，配備足夠容量的高性能陣列，并輔之以相關(guān)的軟件將數(shù)據(jù)自動(dòng)分層存儲(chǔ)管理。再次，考慮需要存儲(chǔ)的數(shù)據(jù)的復(fù)雜類型，應(yīng)設(shè)計(jì)相對(duì)完整的解決方案，以確保數(shù)據(jù)儲(chǔ)存的性。

二、存儲(chǔ)系統(tǒng)及其性實(shí)現(xiàn)

（一）磁盤陣列存儲(chǔ)。

RAID（Redundant Array of Independent Disks） 是冗余的獨(dú)立磁盤陣列的英文縮寫。1988年提出由美國(guó)加州大學(xué)伯克利分校的David Patterson等人提出了這一概念。冗余是為了糾正錯(cuò)誤，并采取有效方法提高性，獨(dú)立是指陣列不存在于主機(jī)內(nèi)，而是自成一體的系統(tǒng)。一般可以分為多個(gè)不同的RAID級(jí)別，最常用的是RAID0到RAID6。

（1）RAID0：沒有任何冗余磁盤陣列。RAID0無(wú)法提供一個(gè)良好的冗余或奇偶校驗(yàn)，但它能夠提供非常高的傳輸速率和I/O速率。

（2）RAID1：提供了非常高的性和安全性，適合存放重要數(shù)據(jù)。

（3）RAID2：并行處理陣列，提供鏡像和分段的數(shù)據(jù)存儲(chǔ)。

（4）RAID3：RAID2的基礎(chǔ)上，增加一個(gè)奇偶校驗(yàn)驅(qū)動(dòng)器，為每個(gè)I/O操作提供服務(wù)。

（5）RAID4：使用塊級(jí)拆分，一個(gè)單獨(dú)的磁盤為其他N-1個(gè)磁盤保留奇偶校驗(yàn)塊。此等級(jí)很少使用。

（6）RAID5：RAID4的基礎(chǔ)上，將數(shù)據(jù)和奇偶校驗(yàn)分布在所有N+1個(gè)磁盤中，是適合大型數(shù)據(jù)系統(tǒng)的等級(jí)。

（7）RAID6：RAID5的基礎(chǔ)上進(jìn)行改進(jìn)，提供一個(gè)安全網(wǎng)，防止多個(gè)磁盤發(fā)生故障的情況。

RAID技術(shù)為用戶提供了可以同時(shí)兼顧速度和良好數(shù)據(jù)安全的解決方案，磁盤陣列可避免單個(gè)磁盤故障帶來(lái)災(zāi)難性的后果，從而保障了高性的數(shù)據(jù)存儲(chǔ)。但不同的RAID級(jí)別在完整性和性方面還有不同程度的缺陷。

（二）網(wǎng)格存儲(chǔ)。

和網(wǎng)格計(jì)算類似，是部署和管理分布在多個(gè)系統(tǒng)和網(wǎng)絡(luò)存儲(chǔ)的新模式，網(wǎng)格實(shí)際上是一個(gè)網(wǎng)狀網(wǎng)絡(luò)，它不控制單個(gè)集中式交換機(jī)或集線器的路由。網(wǎng)格提供了無(wú)限的可擴(kuò)展性的大小和性能，因?yàn)樗鼈儾粫?huì)受到集中的中央交換機(jī)的舒服。因此，降低了網(wǎng)格網(wǎng)絡(luò)部件的成本，以產(chǎn)生和靈活的結(jié)構(gòu)。

（三）P2P 存儲(chǔ)。

P2P帶來(lái)的變化是改變“內(nèi)容”所在位置，從“中心”走向“邊緣”，該內(nèi)容將不再是存儲(chǔ)在在幾個(gè)主要的服務(wù)器上的，而是存儲(chǔ)在所有的用戶PC上。這為網(wǎng)絡(luò)存儲(chǔ)提供了可能，我們將提高網(wǎng)絡(luò)的剩余存儲(chǔ)空間的利用率。對(duì)存儲(chǔ)容量的需求是無(wú)止境的，提高存儲(chǔ)容量，在某種程度上也是保障了數(shù)據(jù)的高性。

（四）存儲(chǔ)容災(zāi)。

存儲(chǔ)容災(zāi)是指建立一個(gè)異地的數(shù)據(jù)系統(tǒng)，可以理解為是一個(gè)本地副本，可用于存儲(chǔ)關(guān)鍵數(shù)據(jù)。當(dāng)本地?cái)?shù)據(jù)及整個(gè)應(yīng)用系統(tǒng)崩潰時(shí)，系統(tǒng)保存的異地?cái)?shù)據(jù)系統(tǒng)可以提供至少一個(gè)可用的關(guān)鍵業(yè)務(wù)數(shù)據(jù)。該數(shù)據(jù)可以實(shí)時(shí)地與本地生產(chǎn)完整數(shù)據(jù)復(fù)制，也可以稍微落后于本地?cái)?shù)據(jù)，但它是可用的。采用的主要技術(shù)是數(shù)據(jù)備份和數(shù)據(jù)復(fù)制技術(shù)。通過(guò)特定的容災(zāi)機(jī)制，可以將崩潰發(fā)生后的傷害降到低，較大限度保護(hù)海量數(shù)據(jù)系統(tǒng)的正常應(yīng)用以及不間斷服務(wù)。

三、總結(jié)

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展及普及，全球化數(shù)字時(shí)代已經(jīng)到來(lái)，數(shù)據(jù)呈現(xiàn)出了飛速增長(zhǎng)的趨勢(shì)，這樣就給數(shù)據(jù)的存儲(chǔ)工作帶來(lái)了大量的工作難度。在數(shù)據(jù)爆炸式增長(zhǎng)的大背景下，無(wú)論是個(gè)體還是單位和企業(yè)，數(shù)據(jù)的存儲(chǔ)量持續(xù)增加必然導(dǎo)致存儲(chǔ)設(shè)備的不堪重負(fù)。為了滿足人們?nèi)找鏀U(kuò)大的數(shù)據(jù)存儲(chǔ)需求，對(duì)數(shù)據(jù)存儲(chǔ)的性、安全性提出了更高的要求。通過(guò)以上四種信息存儲(chǔ)方式，可以有效提高海量數(shù)據(jù)的存儲(chǔ)，實(shí)現(xiàn)數(shù)據(jù)的安全性。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:大數(shù)據(jù)時(shí)代數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展

【摘要】數(shù)據(jù)存儲(chǔ)技術(shù)經(jīng)歷了從手工管理到文件管理、再到數(shù)據(jù)庫(kù)管理系統(tǒng)三個(gè)階段，數(shù)據(jù)庫(kù)技術(shù)中關(guān)系數(shù)據(jù)庫(kù)占據(jù)了主要地位。互聯(lián)網(wǎng)絡(luò)的興起，促使用戶數(shù)據(jù)暴增，大數(shù)據(jù)時(shí)代已經(jīng)來(lái)臨，對(duì)存儲(chǔ)介質(zhì)容量和數(shù)據(jù)檢索速度都提出了更高的要求，傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)難以勝任這一角色，NOSQL數(shù)據(jù)庫(kù)逐漸興起。本文在介紹大數(shù)據(jù)概念的基礎(chǔ)上，分析關(guān)系數(shù)據(jù)庫(kù)的優(yōu)劣勢(shì)，并介紹NOSQL數(shù)據(jù)庫(kù)的理論基礎(chǔ)和當(dāng)前NOSQL數(shù)據(jù)庫(kù)產(chǎn)品。

【關(guān)鍵詞】大數(shù)據(jù);關(guān)系數(shù)據(jù)庫(kù);NOSQL

一、大數(shù)據(jù)

1.大數(shù)據(jù)產(chǎn)生的背景

大數(shù)據(jù)（Big Data），也稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的資訊，通常被認(rèn)為是PB或EB或更高數(shù)量級(jí)的數(shù)據(jù)。

互聯(lián)網(wǎng)絡(luò)從上世紀(jì)90年代開始，發(fā)展迅速，加快了信息傳播和共享的速度，尤其是一些社交網(wǎng)站的興起，數(shù)據(jù)量更是以前所未有的速度暴增，文字資料、聲音、視頻、圖像等多媒體數(shù)據(jù)鋪天蓋地。據(jù)資料顯示，上世紀(jì)90年代，互聯(lián)網(wǎng)資源不是很豐富的時(shí)代，網(wǎng)民月平均流量1MB左右，之后則快速增長(zhǎng)，2000年后，逐漸發(fā)展為每月10MB、100MB、1GB，據(jù)估計(jì)2014年可能會(huì)達(dá)到10GB。淘寶網(wǎng)每日幾千萬(wàn)筆交易，單日數(shù)據(jù)量達(dá)幾十TB，數(shù)據(jù)存儲(chǔ)量幾十PB，百度公司目前數(shù)據(jù)總量接近1000PB，存儲(chǔ)網(wǎng)頁(yè)數(shù)量接近1萬(wàn)億頁(yè)，每天大約要處理60億次搜索請(qǐng)求，幾十PB數(shù)據(jù)。

隨著技術(shù)發(fā)展，大數(shù)據(jù)廣泛存在，如企業(yè)數(shù)據(jù)、統(tǒng)計(jì)數(shù)據(jù)、科學(xué)數(shù)據(jù)、醫(yī)療數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)、移動(dòng)數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)等等。總之，大數(shù)據(jù)存在于各行各業(yè)，一個(gè)大數(shù)據(jù)的時(shí)代已經(jīng)到來(lái)。

2.大數(shù)據(jù)時(shí)代的挑戰(zhàn)

大數(shù)據(jù)特點(diǎn)是容量在增長(zhǎng)、種類在增長(zhǎng)、速度也在增長(zhǎng)，面臨如此龐大的數(shù)據(jù)量，數(shù)據(jù)的存儲(chǔ)和檢索面臨著巨大挑戰(zhàn)。比如2007年時(shí)，F(xiàn)acebook使用數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)15個(gè)TB的數(shù)據(jù)，但到了2010年，每天壓縮過(guò)的數(shù)據(jù)比過(guò)去總和還多，那時(shí)商業(yè)并行數(shù)據(jù)庫(kù)很少有超過(guò)100個(gè)節(jié)點(diǎn)以上的，而現(xiàn)在雅虎的Hadoop集群超過(guò)4000個(gè)節(jié)點(diǎn)，F(xiàn)acebook倉(cāng)庫(kù)節(jié)點(diǎn)超過(guò)2700個(gè)。大量的數(shù)據(jù)現(xiàn)在已經(jīng)開始影響我們整個(gè)的工作、生活、甚至經(jīng)濟(jì)，如何存儲(chǔ)和高效利用這些數(shù)據(jù)是需要我們解決的。

二、關(guān)系數(shù)據(jù)庫(kù)

1.關(guān)系數(shù)據(jù)庫(kù)概述

關(guān)系型數(shù)據(jù)庫(kù)是支持關(guān)系模型的數(shù)據(jù)庫(kù)系統(tǒng)，他是目前各類數(shù)據(jù)庫(kù)中最重要，也是使用最廣泛的數(shù)據(jù)庫(kù)系統(tǒng)。關(guān)系型數(shù)據(jù)庫(kù)從上世紀(jì)70年代誕生到現(xiàn)在經(jīng)過(guò)幾十年的發(fā)展，已經(jīng)非常成熟，目前市場(chǎng)上主流的數(shù)據(jù)庫(kù)都為關(guān)系型數(shù)據(jù)庫(kù)，比較知名的有Oracle數(shù)據(jù)庫(kù)、DB2、Sybase、SQL Server等等。

2.關(guān)系數(shù)據(jù)庫(kù)優(yōu)勢(shì)

關(guān)系數(shù)據(jù)庫(kù)相比其他模型的數(shù)據(jù)庫(kù)而言，有著以下優(yōu)點(diǎn)：

模型容易理解：關(guān)系模型中的二維表結(jié)構(gòu)非常貼近邏輯世界，相對(duì)于網(wǎng)狀、層次等其他模型來(lái)說(shuō)更容易理解。

使用方便：通用的SQL語(yǔ)言使得操作關(guān)系型數(shù)據(jù)庫(kù)非常方便，只需使用SQL語(yǔ)言在邏輯層面操作數(shù)據(jù)庫(kù)，而不必理解其底層實(shí)現(xiàn)。

易于維護(hù)：豐富的完整性大大降低了數(shù)據(jù)冗余和數(shù)據(jù)不一致的概率。

3.關(guān)系數(shù)據(jù)庫(kù)存在問(wèn)題

傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)具有不錯(cuò)的性能，穩(wěn)定性高，歷經(jīng)多年發(fā)展已日臻成熟，而且使用簡(jiǎn)單，功能強(qiáng)大，也積累了大量的成功案例。上世紀(jì)90年代的互聯(lián)網(wǎng)領(lǐng)域，網(wǎng)站基本都是靜態(tài)網(wǎng)頁(yè)，主要以文字為主，訪問(wèn)量也不大，當(dāng)時(shí)用單個(gè)數(shù)據(jù)庫(kù)可以應(yīng)對(duì)。可近幾年，動(dòng)態(tài)網(wǎng)站隨處可見，各種論壇、博克、微博異常火爆，在大幅度提升交流方式的同時(shí)，用戶數(shù)據(jù)量迅速增長(zhǎng)，處理事務(wù)性的數(shù)據(jù)關(guān)系數(shù)據(jù)庫(kù)得心應(yīng)手，可面對(duì)互聯(lián)網(wǎng)的高并發(fā)、大數(shù)據(jù)量關(guān)系數(shù)據(jù)庫(kù)顯得力不從心，暴露了很多難以克服的問(wèn)題：

數(shù)據(jù)庫(kù)高并發(fā)讀寫：高并發(fā)的動(dòng)態(tài)網(wǎng)站數(shù)據(jù)庫(kù)并發(fā)負(fù)載非常高，往往要達(dá)到每秒上萬(wàn)次甚至百萬(wàn)次、千萬(wàn)次的讀寫請(qǐng)求。關(guān)系數(shù)據(jù)庫(kù)應(yīng)付上萬(wàn)次SQL查詢沒問(wèn)題，但是應(yīng)付上百萬(wàn)、千萬(wàn)次SQL數(shù)據(jù)請(qǐng)求，硬盤IO就已經(jīng)無(wú)法承受了。

海量數(shù)據(jù)的高效率訪問(wèn)：一般大型數(shù)據(jù)庫(kù)在百萬(wàn)級(jí)的數(shù)據(jù)庫(kù)表中檢索數(shù)據(jù)可達(dá)到秒級(jí)，但面對(duì)數(shù)億條記錄的數(shù)據(jù)庫(kù)表，檢索速度效率是極其低下，難以忍受的。

數(shù)據(jù)庫(kù)可擴(kuò)展性和高可用性：基于web的架構(gòu)當(dāng)中，數(shù)據(jù)庫(kù)無(wú)法通過(guò)添加更多的硬件和服務(wù)節(jié)點(diǎn)來(lái)擴(kuò)展性能和負(fù)載能力，對(duì)于很多需要提供24小時(shí)不間斷服務(wù)的網(wǎng)站來(lái)說(shuō)，數(shù)據(jù)庫(kù)系統(tǒng)升級(jí)和擴(kuò)展卻只能通過(guò)停機(jī)來(lái)實(shí)現(xiàn)，這無(wú)疑是一個(gè)艱難的決定。

三、NOSQL數(shù)據(jù)庫(kù)

1.NOSQL數(shù)據(jù)庫(kù)理論基礎(chǔ)

NOSQL作為新興數(shù)據(jù)庫(kù)系統(tǒng)概念，由于其具備處理海量數(shù)據(jù)的能力，近年來(lái)受到各大IT公司的追捧。Amazon、Google等大型網(wǎng)商已紛紛斥資進(jìn)行研究并開發(fā)了適用的產(chǎn)品。談及NOSQL數(shù)據(jù)庫(kù)，首先應(yīng)該了解支持NOSQL的理論：CAP理論、BASE思想和最終一致性。

（1）CAP理論

CAP理論由Eric Brewer在ACM PODC會(huì)議上的主題報(bào)告中提出，這個(gè)理論是NOSQL數(shù)據(jù)管理系統(tǒng)構(gòu)建的基礎(chǔ)，CAP解釋為一致性（Consistency）、可用性（Availability）以及分區(qū)容忍性（Partition Tolerance）。具體描述如下：

強(qiáng)一致性（Consistency）：系統(tǒng)在執(zhí)行過(guò)某項(xiàng)操作后仍然處于一致的狀態(tài)。在分布式數(shù)據(jù)庫(kù)系統(tǒng)中，數(shù)據(jù)變更后所有的用戶都應(yīng)該讀取到近期的值，這樣的系統(tǒng)被認(rèn)為具有強(qiáng)一致性。

可用性（Availability）：每一個(gè)操作都能夠在一定的時(shí)間內(nèi)返回結(jié)果。“一定時(shí)間內(nèi)”是指系統(tǒng)的結(jié)果必須在給定時(shí)間內(nèi)返回，如果超時(shí)則被認(rèn)為不可用，“返回結(jié)果”同樣非常重要，必須能提供成功或失敗的信息。

分區(qū)容錯(cuò)性（Partition Tolerance）：分區(qū)容錯(cuò)性可以理解為系統(tǒng)在存在網(wǎng)絡(luò)分區(qū)的情況下仍然可以接受請(qǐng)求。

CAP是在分布式環(huán)境中設(shè)計(jì)和部署系統(tǒng)時(shí)所要考慮的三個(gè)重要的系統(tǒng)需求。根據(jù)CAP理論，數(shù)據(jù)共享系統(tǒng)只能滿足這三個(gè)特性中的兩個(gè)，不能同時(shí)滿足三個(gè)條件。因此系統(tǒng)設(shè)計(jì)者必須在這三個(gè)特性之間做出權(quán)衡。例如Amazon的Dynamo具有高可用性和分區(qū)容錯(cuò)性但不支持強(qiáng)一致性，也就是說(shuō)用戶不能立即看到其他用戶更新的內(nèi)容。

（2）BASE思想

BASE（Basically Availble），基本可用，強(qiáng)調(diào)數(shù)據(jù)庫(kù)的最終一致（Eventually consistent最終一致，最終數(shù)據(jù)一致就可以，而不是時(shí)時(shí)高一致），不同于傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)基于的ACID模型。

ACID特性與高性能是不兼容的。比如，在網(wǎng)店買東西，每個(gè)客戶買東西時(shí)都會(huì)通過(guò)鎖來(lái)同步數(shù)據(jù)操作，操作完成每個(gè)客戶都可以看到一致的數(shù)據(jù)。也就是說(shuō)，不允許多個(gè)客戶同時(shí)買的情況。很明顯對(duì)于大多數(shù)網(wǎng)上商城，尤其是大型網(wǎng)商來(lái)說(shuō)，這個(gè)方法并不適用。

BASE思想實(shí)際上是CAP理論中AP的衍伸。通過(guò)犧牲高一致性，保障高可用性和分區(qū)容忍性。BASE思想的組成有以下3個(gè)部分：基本可用、軟狀態(tài)、最終一致性。BASE模式指的是一個(gè)應(yīng)用在任意時(shí)間首先應(yīng)該能完成最基本化的工作（即基本可用），并不需要總是一致（即軟狀態(tài)），但最終應(yīng)該是一致（即最終一致性）的。

（3）最終一致性

數(shù)據(jù)一致性可分別從使用者和提供者角度看：從使用者的角度，如何觀察數(shù)據(jù)更新;從提供者的角度，也就是服務(wù)器端，更新如何在系統(tǒng)中實(shí)現(xiàn)。

一致性可分為強(qiáng)一致性和弱一致性兩種：強(qiáng)一致性要求更新過(guò)的數(shù)據(jù)能被后續(xù)的訪問(wèn)都看到，根據(jù)CAP理論，強(qiáng)一致性無(wú)法和可用性、分區(qū)容忍性同時(shí)實(shí)現(xiàn);弱一致性，指讀取操作能夠見到變化的數(shù)據(jù)，但不是所有變化的數(shù)據(jù)。

最終一致性屬于弱一致性的一種，即存儲(chǔ)系統(tǒng)保障如果沒有新的更新提交，最終所有的訪問(wèn)都將獲得的更新。如果沒有故障發(fā)生，不一致性取決于通信時(shí)延、系統(tǒng)負(fù)載以及復(fù)制策略中涉及的副本數(shù)。

2.NOSQL數(shù)據(jù)庫(kù)產(chǎn)品

NOSQL（Not Only SQL）數(shù)據(jù)庫(kù)是指那些非關(guān)系型的數(shù)據(jù)庫(kù)。NOSQL數(shù)據(jù)庫(kù)分為Key-Value、Key-Document和Key-Column這3類。典型的NOSQL產(chǎn)品有Google的BigTable、基于Hadoop HDFS的HBase、Amazon的Dynamo、CouchDB、MongoDB、Redis等。

NOSQL數(shù)據(jù)庫(kù)遵循CAP理論和BASE原則，大部分Key-Value數(shù)據(jù)庫(kù)系統(tǒng)都會(huì)根據(jù)自己的設(shè)計(jì)目的進(jìn)行相應(yīng)的選擇，如Cassandra、Dynamo滿足AP，BigTable、MongoDB滿足CP。

四、結(jié)束語(yǔ)

本文首先介紹了大數(shù)據(jù)概念，分析了關(guān)系數(shù)據(jù)庫(kù)在存儲(chǔ)大數(shù)據(jù)量方面的不足，并介紹了當(dāng)前NOSQL數(shù)據(jù)庫(kù)的基本理論和當(dāng)前產(chǎn)品分類。大數(shù)據(jù)時(shí)代的來(lái)臨，我們忙于如何存儲(chǔ)和處理這些數(shù)據(jù)，但隨著計(jì)算機(jī)互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等網(wǎng)絡(luò)的快速發(fā)展，數(shù)據(jù)量會(huì)持續(xù)大幅增長(zhǎng)，如何長(zhǎng)期保存這些數(shù)據(jù)以及如何處理更大級(jí)別的數(shù)據(jù)量，都需要我們思考并解決。