引論：我們?yōu)槟砹?篇數(shù)據(jù)管理論文:范文，供您借鑒以豐富您的創(chuàng)作。它們是您寫作時的寶貴資源，期望它們能夠激發(fā)您的創(chuàng)作靈感，讓您的文章更具深度。

數(shù)據(jù)管理論文:海洋遙感數(shù)據(jù)管理論文

1多傳感器遙感影像數(shù)據(jù)建模

1.1建模原理

為實現(xiàn)多源異構(gòu)遙感影像數(shù)據(jù)的統(tǒng)一管理，需要建立統(tǒng)一的數(shù)據(jù)模型。在邏輯結(jié)構(gòu)上將遙感影像數(shù)據(jù)劃分為描述性元數(shù)據(jù)信息和數(shù)據(jù)實體，在業(yè)務(wù)流程上將數(shù)據(jù)建模分為元數(shù)據(jù)建模和數(shù)據(jù)建模。

1.2元數(shù)據(jù)建模

遙感影像通常格式特定、數(shù)據(jù)量大，而元數(shù)據(jù)是對影像獲取信息、質(zhì)量信息、空間特征等的概括抽取，通常為文本格式、數(shù)據(jù)量小，具有信息豐富、讀取方便等優(yōu)點[11-12]。本文根據(jù)元數(shù)據(jù)描述對象的特點和數(shù)據(jù)管理要求，構(gòu)建了海洋遙感影像元數(shù)據(jù)的統(tǒng)一模型，如圖1所示。其中，數(shù)據(jù)要素級信息由元數(shù)據(jù)解析讀取獲得；數(shù)據(jù)集級信息可批量手工錄入，便于按照專項、區(qū)塊、調(diào)查單位及時間等對各專項數(shù)據(jù)進行管理；數(shù)據(jù)庫級信息在數(shù)據(jù)入庫時由系統(tǒng)自動掃描數(shù)據(jù)的存儲路徑、大小、狀態(tài)、權(quán)限等生成。

1.3數(shù)據(jù)建模

本文基于面向?qū)ο蟮乃悸贩椒ǎ瑢⒍嘣串悩?gòu)的海洋遙感數(shù)據(jù)抽象表達為數(shù)據(jù)實體、元數(shù)據(jù)、空間特征和快視圖等基本組成部分及其對應(yīng)關(guān)系。建立數(shù)據(jù)模型由E-R圖表示，如圖2所示。由于目前存檔的海洋遙感影像數(shù)據(jù)包含多種星源影像、航空影像和4D產(chǎn)品，且同源數(shù)據(jù)還包含不同級別、類型產(chǎn)品，因此，需要對每種產(chǎn)品類型數(shù)據(jù)分別構(gòu)建數(shù)據(jù)模型，完成主數(shù)據(jù)標(biāo)識確定、影像ID命名規(guī)則、數(shù)據(jù)對象和元數(shù)據(jù)識別規(guī)則等定義，流程如圖3所示。影像數(shù)據(jù)建模支持面向多種數(shù)據(jù)源的各種影像目錄模型的定義，具備對影像數(shù)據(jù)存儲方式、數(shù)據(jù)格式、坐標(biāo)系統(tǒng)等參數(shù)的設(shè)置。

2多傳感器影像數(shù)據(jù)模型實體自動提取與匹配

2.1技術(shù)路線

為將構(gòu)建的數(shù)據(jù)模型應(yīng)用于實踐，本文提出多傳感器影像數(shù)據(jù)模型實體的自動提取與匹配技術(shù)，解決了如下幾個關(guān)鍵問題：①多源異構(gòu)影像元數(shù)據(jù)自動識別與解析；②空間特征、快視圖及影像覆蓋范圍矢量自動提取與生成；③數(shù)據(jù)ID命名規(guī)則制定及數(shù)據(jù)模型實體間自動匹配。技術(shù)路線如圖4所示。

2.2元數(shù)據(jù)自動提取與輸出

根據(jù)構(gòu)建的數(shù)據(jù)模型，本文建立了一套自動提取與輸出元數(shù)據(jù)信息表的技術(shù)流程，核心是從多源異構(gòu)的元數(shù)據(jù)中提取出與元數(shù)據(jù)模型對應(yīng)的字段信息，消除數(shù)據(jù)沖突，并利用元數(shù)據(jù)中關(guān)于空間特征的描述自動生成影像數(shù)據(jù)矢量覆蓋范圍。具體如下：1）元數(shù)據(jù)文件識別：依據(jù)建立的數(shù)據(jù)模型，對每類影像產(chǎn)品定義元數(shù)據(jù)文件格式。如ALOS影像產(chǎn)品定義“HDR-*.txt”為元數(shù)據(jù)格式。2）元數(shù)據(jù)格式解析及數(shù)據(jù)沖突消除：建立元數(shù)據(jù)提取配置文件，將多源元數(shù)據(jù)文件中的字段名稱對應(yīng)至提取配置模板中，消除元數(shù)據(jù)命名沖突和語義沖突。命名沖突指相同字段（如影像左上角緯度）在不同元數(shù)據(jù)中有不同名稱（如ImageSceneLeftTopLatitude、SCENE_UL_CORNER_LAT等）或同一字段（如ProductType）在不同元數(shù)據(jù)中表示不同意思（產(chǎn)品類型或產(chǎn)品處理級別）。語義沖突指不同元數(shù)據(jù)對同一字段在描述方式、內(nèi)容上的不同造成的語義不一致性，如投影帶號在不同元數(shù)據(jù)中表示為ZoneNumber和ZoneNo.兩種形式。本文數(shù)據(jù)沖突消除方法的實質(zhì)是通過元數(shù)據(jù)配置文件將多源元數(shù)據(jù)字段名稱映射到元數(shù)據(jù)模型的全局名稱，通過提取配置模板和輸出模板兩步實現(xiàn)。3）元數(shù)據(jù)信息提取：將元數(shù)據(jù)文件內(nèi)容全部讀入內(nèi)存，用程序分步定位的方法提取元數(shù)據(jù)字段信息。以ALOS影像元數(shù)據(jù)“UTMZone="51N"……”為例，提取投影帶號信息需先定位至“UTMZone”字段，查找“=”后、符號“"”之間的字符串，即為帶號“51N”。又如，XML格式的RAPIDEYE元數(shù)據(jù)文件中，提取成像時間需定位至以“<eop:acquisitionDate>”開始、“</eop:acquisitionDate>”結(jié)束中間的字符串，即為成像時間。元數(shù)據(jù)信息提取將原始元數(shù)據(jù)字段對應(yīng)至提取配置模板字段，生成中間元數(shù)據(jù)文件。4）元數(shù)據(jù)信息輸出：定義元數(shù)據(jù)輸出配置模板，將中間元數(shù)據(jù)文件字段對應(yīng)至元數(shù)據(jù)模型中的字段。輸出配置模板按衛(wèi)星影像、航空影像、4D產(chǎn)品和動力衛(wèi)星數(shù)據(jù)等設(shè)置四類。輸出時還可對模板字段進行批量統(tǒng)一賦值。5）矢量范圍輸出：由元數(shù)據(jù)提取影像四角坐標(biāo)值，調(diào)用ArcGIS腳本語言函數(shù)CreateFeaturesFromTextFile_samples()，將四角坐標(biāo)文本文件、分隔符、輸出矢量文件和空間參考基準(zhǔn)作為輸入?yún)?shù)，生成帶有空間參考信息的ShapeFile格式的影像范圍矢量。

2.3基于GDAL的快視圖自動提取

以往快視圖作用僅定位于數(shù)據(jù)瀏覽不同，本文提出的數(shù)據(jù)模型要求將快視圖匹配至影像空間特征，并錄入關(guān)系型數(shù)據(jù)庫實現(xiàn)集成管理。然而，影像產(chǎn)品數(shù)據(jù)集中提供的快視圖通常不包含空間坐標(biāo)信息，因歷史原因各單位匯交數(shù)據(jù)中快視圖或已丟失或因重命名已不滿足數(shù)據(jù)模型識別要求，加之航空影像、4D產(chǎn)品通常不具備快視圖，快視圖自動提取面臨較多問題。因此，針對多源異構(gòu)影像，本文基于GDAL（GeospatialDataAbstractionLibrary）對快視圖自動提取并匹配至空間特征，流程如圖5所示。GDAL是X/MIT許可協(xié)議下的開源地理柵格空間數(shù)據(jù)轉(zhuǎn)換庫，支持幾乎所有常見的遙感圖像文件格式的讀取、格式轉(zhuǎn)換和重采樣等基本操作。本文選用開放源代碼的GDAL庫作為多源影像的訪問引擎，為影像的訪問和基本處理提供統(tǒng)一接口。提取后的快視圖具有了和影像文件一致的空間坐標(biāo)和數(shù)學(xué)基準(zhǔn)。

2.4數(shù)據(jù)模型實體自動匹配

本文在分析各類影像產(chǎn)品數(shù)據(jù)建模的基礎(chǔ)上，提出基于規(guī)則的影像ID命名方法，通過指定影像惟一ID實現(xiàn)影像數(shù)據(jù)文件、快視圖、元數(shù)據(jù)和矢量范圍的自動匹配。具體如下：1）針對特定影像類型，根據(jù)數(shù)據(jù)模型定位至元數(shù)據(jù)文件，確定元數(shù)據(jù)存放目錄，將元數(shù)據(jù)上級文件夾記為ParentDirectory(1)。定位至元數(shù)據(jù)的好處在于：與元數(shù)據(jù)信息提取的過程相一致避免重復(fù)搜索；部分影像數(shù)據(jù)分波段存放（如中巴、TM等）或分塊存放（如WorldView），定位至影像文件很難形成與影像數(shù)據(jù)包一對一的關(guān)系。元數(shù)據(jù)文件通常與影像文件在同一目錄、名稱一致，并且元數(shù)據(jù)中通常有影像文件名信息。2）制定影像ID命名規(guī)則，標(biāo)識惟一影像數(shù)據(jù)包。通常情況下，元數(shù)據(jù)文件名能夠標(biāo)識惟一影像數(shù)據(jù)包時，采用元數(shù)據(jù)文件夾名命名；若不行，則需要考慮數(shù)據(jù)文件名、或上級（ParentDirectory（1））至上幾級文件夾名（ParentDirectory（N））的組合形式來命名影像ID。部分示例如表1所示。特征的相互匹配，為數(shù)據(jù)建庫和入庫管理奠定基礎(chǔ)。

3多傳感器海洋遙感影像集成與管理

根據(jù)數(shù)據(jù)模型和集成管理的要求，本文研發(fā)設(shè)計了多傳感器影像自動加工工具（以下簡稱“工具”）和海洋遙感影像管理信息系統(tǒng)（以下簡稱“系統(tǒng)”）。考慮到數(shù)據(jù)安全和保密需要，工具設(shè)計為單機版，系統(tǒng)采用C/S架構(gòu)。系統(tǒng)采用.NetFrameWork框架搭建平臺，利用ArcGISEngine組件做專業(yè)性功能開發(fā)；服務(wù)器端部署Oracle11g數(shù)據(jù)庫和ArcSDE空間數(shù)據(jù)引擎，服務(wù)器端與客戶端通過內(nèi)網(wǎng)連接。工具研發(fā)基于多傳感器遙感影像數(shù)據(jù)模型實體自動提取匹配技術(shù)，對不同影像元數(shù)據(jù)操作提供統(tǒng)一的配置交互界面（見圖6）。工具支持用戶根據(jù)影像類型和建模要求配置元數(shù)據(jù)提取和輸出模板，提供預(yù)定義的影像ID命名規(guī)則。模板與規(guī)則均以XML格式保存，支持用戶自定義修改，擴展性強。工具能夠從元數(shù)據(jù)和影像數(shù)據(jù)文件中批量生成元數(shù)據(jù)信息表、快視圖和空間特征一一對應(yīng)的標(biāo)準(zhǔn)數(shù)據(jù)集，并通過影像ID與原始數(shù)據(jù)包自動匹配，與后端管理系統(tǒng)有效銜接。依據(jù)本文構(gòu)建的多源異構(gòu)影像數(shù)據(jù)模型，系統(tǒng)按照“元數(shù)據(jù)表+快視圖+空間特征數(shù)據(jù)文件”的方式，將數(shù)據(jù)存儲路徑記錄在二進制變長字段內(nèi)，并將影像對應(yīng)的元數(shù)據(jù)信息表、空間特征和快視圖信息存放于關(guān)系型數(shù)據(jù)庫表中，從而實現(xiàn)了海量數(shù)據(jù)的無縫管理。系統(tǒng)提供數(shù)據(jù)空間范圍、快視圖、數(shù)據(jù)包詳情的查詢?yōu)g覽、分析統(tǒng)計等功能，并支持用戶通過選擇元數(shù)據(jù)記錄、下載相應(yīng)的遙感影像數(shù)據(jù)實體。如圖7所示。數(shù)據(jù)建模是整個系統(tǒng)的核心內(nèi)容。系統(tǒng)將入庫配置環(huán)節(jié)設(shè)計為功能模塊，按照“元數(shù)據(jù)項管理—資料建模—數(shù)據(jù)建模—編目管理”的步驟，向?qū)街敢脩敉瓿蓴?shù)據(jù)建模和存儲規(guī)劃。其中，元數(shù)據(jù)項管理完成元數(shù)據(jù)項的定義；資料建模為元數(shù)據(jù)模型的定義；數(shù)據(jù)建模為每類資料構(gòu)建數(shù)據(jù)模型；編目管理為數(shù)據(jù)入庫設(shè)計相應(yīng)的數(shù)據(jù)節(jié)點。系統(tǒng)入庫需用戶提供影像數(shù)據(jù)實體文件存儲路徑，以及影像加工工具生成的標(biāo)準(zhǔn)元數(shù)據(jù)表、快視圖和矢量文件。入庫過程中，系統(tǒng)首先根據(jù)數(shù)據(jù)模型校驗是否能在指定路徑下正確識別遙感影像原始數(shù)據(jù)包。校驗完成后，系統(tǒng)根據(jù)主標(biāo)識字段（即影像ID），自動匹配影像數(shù)據(jù)包、元數(shù)據(jù)表、快視圖和矢量范圍，并根據(jù)元數(shù)據(jù)模型判定輸入元數(shù)據(jù)表信息是否正確、齊全。在所有判定條件都滿足后，系統(tǒng)掃描并存儲每條數(shù)據(jù)文件的存儲路徑，并將元數(shù)據(jù)表、快視圖和矢量范圍入庫。系統(tǒng)支持用戶瀏覽查詢、編輯修改和數(shù)據(jù)下載等操作。用戶可按數(shù)據(jù)節(jié)點、數(shù)據(jù)查詢結(jié)果等方式瀏覽影像快視圖、矢量覆蓋范圍和元數(shù)據(jù)表，并可對元數(shù)據(jù)表編輯修改。數(shù)據(jù)查詢支持?jǐn)?shù)據(jù)節(jié)點下自定義幾何形狀（線或多邊形）、跨數(shù)據(jù)節(jié)點綜合模糊查詢兩種查詢方案。數(shù)據(jù)下載通過元數(shù)據(jù)表、快視圖或矢量范圍等與數(shù)據(jù)文件的自動匹配，在記錄存儲路徑下定位相應(yīng)數(shù)據(jù)文件并提供下載服務(wù)。

4結(jié)束語

本文基于面向?qū)ο蟮乃枷耄瑢⒍嘣串悩?gòu)的海洋遙感數(shù)據(jù)抽象表達為數(shù)據(jù)實體、元數(shù)據(jù)、空間特征和快視圖等基本組成部分及其對應(yīng)關(guān)系，構(gòu)建統(tǒng)一的數(shù)據(jù)模型。從數(shù)據(jù)要素級、數(shù)據(jù)集級和數(shù)據(jù)庫集，建立了統(tǒng)一的海洋遙感影像元數(shù)據(jù)模型；從數(shù)據(jù)主標(biāo)志判定、影像ID命名規(guī)則、快視圖判定等方面完成了各類遙感影像產(chǎn)品的數(shù)據(jù)模型構(gòu)建。采用“元數(shù)據(jù)+快視圖+空間特征數(shù)據(jù)文件”的管理方式，實現(xiàn)了海量數(shù)據(jù)的無縫管理。依據(jù)構(gòu)建的數(shù)據(jù)模型，本文提出多傳感器影像數(shù)據(jù)模型實體自動提取與匹配技術(shù)，實現(xiàn)了數(shù)據(jù)實體與元數(shù)據(jù)信息、空間特征和快視圖的自動提取與匹配，構(gòu)成了多傳感器遙感數(shù)據(jù)實體與元數(shù)據(jù)一體化集成管理模式的基礎(chǔ)，并在我國現(xiàn)有海洋遙感影像數(shù)據(jù)管理系統(tǒng)中得到了成功應(yīng)用，從根本上實現(xiàn)了海量多源遙感影像數(shù)據(jù)的統(tǒng)一集成和靈活管理，提升了現(xiàn)有海洋遙感數(shù)據(jù)的信息化管理服務(wù)能力。

作者：王祎婷 邢喆 李四海 李艷雯 焦紅波 單位：北京師范大學(xué) 地理學(xué)與遙感科學(xué)學(xué)院 國家海洋信息中心

數(shù)據(jù)管理論文:油氣井生產(chǎn)數(shù)據(jù)管理論文

油氣井生產(chǎn)數(shù)據(jù)管理軟件的總體設(shè)計思路是利用DTU配套的ActiveX控件實現(xiàn)了GPRS透明傳輸；當(dāng)DTU數(shù)據(jù)上傳到數(shù)據(jù)管理中心時，觸發(fā)數(shù)據(jù)采集、解碼、存儲等一系列動作，并利用DundasChart控件繪制實時數(shù)據(jù)曲線。另外，軟件根據(jù)用戶界面操作，觸發(fā)數(shù)據(jù)查詢、歷史曲線繪制、報表導(dǎo)出、參數(shù)設(shè)置等功能。

1功能模塊設(shè)計

油氣井生產(chǎn)數(shù)據(jù)管理軟件有三個功能模塊：數(shù)據(jù)采集與存儲、數(shù)據(jù)查詢與導(dǎo)出、系統(tǒng)設(shè)置。數(shù)據(jù)采集與存儲：通過ActiveX控件獲取進口DTU上傳的數(shù)據(jù)，然后根據(jù)系統(tǒng)設(shè)置中的數(shù)據(jù)結(jié)構(gòu)對數(shù)據(jù)進行解碼和校驗。將數(shù)據(jù)存儲于數(shù)據(jù)庫對應(yīng)表中，并同時將數(shù)據(jù)寫入Dun-dasChart控件，重新繪制對應(yīng)井的曲線。數(shù)據(jù)查詢與導(dǎo)出：通過井號、起始時間、結(jié)束時間等關(guān)鍵字段，進行組合查詢，查詢的結(jié)果以報表和曲線形式呈現(xiàn)，可以對數(shù)據(jù)進行增加、刪除、編輯等操作，也可以導(dǎo)出到EXCEL報表中，方便用戶進一步使用或分析數(shù)據(jù)。系統(tǒng)設(shè)置：為其它模塊正常運行提供基礎(chǔ)參數(shù)，包括生產(chǎn)數(shù)據(jù)管理軟件使用的網(wǎng)絡(luò)IP、偵聽端口號、DTU注冊ID、DTU通訊密碼、DTU對應(yīng)的井號、實時監(jiān)控的范圍、告警閥值、數(shù)據(jù)結(jié)構(gòu)（數(shù)據(jù)解碼與校驗）、數(shù)據(jù)庫備份與還原、用戶名和密碼以及擁有的權(quán)限。

2數(shù)據(jù)庫設(shè)計

數(shù)據(jù)庫設(shè)計遵循第三范式的規(guī)則，數(shù)據(jù)表中的每一列數(shù)據(jù)都和主鍵直接相關(guān)，使得數(shù)據(jù)冗余度較低，數(shù)據(jù)庫結(jié)構(gòu)合理。數(shù)據(jù)庫包括五張數(shù)據(jù)表：生產(chǎn)數(shù)據(jù)、DTU參數(shù)、生產(chǎn)井信息、用戶信息、本系統(tǒng)參數(shù)。生產(chǎn)數(shù)據(jù)表的主要字段為：DTU注冊ID、壓力、溫度、流量、液面高度、時間等。DTU參數(shù)表的主要字段為：DTU注冊ID、電話號碼、網(wǎng)絡(luò)協(xié)議、網(wǎng)絡(luò)IP、端口號、登錄時間、更新時間、工作狀態(tài)等。生產(chǎn)井信息的主要字段為：井號、DTU注冊ID、生產(chǎn)單位、開井時間、備注等。用戶信息表的主要字段為：用戶名、密碼、所屬部門、角色、權(quán)限等。

3曲線設(shè)計（顯示沒一點的值）

采用DundasChart控件為生產(chǎn)數(shù)據(jù)管理軟件提供先進的數(shù)據(jù)可視化功能。利用DundasChart控件創(chuàng)建實時曲線和歷史曲線，兩種曲線在元素布局上保持一致，方便使用者快速獲取和理解曲線中所蘊含的信息，但在樣式設(shè)計上采用不同風(fēng)格，以便使用者快速區(qū)分實時曲線和歷史曲線。另外，實時曲線是不斷向左滑動的，當(dāng)有新的數(shù)據(jù)時，首先刪除最早的數(shù)據(jù)，然后添加新的數(shù)據(jù)點，始終保持最近五個數(shù)據(jù)點的曲線。歷史曲線根據(jù)查詢結(jié)果繪制曲線，同時顯示所有符合查詢條件的點。當(dāng)使用者更換查詢條件或修改數(shù)據(jù)時，歷史曲線會重新繪制。生產(chǎn)數(shù)據(jù)管理軟件最多同時顯示六口井的實時曲線，同時監(jiān)控所有井的狀態(tài)；當(dāng)生產(chǎn)數(shù)據(jù)超過告警閥值，軟件會彈出警告提示；如果當(dāng)前顯示的實時曲線不包括該異常井，軟件會用異常井的實時曲線替換當(dāng)前顯示的一口井的實時曲線。另外，實時曲線和歷史曲線可以放大和縮小，隱藏或顯示告警閥值線，隱藏或顯示指定井的曲線。

4軟件實現(xiàn)

生產(chǎn)數(shù)據(jù)管理軟件在.NET平臺上，使用C#技術(shù)在Micro-softVisualStudio2008環(huán)境下進行開發(fā)，后臺使用SQLServer2005數(shù)據(jù)庫，GPRS通訊使用OCX(ObjectLinkingandEmbe-ddingControleXtension)控件，繪制曲線采用圖表控件。

作者：胡軍 單位：中國石化江漢油田分公司石油工程技術(shù)研究院

數(shù)據(jù)管理論文:醫(yī)療秘密共享技術(shù)數(shù)據(jù)管理論文

一、秘密共享技術(shù)

使用秘密共享技術(shù)可利用多個數(shù)據(jù)中心形成低成本的醫(yī)療數(shù)據(jù)云，實現(xiàn)云計算時代的數(shù)據(jù)管理要求，即不需要自己保管關(guān)鍵數(shù)據(jù)，有安全的地方保存關(guān)鍵數(shù)據(jù)，任何地點、任何時間可使用數(shù)據(jù)，僅合法用戶可訪問數(shù)據(jù)，降低初始投資和運營成本，確保業(yè)務(wù)的持續(xù)性。秘密共享也是一種加密技術(shù)。以Shamir［1］的（k，n）門限秘密共享方案為例，其原理是將秘密消息加密并分割成n個分享份額后分布存儲到不同的遠程數(shù)據(jù)中心，多個數(shù)據(jù)中心構(gòu)成低成本的醫(yī)療數(shù)據(jù)云。每個數(shù)據(jù)中心存放的單個分享份額看起來毫無意義，傳輸和存儲不再需要額外的機密性保護，秘密只能從不同數(shù)據(jù)中心收集滿任意k個組成的授權(quán)子集中得以恢復(fù)，而對于不足k個分享份額的非授權(quán)子集，即使擁有無限計算能力和無限大的存儲器也無法恢復(fù)秘密，因為秘密共享技術(shù)的安全性不像傳統(tǒng)加密技術(shù)那樣基于復(fù)雜的計算，而是基于信息理論，所以可保障秘密的長期安全性，目前主要用于安全要求較高的密鑰管理方面。此外，n個分享份額具有冗余性，即使任意（n－k）個分享份額遭到損壞或因網(wǎng)絡(luò)故障不能獲取，也能從其余的k個分享份額中恢復(fù)出秘密，這可保障業(yè)務(wù)的持續(xù)性。秘密共享方案可以是的，也可以是不的。（k，n）門限方案具有的安全性，即少于門限值k個的分享份額得不到原始消息的任何信息，方案的缺點是每個分享份額的長度≥原始消息的長度，即所有分享份額的總?cè)萘俊菰枷⒌膎倍，如果用于數(shù)據(jù)量很少的密鑰共享是沒有問題，目前實際應(yīng)用的幾乎都是秘密共享方案，但對于數(shù)據(jù)量較大的醫(yī)療數(shù)據(jù)管理來說，效率和安全一樣重要。

二、提高秘密共享技術(shù)的效率

要提高秘密共享技術(shù)的效率首先可從算法入手，目前典型的秘密共享算法是Shamir［1］的多項式插值法，這種算法的優(yōu)點是不管（k，n）門限方案中k和n取什么值，都能用通用的公式實現(xiàn)加密和解密。有作者提出了（k，n）門限方案的異或運算方法［2－4］，異或運算的效率要比多項式插值法高很多，這種方法沒有通用的加密或解密公式，不同的k和n取值，需設(shè)計不同的加密和解密方法，這使得加密和解密方法也成了秘密的一部分，雖然通用性不高，但安全性更高。Yamamoto［5］提出的（k，L，n）秘密共享方案可大幅減少計算量和傳輸量，該方案被設(shè)計成1個原始消息s可從n個分享份額中的任意k個分享份額獲得重構(gòu)，從任何（k－L）個或更少的分享份額中得不到原始消息的任何信息，但可能會從（K－j）（其中，j＝1，2，…，L－1）個分享份額組成的跳板（Ramp）集合中獲得一點兒有關(guān)原始消息的信息，由于該方案可能會犧牲一點安全性，所以被稱為不的秘密共享。但根據(jù)對已有（k，L，n）方案的具體算法的研究發(fā)現(xiàn)，Ramp集合的不安全性是可以避免和消除的。此方案的優(yōu)點是：每個分享份額的位長是原始消息長度的1／L，所有分享份額的總?cè)萘拷禐樵枷⒌膎／L，這將使計算量和傳輸量比（k，n）方案降低大約L倍。（k，L，n）方案的概念自提出以來，根據(jù)廣泛的國內(nèi)外文獻檢索結(jié)果顯示，目前國際上實際的應(yīng)用案例還非常少，迄今還沒發(fā)現(xiàn)任何醫(yī)院使用這項技術(shù)進行數(shù)據(jù)安全管理。

三、秘密共享服務(wù)軟件

我們開發(fā)了秘密共享服務(wù)測試軟件，使用了異或運算的（3，2，4）Ramp秘密共享技術(shù)，發(fā)現(xiàn)該技術(shù)可勝任大容量醫(yī)療數(shù)據(jù)的分布式存儲。該秘密共享服務(wù)軟件可為用戶提供遠程備份、遠程訪問、共享與交換等醫(yī)療數(shù)據(jù)的安全管理功能。用戶通過常規(guī)方式在指定文件夾中存儲1個文件，該文件就會被自動加密并分割成4個子文件，子文件又被分布存儲到4個數(shù)據(jù)中心，每個數(shù)據(jù)中心存放的單個子文件毫無意義。用戶隨時隨地再次登錄并打開文件時，秘密共享服務(wù)軟件又自動從不同的遠程數(shù)據(jù)中心收集任意3個子文件，恢復(fù)出原始文件，同時相關(guān)聯(lián)的應(yīng)用程序會自動開啟，文件又可被編輯和瀏覽。任何一個子文件遭破壞或因網(wǎng)絡(luò)故障無法獲取，也不會影響文件的恢復(fù)。將秘密共享服務(wù)軟件用于醫(yī)療數(shù)據(jù)的遠程備份可兼顧安全性和冗余性，從而保障業(yè)務(wù)的持續(xù)性；用于遠程訪問可使遠程工作者無需隨身攜帶數(shù)據(jù)，隨時隨地通過賬號遠程登錄秘密共享服務(wù)文件夾抽取數(shù)據(jù)；通過多用戶共享1個秘密共享文件夾可為多用戶或多機構(gòu)的醫(yī)療數(shù)據(jù)交換與共享提供多一種選擇。

四、秘密共享方案的優(yōu)勢

1．兼顧安全性和可用性　由于存儲的數(shù)據(jù)已被加密成非敏感數(shù)據(jù)，傳輸和存儲不需要額外的機密性保護；分割出來的子文件被分布存儲到幾個不同的地點，可應(yīng)對大范圍災(zāi)難的發(fā)生；子文件具有（n－k）個冗余備份，即使（n－k）個子文件被偷竊或由于網(wǎng)絡(luò)故障等原因不能即時獲取，也不會影響原始文件的恢復(fù)；少于k個子文件則不能獲知有關(guān)原始文件的任何信息；用戶不需將敏感數(shù)據(jù)小心地攥在自己手里，合法用戶可隨時隨地遠程抽取所需要的數(shù)據(jù)，避免了隨身攜帶數(shù)據(jù)可能導(dǎo)致的數(shù)據(jù)丟失和泄露的風(fēng)險，如筆記本電腦被偷或閃存的丟失等。2．高效　加密和解密使用異或運算比傳統(tǒng)的多項式插值法快很多，同時，（k，L，n）Ramp方案又使得計算量和傳輸量比傳統(tǒng)秘密共享方案降低了約L倍。3．經(jīng)濟　使用秘密共享技術(shù)構(gòu)建的醫(yī)療數(shù)據(jù)云是低成本的存儲資源，子文件的傳輸和存儲不需要額外的隱私保護措施，降低了醫(yī)療機構(gòu)的初始投資和運營成本。

作者：龔慶悅 胡孔法 龔志千 申俊龍

數(shù)據(jù)管理論文:聯(lián)通用戶數(shù)據(jù)管理論文

1部門信息維護

（1）部門管理：按行政線展示，通過行政管理關(guān)系管理部門；按業(yè)務(wù)線展示，通過業(yè)務(wù)上級部門關(guān)系管理部門。系統(tǒng)缺省提供已有涉及渠道管理部門信息，數(shù)據(jù)來源M域系統(tǒng)、B-SDM系統(tǒng)、集中渠道系統(tǒng)。部門修改功能。支持按部門名稱或部門編碼模糊查詢。（2）部門行政關(guān)系查詢：系統(tǒng)缺省提供已有涉及渠道管理部門信息，數(shù)據(jù)來源總部管理數(shù)據(jù)庫。部門關(guān)系樹按行政管理部門建立，即可進行行政管理部門查詢功能。（3）業(yè)務(wù)部門管理：系統(tǒng)缺省提供已有涉及渠道管理部門信息，數(shù)據(jù)來源總部管理數(shù)據(jù)庫。部門新增、修改、刪除和查詢功能。（4）部門補充信息：將新增的部門添加行政管理部門。（5）部門補充業(yè)務(wù)線：將新增的部門補充業(yè)務(wù)線。（6）部門導(dǎo)出：對部門查詢出的內(nèi)容進行導(dǎo)出。

2人員信息維護

（1）自有人員信息管理：支持對部門的人員信息的選擇添加、修改和查詢功能。支持人員修改時對渠道名稱的修改。支持人員添加與管理渠道之間的維護。（2）自有人員導(dǎo)出：查詢出符合條件的聯(lián)通自有人員信息，并且將這些信息導(dǎo)出為EXCLE格式。（3）社會人員導(dǎo)出：查詢出符合條件的歸屬渠道社會人員信息，并且將這些信息導(dǎo)出為EXCLE格式。（4）社會人員帳號管理：支持對社會渠道中的人員信息、帳號信息的新增、修改、刪除（注銷）功能。支持批量導(dǎo)入注冊功能。支持區(qū)分人員是實體人員還是虛擬人員，對于標(biāo)記虛擬人員的員工禁止登入使用系統(tǒng)。支持對是否客戶經(jīng)理以及客戶經(jīng)理類型的區(qū)分。支持新增人員與管理渠道之間的維護。（5）虛擬人員維護：查詢出歸屬地域以下的所有存在人員賬號信息的自有人員信息。提供虛擬人員新增功能，虛擬人員新增必需要掛靠已有的自有人員帳號下。提供虛擬人員修改功能。提供虛擬人員注銷功能。提供虛擬人員詳細信息查看功能。

3數(shù)據(jù)變更提醒

變更提醒：在我的工作臺中人工處理M域發(fā)起的部門新增、修改、注銷操作。提供在我的工作臺中人工處理渠道發(fā)起的部門維護操作。提供在我的工作臺中人工處理B-SDM發(fā)起的部門維護操作。

4接口異常處理

記錄管理：查詢出操作員所在省份的記錄信息。通過【查詢明細】按鈕，可以查詢與記錄關(guān)聯(lián)的明細信息。通過【重新發(fā)送】按鈕，對發(fā)送失敗的明細信息重新發(fā)送。通過【人工處理完成】按鈕，將發(fā)送失敗的明細信息置為人工處理完成狀態(tài)。

5系統(tǒng)管理

系統(tǒng)管理員可以管理用戶分組，維護組的信息，通過增加新組添加一個新的用戶分類方式。系統(tǒng)有默認(rèn)的超級管理員，只能做設(shè)置系統(tǒng)管理員的操作。由系統(tǒng)管理員設(shè)置部門管理員，部門管理員具有對整個系統(tǒng)的部門、用戶管理權(quán)。部門管理員能設(shè)置轄內(nèi)下級部門的管理員。（1）權(quán)限管理：權(quán)限管理是按不同的工作范圍和角色管理系統(tǒng)操作者享有的資源及訪問的范圍，通過對一些要素的靈活控制實現(xiàn)權(quán)限管理，分為業(yè)務(wù)操作權(quán)限和數(shù)據(jù)權(quán)限。（2）日志管理：日志是系統(tǒng)運行過程中，在某一時刻對系統(tǒng)某一運行狀態(tài)的記錄。集中渠道管理的任一功能模塊，均應(yīng)將處理狀態(tài)、處理結(jié)果、進程執(zhí)行情況等信息記錄日志，供系統(tǒng)維護人員瀏覽查詢。

6結(jié)束語

本文對中國聯(lián)通統(tǒng)一用戶管理項目的建設(shè)和功能模塊做了詳細的介紹，通過總部的統(tǒng)一部署和管理，統(tǒng)一管理企業(yè)中各個系統(tǒng)的用戶的公共信息,解除各個系統(tǒng)中人員信息的冗余。實現(xiàn)了部門分級維護、人員按各種分類方式方便地管理和企業(yè)內(nèi)部各個系統(tǒng)的單點登錄。

作者：李瑩

數(shù)據(jù)管理論文:教學(xué)資源元數(shù)據(jù)與數(shù)據(jù)管理論文

一、教學(xué)資源庫建設(shè)規(guī)劃

教學(xué)資源主要是指教學(xué)過程中教師和學(xué)生使用的課程資源，可以理解為教學(xué)過程中的軟資源。教學(xué)資源的元數(shù)據(jù)可分為兩個層次：直接對教學(xué)資源進行描述的元數(shù)據(jù)，稱為教學(xué)資源信息ERI(EducationResourcesInformation)；對教學(xué)資源的組織目錄進行描述的元數(shù)據(jù)，稱為教學(xué)資源目錄信息ERII(EducationResourcesIndexInformation)。其中ERII根據(jù)資源規(guī)模可抽象為多個層次。元數(shù)據(jù)是指描述數(shù)據(jù)的數(shù)據(jù)，是指與業(yè)務(wù)技術(shù)過程及企業(yè)使用數(shù)據(jù)有關(guān)的所有物理數(shù)據(jù)以及包含知識的信息，是指來自企業(yè)內(nèi)外所有(軟件或其他介質(zhì)含有的)物理數(shù)據(jù)和(員工和各種媒介中含有的)知識，包括物理數(shù)據(jù)的格式、技術(shù)和業(yè)務(wù)過程、數(shù)據(jù)的規(guī)則和約束以及企業(yè)使用數(shù)據(jù)的結(jié)構(gòu)。教學(xué)資源中的元數(shù)據(jù)是指描述教學(xué)資源的類型、規(guī)格、屬性、聯(lián)系、約束等信息的數(shù)據(jù)。教學(xué)資源庫建設(shè)規(guī)劃如下。(1)提取教學(xué)資源知識單元，結(jié)合教學(xué)資源本身及其應(yīng)用的特點，確定元數(shù)據(jù)的基本數(shù)據(jù)結(jié)構(gòu)。知識單元是教學(xué)資源中可應(yīng)用于交流使用并能完整描述一個知識點的最小單元。目前在知識單元劃分上還沒有具體的規(guī)范標(biāo)準(zhǔn)。一般由課程專家和教學(xué)專家參照教育部課程建設(shè)規(guī)范中的要求對教學(xué)資源進行三級劃分，將劃分得到的第三級資源作為知識單元進行管理，并向上逐層擴展，得到相應(yīng)層次的粗粒度資源。(2)構(gòu)建教學(xué)資源目錄樹。目錄樹從根節(jié)點開始，包含一個對其所有數(shù)據(jù)的層次視圖，并提供基于樹形的搜索系統(tǒng)。教學(xué)資源目錄信息ERII根據(jù)資源規(guī)模可抽象為多個層次。按照目前的慣例和一般使用情況，將課程資源按內(nèi)容及其關(guān)系，劃分成大的章，章內(nèi)再劃分小節(jié)，小節(jié)中又可包含若干更細分的知識單元。這種結(jié)構(gòu)可以看作是教學(xué)資源目錄信息ERII的外在顯現(xiàn)，即教學(xué)資源目錄樹。(3)教學(xué)資源服務(wù)。在教學(xué)資源使用過程中，系統(tǒng)存在三種角色：資源提供者、資源管理者、資源消費者。資源消費者是指教師或?qū)W生，他們提出資源消費請求，包括對資源質(zhì)和量上的要求；資源管理者即資源中介，是系統(tǒng)管理中心，主要管理ERI或ERII，并根據(jù)資源消費者提出的請求進行必要的計算，反饋消費者信息，滿足其需求；資源提供者是教學(xué)資源存儲中心，主要負(fù)責(zé)資源的存儲，并按接收到的指令為消費者提供相關(guān)資源。按照信息流動的不同方式，分析他們之間的工作模式，相應(yīng)地設(shè)置層次結(jié)構(gòu)。將資源與其元數(shù)據(jù)適當(dāng)分隔存儲管理，在資源服務(wù)時采取資源信息處理和資源實體傳遞兩條線的方式，減輕資源的負(fù)擔(dān)，平衡網(wǎng)格環(huán)境的負(fù)載，有利于提高系統(tǒng)的整體性能。

二、關(guān)鍵技術(shù)

1.元數(shù)據(jù)結(jié)構(gòu)設(shè)計

本文擬采用的元數(shù)據(jù)基本結(jié)構(gòu)如右表所示。需要說明的是，該元數(shù)據(jù)結(jié)構(gòu)根據(jù)教育部課程教學(xué)及大綱規(guī)范要求，結(jié)合本學(xué)科方向課程及教學(xué)實踐，以及資源管理和軟件開發(fā)的需要，并綜合其他相關(guān)因素形成。

2.教學(xué)資源目錄樹構(gòu)建

目錄樹是指存儲有關(guān)網(wǎng)絡(luò)資源信息的特殊數(shù)據(jù)庫，把網(wǎng)絡(luò)環(huán)境中的各種資源都作為目錄信息，在目錄樹結(jié)構(gòu)中分層存儲、訪問、管理和使用。目錄樹將分布式系統(tǒng)中的用戶和資源，以及其他對象統(tǒng)一組織起來，提供一個單一邏輯視圖，允許用戶透明地訪問網(wǎng)絡(luò)上的資源。一個由目錄樹支持的網(wǎng)絡(luò)系統(tǒng)是一個集成、網(wǎng)絡(luò)化、統(tǒng)一的系統(tǒng)，而不是各個獨立功能部分的簡單聚合。目錄的內(nèi)容稱為對象類(ObjectClass)和項(Entry)。對象類描述什么信息可存儲在目錄中，而項把相關(guān)信息組合在一起，也可以理解為對象為抽象約束，項為信息內(nèi)容。ERI之上的ERII逐層抽象或封裝生成，下層的ERII是上次ERII的一個項，這是逐層遞歸或遞推的過程，因此它們采用一致的管理操作方式，軟件算法具有可復(fù)用性。元數(shù)據(jù)信息采用數(shù)據(jù)庫方式存儲，方便檢索管理，而資源本身仍以文件方式存儲于磁盤。為了管理的方便和統(tǒng)一，資源庫的物理存儲與資源管理的目錄樹結(jié)構(gòu)基本保持一致。通過目錄樹方式記錄存儲教學(xué)資源數(shù)據(jù)信息，與資源庫本身的層次結(jié)構(gòu)(樹型結(jié)構(gòu))相統(tǒng)一，同時也與Internet及各種管理中的層次結(jié)構(gòu)相一致，為教學(xué)資源管理提供方便，易于使用現(xiàn)有技術(shù)手段進行管理。

3.教學(xué)資源服務(wù)

在教學(xué)資源庫中，資源建設(shè)是基礎(chǔ)，資源管理是關(guān)鍵，要對資源進行深層次的應(yīng)用，就需要對資源進行規(guī)范化建設(shè)和管理。資源提供者對資源進行存儲、傳輸?shù)瓤刂乒芾恚Y源的搜索、協(xié)調(diào)傳輸?shù)热蝿?wù)主要由資源管理者完成。網(wǎng)格資源管理的目的是有效調(diào)度、管理、配置可利用資源，將實際上的異構(gòu)環(huán)境轉(zhuǎn)換成一個虛擬的同構(gòu)環(huán)境。基于網(wǎng)格的教學(xué)資源管理是網(wǎng)格資源管理的進一步延伸，需要完成資源尋址和定位，找到特定的教學(xué)資源。教學(xué)資源本身也屬于網(wǎng)格資源的一部分，教學(xué)資源節(jié)點與網(wǎng)格節(jié)點也是統(tǒng)一的。在基于網(wǎng)格的教學(xué)資源管理中，選擇基于的網(wǎng)格資源管理方法，滿足教學(xué)資源訪問中的結(jié)構(gòu)關(guān)系，能夠方便地搜索到資源及資源信息所在的服務(wù)器，與Internet和網(wǎng)格層次管理結(jié)構(gòu)一致，而且層次化的體系也有利于系統(tǒng)的維護和管理。系統(tǒng)在用戶和資源之間架起了一座橋梁。基于網(wǎng)格的教學(xué)資源體系，通過的方式將異構(gòu)、分布的大型教學(xué)資源庫中的資源進行提取共享。通常一個資源請求任務(wù)被派分給一組Agent，這些Agent根據(jù)被請求資源特征，在構(gòu)造層各計算節(jié)點間自主地移動，尋找資源信息，獲得資源服務(wù)，完成自身的任務(wù)，滿足用戶在廣域范圍內(nèi)對教學(xué)資源的個性化請求。結(jié)構(gòu)由三部分組成，如下圖所示。上面是用戶(消費者)，提供資源服務(wù)請求；下面是資源提供者，提供教學(xué)資源；中間是服務(wù)系統(tǒng)。消費者通過就近(或網(wǎng)格結(jié)點)提出資源服務(wù)請求，通過當(dāng)前獲得的資源信息ERI以及資源目錄信息ERII，進行分析計算，并根據(jù)結(jié)果將請求任務(wù)分發(fā)到相關(guān)的，進一步處理；根據(jù)獲得的教學(xué)資源分布信息，按照一定的模式交付給用戶。

三、結(jié)束語

綜上所述，采用元數(shù)據(jù)對教學(xué)資源進行管理，在一定程度上回避了本體學(xué)習(xí)和語義這兩個目前還不太成熟的處理技術(shù)，為教學(xué)資源深層次地開發(fā)應(yīng)用打下了基礎(chǔ)。采用層次結(jié)構(gòu)，延伸使用了網(wǎng)格技術(shù)的成功之處，有利于教學(xué)資源的擴展和分層控制管理。資源中介主要對資源的元數(shù)據(jù)信息進行管理，資源消費者通過與中介交涉獲取所需要資源的信息，然后根據(jù)獲取的元數(shù)據(jù)信息從資源提供者那里獲得所需的資源實體內(nèi)容。這樣將一個教學(xué)資源的獲取過程分為兩條線，從單一任務(wù)來看這增加了訪問成本和訪問時間，但對于網(wǎng)格環(huán)境的大量訪問來說，起到了任務(wù)分流和負(fù)載平衡的作用。

作者：許琦 馮羽靜 單位：臺州職業(yè)技術(shù)學(xué)院臺州中小企業(yè)信息化應(yīng)用技術(shù)研究所 臺州職業(yè)技術(shù)學(xué)院機電研究所 臺州職業(yè)技術(shù)學(xué)院臺州中小企業(yè)信息化應(yīng)用技術(shù)研究所

數(shù)據(jù)管理論文:天文數(shù)據(jù)設(shè)計數(shù)據(jù)管理論文

1數(shù)據(jù)庫入庫和管理工具AutoDB

隨著天文數(shù)據(jù)的日益增加，存儲和管理天文數(shù)據(jù)變得非常重要，尤其在天文數(shù)據(jù)的歸檔和管理方面，占有舉足輕重的地位。能夠很好地管理海量的天文數(shù)據(jù)就相當(dāng)于在后續(xù)的科學(xué)研究中成功了一大半。通過對天文數(shù)據(jù)管理方面知識的了解，經(jīng)過一系列的研究與開發(fā)，最終開發(fā)了一個高效的天文數(shù)據(jù)自動入庫管理工具AutoDB，旨在幫助天文學(xué)家提高工作效率，促進天文學(xué)研究的進展。

1.1AutoDB的設(shè)計思路與方法

在之前的裴彤等人的設(shè)計中，已經(jīng)實現(xiàn)了天文數(shù)據(jù)的自動入庫，該工具采用Python[11]語言編寫，并且能夠自動地添加pcode字段，建立HTM（HierarchicalTriangularMesh）[11]索引分區(qū)，便于以后的交叉認(rèn)證工作。HTM是一種多層次的、遞歸的球面分割方法，可將天球分成多級的三角網(wǎng)絡(luò)，每個網(wǎng)絡(luò)都有一個pocde，利用HTM可以將一個大星表從邏輯上分割為多個小星表[11]，HTM分級算法采用C語言編寫，充分地利用了C語言的高性能和Python語言的高開發(fā)效率。然而該程序僅支持底層數(shù)據(jù)庫為MySQL，且只支持CSV格式的文件，且文件中的數(shù)據(jù)不能為空，若為空則會拋出錯誤，在使用方面具有一定的局限性。其HTM分區(qū)是對ra和dec進行計算產(chǎn)生pcode值來實現(xiàn)天空分區(qū)，同時使用pcode_htmN數(shù)據(jù)列來存儲這些值，然后對其進行btree索引，方便后續(xù)的高效查詢。首先，其計算的算法必須跟隨著后續(xù)數(shù)據(jù)的復(fù)雜性進行優(yōu)化，其次，先計算在存儲勢必有I/0性能限制，使用btree一維索引間接性的對赤經(jīng)ra和赤緯dec索引，無法利用天文數(shù)據(jù)的空間性，且若想實現(xiàn)一定半徑內(nèi)的查詢需要非常復(fù)雜的SQL語句。為了解決這些問題，我們仔細地閱讀了裴彤等人的論文和程序代碼[12]，在深入分析其原理的基礎(chǔ)上，對自動入庫管理工具進行了更加的完善和改進：（I）底層數(shù)據(jù)庫同時支持MySQL和PostgreSQL；（II）針對PostgreSQL數(shù)據(jù)庫，使用一種新類型Q3C索引，其直接與數(shù)據(jù)庫進行交互，無其他I/0交互，直接對赤經(jīng)ra和赤緯dec進行空間索引，并且提供簡單的SQL語句來實現(xiàn)復(fù)雜的查詢；（III）數(shù)據(jù)格式同時支持FITS格式和CSV格式；（IV）數(shù)據(jù)優(yōu)化，若其中存在為空的數(shù)據(jù)項，數(shù)據(jù)項自動變?yōu)椤?999’或者’NULL’，則入庫時不會拋出錯誤。下面分別展開闡述。一、底層數(shù)據(jù)庫架構(gòu)工具的底層數(shù)據(jù)庫是基于MySQL和PostgreSQL兩種數(shù)據(jù)庫開發(fā)的。這兩種都是非常好的開源數(shù)據(jù)庫，對于選擇哪種數(shù)據(jù)庫更好取決于哪種數(shù)據(jù)庫更能滿足用戶的需求。之前采用的是MySQL數(shù)據(jù)庫，然而由于數(shù)據(jù)量的增加，數(shù)據(jù)表格越來越龐大，一個表格甚至達到了幾十億行，對于表本身的容量遠遠地超過了物理內(nèi)存的大小，甚至出現(xiàn)了連建索引也不能改善性能的情況，這樣查詢時間會將大大地延長，在此情況下非常有必要對數(shù)據(jù)進行分表管理，即將表拆分為一系列較小的、與之相關(guān)聯(lián)的表來進行替代，通過對子表的數(shù)據(jù)查詢，就相當(dāng)于對整個表進行了查詢操作。對基于MySQL數(shù)據(jù)庫分表來說，取決于數(shù)據(jù)引擎(InnoDB)，不支持哈希分區(qū)表，而PostgreSQL數(shù)據(jù)庫支持臨時表、常規(guī)表以及范圍和列表類型的分區(qū)表。而且PostgreSQL的表分區(qū)是通過表繼承和規(guī)則系統(tǒng)完成的，所以可以實現(xiàn)更復(fù)雜的分區(qū)方式。且在索引方面，PostgreSQL支持B-樹、哈希、R-樹和Gist索引，MySQL取決于數(shù)據(jù)引擎，大多數(shù)為B-Tree索引。由于天文數(shù)據(jù)具有空間屬性，位置坐標(biāo)為（赤經(jīng)ra，赤緯dec），其索引會是一個二維的。建立一個高效的索引非常重要，使用第三方擴展庫如Q3C索引即是采用的二維索引，又如使用PGSphere中的GIST索引，會使數(shù)據(jù)的查詢更加高效。所以在當(dāng)數(shù)據(jù)量非常大的時候，或者需要使用到第三方庫時，對于空間點索引時，采用Postgresql比采用MySQL要方便得多。但若數(shù)據(jù)量不是很大，對于億行級以下的數(shù)據(jù)量，不需要采用第三方庫去支持創(chuàng)建索引的數(shù)據(jù)，則是采用MySQL比較好。同時MySQL的性能方面要比PostgreSQL較為高效。面對種種數(shù)據(jù)管理的需求，我們增加PostgreSQL作為該入庫工具的底層數(shù)據(jù)庫是必要的，天文工作者可以根據(jù)自己的需求存儲到不同的數(shù)據(jù)庫中。二、Q3C索引龐大的數(shù)據(jù)儲存在數(shù)據(jù)庫中，若想能夠高效的使用這些數(shù)據(jù)，必須對其數(shù)據(jù)創(chuàng)建索引，索引不僅能夠加快數(shù)據(jù)的查詢速度，而且會使數(shù)據(jù)的管理變得簡單容易，可以大副提高系統(tǒng)的性能。當(dāng)然索引的創(chuàng)建也不是越多越好，因為索引過多會隨著數(shù)據(jù)量的增加而加大數(shù)據(jù)庫的負(fù)荷，就起不到提高系統(tǒng)的性能的作用，反而會降低性能，所以索引的使用要得當(dāng)。在本系統(tǒng)中，由于我們是對天文數(shù)據(jù)進行入庫管理，天文數(shù)據(jù)的復(fù)雜性、空間性決定了普通的一維索引并不能很好地解決天文數(shù)據(jù)的查詢管理要求，所以我們是用了一個全新Q3C(QuadTreeCube)對天空分區(qū)索引，其能夠很好地對天文數(shù)據(jù)進行二維的空間索引，Q3C索引方案為開源項目運用于數(shù)據(jù)庫PostgreSQL中，大家在使用的同時也可以隨時進行修改，非常適用于學(xué)術(shù)研究，由于直接運用于數(shù)據(jù)庫，使用者不需要書寫任何算法，相比于HTM，首先需要對天文數(shù)據(jù)進行分區(qū)計算pcode值，然而分區(qū)計算算法需要由使用者編寫，這樣會無形地增加風(fēng)險，同時也帶來了復(fù)雜化。Q3C的產(chǎn)生是專門針對天文數(shù)據(jù)的，其目的性非常明確。雖然普通的索引如btree也能夠用于天文數(shù)據(jù)，但是如果需要進行錐形查詢，在不使用Q3C索引的前提下，其查詢SQL語句會非常復(fù)雜，并且查詢速度非常慢，而且也只能運用于數(shù)據(jù)量較少的情況下，數(shù)據(jù)過多極有可能導(dǎo)致內(nèi)存不足而出現(xiàn)程序卡死現(xiàn)象，然而上面的問題對于Q3C索引來說都不存在，所以這種基于四叉樹的空間索引Q3C就顯得非常實用了。Q3C索引不僅能夠提供天文數(shù)據(jù)特有的查詢，而且也提供交叉認(rèn)證功能，這對以后的數(shù)據(jù)處理來說，很大程度地簡化了工作量，同時又容易使用，而且不論是在查詢方面，還是交叉認(rèn)證方面，Q3C會提供的簡單的SQL語句就能夠執(zhí)行處理工作，而HTM方面則需要從數(shù)據(jù)庫中提取數(shù)據(jù)，然后利用算法進行處理，當(dāng)數(shù)據(jù)量非常大的時候，程序的性能就會受到影響。三、支持的數(shù)據(jù)文件格式入庫管理工具同時支持兩種類型的數(shù)據(jù)格式文件：CSV(Comma-SeparatedValues)格式文件和FITS(FlexibleImageTransportSystem)格式文件。CSV文件由任意數(shù)目的記錄組成，記錄間以某種換行符分隔；每條記錄由字段組成，字段間的分隔符是其它字符或字符串，最常見的是逗號或制表符。FITS格式是天文學(xué)界常用的數(shù)據(jù)格式，它專門為在不同平臺之間交換數(shù)據(jù)而設(shè)計。1988年的國際天文學(xué)聯(lián)合會IAU（InternationalAstronomicalUnion）大會指定IAU的FITS工作組全權(quán)負(fù)責(zé)此格式的修訂。FITS文件由文件頭和數(shù)據(jù)組成。在文件頭中存儲有對該文件的描述，如觀測目標(biāo)、源的位置、觀測時間、曝光時間等信息，同時也可以在文件頭中注明觀測時的視場、精度等，便于后期的數(shù)據(jù)管理和分析之用。文件頭部分每行占80個字符，并以END結(jié)尾。FITS文件的容量大小通常比相同數(shù)據(jù)量的CSV文件小，在本地存儲中占用硬盤容量小，且天文數(shù)據(jù)文件采用FITS格式存儲的文件占大多數(shù)。針對FITS格式文件數(shù)據(jù)，我們開發(fā)了一個分析FITS文件頭文件的工具，用來得到頭文件中表格數(shù)據(jù)中的列名和每個列對應(yīng)的數(shù)據(jù)格式，方便天文學(xué)家在使用入庫工具時編寫readme文件。在輸入不同格式文件時，工具會自動地判斷文件的格式選擇相應(yīng)的程序?qū)崿F(xiàn)自動入庫。四、存儲數(shù)據(jù)的優(yōu)化龐大的天文數(shù)據(jù)中有時難免會存在的超過數(shù)據(jù)庫中較大數(shù)據(jù)存儲大小的數(shù)據(jù)或者小于數(shù)據(jù)庫中支持的最小數(shù)據(jù)，不過在數(shù)據(jù)庫中可以自己定義數(shù)據(jù)類型來支持導(dǎo)入的數(shù)據(jù)，但這樣便失去兼容性了，使得不同數(shù)據(jù)庫之間數(shù)據(jù)的交換和融合變得很困難，而且在對于文件中的數(shù)據(jù)項為空的時候，存儲到數(shù)據(jù)庫中會產(chǎn)生一些錯誤，所以在入庫之前很有必要先對數(shù)據(jù)進行優(yōu)化。因為不符合要求的數(shù)據(jù)非常少，而且改變其大小不會影響到后續(xù)的數(shù)據(jù)分析環(huán)節(jié)，故在入庫前，在程序中把超出數(shù)據(jù)庫較大支持?jǐn)?shù)據(jù)的記錄數(shù)和小于數(shù)據(jù)庫最小支持?jǐn)?shù)據(jù)的記錄數(shù)更改為數(shù)據(jù)庫所支持較大和最小的數(shù)據(jù)記錄數(shù)，同時對于文件中為空的數(shù)據(jù)項，程序會根據(jù)數(shù)據(jù)類型的不同，自動的填充‘9999’或‘NULL’字樣，方便數(shù)據(jù)的錄入和后續(xù)的計算分析。

1.2AutoDB流程圖

在存儲FITS格式文件的數(shù)據(jù)時，我們還專門開發(fā)了一個分析FITS文件頭文件的小工具，方便天文學(xué)家存儲時選擇自己想要存儲的數(shù)據(jù)列。在使用過程中，天文學(xué)家也不需要編寫任何的代碼，同時該工具有很好的易用性。根據(jù)不同的格式文件，有著不同的入庫流程，下面給出了文本CSV文件和FITS文件的入庫流程，如圖1所示。

1.3AutoDB系統(tǒng)環(huán)境支持

AutoDB采用Python語言編寫，推薦使用Linux操作系統(tǒng)。由于Python是跨平臺型語言，若需要在WINDOWS系統(tǒng)中使用也非難事，需要安裝Python，一般的Linux發(fā)行版本都會自帶Python程序，同時也需要下列數(shù)據(jù)庫系統(tǒng)（異地或本地均可）和第三方庫作為支持：1)PostgreSQL(9.0+)：支持近期的SQL語法，更高的功能完整性。2)MySQL（5.1+）：性能非常的高效。3)Q3C（QuadTreeCube）：一種基于PostgreSQL數(shù)據(jù)庫的新的天文數(shù)據(jù)的索引概念，提供海量天文數(shù)據(jù)的查詢與融合。該工具中同時嵌入了一個很好的虛擬終端，用戶可以根據(jù)虛擬終端的反饋，了解自己在使用過程中出現(xiàn)了哪些錯誤，從而糾正錯誤，使得程序地運行。

1.4AutoDB圖形用戶界面

AutoDB圖形入庫界面如2所示，用戶可以選擇入哪種數(shù)據(jù)庫，入庫的數(shù)據(jù)文件及數(shù)據(jù)的說明文件，創(chuàng)建HTM的級數(shù)，每次分次上傳的記錄數(shù)，赤經(jīng)赤緯列要指出等。在這里，用戶可以直接點擊程序運行圖形界面，也可以手動地在命令行中使用命令來運行圖形界面，其圖形界面和主程序是分開的，其協(xié)助用戶按照各個參數(shù)，并收集起來，按照一定的規(guī)范得到收集的參數(shù)，供主程序使用。也就是說主程序不依賴于圖形界面，用戶也可以手動地編輯被指定的文件來運行主程序。FITS頭文件分析工具會把FITS頭中的數(shù)據(jù)輸出到文件中，該文件名由用戶定義，在FITSSOURCEFILE對應(yīng)的一行中瀏覽添加FITS源文件，然后在FITSHEADFILE一行中輸入想要創(chuàng)建FITS頭文件名，界面如下圖3所示。在使用入庫工具時，用戶需要編寫readme文件供程序使用，其格式如下：及時行為各列列名（即數(shù)據(jù)庫表中的列名字段，請參照MySQL/PostgreSQL對字段命名相關(guān)文檔），以一個或者多個空行分隔；第二行與及時行相對應(yīng)，為每列的數(shù)據(jù)類型（如：float、char、varchar、double、int，具體請參照MySQL/PostgreSQL數(shù)據(jù)類型相關(guān)文檔[13]），同樣是以一個或者多個空行分隔，內(nèi)容中不能有引號，字段不能為空或NULL。同時在對FITS文件進行入庫時，需要參照頭分析工具得出的頭文件以及格式轉(zhuǎn)換文件編寫readme文件。頭文分析工具得到的頭文件實例如圖4所示，格式轉(zhuǎn)換文件如圖5所示。編寫readme文件完畢后，即可使用自動入庫工具進行數(shù)據(jù)的錄入，數(shù)據(jù)庫可以自己選擇，數(shù)據(jù)庫服務(wù)器可以是本地服務(wù)器或遠程服務(wù)器。使用遠程服務(wù)器時，應(yīng)該保障遠程服務(wù)器支持遠程連接，否則將會報錯。

2實驗結(jié)果

2.1Q3C索引與非Q3C索引的查詢性能比較

在使用索引的時候，我們最在意的是索引是否能夠提高查詢效率，對于具體選擇哪種索引方式，要看哪種索引提高的性能更高些。為此我們做了如下的實驗測試（在數(shù)據(jù)庫命令行的形式下使用SQL語句進行查詢的實驗）。實驗數(shù)據(jù)為Pan-STARRS數(shù)據(jù)，總共11,495,847個星表源數(shù)據(jù)。對比使用Q3C索引情況下和不使用Q3C索引（對ra與dec進行B-tree索引）的情況下，實現(xiàn)以赤經(jīng)赤緯（5度,50度）為中心，查詢半徑在0.1度到0.9度變化范圍內(nèi)的錐形查詢，比較隨著提取結(jié)果源數(shù)目的增多上述兩種方案的查詢時間，其結(jié)果如圖6和圖7所示。我們從圖7和圖8中可以看出，隨著查詢半徑的增大，符合查詢條件的源數(shù)目也在不斷增多，同時查詢時間以近乎線性速度增長，說明查詢元組數(shù)目越多，消耗的時間也就越多。還發(fā)現(xiàn)使用非Q3C索引的查詢時間是使用Q3C索引時間的至少100多倍以上，可見Q3C索引方式的有效性。Q3C索引具有層次結(jié)構(gòu)、平等區(qū)域、異維度分布等特性的天空分區(qū)方案，對天文數(shù)據(jù)的處理具有得天獨厚的優(yōu)勢。特別是對于數(shù)據(jù)量大的情況下，我們非常有必要使用Q3C對數(shù)據(jù)索引，其表現(xiàn)不僅僅是數(shù)據(jù)查詢速度的提高，對日后的交叉認(rèn)證起到了打下了很好的基礎(chǔ)。這也正是我們選擇Q3C索引的原因。

2.2AutoDB工具的應(yīng)用

AutoDB能夠快速地將數(shù)據(jù)存儲到相應(yīng)的數(shù)據(jù)庫中，上傳數(shù)據(jù)的速度與本地機器硬件性能、數(shù)據(jù)庫的配置以及數(shù)據(jù)庫服務(wù)器的位置（本地或異地）、數(shù)據(jù)量的多少以及索引的復(fù)雜程度都有著直接或間接的關(guān)系。建議在使用過程中本地機器中不要運行太多的其他程序。我們使用的是SDSS部分?jǐn)?shù)據(jù)進行的實驗，總共有100,000,000行數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫中，測試平臺使用的是兩臺計算機平臺，一個是本地數(shù)據(jù)庫平臺和程序運行平臺，另外一個是遠程數(shù)據(jù)庫運行平臺，通過百兆以太網(wǎng)訪問遠程數(shù)據(jù)庫平臺。具體配置如表1所示。在實驗過程中多次分別對本地和遠程數(shù)據(jù)庫進行了入庫，在入庫時將數(shù)據(jù)分割為100,000,00行，200,000,00行，400,000,00行，600,000,00行，800,000,00行，100,000,000行數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫中，得出實驗結(jié)果，如表2所示。單從數(shù)據(jù)上傳的速度來看，MySQL數(shù)據(jù)庫的速度要優(yōu)于PostgreSQL數(shù)據(jù)庫。

3總結(jié)與展望

針對當(dāng)前天文大數(shù)據(jù)的特點，我們致力于開發(fā)高效、易用的海量天文數(shù)據(jù)自動入庫工具。考慮到天文數(shù)據(jù)的海量性、分布性等特點，我們分析了現(xiàn)有的入庫工具的優(yōu)缺點，總結(jié)了前人的設(shè)計成果，結(jié)合實際需求，應(yīng)用了高效的Q3C索引方案，改進開發(fā)了一個更加高效的大型天文數(shù)據(jù)自動入庫工具AutoDB，同時也參照了國際上SAADA工具的功能。該工具能夠更好地協(xié)助天文工作者方便地存儲、管理和處理數(shù)據(jù)。為后續(xù)研究工作中的數(shù)據(jù)融合、分析與挖掘做出了很好的鋪墊，是海量異地異構(gòu)多波段天文數(shù)據(jù)融合和挖掘工作的根本保障。AutoDB還有很多需要值得改進的地方，因為我們底層數(shù)據(jù)庫的設(shè)計是基于MySQL和PostgreSQL，所以用戶的數(shù)據(jù)庫選擇方面只能選擇MySQL和PostgreSQL，這點對于用戶來說就有點局限性。在自動入庫的工作中，數(shù)據(jù)庫的性能是一個不能忽視的方面，性能是否良好會直接影響CPU的利用率，所以非常有必要對數(shù)據(jù)庫性能進行調(diào)優(yōu)，在數(shù)據(jù)量非常大的時候，除了對數(shù)據(jù)表進行分表以外，也可以對數(shù)據(jù)庫內(nèi)存進行調(diào)整，來達到最適合當(dāng)前CPU工作的狀態(tài)內(nèi)存容量，同時也可以安裝一些數(shù)據(jù)庫的監(jiān)控工具和趨勢預(yù)測軟件，如vmstat、iosta、top、Munin等等，對數(shù)據(jù)庫進行實時的監(jiān)控，保障數(shù)據(jù)庫在任何時刻都處于高效狀態(tài)。在程序的編寫方面，我們使用的是INSERT語句對文件的數(shù)據(jù)進行上傳的，而沒有使用更加高效的數(shù)據(jù)庫自己所帶的專有命令，如PostgreSQL的copy命令，這樣勢必會影響數(shù)據(jù)的插入速度和效率，由于專有命令沒有一個接口程序去引用，這個我們會在后續(xù)的工作中進一步研究。參照SAADA工具的設(shè)計思路和優(yōu)點，如SAADA工具支持大部分的關(guān)系數(shù)據(jù)庫，SAADA不僅可以建數(shù)據(jù)庫，而且可以收集不同的數(shù)據(jù)進行整合分析，同時能夠?qū)⒄砗玫臄?shù)據(jù)在web中真正地實現(xiàn)了數(shù)據(jù)的共享，下一步工作，我們也會根據(jù)需求進一步實現(xiàn)基于web服務(wù)，實現(xiàn)網(wǎng)頁建庫和網(wǎng)頁查詢，這樣工具使用起來就會更加的方便，也會根據(jù)大家使用的情況反饋來進一步地加以改進和提高。當(dāng)然一個設(shè)計好的工具永遠不是盡善盡美的，結(jié)合不斷變化的需求，工具也要隨之調(diào)整，從而一步一步地健壯起來，這樣才能夠與時俱進，不斷地促進天文學(xué)研究的發(fā)展。

作者：鐘守波 韓波 張彥霞 趙永恒 何勃亮 單位：武漢大學(xué)國際軟件學(xué)院 中科院光學(xué)天文重點實驗室

數(shù)據(jù)管理論文:高速公路機電設(shè)備數(shù)據(jù)管理論文

1高速公路機電設(shè)備

要構(gòu)建一個基于物聯(lián)網(wǎng)的高速公路設(shè)備數(shù)據(jù)管理系統(tǒng)，首先要對數(shù)據(jù)的源頭或者說是數(shù)據(jù)的歸屬地進行研究。主要有以下幾大方面:1)收費系統(tǒng)設(shè)備高速路收費系統(tǒng)設(shè)備是由控制機、欄桿機、報警器、收費顯示屏、車輛分離器、信號燈以及輔助的計重系統(tǒng)組成的［4］。所產(chǎn)生的數(shù)據(jù)主要有車輛車牌號、駛?cè)敫咚贂r間和地點、駛出高速的時間和地點、車輛重量、車輛型號、收款數(shù)量。收費系統(tǒng)總監(jiān)控室還要匯總收費站數(shù)量、收費島數(shù)量、收費人員工號等基本數(shù)據(jù)。2)監(jiān)控系統(tǒng)設(shè)備監(jiān)控系統(tǒng)一方面是設(shè)置在收費站的車道、收費廣場、收費亭內(nèi)等收費監(jiān)控地點;另一方面是設(shè)置了高速公路沿線交通狀況監(jiān)控、設(shè)備運行情況、設(shè)備故障數(shù)據(jù)等。攝像機的種類也會因安裝和用途的不同采用不同的型號。3)通信系統(tǒng)設(shè)備高速機電系統(tǒng)的通信主要依靠光纖傳輸、數(shù)控交互、圖像數(shù)字?jǐn)?shù)據(jù)傳輸、移動通信及電源等部分組成。建立基于物聯(lián)網(wǎng)的高速公路設(shè)備數(shù)據(jù)管理系統(tǒng)，對通信系統(tǒng)的要求較高，要求該系統(tǒng)要穩(wěn)定、快速、實時，多采用光纖傳輸。

2基于物聯(lián)網(wǎng)的高速公路設(shè)備數(shù)據(jù)管理系統(tǒng)

2．1基于物聯(lián)網(wǎng)的高速公路設(shè)備傳輸通信

RFID技術(shù)是建立物聯(lián)網(wǎng)數(shù)據(jù)傳輸通信的基本技術(shù)，它主要包括閱讀器(例如手持機如圖2所示)、標(biāo)簽、解讀器、應(yīng)用軟件等部分組成［3］。標(biāo)簽進入掃描磁場之后，能夠收到解讀器的射頻信號，然后將產(chǎn)品信息從芯片中提取出來，以一種感應(yīng)電流的方式輸送給解讀器進行解碼，送到信息處理中心進行數(shù)據(jù)處理，形成數(shù)據(jù)流，通過無線網(wǎng)絡(luò)，例如WIFI、3G\4G網(wǎng)絡(luò)，到達數(shù)據(jù)中心。整個系統(tǒng)中的閱讀機是系統(tǒng)中至關(guān)重要的設(shè)備，一般會具有讀、寫功能，和信息控制和數(shù)據(jù)處理的功能，主要由收發(fā)模塊、控制模塊、耦合模塊和接口組成。應(yīng)答器可以通過耦合從閱讀器那里得到能量和時序，如果存在地域、用戶、管理模式的差異，系統(tǒng)能夠更好的保持穩(wěn)定性和安全性。針對高速公路機電設(shè)備的閱讀器數(shù)量較多，在收費站、收費廣場、收費亭以及高速公路沿途設(shè)備都要有設(shè)置。

2．2設(shè)備資產(chǎn)全壽命周期管理

通過對設(shè)備使用情況的登記、定期核查等措施，將高速公路設(shè)備的租賃、購買時間、周期維護時間、事故處理情況、報廢時間等數(shù)據(jù)輸入到設(shè)備數(shù)據(jù)管理數(shù)據(jù)庫中，并設(shè)定到期提醒功能，對周期維護進行警告提醒，對事故處理情況進行定期清查，對使用年數(shù)較長的設(shè)備要重點管理，對全系統(tǒng)的設(shè)備進行科學(xué)的分類，實現(xiàn)分類批量的管理和維護。對設(shè)備故障情況實現(xiàn)分析統(tǒng)計，提高設(shè)備利用率、降低維修率。

2．3設(shè)備數(shù)據(jù)存儲結(jié)構(gòu)

本系統(tǒng)的數(shù)據(jù)存儲結(jié)構(gòu)主要采用鏈表結(jié)構(gòu)。鏈表結(jié)構(gòu)的數(shù)據(jù)庫更方便更新，當(dāng)設(shè)備出現(xiàn)維護或更換信息時，對鏈表進行及時的更新。在系統(tǒng)日常管理中，也可以將鏈表數(shù)據(jù)保存成文件的形式，但是如果需要重新更新數(shù)據(jù)，要將文件數(shù)據(jù)恢復(fù)成鏈表結(jié)構(gòu)的有序表形式。鏈表中的數(shù)據(jù)類型包括所有的該系統(tǒng)中的有效信息，例如設(shè)備出廠時間、維護時間、使用次數(shù)等。

2．4設(shè)備數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是從海量的數(shù)據(jù)中通過各種分析手段，例如關(guān)聯(lián)、聚類、演變等分析方法，找出數(shù)據(jù)中隱藏的某種規(guī)律，為系統(tǒng)的管理和使用提供有用的決策。本文所建立的高速公路設(shè)備數(shù)據(jù)管理系統(tǒng)儲存了大量的設(shè)備數(shù)據(jù)和信息，我們通過對設(shè)備數(shù)據(jù)的分類、排序、檢索等方法，通過關(guān)聯(lián)、演變等分析，能夠?qū)崿F(xiàn)設(shè)備的使用率、設(shè)備的維修率、設(shè)備故障點統(tǒng)計的分析，進一步實現(xiàn)設(shè)備維護周期的科學(xué)制定、設(shè)備故障自動檢測和診斷等決策類的功能。對高速公路路況信息，收費系統(tǒng)數(shù)據(jù)的挖掘，能夠?qū)崿F(xiàn)高速公路的路況分析、擁堵路段的分析，進一步實現(xiàn)高速公路收費站合理設(shè)置地點和數(shù)量的決策功能。為高速公路管理智能化提高了數(shù)據(jù)支持。

3結(jié)論

本系統(tǒng)通過物聯(lián)網(wǎng)的射頻技術(shù)建立高速公路數(shù)據(jù)傳輸和管理系統(tǒng)，實現(xiàn)了對高速公路設(shè)備的生命周期進行管理，以及機電全過程智能管理應(yīng)用數(shù)據(jù)挖掘，實現(xiàn)對資產(chǎn)和過程的智能化感知、識別和管理。本系統(tǒng)能有效地為高速公路機電系統(tǒng)管理提供設(shè)備使用和采購分析等數(shù)據(jù)，為日后建立更為的高速公路機電設(shè)備智能化管理系統(tǒng)提供技術(shù)基礎(chǔ)。

作者：王琛 單位：山西欣奧特自動化工程有限公司

數(shù)據(jù)管理論文:COM組件數(shù)據(jù)管理論文

1系統(tǒng)設(shè)計

業(yè)務(wù)模型設(shè)計依據(jù)管道SCADA系統(tǒng)維護流程，采用面向?qū)ο笏枷雽ο到y(tǒng)業(yè)務(wù)模型進行描述，業(yè)務(wù)模型如圖1。數(shù)據(jù)庫設(shè)計根據(jù)客戶方要求，數(shù)據(jù)庫設(shè)計需要每個區(qū)域每種類型的數(shù)據(jù)分開存儲，以防數(shù)據(jù)混亂，但基本就分為四類：字典數(shù)據(jù)庫、靜態(tài)數(shù)據(jù)數(shù)據(jù)庫、子表數(shù)據(jù)庫、測試相關(guān)人員數(shù)據(jù)庫。

2系統(tǒng)實現(xiàn)

2.1數(shù)據(jù)錄入

遵循“所見即所得”的思想，主要的錄入界面與報告證書界面保持高度一致，這樣每個頁面就代表了一個報告，為了更方便用戶使用，我選擇了用樹形結(jié)構(gòu)的菜單。子表數(shù)據(jù)的錄入使用了DatagridView控件。

2.2數(shù)據(jù)查詢

本系統(tǒng)采取的措施為，將每個功能模塊需要查詢的屬性列名存儲在字典數(shù)據(jù)庫中，當(dāng)我們指定了某個功能模塊后，就可以在數(shù)據(jù)庫中查詢需要被查詢的屬性列名。這樣不僅有效的達到查詢的目的，還使代碼量減少。

2.3報告出具

2.3.1Word報告出具

由于word本身是一個實現(xiàn)了自動化的COM組件，所以我們可以用C#語言和其提供的結(jié)構(gòu)來訪問和操縱Word文檔。具體實現(xiàn)步驟如下：（1）生成word程序?qū)ο蟆＃?）指定word模板路徑。（3）生成word文檔對象并打開模板文檔。（4）獲取模板中的所有書簽。（5）給所有書簽賦值。（6）保存word文件。

2.3.2Excel報告的出具

Excel報告的出具有兩種方案可以實現(xiàn)。一種是基于流和COM組件的操作，一種是只基于COM組件的操作。考慮到效率，我們選擇后者，實現(xiàn)步驟如下：（1）獲取到處的數(shù)據(jù)表。（2）將所有滿足要求的數(shù)據(jù)以流的形式全寫入一個excel中。（3）生成Excel程序?qū)ο蟆＃?）定義一個新的工作簿。（5）打開模板工作簿（此模板可以說一個空的excel文檔，不起到任何作用,只是提供了一個載體而已）。（6）得到一個sheet。（7）將數(shù)據(jù)分割為一個一個的報告，并循環(huán)填充表格的表頭（可適當(dāng)?shù)脑鰷p行列，以達到需要的目的）。（8）另存為。（9）退出Excel，并且釋放調(diào)用的COM資源。

3結(jié)束語

系統(tǒng)從SCADA維護中心本身出發(fā)，根據(jù)其工作流程及計算機的實現(xiàn)技術(shù)，充分考慮SCADA維護中心獲取數(shù)據(jù)的方法與流向，使系統(tǒng)設(shè)計更為合理。開發(fā)過程遵循“方便實用、能解決問題，能夠滿足用戶需求”的根本原則，綜合考慮數(shù)據(jù)庫設(shè)計，數(shù)據(jù)庫建設(shè)以及軟件開發(fā)相關(guān)理論采用“高內(nèi)聚低耦合”的原則，從科學(xué)、實用的角度劃分模塊。此系統(tǒng)的成功開發(fā)，將進一步規(guī)范評價工作，大大提高工作效率。

作者：李曉鵬 余傳梅 王偉

數(shù)據(jù)管理論文:環(huán)境監(jiān)測數(shù)據(jù)管理論文

一、環(huán)境監(jiān)測的特點

環(huán)境監(jiān)測一般包括常規(guī)監(jiān)測和污染源監(jiān)測[6]。常規(guī)監(jiān)測的對象是大氣、噪聲、河流等，污染源監(jiān)測對象通常是一些工業(yè)單位，我國的工業(yè)單位眾多，單位之間有各不相同，給環(huán)境監(jiān)測工作帶來了更大的困難。大氣、河流、降水甚至噪聲都是環(huán)境監(jiān)測的內(nèi)容，每一項檢測內(nèi)容又有不同的監(jiān)測指標(biāo)，此外還涉及到污染物的排放量、治理效果等，所以環(huán)境監(jiān)測工作量繁重。環(huán)境監(jiān)測工作關(guān)聯(lián)性較強，而且還是按照一定的順序進行的。環(huán)境監(jiān)測工作和其他的環(huán)保工作也相關(guān)聯(lián)，因此環(huán)境監(jiān)測工作在滿足自身要求的同時，還需要同時滿足各項工作要求。必須建立健全環(huán)境監(jiān)測數(shù)據(jù)管理系統(tǒng)。在進行數(shù)據(jù)統(tǒng)計分析工作時，必須按照要求生成格式化的標(biāo)準(zhǔn)報表與非標(biāo)準(zhǔn)報表。

二、環(huán)境監(jiān)測數(shù)據(jù)管理系統(tǒng)

1、環(huán)境監(jiān)測模塊

該模塊的功能在于通過時間觸發(fā)器連續(xù)或間斷地對某地區(qū)環(huán)境條件下的污染物性質(zhì)變化進行判斷，同時對污染物濃度發(fā)展情況、趨勢進行預(yù)測，通過預(yù)測分析污染物的變化趨勢及其可能性，判定環(huán)境問題、污染問題發(fā)生的結(jié)果。環(huán)境監(jiān)測通常是按照檢測目的劃分的，其中包括兩部分，即監(jiān)視性監(jiān)測、特定監(jiān)測。在系統(tǒng)設(shè)計過程中，應(yīng)當(dāng)參照監(jiān)測目的對相關(guān)模塊進行劃分，并在此基礎(chǔ)上確定監(jiān)視性監(jiān)測、特定監(jiān)測子系統(tǒng)。環(huán)境監(jiān)測數(shù)據(jù)管理系統(tǒng)，圍繞著空氣質(zhì)量、水質(zhì)質(zhì)量以及廢棄物和噪聲進行常規(guī)性的監(jiān)測，從而實現(xiàn)數(shù)據(jù)管理、預(yù)測和統(tǒng)計分析，重點數(shù)據(jù)繪制環(huán)境質(zhì)量圖過程中顯示出來，從而使其更加的直觀。其具體的功能結(jié)構(gòu)設(shè)計如下圖所示。

2、排污申報與環(huán)境污染源管理模塊

環(huán)保法及相關(guān)法規(guī)規(guī)定的排污單位，一定要履行申報義務(wù)，排污申報是污染管理系統(tǒng)的一個非常重要的功能。對于該模塊而言，其包含如下功能：數(shù)據(jù)匯總，即對污染源數(shù)據(jù)進行及時的匯總，采取相關(guān)信息資料。數(shù)據(jù)查詢：根據(jù)排污單位、污染源對其進行查詢；數(shù)據(jù)管理，即排污申請?zhí)顚懀瑢ξ廴驹葱畔①Y料進行維護；數(shù)據(jù)分析，即針對性的對重點企業(yè)、污染源進行分析。在數(shù)據(jù)查詢功能設(shè)計過程中，查詢危險源以及排污企業(yè)，并且基于GIS技術(shù)的應(yīng)用在地圖上對排污企業(yè)的具體位置顯示出來；按單位名稱和污染源名稱對其進行查詢，并且按地區(qū)對污染源進行查詢。數(shù)據(jù)分析功能設(shè)計為：分析污染事故緩沖區(qū)，對重點污染源進行分析，并且用圖表將其顯示出來；污染物歷年數(shù)據(jù)分析；地區(qū)污染物以及污染企業(yè)分析等。排污申報及污染源管理系統(tǒng)如下圖所示。

3、環(huán)境在線監(jiān)控模塊

監(jiān)控的主要內(nèi)容是污染源排放在線監(jiān)控?zé)焿m、污水（主要是COD、流量、TOC以及總磷和pH值等），同時還包括污染源噪聲。首先，系統(tǒng)登陸。客戶端管理軟件提供具體的授權(quán)訪問模式，以確保該系統(tǒng)管理的安全性。授權(quán)用戶利用賬號、密碼登錄該數(shù)據(jù)管理系統(tǒng)，并且用戶權(quán)限由管理員進行分配。比如，管理員可以進行建庫、控制、監(jiān)測以及其他高級功能；一般用戶則只能使用基本的系統(tǒng)功能，比如在線監(jiān)測和基本的圖表報表打印等。系統(tǒng)登錄過程中，先輸入用戶名、登錄密碼，然后驗證身份，進入該系統(tǒng)主界面。其次，系統(tǒng)界面。客戶端管理界面為XP風(fēng)格界面，客戶端管理軟件所有功能均可通過在界面右側(cè)選擇任務(wù)欄目實現(xiàn)，任務(wù)欄為可展開/收縮的風(fēng)格控件，功能欄目為類Web風(fēng)格的超級鏈接。界面中部為GIS地理信息系統(tǒng)，GIS的主要功能通過GIS工具欄實現(xiàn)。界面右側(cè)還有若干窗口顯示即時消息、系統(tǒng)報警以及快速查看數(shù)據(jù)等功能。數(shù)據(jù)輸入：把各類污染物的監(jiān)測數(shù)據(jù)都存儲起來，構(gòu)建成一個數(shù)據(jù)庫，這樣可以方便數(shù)據(jù)統(tǒng)計，也為技術(shù)人員的分析提供了數(shù)據(jù)基礎(chǔ)。通過先進的計算機技術(shù)，把這些數(shù)據(jù)都統(tǒng)一管理，然后按照監(jiān)測地點、監(jiān)測類型、監(jiān)測時間等信息，分類處理這些數(shù)據(jù)，方便用戶選擇，使他們可以快速的掌握到想要了解的信息。此外，必須注意數(shù)據(jù)的存儲工作，多做一些備份，以免數(shù)據(jù)丟失，影響環(huán)境監(jiān)測工作不能正常的進行。數(shù)據(jù)修改：錄入環(huán)境監(jiān)測數(shù)據(jù)以后，管理人員要認(rèn)真仔細的核對數(shù)據(jù)，要及時的修改和更正以及刪除無效的數(shù)據(jù)，確保數(shù)據(jù)的性[4]。數(shù)據(jù)修改有條件修改、當(dāng)前記錄修改和替換修改的功能，這些功能的設(shè)置，可以方便管理人員快速、高效的進行修改工作，也能提高數(shù)據(jù)的性。數(shù)據(jù)備份：由于環(huán)境監(jiān)測數(shù)據(jù)眾多，而且是環(huán)境監(jiān)測分析工作的基礎(chǔ)，一旦丟失，就會給環(huán)境檢測部門帶來很大的損失，所以管理人員在管理數(shù)據(jù)的時候必須注意數(shù)據(jù)的備份工作，把數(shù)據(jù)存儲在不同的工具下，預(yù)防電腦崩潰使數(shù)據(jù)丟失。確保數(shù)據(jù)的安全性，保障環(huán)境監(jiān)測工作的順利進行。數(shù)據(jù)查詢。數(shù)據(jù)查詢可以幫助用戶很快的找到他們需要的數(shù)據(jù)，使他們更好的進行環(huán)境監(jiān)測工作。在查詢數(shù)據(jù)的過程中，用戶可以設(shè)置條件，然后數(shù)據(jù)庫中相關(guān)的數(shù)據(jù)就會自動出現(xiàn)，這樣可以減少查詢時間，提高查詢的效率，而且還能保障數(shù)據(jù)的性。數(shù)據(jù)輸出：數(shù)據(jù)輸出一般采用打印輸出、屏幕輸出[5]以及文件輸出三種輸出方法。打印輸出，顧名思義就是把數(shù)據(jù)報表通過打印機打印出來；屏幕輸出則是把數(shù)據(jù)制作成圖形和圖表的形式顯示在電腦屏幕上，供用戶查看，然后根據(jù)這些信息來分析環(huán)境狀況；文件輸出就是把環(huán)境監(jiān)測數(shù)據(jù)、分析結(jié)果通過不同的文件格式存儲在磁盤上，可供用戶下載查看。數(shù)據(jù)統(tǒng)計：數(shù)據(jù)庫中的數(shù)據(jù)一般只是環(huán)境監(jiān)測的原始數(shù)據(jù)，可供用戶進行查看、統(tǒng)計分析，然后更好的進行環(huán)境保護工作。數(shù)據(jù)統(tǒng)計分為常規(guī)統(tǒng)計和選擇統(tǒng)計兩種。常規(guī)統(tǒng)計是按照報表的要求進行的，要計算監(jiān)測點以及區(qū)域的年、月、日均值等，然后保存。選擇統(tǒng)計則是按照用戶的定義條件進行的，靈活性較大。數(shù)據(jù)分析：數(shù)據(jù)分析是把數(shù)據(jù)轉(zhuǎn)化為圖形或者圖表的形式來展示數(shù)據(jù)信息，可以使用戶更加直觀、清晰的掌握環(huán)境的質(zhì)量和變化情況，方便環(huán)境監(jiān)測部門快速、高效的處理環(huán)境問題，更好的服務(wù)環(huán)境保護工作。

4、環(huán)境監(jiān)測部門的職能

建立環(huán)境監(jiān)測數(shù)據(jù)管理系統(tǒng)是為了更好的管理環(huán)境監(jiān)測的數(shù)據(jù)，為了使環(huán)境監(jiān)測部門管理人員可以、快捷的掌握環(huán)境質(zhì)量信息，因此必須要符合環(huán)境監(jiān)測部門的工作要求，提高工作人員的管理水平，滿足環(huán)境信息化的需求，做好環(huán)保工作。環(huán)境監(jiān)測主要是監(jiān)測污染源以及常規(guī)的監(jiān)測，做好了這兩種工作才能保障我國環(huán)境污染狀況不再加劇。常規(guī)監(jiān)測是一項銜接性很強的工作，需要經(jīng)過一系列的過程：現(xiàn)場采樣，樣品登記，分析實驗等等，通過審核簽字才能生成分析報表。在進行常規(guī)監(jiān)測工作的時候，一定要有序進行[3]，這樣才能保障分析報表的性。污染源監(jiān)測也是一項非常繁瑣的工作，進行污染源監(jiān)測工作時首先要委托登記，其次分配任務(wù)，然后按照現(xiàn)場采樣、樣品登記等的順序進行監(jiān)測工作。現(xiàn)階段我國已經(jīng)控制了污染源的排放量，只有減少污染源的排放，我國的環(huán)境質(zhì)量才能得到徹底的改善。

三、結(jié)語

綜上所述，開發(fā)和實現(xiàn)環(huán)境監(jiān)測數(shù)據(jù)管理系統(tǒng)，是當(dāng)前我國環(huán)境監(jiān)測部門的主要任務(wù)。建立健全了環(huán)境監(jiān)測數(shù)據(jù)管理系統(tǒng)，可以提高管理人員的工作效率，可以增加監(jiān)測數(shù)據(jù)的性，是用戶進行數(shù)據(jù)分析的基礎(chǔ)。系統(tǒng)的建立也實現(xiàn)了環(huán)境監(jiān)測數(shù)據(jù)管理的科學(xué)化、現(xiàn)代化，而且把數(shù)據(jù)轉(zhuǎn)化為圖形圖表使用戶可以更加直觀的了解了環(huán)境質(zhì)量的現(xiàn)狀，推動了我國環(huán)保事業(yè)的發(fā)展。

作者：周春何 張秀云 單位：麗水市環(huán)境監(jiān)測中心站

數(shù)據(jù)管理論文:海洋水文氣象數(shù)據(jù)管理論文

1數(shù)據(jù)多重存儲和分級管理

數(shù)據(jù)多重存儲體現(xiàn)在同一數(shù)據(jù)既要存儲到本地數(shù)據(jù)庫中又要存儲到相應(yīng)的文件中。存儲在本地數(shù)據(jù)庫中的數(shù)據(jù)即可用于本地管理與存儲，也可用于數(shù)據(jù)的查找和對外提供二次開發(fā)接口。存儲在文件中的數(shù)據(jù)以文本文件的格式被傳輸至海洋環(huán)境預(yù)報單位［4］。數(shù)據(jù)分級管理主要體現(xiàn)在數(shù)據(jù)庫結(jié)構(gòu)設(shè)計上。將水文、氣象觀測數(shù)據(jù)進行分級存儲，分為臨時數(shù)據(jù)存儲表和最終數(shù)據(jù)存儲表。臨時存儲表中存儲當(dāng)前小時進入數(shù)據(jù)管理系統(tǒng)的數(shù)據(jù)，并在后續(xù)小時數(shù)據(jù)進入系統(tǒng)后將臨時數(shù)據(jù)表中數(shù)據(jù)打包插入最終數(shù)據(jù)表中。臨時數(shù)據(jù)表限定數(shù)據(jù)量閾值，超過設(shè)定閾值后臨時數(shù)據(jù)表數(shù)據(jù)將被自動刪除。最終數(shù)據(jù)表每個觀測要素一個表，記錄該數(shù)據(jù)當(dāng)天數(shù)據(jù)，包括該要素當(dāng)天各整點數(shù)據(jù)值、數(shù)據(jù)極值和當(dāng)天每分鐘的數(shù)據(jù)值。

2系統(tǒng)功能模塊設(shè)計

根據(jù)觀測數(shù)據(jù)使用對象的不同［5］，將系統(tǒng)進行模塊化設(shè)計為：數(shù)據(jù)上傳模塊和本地數(shù)據(jù)管理模塊。數(shù)據(jù)上傳模塊將實時觀測數(shù)據(jù)上傳至海洋環(huán)境預(yù)報單位；本地數(shù)據(jù)管理模塊用于海洋觀測站本地數(shù)據(jù)管理與存儲，并對外提供二次開發(fā)接口。此外，該模塊可根據(jù)業(yè)務(wù)需求生成數(shù)據(jù)上傳模塊所用的數(shù)據(jù)文件。系統(tǒng)結(jié)構(gòu)類見圖2。軟件開發(fā)環(huán)境針對上述業(yè)務(wù)需求，采用了VisualStudioC＃2010作為軟件開發(fā)平臺，數(shù)據(jù)庫系統(tǒng)采用SQLServer2005。其中，VisualStudioC＃2010是一種現(xiàn)代的面向?qū)ο蟮某绦蜷_發(fā)語言，它使得程序員能夠在新的微軟．NET平臺上快速開發(fā)種類豐富的應(yīng)用程序。．NET平臺提供了大量的工具和服務(wù)，能夠較大限度地發(fā)掘和使用計算及通信能力［6］。SQLServer2005能提供大型系統(tǒng)所需的數(shù)據(jù)庫服務(wù)，可實現(xiàn)成千上萬的用戶同時連接。SQLServer2005為這樣的環(huán)境提供了的保護，具有防止問題發(fā)生的安全措施，可在多個用戶之間有效地分配可用資源。此外，還可以在一臺計算機上運行多個SQLServer2005實例［7］。

3系統(tǒng)實現(xiàn)

3．1數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計

海洋站水文氣象觀測數(shù)據(jù)要在海洋觀測站、海洋中心站、海區(qū)預(yù)報中心及國家預(yù)報中心等各單位使用，其中：海洋觀測站端僅使用本站數(shù)據(jù)；海洋中心站使用本中心站下屬各海洋站數(shù)據(jù)；海區(qū)預(yù)報中心使用本海區(qū)下屬各海洋站數(shù)據(jù)；國家預(yù)報中心使用所有海洋站的數(shù)據(jù)。這些數(shù)據(jù)是連續(xù)不間斷產(chǎn)生和使用的。因此，在建立海洋站水文氣象數(shù)據(jù)庫時，必須考慮大規(guī)模數(shù)據(jù)的存儲問題。在建立數(shù)據(jù)庫的同時，構(gòu)建出符合海洋觀測預(yù)報業(yè)務(wù)的數(shù)據(jù)模型，設(shè)計了水文要素臨時數(shù)據(jù)表（tempdata＿sw表）、氣象要素臨時數(shù)據(jù)表（tempdata＿qx表）和風(fēng)要素臨時存儲表（tempdata＿wi表）、風(fēng)要素數(shù)據(jù)存儲表（WI表）、相對濕度數(shù)據(jù)存儲表（HU表）、氣溫數(shù)據(jù)存儲表（AT表）、氣壓數(shù)據(jù)存儲表（BP表）、降雨量數(shù)據(jù)存儲表（RN表）、能見度數(shù)據(jù)存儲表（VB表）、海水溫度數(shù)據(jù)存儲表（WT表）、海水鹽度數(shù)據(jù)存儲表（SL表）、潮位數(shù)據(jù)存儲表（WL表）等多個表格。其中，臨時表每個要素每小時1行數(shù)據(jù)，用于存放近3d每分鐘生成的實時數(shù)據(jù)。數(shù)據(jù)存儲表每個要素每天1行數(shù)據(jù)，用于存放整點值數(shù)據(jù)、極值數(shù)據(jù)以及該天每分鐘數(shù)據(jù)（表1至表5）。以上5個表為數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計所需的表，其中表1至表3為臨時數(shù)據(jù)存儲表，表4為氣象要素數(shù)據(jù)表、表5為水文要素數(shù)據(jù)表，其余水文氣象要素數(shù)據(jù)正式表的表結(jié)構(gòu)與表4和表5結(jié)構(gòu)一致。此外，風(fēng)要素表結(jié)構(gòu)中DataXX為風(fēng)向值與風(fēng)速值的組合，即“風(fēng)向值風(fēng)速值”。

3．2系統(tǒng)程序?qū)崿F(xiàn)與運行結(jié)果

3．2．1數(shù)據(jù)庫觸發(fā)器設(shè)計結(jié)構(gòu)化查詢語言StructureQueryLanguage（SQL）是專門為數(shù)據(jù)庫建立的操作命令集，是一種功能齊全的數(shù)據(jù)庫語言。SQL主要由兩部分組成：DDL（DataDefinitionLanguage）和DML（DataManipulationLanguage）。其中，DDL是建立數(shù)據(jù)庫表及列的指令群，DML是操作數(shù)據(jù)庫記錄的指令群。以下SQL語句實現(xiàn)了海洋水文氣象數(shù)據(jù)庫觸發(fā)器的設(shè)計。上述程序以潮位（WL）數(shù)據(jù)為例，實現(xiàn)了水文要素的數(shù)據(jù)臨時表向正式表的級聯(lián)更新。其中，水文要素數(shù)據(jù)更新為本時刻00分?jǐn)?shù)據(jù)到正式表本小時的更新。利用以上函數(shù)接口，實現(xiàn)了水文氣象數(shù)據(jù)管理，并被海洋站上位機軟件調(diào)用，完成了海洋站水文氣象數(shù)據(jù)的管理。

4結(jié)束語

系統(tǒng)利用數(shù)據(jù)庫技術(shù)和面向?qū)ο蠹夹g(shù)，整合現(xiàn)有觀測設(shè)備的數(shù)據(jù)類型，實現(xiàn)了海洋觀測數(shù)據(jù)的自動化管理，有效降低了海洋觀測系統(tǒng)的管理成本，同時系統(tǒng)為海洋觀測數(shù)據(jù)的模塊化管理和使用提供了對外接口。實現(xiàn)了海洋水文氣象觀測數(shù)據(jù)的模塊化和業(yè)務(wù)化應(yīng)用，為進一步提高海洋觀測預(yù)報的精細化水平，更好服務(wù)于海洋經(jīng)濟發(fā)展管理的支持能力奠定了基礎(chǔ)。

作者：李博 王斌 葉穎 王鵬 孫成龍 閆秦 單位：國家海洋技術(shù)中心

數(shù)據(jù)管理論文:橋梁結(jié)構(gòu)海量數(shù)據(jù)管理論文

1海量數(shù)據(jù)管理系統(tǒng)的總體設(shè)計

1．1中央數(shù)據(jù)庫

中央數(shù)據(jù)庫部署在北京數(shù)據(jù)中心，采用Ora-cle/SqlServer群集，具體隨方案選擇而定。入庫方式:通過人工或網(wǎng)絡(luò)傳輸?shù)姆绞将@取數(shù)據(jù)庫備份，經(jīng)過導(dǎo)入程序入庫;中央數(shù)據(jù)庫存儲項目的歷史數(shù)據(jù)，其存儲數(shù)據(jù)量比現(xiàn)場數(shù)據(jù)庫要高出1～2個數(shù)量級。中央數(shù)據(jù)庫要支持快速的數(shù)據(jù)查詢、文件導(dǎo)入導(dǎo)出和Web訪問，主要功能如下:將經(jīng)過處理的實時數(shù)據(jù)寫入現(xiàn)場數(shù)據(jù)庫;支持?jǐn)?shù)據(jù)的歷史回放和離線分析;支持歷史海量數(shù)據(jù)庫的實時備份、清除和異地恢復(fù);提供與評估軟件平臺的文件導(dǎo)出和數(shù)據(jù)接口;支持?jǐn)?shù)據(jù)的后期操作和查詢、編輯、更改［3］。各模塊功能見表1，整體結(jié)構(gòu)設(shè)計見圖2。

1．2現(xiàn)場數(shù)據(jù)庫

現(xiàn)場數(shù)據(jù)庫針對具體項目，部署在現(xiàn)場監(jiān)控中心，存儲的是處理后的實時數(shù)據(jù)，要求定期備份、刪除、異地恢復(fù)、更新。實時數(shù)據(jù)的特點是數(shù)據(jù)量大，數(shù)據(jù)入庫較快。在設(shè)計現(xiàn)場數(shù)據(jù)庫的時候，主要考慮如下:各個監(jiān)測類型原始數(shù)據(jù)互不干擾;數(shù)據(jù)寫入要求實時，考慮擁堵策略和故障恢復(fù)策略;靈活配置監(jiān)測項、監(jiān)測點的數(shù)據(jù)存儲庫表結(jié)構(gòu)［4］;一定時期的歷史數(shù)據(jù)在線回放和分析;單一監(jiān)測類型數(shù)據(jù)存儲(由于處理系統(tǒng)需要在較長時間內(nèi)持續(xù)對采集數(shù)據(jù)進行處理，即使一種設(shè)備，持續(xù)累計多天的時候，數(shù)據(jù)量也會非常大，需要考慮以何種方式對多天數(shù)據(jù)進行組織)。現(xiàn)場數(shù)據(jù)庫配置版本為SQLServer數(shù)據(jù)庫。

1．3結(jié)構(gòu)特征值數(shù)據(jù)庫

本數(shù)據(jù)庫主要存儲橋梁結(jié)構(gòu)采集數(shù)據(jù)的特征值，包括結(jié)構(gòu)應(yīng)變、加速度、索力等原始數(shù)據(jù)的較大值、最小值、平均值及方差等，特點是數(shù)據(jù)量相對較小，但數(shù)據(jù)計算頻繁，使用頻率較高。此數(shù)據(jù)庫數(shù)據(jù)量小但關(guān)系較復(fù)雜，由于其入庫頻率相對于原始數(shù)據(jù)來說比較低，故采用較為簡單的單庫表結(jié)構(gòu)。特征數(shù)據(jù)庫配置版本為SQLServer數(shù)據(jù)庫。

2海量數(shù)據(jù)庫詳細設(shè)計優(yōu)化方案

2．1高速大容量數(shù)據(jù)存儲與管理

通過對系統(tǒng)的總體評估，擬采用以下措施解決系統(tǒng)中大數(shù)據(jù)量的存儲與管理問題。通過使用OracleRAC(集群)模式加強底層數(shù)據(jù)庫的處理性能;使用存儲過程的方式來進一步加強數(shù)據(jù)庫的交互性能;定期進行數(shù)據(jù)備份與清理，避免存儲過多的低使用率數(shù)據(jù)(比如，數(shù)據(jù)庫一般可以保持6個月到1年的數(shù)據(jù)，其它數(shù)據(jù)通過磁帶庫等存儲介質(zhì)將數(shù)據(jù)備份轉(zhuǎn)移，減輕數(shù)據(jù)庫的處理壓力);對海量數(shù)據(jù)進行分區(qū)操作(例如針對按年份存取的數(shù)據(jù)，我們按年進行分區(qū)，不同的數(shù)據(jù)庫有不同的分區(qū)方式，而不同的文件組存于不同的磁盤分區(qū)下，這樣將數(shù)據(jù)分散開，減小磁盤I/O，減小了系統(tǒng)負(fù)荷，而且還可以將日志、索引存放于不同的分區(qū)下);建立廣泛的索引［5］。對大表建立索引，例如針對大表的分組、排序等字段，都要建立相應(yīng)索引，一般還可以建立復(fù)合索引。當(dāng)插入表時，首先刪除索引，插入完畢，建立索引，并實施聚合操作，聚合完成后，再次插入前還是刪除索引。要注意索引使用的時機，索引的填充因子和聚集、非聚集索引都要考慮。在對海量數(shù)據(jù)進行查詢處理過程中，查詢的SQL語句的性能對查詢效率的影響是非常大的［6］。在對SQL語句的編寫過程中，例如減少關(guān)聯(lián)，少用或不用游標(biāo)，設(shè)計好高效的數(shù)據(jù)庫表結(jié)構(gòu)等都十分必要。

2．2數(shù)據(jù)庫優(yōu)化設(shè)計

橋梁結(jié)構(gòu)橋梁索力數(shù)據(jù)量較大，由于實時數(shù)據(jù)處理系統(tǒng)平時的主要操作是橋梁索力的插入及數(shù)據(jù)查詢，對數(shù)據(jù)的實時性及可恢復(fù)性要求不高，并不要求的精度，允許一定的數(shù)據(jù)損失，對數(shù)據(jù)庫的一致性、并發(fā)性及事物的隔離性要求不高，但對于大數(shù)據(jù)的吞吐量要求較高，故可將其定位為針對插入操作的OLTP系統(tǒng)及部分的OLAP系統(tǒng)［7］。所以考慮降低數(shù)據(jù)庫的隔離級別和并發(fā)一致性控制以提高數(shù)據(jù)庫性能，優(yōu)先滿足海量數(shù)據(jù)插入的吞吐量要求。Oracle版本的數(shù)據(jù)庫優(yōu)化設(shè)計如表2所示。

3系統(tǒng)應(yīng)用項目及領(lǐng)域

本系統(tǒng)已經(jīng)軟件實現(xiàn)并應(yīng)用到南京第4長江大橋的結(jié)構(gòu)監(jiān)測后期運營管理中，不但能較好的彌補新系統(tǒng)的數(shù)據(jù)處理與存儲管理短板，還能融合到已經(jīng)投入使用的大型結(jié)構(gòu)監(jiān)測系統(tǒng)中。同時，本系統(tǒng)力爭建立一個基于結(jié)構(gòu)監(jiān)測的北京大型數(shù)據(jù)中心，中心數(shù)據(jù)庫主要服務(wù)于建立全壽命期的數(shù)字化、信息化橋梁數(shù)據(jù)中心，用于橋梁結(jié)構(gòu)海量歷史數(shù)據(jù)的存儲管理和挖掘分析，為日后的離線數(shù)據(jù)分析和歷史狀態(tài)追溯提供支持。同時，以中央數(shù)據(jù)庫為基礎(chǔ)和平臺，根據(jù)結(jié)構(gòu)的分析和報告編制需求，可以單項和并行的完成數(shù)據(jù)應(yīng)用和管理。

作者：周兵 周鋒 單位：中交公路規(guī)劃設(shè)計院 橋梁結(jié)構(gòu)安全監(jiān)測事業(yè)部 河南中原水利水電工程集團有限公司

數(shù)據(jù)管理論文:國有企業(yè)數(shù)據(jù)管理論文

一、培養(yǎng)大數(shù)據(jù)高端人才

大數(shù)據(jù)管理與大數(shù)據(jù)應(yīng)用都離不開大數(shù)據(jù)技術(shù)，但更離不開大數(shù)據(jù)人才。沒有人才，再先進的設(shè)備只能是“豪華擺設(shè)”;沒有人才，再先進的技術(shù)也只能是“紙上談兵”。因此，推進大數(shù)據(jù)管理，除了需要培養(yǎng)一大批的IT人才外，還迫切需要培養(yǎng)一大批大數(shù)據(jù)人才———數(shù)據(jù)管理師、數(shù)據(jù)分析師，造就一批數(shù)據(jù)科學(xué)家等高端人才。因為只有他們才能駕輕就熟處理海量的信息，并從中挖掘出“數(shù)據(jù)財富”。此外，面對全體員工傳播大數(shù)據(jù)知識，普及大數(shù)據(jù)技術(shù)，培訓(xùn)大數(shù)據(jù)技能，奠定推進大數(shù)據(jù)管理的群眾基礎(chǔ)和技術(shù)基礎(chǔ)，同樣也是一項長期而艱巨的任務(wù)。

二、構(gòu)筑大數(shù)據(jù)管理“一站式”工程，建設(shè)“大數(shù)據(jù)管理智庫”新平臺

1．加強內(nèi)、外部數(shù)據(jù)的“一站式”管理。對企業(yè)來說，數(shù)據(jù)無處不在，無時不有，究其來源，無非企業(yè)內(nèi)部和外部兩個渠道。內(nèi)部數(shù)據(jù)的活水源頭是各單位、各部門、各專業(yè)的統(tǒng)計報表提供的數(shù)據(jù);外部數(shù)據(jù)一方面是國家管理部門、行業(yè)管理部門、機構(gòu)等的統(tǒng)計數(shù)據(jù)，另一方面是來自互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、各種傳感器等信息感知和采集終端采集的數(shù)據(jù)。這些數(shù)據(jù)，日積月累，最終“百川歸海”，匯成大數(shù)據(jù)的海洋。大數(shù)據(jù)時代，企業(yè)通過建立“大數(shù)據(jù)管理智庫”，打破渠道的邊界，把不同來源的數(shù)據(jù)整合在一起，實施一站式管理，讓數(shù)據(jù)時時刻刻為企業(yè)提供服務(wù)。2．注重數(shù)據(jù)挖掘環(huán)節(jié)的“一站式”管理。企業(yè)數(shù)據(jù)挖掘過程也是數(shù)據(jù)發(fā)現(xiàn)和梳理的過程，其有4個重要環(huán)節(jié):采集、存儲、分析、預(yù)測。企業(yè)建立了“大數(shù)據(jù)管理智庫”，對這4個環(huán)節(jié)實施一站式管理，可以大大“提純”數(shù)據(jù)價值。首先是盡可能采集異源甚至是異構(gòu)的數(shù)據(jù)，去偽存真，多角度驗證數(shù)據(jù)的性和可信性。其次是要用到冗余配置、分布化和云計算技術(shù)，分類、過濾和去重，減少存儲量，同時加入便于檢索的標(biāo)簽。第三是將高維數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進行語義分析，從大量動態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，導(dǎo)出可理解的內(nèi)容。第四是將數(shù)據(jù)分析后預(yù)測出的結(jié)論應(yīng)用到企業(yè)中去。3．突出價值鏈上數(shù)據(jù)的“一站式”管理。企業(yè)價值鏈可以分為基本增值活動和輔助性增值活動兩大部分。基本增值活動，即一般意義上的“生產(chǎn)經(jīng)營環(huán)節(jié)”，如材料供應(yīng)、成品開發(fā)、生產(chǎn)運行、成品儲運、市場營銷和售后服務(wù)。這些活動都與商品實體的加工流轉(zhuǎn)直接相關(guān);輔助性增值活動，包括組織建設(shè)、人事管理、技術(shù)開發(fā)和采購管理。價值鏈的每一個環(huán)節(jié)都有相伴而生的數(shù)據(jù)。過去這些數(shù)據(jù)處在分散狀態(tài)。大數(shù)據(jù)時代，企業(yè)通過“大數(shù)據(jù)管理智庫”平臺，對這些數(shù)據(jù)實施一站式管理，有利于每一個環(huán)節(jié)的價值再創(chuàng)造和價值鏈的增值。

三、構(gòu)筑大數(shù)據(jù)管理“一體化”工程，打造“大數(shù)據(jù)管理融合”新生態(tài)

1．大數(shù)據(jù)與云計算技術(shù)融合。大數(shù)據(jù)作為非結(jié)構(gòu)化和電子化的海量數(shù)據(jù)，數(shù)量之大、類型之多、變化之快，前所未有。以云計算為代表的計算技術(shù)的不斷進步，為我們提供了強大的計算能力，從而構(gòu)建起了一個與物質(zhì)世界相平行的數(shù)字世界。國有企業(yè)推進大數(shù)據(jù)管理，就必須建立和完善自己的云計算系統(tǒng)，否則，就是“巧婦難為無米之炊”。2．大數(shù)據(jù)與市場調(diào)研的融合。大數(shù)據(jù)時代，沒有數(shù)據(jù)是不能的，但數(shù)據(jù)也不是萬能的。比如:數(shù)據(jù)不懂社交、不知道背景;數(shù)據(jù)不能反映客戶的心理;數(shù)據(jù)分析擅長的是“量”而非“質(zhì)”等。因此，國有企業(yè)在推進大數(shù)據(jù)管理時，如果將傳統(tǒng)的市場調(diào)研智慧與大數(shù)據(jù)的巨大威力相結(jié)合，可能會在定性分析和定量分析方面產(chǎn)生巨大的優(yōu)勢。尤其在背景分析、心理分析方面，可以彌補大數(shù)據(jù)的短板。大數(shù)據(jù)時代，沒有調(diào)查研究、沒有大數(shù)據(jù)，就沒有發(fā)言權(quán)，就沒有決策權(quán)。3．大數(shù)據(jù)與信息化建設(shè)融合。大數(shù)據(jù)發(fā)軔于信息化建設(shè)，伴隨著信息化建設(shè)的進程同步成長，但同時又遵循自身發(fā)展的規(guī)律，自成一體。改革開放以來，國有企業(yè)在信息化建設(shè)方面邁出了堅實的步伐，這為推進大數(shù)據(jù)管理奠定了扎實的基礎(chǔ)和一個高的起點。大數(shù)據(jù)時代，可以真正實現(xiàn)大數(shù)據(jù)管理與信息化“一體化建設(shè)”，相互促進，共同發(fā)展。4．大數(shù)據(jù)與電子商務(wù)的融合。大數(shù)據(jù)與電子商務(wù)是“前店后廠”的關(guān)系。電子商務(wù)在前臺直接面對客戶，大數(shù)據(jù)則在后臺充當(dāng)“幕后英雄”，默默無聞為前臺提供強大支撐和品質(zhì)服務(wù)。電子商務(wù)作為一個新的商業(yè)模式從真正的興起、發(fā)展，也僅僅只有短短十多年的時間。實踐證明，電子商務(wù)相較傳統(tǒng)的鋼鐵貿(mào)易交易，能夠極大節(jié)約時間、人力、資金和渠道成本，能夠更快速、更深入、更廣泛的開發(fā)消費市場，同時，也能夠密切聯(lián)系供應(yīng)商、采購商、服務(wù)商等產(chǎn)業(yè)鏈上的各個環(huán)節(jié)，不斷拓展企業(yè)的發(fā)展空間。當(dāng)前，由于制約鋼鐵企業(yè)電子商務(wù)發(fā)展的因素還很多，因此，鋼鐵企業(yè)電子商務(wù)發(fā)展非常緩慢，這顯然落后于時代前進的步伐。相信在大數(shù)據(jù)時代，電子商務(wù)將煥發(fā)出勃勃生機，成為鋼鐵企業(yè)獨領(lǐng)風(fēng)騷的新的商業(yè)模式。

作者：李國甫 單位：武鋼大學(xué)

數(shù)據(jù)管理論文:高校電子數(shù)據(jù)管理論文

一、我省高校電子數(shù)據(jù)管理中存在的問題

1．高校信息化建設(shè)條塊分割，缺乏統(tǒng)一規(guī)劃

目前高校所開發(fā)與使用的軟件大多只針對特定的業(yè)務(wù)，沒有一個綜合的管理平臺，各部門各自為重，而部門對數(shù)據(jù)管理的意識不足，數(shù)據(jù)標(biāo)準(zhǔn)與格式不一，缺乏全局性的規(guī)劃，各個軟件系統(tǒng)生成的數(shù)據(jù)不具有兼容性，許多數(shù)據(jù)離開生成軟件便不具有可讀性，海量的數(shù)據(jù)不能為大眾所利用，成為信息孤島。正因為這些軟件生成的數(shù)據(jù)對軟件的依賴性，導(dǎo)致無法向檔案部門提供可利用的電子數(shù)據(jù)，不同的軟件生成的數(shù)據(jù)只能保存于不同部門的特定電腦或服務(wù)器上，由特定的人進行讀取，有些數(shù)據(jù)雖然能縱向傳輸，但無法實現(xiàn)真正的數(shù)據(jù)共享。此弊端首先表現(xiàn)在同一單位內(nèi)部各部門之間無法進行高效通暢的數(shù)據(jù)共享和交流，協(xié)同辦公無法真正實現(xiàn)［1］。其次，由于數(shù)據(jù)不能共享，造成許多不必要的重復(fù)勞動。當(dāng)同一套數(shù)據(jù)需要通過不同軟件向不同部門多頭報送時，形成了多個部門在做同一件事的格局。如果數(shù)據(jù)能共享且具有較強的可讀性或者各數(shù)據(jù)需求部門所需的數(shù)據(jù)格式一致的話，那么只需一個部門即可完成，作為一個單位，對外提供的數(shù)據(jù)也才會真正保持一致性。

2．高校電子數(shù)據(jù)缺乏統(tǒng)一管理

目前高校垂直傳輸?shù)臄?shù)據(jù)如何保管、利用沒有相應(yīng)的規(guī)定，從而導(dǎo)致不必要的混亂。首先體現(xiàn)在網(wǎng)絡(luò)版業(yè)務(wù)軟件的推行使工作人員放松了紙質(zhì)檔案存檔的意識，認(rèn)為反正系統(tǒng)中隨時可以調(diào)用，沒必要再多此一舉。對于垂直傳輸?shù)臄?shù)據(jù)，正常情況下隨時都可以在軟件中調(diào)用，但是基層部門要不要保留數(shù)據(jù)，如何保留，上級部門也沒有硬性要求。一旦所使用的軟件系統(tǒng)出了問題，很容易導(dǎo)致電子數(shù)據(jù)的丟失，比如，省內(nèi)某高校報教育部門的基層統(tǒng)計數(shù)據(jù)，是通過網(wǎng)上直報，后來上級教育部門的軟件進行升級與數(shù)據(jù)置換時將以前的數(shù)據(jù)丟失，要求各高校重新上傳以前的數(shù)據(jù)，而此高校統(tǒng)計員沒有及時進行數(shù)據(jù)備份，也沒及時打印紙質(zhì)報表，一切工作必須重新開展。這種對系統(tǒng)的過度依賴思想給自己釀成了不必要的麻煩。其次由于高校電子數(shù)據(jù)分散于各個部門，而電子數(shù)據(jù)的可讀性低，一方面，許多電子數(shù)據(jù)離開數(shù)據(jù)生成軟件便不具可讀性，另一方面電子數(shù)據(jù)本身容易損壞而失去可讀性，如電腦遭受病毒攻擊可能導(dǎo)致電腦中的數(shù)據(jù)丟失，備份的電子載體如受到劃傷、潮濕、折疊等損毀，或者隨著保存時間的延長而變?yōu)椴豢勺x，電子數(shù)據(jù)的這些特殊性迫切需要有專門的人、專門的設(shè)備與工具進行統(tǒng)一的保管與維護，定期對其可讀性進行檢查。此外，目前各單位購買的辦公軟件或自行開發(fā)的協(xié)同辦公系統(tǒng)，也主要停留在網(wǎng)上收發(fā)文以及公告、通知與新聞的。并且這些數(shù)據(jù)自動生成后都是存放在網(wǎng)站所處的服務(wù)器上，也沒有專門人員對數(shù)據(jù)進行管理，更談不上異地備份，一旦服務(wù)器損壞或者網(wǎng)站內(nèi)容已過有效期，這些數(shù)據(jù)便會逐漸消失或人為刪除。因此，在信息化的推進過程中，電子數(shù)據(jù)的管理急需跟進。

3．高校電子數(shù)據(jù)的真實性缺乏相應(yīng)規(guī)范

紙質(zhì)檔案的真實性易于維護和識別，但電子檔案的任何修改通常不會留下改動痕跡，其真實性辨別的難度大。如果有人為因素進行偽造的話很容易達到目的，因此，電子數(shù)據(jù)作為證據(jù)的可信度遠不如紙質(zhì)檔案。電子檔案的鑒定不僅要開展內(nèi)容鑒定，還要開展技術(shù)鑒定、利用多種軟件硬件檢測設(shè)備，檢測電子文件的完整性、真實性與可讀性，即雙重鑒定才能實現(xiàn)［2］，從而導(dǎo)致電子數(shù)據(jù)的社會認(rèn)可度相對于紙質(zhì)檔案來說要低得多。

二、關(guān)于電子數(shù)據(jù)管理的對策

1．加強對電子數(shù)據(jù)管理頂層設(shè)計

教育信息化建設(shè)主要是以各類業(yè)務(wù)的需要為出發(fā)點，各自為營，沒有考慮數(shù)據(jù)的存取與易讀性及公眾利用數(shù)據(jù)的便利性。高校各業(yè)務(wù)部門都比較熱衷于各類業(yè)務(wù)軟件的購買與開發(fā)，但各類業(yè)務(wù)軟件的設(shè)計往往只考慮了局部業(yè)務(wù)流程如何進一步簡化，并沒有從學(xué)校信息化的總體規(guī)劃上去考慮，只考慮了本部門工作需要，缺乏頂層規(guī)劃。而網(wǎng)站建設(shè)也僅定位于網(wǎng)上審批和新聞，強調(diào)無紙化辦公，而對信息存儲、管理與使用等沒有給予應(yīng)有的重視，缺少對數(shù)據(jù)資源的整合。我省高校教育信息化起步較早，上個世紀(jì)90年代末就成立了信息化領(lǐng)導(dǎo)小組，負(fù)責(zé)對全省高校的信息化建設(shè)進行規(guī)劃與引導(dǎo)，但高校檔案信息化建設(shè)近兩年才真正啟動，2014年底已完成了一期(省級平臺)項目，今年初開始組織開展教育系統(tǒng)檔案信息化二期工作，省教育廳主要負(fù)責(zé)省級數(shù)據(jù)中心建設(shè)，參與建設(shè)的高校主要負(fù)責(zé)本單位不涉密檔案目錄數(shù)字化及紙質(zhì)檔案選擇性數(shù)字化等。目前檔案信息化平臺的構(gòu)建只是針對現(xiàn)有的檔案資源的管理，還沒有針對高校各業(yè)務(wù)軟件的對接及相應(yīng)電子數(shù)據(jù)的管理。我省信息化建設(shè)是分領(lǐng)域分部門推進，檔案信息化只是作為其中的一個子項目參與建設(shè)，并沒有真正融入信息化建設(shè)的全過程，因此，很多信息化建設(shè)項目忽略了數(shù)據(jù)的存儲、管理與利用，而側(cè)重于業(yè)務(wù)問題的處理及數(shù)據(jù)的垂直傳輸。因此，我們有必要在推進教育信息化的過程中，考慮電子檔案管理的要求，對電子數(shù)據(jù)管理進行頂層設(shè)計，建立全省高校數(shù)據(jù)中心，高校所有的業(yè)務(wù)軟件生成的電子數(shù)據(jù)最終都能匯集到這里，形成一個大的高校數(shù)據(jù)云，供大家隨時隨地利用。這樣不僅解決了數(shù)據(jù)的管理與存儲問題，還能大大提高數(shù)據(jù)的可利用性。

2．借鑒科層化管理模式，加強電子數(shù)據(jù)管理

“科層化”管理模式，是由德國社會經(jīng)濟學(xué)家馬克思?韋伯在《社會組織與經(jīng)濟組織理論》中構(gòu)建的一種基于法理的，以實現(xiàn)高效率與合理化為目標(biāo)的理想化的組織管理模式［3］。目前我省高校所使用的業(yè)務(wù)軟件種類豐富，同一業(yè)務(wù)軟件版本眾多，大量的重復(fù)開發(fā)與引進造成了資源的浪費，信息的重復(fù)采集大大降低了工作效率。省級教育行政部門作為科層式組織結(jié)構(gòu)中的頂層管理者，可以承擔(dān)起省級高校數(shù)據(jù)中心的模型構(gòu)建，確定數(shù)據(jù)中心需要匯集的基本數(shù)據(jù)類型與模型，組織開發(fā)相關(guān)的業(yè)務(wù)軟件與應(yīng)用界面或向全國引進的軟件加以改造與完善，然后在省內(nèi)高校推廣使用，這樣有利于統(tǒng)一數(shù)據(jù)的采集標(biāo)準(zhǔn)與格式，有利于數(shù)據(jù)的集中管理與利用。各高校作為科層化管理模式的中層，其職能是貫徹決策，使業(yè)務(wù)軟件在相關(guān)的業(yè)務(wù)部門得到應(yīng)用，為軟件的正常運行提供必要的條件。高校各部門的工作人員作為基層工作者，主要職能是執(zhí)行決策，對業(yè)務(wù)數(shù)據(jù)按要求進行錄入處理。借鑒科層化管理模式，明確各層級的職責(zé)，才可避免每個高校都搞信息化設(shè)計，每個業(yè)務(wù)部門都開發(fā)或引進業(yè)務(wù)軟件的現(xiàn)象。重復(fù)開發(fā)重復(fù)建設(shè)，造成許多的資源浪費，導(dǎo)致大量信息孤島的形成，背離了信息化建設(shè)所要實現(xiàn)的節(jié)約行政成本、簡化工作、信息共享、便于利用的目的。

3．制定相關(guān)的數(shù)據(jù)管理規(guī)定與標(biāo)準(zhǔn)

標(biāo)準(zhǔn)是對重復(fù)性事物和概念所作的統(tǒng)一規(guī)定，它是以科學(xué)技術(shù)和客觀實踐經(jīng)驗為基礎(chǔ)的，其目的是為了獲得工作、生產(chǎn)、科研的秩序和社會效益［4］。制定相關(guān)的數(shù)據(jù)管理規(guī)定與標(biāo)準(zhǔn)能夠優(yōu)化工作流程，簡化工作程序。對于數(shù)據(jù)的形成與管理，我們必須用相應(yīng)的標(biāo)準(zhǔn)加以規(guī)范，實施前端控制，以規(guī)避數(shù)據(jù)格式的混亂，讓數(shù)據(jù)一產(chǎn)生就是標(biāo)準(zhǔn)的，包括其使用的語言、生成格式、字段名、字段長度、數(shù)據(jù)描述等等，只有這樣，信息化建設(shè)對電子數(shù)據(jù)的管理才能符合檔案管理的要求。此外，對于電子數(shù)據(jù)的真實性、安全性，電子數(shù)據(jù)如何鑒定和歸檔，電子印章的使用等問題都有待進行明確的規(guī)定。只有有了統(tǒng)一的規(guī)定與標(biāo)準(zhǔn)，才能實現(xiàn)電子數(shù)據(jù)的科學(xué)管理，為數(shù)據(jù)中心的構(gòu)建與實施提供必要條件。

4．提品質(zhì)案管理人員的業(yè)務(wù)水平

檔案工作者習(xí)慣于傳統(tǒng)的檔案管理方式，強調(diào)紙質(zhì)檔案的保管。盡管現(xiàn)在數(shù)字檔案館的建設(shè)如火如荼，但也僅停留在電子公文、電子照片、電子視頻等電子文件的收集與管理，以及將紙質(zhì)文件電子化方面，把信息化僅僅當(dāng)作部門工作的計算機化。由于大部份電子數(shù)據(jù)離開相應(yīng)的生成軟件便不具備可讀性，業(yè)務(wù)部門及檔案工作部門缺乏相應(yīng)的技術(shù)實力，無法實現(xiàn)對業(yè)務(wù)軟件的設(shè)計與數(shù)據(jù)的轉(zhuǎn)換，沒有相應(yīng)的實力對各類數(shù)據(jù)進行整合與開發(fā)。檔案工作者原有的知識結(jié)構(gòu)已不適應(yīng)電子數(shù)據(jù)管理的要求，面對五花八門的電子數(shù)據(jù)顯得無能為力。檔案部門既懂軟件設(shè)計又懂檔案管理的人才非常稀少，因此無法真正參與到信息化的設(shè)計當(dāng)中去。信息化的設(shè)計過程中，為了簡化程序設(shè)計，往往也會忽視數(shù)據(jù)的存儲與管理這一塊，由于多方面的原因，檔案工作部門作為一個邊緣部門在信息化過程中常被邊緣化，因此，通過進修與培訓(xùn)提高現(xiàn)有檔案工作人員的信息化建設(shè)水平，通過引進信息化建設(shè)中的中高端人才加入檔案工作領(lǐng)域，提品質(zhì)案工作隊伍的整體業(yè)務(wù)水平，才能有實力參與到高校信息化的設(shè)計過程中去，才能在未來的信息化建設(shè)中發(fā)揮自己應(yīng)有的力量。總之，我省高校的電子數(shù)據(jù)管理還處在一種分散的狀態(tài)，數(shù)據(jù)分布在高校不同的部門和網(wǎng)絡(luò)環(huán)境中，同時經(jīng)過多年的信息化建設(shè)，高校各業(yè)務(wù)部門都已擁有自己的業(yè)務(wù)軟件，這些軟件由于使用的編程語言不同，使用的數(shù)據(jù)標(biāo)準(zhǔn)與結(jié)構(gòu)不同，導(dǎo)致數(shù)據(jù)無法共享與直接利用，與信息化建設(shè)的初衷是相違背的。我們有必要對這些分散的數(shù)據(jù)進行集中管理，而要實現(xiàn)這一目標(biāo)，就必須構(gòu)建一個全省高校數(shù)據(jù)中心的模型，借鑒科層化管理模式，由教育行政部門組織開發(fā)各高校現(xiàn)有的業(yè)務(wù)模塊，包括學(xué)籍、教務(wù)、財務(wù)、科研、圖書、資產(chǎn)等管理系統(tǒng)，各高校通過統(tǒng)一的平臺入口將相關(guān)數(shù)據(jù)直接上傳到數(shù)據(jù)中心，真正實現(xiàn)數(shù)據(jù)的綜合管理與利用。

作者：何艷平 單位：湖南廣播電視大學(xué)

數(shù)據(jù)管理論文:企業(yè)公共數(shù)據(jù)管理論文

1公共數(shù)據(jù)管理技術(shù)發(fā)展趨勢

Gartner的研究報告顯示，公共數(shù)據(jù)管理應(yīng)被視為實現(xiàn)企業(yè)內(nèi)信息管理戰(zhàn)略的一部分，沒有廣泛的企業(yè)信息管理和基礎(chǔ)架構(gòu)的支持，公共數(shù)據(jù)管理解決方案將不能有效的維持高質(zhì)量和可重用性的數(shù)據(jù)。圖5為2012年Gartner的關(guān)于公共數(shù)據(jù)管理技術(shù)的成熟度曲線。縱觀公共數(shù)據(jù)管理技術(shù)成熟度曲線，公共數(shù)據(jù)管理市場正在逐步走向成熟。雖然在兩年之內(nèi)還沒有新的技術(shù)出現(xiàn)，但是從整體上看，公共數(shù)據(jù)管理市場仍具有可開發(fā)的潛力。2012年的公共數(shù)據(jù)管理技術(shù)成熟度曲線的特點是，有些技術(shù)在高峰期到達前就已過時，這些技術(shù)將被更廣泛的公共數(shù)據(jù)管理技術(shù)所替代，如多域公共數(shù)據(jù)管理解決方案。使用低質(zhì)量的公共數(shù)據(jù)去改善業(yè)務(wù)過程只會導(dǎo)致低預(yù)期的結(jié)果，所以維護單一版本的公共數(shù)據(jù)是非常有必要的。

2公共數(shù)據(jù)管理體系

公共數(shù)據(jù)管理體系主要涵蓋了公共數(shù)據(jù)標(biāo)準(zhǔn)、管理組織、管理流程和質(zhì)量管理4部分，旨在創(chuàng)建企業(yè)級信息視圖，建立一個有效的端到端的數(shù)據(jù)管理體系，在整個數(shù)據(jù)生命周期內(nèi)采用一項綜合、協(xié)調(diào)且有計劃的方案，從而提升決策過程中所需數(shù)據(jù)的一致性和可信度，提升數(shù)據(jù)的安全性及質(zhì)量水平，將數(shù)據(jù)對收入的貢獻潛力較大化。2.1公共數(shù)據(jù)標(biāo)準(zhǔn)體系2.1.1公共數(shù)據(jù)標(biāo)準(zhǔn)識別企業(yè)公共數(shù)據(jù)編碼標(biāo)準(zhǔn)體系是基于企業(yè)業(yè)務(wù)運作及管理需求而建立的，首先以各項業(yè)務(wù)分析作為關(guān)鍵輸入，分析出核心業(yè)務(wù)組件(CBM)模型，而后根據(jù)公共數(shù)據(jù)識別的原則定位各業(yè)務(wù)相關(guān)的公共數(shù)據(jù)對象，并按照公共數(shù)據(jù)分類的原則，從公共數(shù)據(jù)共享的業(yè)務(wù)領(lǐng)域、信息系統(tǒng)范圍等角度出發(fā)，篩選出公共數(shù)據(jù)，從現(xiàn)行標(biāo)準(zhǔn)、應(yīng)用集成情況、數(shù)據(jù)責(zé)任人、管理流程及平臺支持維度對每一項公共數(shù)據(jù)對象進行詳細分析，確定管理策略，制定公共數(shù)據(jù)標(biāo)準(zhǔn)，進而形成公共數(shù)據(jù)標(biāo)準(zhǔn)體系。2.1.2公共數(shù)據(jù)標(biāo)準(zhǔn)體系企業(yè)公共數(shù)據(jù)通常包括人、財、物、業(yè)務(wù)伙伴和基礎(chǔ)數(shù)據(jù)5個方面，代表了企業(yè)整個層面公共的業(yè)務(wù)實體，跨業(yè)務(wù)領(lǐng)域、跨信息系統(tǒng)。因此公共數(shù)據(jù)標(biāo)準(zhǔn)是應(yīng)用于多個信息系統(tǒng)的基礎(chǔ)類標(biāo)準(zhǔn)，需在整個企業(yè)范圍內(nèi)統(tǒng)一制定，并嚴(yán)格執(zhí)行。2.1.3公共數(shù)據(jù)標(biāo)準(zhǔn)管理流程公共數(shù)據(jù)編碼標(biāo)準(zhǔn)管理流程一般包括注冊與立項、制修訂與、宣貫與執(zhí)行、檢查與復(fù)審、使用與維護等5個階段，實現(xiàn)公共數(shù)據(jù)的全生命周期管理(圖6)。2.2公共數(shù)據(jù)管理組織和職責(zé)在公共數(shù)據(jù)管理過程中，從標(biāo)準(zhǔn)的制定到標(biāo)準(zhǔn)的執(zhí)行會涉及標(biāo)準(zhǔn)和數(shù)據(jù)責(zé)任部門、標(biāo)準(zhǔn)部門、標(biāo)準(zhǔn)執(zhí)行部門3個重要的角色。通常標(biāo)準(zhǔn)和數(shù)據(jù)責(zé)任部門是財務(wù)、采購部門，主要負(fù)責(zé)公共數(shù)據(jù)編碼標(biāo)準(zhǔn)的制修訂、解釋和監(jiān)督執(zhí)行。企業(yè)的標(biāo)準(zhǔn)化管理機構(gòu)負(fù)責(zé)標(biāo)準(zhǔn)，標(biāo)準(zhǔn)由企業(yè)的各級公共數(shù)據(jù)責(zé)任部門分級負(fù)責(zé)執(zhí)行。在整個組織體系中，標(biāo)準(zhǔn)和數(shù)據(jù)責(zé)任部門(DataOwner)直接影響公共數(shù)據(jù)管理的最終效果和管理水平。實踐證明，最有效的公共數(shù)據(jù)責(zé)任部門是業(yè)務(wù)與管理高度統(tǒng)一的部門，但具體企業(yè)還需具體分析。2.3公共數(shù)據(jù)編碼管理根據(jù)企業(yè)業(yè)務(wù)管理特點和要求的不同，公共數(shù)據(jù)將采取集中制、審批制和備案制3種管理方式，歸口業(yè)務(wù)管理部門將按不同的方式對公共數(shù)據(jù)進行編碼。公共數(shù)據(jù)管理從公共數(shù)據(jù)的業(yè)務(wù)活動出發(fā)，逐個分析各節(jié)點的業(yè)務(wù)需求，為數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、管理體系及系統(tǒng)功能的提升提供需求指導(dǎo)和應(yīng)用思路。圖7展現(xiàn)了數(shù)據(jù)從產(chǎn)生到消亡的生命周期管理。2.4公共數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理主要從事前防范、事中監(jiān)控及事后治理3個方向進行管理。，管控流程一般主要包括數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量分析、數(shù)據(jù)清理及長效保障4個環(huán)節(jié)(圖8)。

3公共數(shù)據(jù)管理系統(tǒng)建設(shè)

企業(yè)要實現(xiàn)公共數(shù)據(jù)管理，需搭建相應(yīng)的系統(tǒng)用于公共數(shù)據(jù)的申請、審批和集成管理。公共數(shù)據(jù)管理系統(tǒng)包含公共數(shù)據(jù)的查詢、申請、審批、、質(zhì)量管控和集成等功能，通過企業(yè)服務(wù)總線實現(xiàn)與企業(yè)各信息系統(tǒng)的集成，為各集成系統(tǒng)提供公共數(shù)據(jù)編碼服務(wù)(圖9)。通過公共數(shù)據(jù)管理系統(tǒng)的建設(shè)，不僅可以落實企業(yè)公共數(shù)據(jù)標(biāo)準(zhǔn)的執(zhí)行、規(guī)范公共數(shù)據(jù)管理流程，還能較大化發(fā)揮公共數(shù)據(jù)管理的實施效益，為企業(yè)應(yīng)用系統(tǒng)集成應(yīng)用和信息共享奠定堅實的數(shù)據(jù)基礎(chǔ)。

4總結(jié)

隨著信息化建設(shè)的不斷成熟，公共數(shù)據(jù)管理將作為企業(yè)運作過程中一種常態(tài)的管理職能。企業(yè)通過公共數(shù)據(jù)管理，可取得一系列成果：①制定一系列公共數(shù)據(jù)編碼標(biāo)準(zhǔn)，既可滿足企業(yè)跨部門、跨業(yè)務(wù)領(lǐng)域的數(shù)據(jù)共享需求，也滿足了企業(yè)系統(tǒng)間信息交互數(shù)據(jù)一致性的需求；②成立數(shù)據(jù)管理組織，可指導(dǎo)企業(yè)公共數(shù)據(jù)編碼標(biāo)準(zhǔn)的制修訂、推廣實施、運維管理等工作；③建設(shè)相應(yīng)的公共數(shù)據(jù)編碼管理系統(tǒng)，為企業(yè)各信息系統(tǒng)的數(shù)據(jù)共享提供技術(shù)支持；④建立企業(yè)統(tǒng)一共享公共數(shù)據(jù)編碼庫，有利于企業(yè)做出正確的統(tǒng)計分析及業(yè)務(wù)決策。綜上所述，公共數(shù)據(jù)管理是企業(yè)信息化建設(shè)過程中必不可少的部分，將為企業(yè)的系統(tǒng)集成、業(yè)務(wù)協(xié)同、決策應(yīng)用等發(fā)揮更大的助力作用。

作者：黃幽麗 馮霈 張棟 朱麗娜 路艷玲 單位：中國石油集團東方地球物理勘探有限責(zé)任公司信息技術(shù)中心

數(shù)據(jù)管理論文:存儲資源池數(shù)據(jù)管理論文

1存儲虛擬化技術(shù)應(yīng)用過程

首先對原有分割的San網(wǎng)絡(luò)進行改造，形成統(tǒng)一san網(wǎng)絡(luò)，為數(shù)據(jù)中心的所有存儲設(shè)備和服務(wù)器提供端到端的通訊；其次通過現(xiàn)場測試比較選購一臺具有虛擬化功能的容量為100T高端存儲設(shè)備對原有存儲進行整合，虛擬化為邏輯上的存儲資源池，并按照存儲設(shè)設(shè)備類型和性能劃分高、中、低三個存儲資源組；另外根據(jù)各應(yīng)用系統(tǒng)對存儲性能、容量的要求進行分類；在保障業(yè)務(wù)數(shù)據(jù)安全的前提下，對各業(yè)務(wù)數(shù)據(jù)進行整理，逐一分級遷移到新建存儲資源池中。

2應(yīng)用效果

項目實施后形成了邏輯上的存儲資源池，實現(xiàn)了多臺存儲設(shè)備的集中監(jiān)控和統(tǒng)一管理，工作量和維護成本得以降低。各應(yīng)用系統(tǒng)共享統(tǒng)一的存儲資源池，可按照資源需求規(guī)劃和既定策略進行資源分配，應(yīng)用系統(tǒng)暫時不需要的資源可以動態(tài)分配給其它系統(tǒng)使用。通過存儲動態(tài)分層技術(shù)，確保現(xiàn)最重要最繁忙的數(shù)據(jù)總是保存在性能好的存儲上，而次要數(shù)據(jù)保存在其它存儲資源上；通過克隆或鏡像方式將重要數(shù)據(jù)復(fù)制到存儲資源池中低端存儲設(shè)備上，使老舊設(shè)備繼續(xù)發(fā)揮作用，并以較低的成本提高數(shù)據(jù)安全性。

2.1提高資源利用率實現(xiàn)了存儲資源的集中統(tǒng)一管理

項目實施后將原來各獨立的存儲域邏輯上整合成一個整體的存儲域，并按邏輯分區(qū)方式保障業(yè)務(wù)性能等級，通過虛擬資源調(diào)配將整個虛擬化整合后的資源動態(tài)供應(yīng)給相關(guān)應(yīng)用，改變原有存儲獨占模式為多應(yīng)用共享，提高資源利用率。實現(xiàn)在各個存儲層次，根據(jù)業(yè)務(wù)性能等級數(shù)據(jù)實現(xiàn)動態(tài)分層，對業(yè)務(wù)系統(tǒng)系統(tǒng)進行存儲改造，最終實現(xiàn)最重要最繁忙的數(shù)據(jù)總是存儲在性能好的存儲上，而次要數(shù)據(jù)將保存在性能普通的陣列。數(shù)據(jù)在性能好陣列與普通陣列的遷移將是自動的并且對應(yīng)用是透明的。如圖1所示。

2.2有效的提升了重要數(shù)據(jù)的讀寫速度

將業(yè)務(wù)數(shù)據(jù)，按照重要性和使用頻度進行分級（1）使用在線中高端磁盤系統(tǒng)，保存實時的、高使用價值的業(yè)務(wù)數(shù)據(jù)；（2）使用近線中低端磁盤系統(tǒng)，保存不常訪問的、但有較高使用價值的數(shù)據(jù)；（3）使用離線磁帶設(shè)備，保存基本需保留的、低使用價值的歷史數(shù)據(jù)。

2.3以較低投入帶來了數(shù)據(jù)安全性較大的提高

通過項目建設(shè)可以極大的提高云南電網(wǎng)業(yè)務(wù)數(shù)據(jù)的安全性，實現(xiàn)方法是通過存儲資源的集中統(tǒng)一管理我們可以在異構(gòu)存儲上通過數(shù)據(jù)克隆技術(shù)，以較低的成本實現(xiàn)基于時間點剝離做數(shù)據(jù)復(fù)用，將重要數(shù)據(jù)在磁盤陣列內(nèi)甚至在磁盤陣列間進行復(fù)制，同時保持多份可以方便使用數(shù)據(jù)除了能提高數(shù)據(jù)安全性外，還可以為開發(fā)測試、查詢、備份等功能，簡單、易維等一些臨時任務(wù)提供一個數(shù)據(jù)副本，對生產(chǎn)數(shù)據(jù)不造成任何安全和性能影響。如圖2所示。

2.4實現(xiàn)存儲的網(wǎng)絡(luò)擴展使存儲資源的使用更加方便靈活

對原有存儲設(shè)備升級改造完成后部分原有老設(shè)備將不再提供給業(yè)務(wù)應(yīng)用系統(tǒng)使用，為了更好利用這些設(shè)備考慮增加一套NAS網(wǎng)關(guān)，并將其接入到SAN網(wǎng)絡(luò)，NAS網(wǎng)關(guān)可以直接使用已經(jīng)池化得富余或者暫時不用的存儲空間（這些空間可以分別來自于多臺存儲），并通過網(wǎng)絡(luò)提供給那些無法接入到SAN的服務(wù)器或計算機使用。部門或者個人可以將文件通過NAS網(wǎng)關(guān)提供的文件共享服務(wù)，方便、安全的進行共享和交換。NAS網(wǎng)關(guān)提供的NFS作為一個工業(yè)級標(biāo)準(zhǔn)的共享文件系統(tǒng)，NFS卷的安裝和卸載非常簡單，并支持多用戶端，任何與網(wǎng)絡(luò)相連的服務(wù)器可以方便利用虛擬化軟件來使用和運行虛擬機。和SAN比較NAS網(wǎng)關(guān)提供的NFS雖然受帶寬限制（SAN一般為4GB/S,NAS一般為1GB/S）但是由于服務(wù)器使用網(wǎng)絡(luò)存儲資源時不用配置LUN和SAN，只需ip可達就可以方便的使用，因此利用NFS能更快的實現(xiàn)虛擬機的故障切換和數(shù)據(jù)遷移，特別當(dāng)部分無HBA卡的服務(wù)器需要進行虛擬化應(yīng)用時，可利用NAS作為服務(wù)器共享存儲。

3結(jié)論

通過實踐證明存儲虛擬化技術(shù)的應(yīng)用不但能提高存儲資源的利用效率，而且能有效的提高存儲系統(tǒng)運維管理水平，并為未來該領(lǐng)域的其它性新技術(shù)的應(yīng)用奠定了夯實的基礎(chǔ)，隨著應(yīng)用的深化可以依托存儲資源池進一步為用戶提供網(wǎng)絡(luò)文件同步管理、云備份等存儲服務(wù)。

作者：胡永華 白楓