引論：我們?yōu)槟砹?3篇網(wǎng)絡流量監(jiān)測范文，供您借鑒以豐富您的創(chuàng)作。它們是您寫作時的寶貴資源，期望它們能夠激發(fā)您的創(chuàng)作靈感，讓您的文章更具深度。
篇1
為了解決網(wǎng)絡環(huán)境下管理系統(tǒng)和基礎設施的協(xié)同工作以及管理集成問題，OASIS組織在IBM、HP、CA等著名公司的大力支持下，于2005年3月推出了Web服務分布式管理(Web services distributed manage-ment，WSDM)標準，對Web Service管理提供標準化的支持，通過使用Web Service來實現(xiàn)對不同平臺的管理。
WSDM是一個用于描述特定設備、應用程序或者組件的管理信息和功能的標準。所有描述都是通過Web服務描述語言進行的。WSDM標準實際上是由兩個不同的標準組成的，WSDM-MUWS標準以及WS-DM-MOWS標準。
圖1是WSDM的工作模式，可管理用戶發(fā)現(xiàn)這個Web Service端點，然后，通過與端點交換消息，從而獲取信息、定制事件以及控制與端點相關(guān)聯(lián)的可管理資源。WSDM規(guī)范側(cè)重于提供對可管理資源的訪問。管理是資源的一個可能具有的特性，可管理資源的實現(xiàn)是通過Web Service端點提供一組管理功能。WSDM架構(gòu)不限制可管理資源的實現(xiàn)策略，實現(xiàn)方式包括直接訪問資源、用非方法、用管理等，實現(xiàn)細節(jié)對于管理消費者來說都是透明的。
WSDM作為一種功能強大的分布式系統(tǒng)集成解決方案，其主要特點如下：
(1)面向資源。WSDM的關(guān)注點是資源，因為一個資源就代表了多個Web服務，因此在該標準中，對資源屬性和功能的詳細描述顯得尤為重要。為此，WSDM采用了專門的Web標準(如WS-Resource)對資源相關(guān)信息進行定義。
(2)實現(xiàn)分離。由于采用與實現(xiàn)操作無關(guān)的WSDL語言定義接口，使得接口與服務實現(xiàn)了分離，所以無論Web服務其內(nèi)在實現(xiàn)細節(jié)如何改變都不會對客戶端的操作方式有任何影響。這樣做不但較好地封裝了管理方法的實現(xiàn)細節(jié)，而且實現(xiàn)了對已有資源的重用。
(3)服務的可組合性。WSDM能隨著應用環(huán)境規(guī)模的變化而變化，首先，WSDM標準的自身實現(xiàn)只需定義較少的屬性和操作，使得其在小規(guī)模的系統(tǒng)中可以得到穩(wěn)定的應用：其次，對于大規(guī)模應用環(huán)境而言，WSDM可以隨著應用需求的變化靈活地添加某些服務。從而在使用者和部署人員之間起很好的協(xié)調(diào)作用。
(4)模型的兼容性。主要表現(xiàn)在WSDM能描述和封裝任何資源模型(如cIM、SM-NP、SID等)，并為其提供相應的Web服務接口。
2 系統(tǒng)設計方案
網(wǎng)絡流量采集使用了三種技術(shù)：
(1)基于網(wǎng)管設備MIB的SNMP模式；
(2)基于網(wǎng)絡探針技術(shù)的IP流量數(shù)據(jù)捕獲模式；
(3)基于NetFlow技術(shù)的數(shù)據(jù)流捕獲模式。
針對基于SNMP模式，實現(xiàn)基于WSDM的SNMP網(wǎng)關(guān)，通過該網(wǎng)關(guān)收集SNMP設備上的MIB信息；針對基于網(wǎng)絡探針技術(shù)模式，可實現(xiàn)基于WSDM的網(wǎng)絡探針服務；針對基于NetFlow技術(shù)模式，流量數(shù)據(jù)是通過NetFlow的主動式數(shù)據(jù)推送機制獲得的，網(wǎng)絡設備中的NetFlow是通過規(guī)范的報文格式將流量數(shù)據(jù)送往指定主機，WSDM服務提供了接收和傳輸NetFlow流量數(shù)據(jù)的功能。
2.1 系統(tǒng)架構(gòu)
流量監(jiān)測系統(tǒng)結(jié)構(gòu)可劃分為三個層次，即資源層、管理服務層、展示層，如圖2所示。
(1)資源層
資源層由提供流量采集服務的分布式流量采集器(WSDM Agent)組成，它們通過調(diào)用管理服務層的WSDM Agent注冊服務實行自主注冊，具備向管理服務層主動匯報、自主管理和主動服務等功能。
(2)管理服務層
管理服務層包括應用組件、服務組件、管理平臺以及數(shù)據(jù)庫。其中應用組件是對展示層提供支持的各種
管理服務，包括策略管理模塊、WSDM Agent管理模塊、流量數(shù)據(jù)管理模塊以及流量分析模塊等系統(tǒng)功能實現(xiàn)的模塊。服務組件是對資源層的各種WSDMAgent資源的支持，包括安全審計、日志服務、異常服務、自主管理等，主要是管理服務器自主實現(xiàn)的一些功能。數(shù)據(jù)庫部分是應用組件中各模塊對應的數(shù)據(jù)存儲。中間層的管理平臺是管理服務層的核心，是對應用組件、服務組件以及數(shù)據(jù)庫的支持，包括Web服務、WSDM服務的引擎和API等。
(3)展示層
展示層實現(xiàn)流量狀態(tài)顯示?？梢詮牧髁繑?shù)據(jù)庫中取得所要查詢的網(wǎng)絡流量歷史信息，也可以調(diào)用管理服務層提供的服務觸發(fā)流量信息更新采集實時的流量數(shù)據(jù)，還可以通過服務將合法用戶的操作信息送到管理服務層。根據(jù)用戶需求采用圖形用戶界面將流量態(tài)勢分析的結(jié)果展示出來?？商峁┒喾N格式的流量報表。
2.2 流量分析系統(tǒng)設計
流量分析系統(tǒng)是整個流量監(jiān)測系統(tǒng)的核心。如圖3所示，該系統(tǒng)分為五個模塊：流量采集模塊、數(shù)據(jù)接收模塊、數(shù)據(jù)傳輸模塊、流量分析模塊、數(shù)據(jù)存儲與管理模塊。對照流量監(jiān)測系統(tǒng)架構(gòu)，流量分析系統(tǒng)結(jié)構(gòu)中的這五個功能模塊分別位于總體架構(gòu)的各個層次。
篇2
隨著網(wǎng)絡規(guī)模的日益擴大和網(wǎng)絡結(jié)構(gòu)的日益復雜，導致計算機網(wǎng)絡管理的難度越來越大，相應的要求也變得越來越高。各種網(wǎng)絡活動都離不開網(wǎng)絡流量，網(wǎng)絡流量作為網(wǎng)絡用戶活動的主要載體，發(fā)揮著較為重要的作用。通過監(jiān)測分析網(wǎng)絡流量，可以完成容量規(guī)劃、鏈路狀態(tài)監(jiān)測、異常監(jiān)測、網(wǎng)絡性能分析等，對于計算機網(wǎng)絡的維護和運行都能夠發(fā)揮重要作用。如netcounter是一款簡單易用的網(wǎng)絡流量監(jiān)控軟件。它可以分別顯示手機網(wǎng)絡和wifi當天、本周、本月和所有時間的流量統(tǒng)計。本文就計算機網(wǎng)絡管理中網(wǎng)絡流量監(jiān)測進行研究。
1 網(wǎng)絡流量的特征
1.1 大部分TCP會話是短期的。對于TCP會話而言，超過90%的會話時間都不會超過幾秒，交換數(shù)據(jù)量一般都在5-10K字節(jié)，很少有能夠10K字節(jié)的。雖然遠程登陸和文件傳輸之類的TCP會話是長期的，但是百分之八十多的WWW文檔傳輸大小都是小于10K字節(jié)，而目前這種WWW文檔傳輸大幅度增加，從而導致大部分TCP會話是短期的。
1.2 數(shù)據(jù)流是雙向的，但通常是非對稱的。對于計算機網(wǎng)絡而言，大部分互聯(lián)網(wǎng)應用都不采用單向交換，而是雙向交換數(shù)據(jù)，所以，網(wǎng)絡流量也自然都是雙向的。但通常這兩個方向的數(shù)據(jù)率存在很大的差異，主要原因就在于：網(wǎng)站到客戶端的數(shù)據(jù)量會由于網(wǎng)站下載而比客戶端到網(wǎng)站的數(shù)據(jù)量多。
1.3 網(wǎng)絡通信量具有局域性。對于網(wǎng)絡流量而言，一般都包括兩種局域性，分別是空間局域性和時間局域性。用戶通過互聯(lián)網(wǎng)應用層來對網(wǎng)絡進行訪問，主要是在包的目的地址和時間上進行體現(xiàn)，從而顯示出空間局域性（基于空間相關(guān)）和時間局域性（基于時間相關(guān)）。
1.4 包的到達過程不是泊松過程。按照傳統(tǒng)的通信網(wǎng)絡設計和排隊理論都假設泊松過程就是包的到達過程，也就是說，包到達的間斷時間的分布是獨立的指數(shù)分布。
例如電話、交通事故、地震等事件都是獨立地、按照一定的概率來發(fā)生的，這也就是泊松到達過程。但是根據(jù)近年來測量互聯(lián)網(wǎng)絡通信量的顯示結(jié)果表明，泊松過程已經(jīng)不再是包到達的過程。包的到達具有有突發(fā)性，在很多時候都會有多個包連續(xù)到達，包到達的間斷時間不是獨立分布的，同時也不服從指數(shù)分布。包的到達過程已經(jīng)不能被泊松過程來精確描述。造成這樣的原因部分在于數(shù)據(jù)傳輸所使用的協(xié)議。這種非泊松結(jié)構(gòu)使得人們在研究網(wǎng)絡的可靠性時不再采用簡單的泊松模型，從而使得網(wǎng)絡通信量模型的研究大大促進。
2 計算機網(wǎng)絡管理中網(wǎng)絡流量監(jiān)測的方法
在深入了解互聯(lián)網(wǎng)通信特性之后，我們在監(jiān)測網(wǎng)絡流量的時候就可以采取相應的技術(shù)措施。從目前的實踐經(jīng)驗來看，計算機網(wǎng)絡管理中網(wǎng)絡流量監(jiān)測的方法主要有兩種，分別是被動測量和主動測量。
2.1 主動測量。主動測量的工作原理就是通過測量設備來測量端到端的網(wǎng)絡流量和網(wǎng)絡特征，進而了解被測網(wǎng)絡當前提供數(shù)據(jù)傳輸?shù)哪芰途唧w的運行狀態(tài)。在主動測量網(wǎng)絡流量的過程中，網(wǎng)絡測量系統(tǒng)應當由四個部分構(gòu)成，分別是分析服務器、中心數(shù)據(jù)庫、中心服務器、測量節(jié)點。
主動測量網(wǎng)絡流量的最大優(yōu)點就在于三個方面，分別是靈活性、可控性、主動性都較好，而且還能夠直觀地統(tǒng)計端到端的性能。但是主動測量網(wǎng)絡流量的方法也存在著不足之處，那就是實際情況與我們所獲得的結(jié)果存在著一定的偏差，主要原因在于主動測量是主動對網(wǎng)絡注入流量。
2.2 被動監(jiān)測。被動測量其監(jiān)測原理是通過部署一定的網(wǎng)絡設備和監(jiān)測點來被動地獲取網(wǎng)絡流量的數(shù)據(jù)和相關(guān)信息，這是一種典型的分布式網(wǎng)絡監(jiān)測技術(shù)。被動監(jiān)測恰恰彌補了主動監(jiān)測的缺點和不足，它不會對原有網(wǎng)絡流量進行改變，自然也就不會如主動監(jiān)測一樣造成這樣大的偏差，實踐也證明了這一點。但是被動監(jiān)測也存在著自身的不足，主要就是它采集數(shù)據(jù)和相關(guān)信息是從單個點或設備進行的，這種實時采集的方式很有可能會泄露數(shù)據(jù)，也很難有效分析網(wǎng)絡端對端的性能看，采集信息數(shù)據(jù)量過大，但是總的來說，被動測量的優(yōu)點是占主導地位的，所以被動測量比主動測量應用更為廣泛，正在被大量地應用在對網(wǎng)絡流量分布進行分析和測量中。
3 網(wǎng)絡流量監(jiān)測技術(shù)的具體應用
3.1 為網(wǎng)絡出口互聯(lián)鏈路的設置提供決策支持。通過有效地分析網(wǎng)絡出口流向和流量，能夠有效地掌握網(wǎng)絡內(nèi)部用戶對于網(wǎng)絡的訪問情況，從而可以有效的決策，減少互聯(lián)鏈路中的浪費現(xiàn)象，有效地節(jié)約開支。同時，通過網(wǎng)絡流量監(jiān)測與分析，能夠為各種網(wǎng)絡優(yōu)化措施，如路由選擇、重要鏈路帶寬設置、多出口流量負載均衡等提供正確的數(shù)據(jù)依據(jù)。
3.2 網(wǎng)絡流量監(jiān)測可以對網(wǎng)絡運行商提供大客戶統(tǒng)計分析和重要應用的統(tǒng)計分析。通過對這些流量進行統(tǒng)計分析，可以有效地分析網(wǎng)絡帶寬成本，有助于在網(wǎng)絡成本和網(wǎng)絡服務質(zhì)量二者之間取得最佳平衡點，既讓大客戶滿意，又能夠讓網(wǎng)絡運行商有較好的盈利。同時，通過監(jiān)控分析大客戶接入電路上的流量，能夠有效地統(tǒng)計出通信數(shù)據(jù)量、通信時間、服務等級、業(yè)務類型等多個參數(shù)，為基于服務等級協(xié)議（SLA）和IP的計費應用的校驗服務提供正確的數(shù)據(jù)依據(jù)。
3.3 通過對各個分支網(wǎng)絡出入流量的監(jiān)控，分析流量的大小、方向及內(nèi)容組成，了解各分支網(wǎng)絡占用帶寬的情況，從而反映其占用的網(wǎng)絡成本，作出價值評估。
3.4 掌握網(wǎng)絡內(nèi)部用戶對其他運營商的網(wǎng)絡訪問情況。通過監(jiān)控網(wǎng)絡內(nèi)部用戶對其他運營商的網(wǎng)絡訪問情況，可以有效地掌握用戶對于那些網(wǎng)站有興趣，也可以準確地分析網(wǎng)絡內(nèi)部用戶訪問外網(wǎng)主要流量方向及業(yè)務特點，根據(jù)分析結(jié)果來有的放矢，找到廣大網(wǎng)絡用戶感興趣的熱點信息，然后對自己的網(wǎng)絡內(nèi)容進行相應的補充和建設，減輕用戶流失。同時，長期監(jiān)控一些特定網(wǎng)絡流量，有助于網(wǎng)絡流量模型被網(wǎng)絡管理人員所了解、所掌握，網(wǎng)絡管理人員可以通過所掌握的基準數(shù)據(jù)來對網(wǎng)絡使用狀況進行正確的分析，在網(wǎng)絡安全存在隱患的時候就能夠及時異常警訊，采取相應的防御措施，從而使得整個網(wǎng)絡的整體效能和整體質(zhì)量都得到大幅度的提升。
4 結(jié)語
篇3
文獻標識碼：A
文章編號：1007-3973（2012）003-075-02
1 WinPcap的功能
Winpcap(windows packet capture)是Windows平臺下一個免費的SDK，它為win32應用程序提供訪問網(wǎng)絡底層的能力。Winpcap不能阻塞、過濾或控制其他應用程序數(shù)據(jù)報的發(fā)收，它僅僅只是監(jiān)聽共享網(wǎng)絡上傳送的數(shù)據(jù)報。
它提供了以下的各項功能：
(1)捕獲原始數(shù)據(jù)報，包括在共享網(wǎng)絡上各主機發(fā)送/接收的以及相互之間交換的數(shù)據(jù)報；
(2)在數(shù)據(jù)報發(fā)往應用程序之前，按照自定義的規(guī)則將某些特殊的數(shù)據(jù)報過濾掉；
(3)在網(wǎng)絡上發(fā)送原始的數(shù)據(jù)報；
(4)收集網(wǎng)絡通信過程中的統(tǒng)計信息。
2 WPcap.dll
動態(tài)鏈接庫wpcap.dll。它也是提供給開發(fā)者的API，它輸出一組與系統(tǒng)有關(guān)的函數(shù)，用來捕獲和分析網(wǎng)絡流量。
3 主要設計與開發(fā)的內(nèi)容
本系統(tǒng)實現(xiàn)的功能主要實現(xiàn)網(wǎng)絡流量監(jiān)測與統(tǒng)計分析。在用戶方面，該系統(tǒng)實現(xiàn)了計算網(wǎng)絡流量與網(wǎng)絡協(xié)議分析等具體功能；在整個項目方面，該系統(tǒng)作為網(wǎng)絡異常告警與智能分析的基礎模塊。
流量監(jiān)測是以圖形的方式實時顯示出流量的大小。
流量統(tǒng)計分析包括ARP數(shù)據(jù)包統(tǒng)計、TCP數(shù)據(jù)包統(tǒng)計、UDP數(shù)據(jù)統(tǒng)計、ICMP數(shù)據(jù)包統(tǒng)計、廣播數(shù)據(jù)包統(tǒng)計等。包括的子項有：
(1)每個數(shù)據(jù)包的時間、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口號、數(shù)據(jù)包大小。
(2)統(tǒng)計一段時間內(nèi)某種協(xié)議的數(shù)據(jù)包個數(shù)及總大小。
(3)按源IP和目的IP統(tǒng)計某個IP地址到另一個目的IP的某種協(xié)議的數(shù)據(jù)包時間、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口號、大小。
(4)按源IP或者目的IP統(tǒng)計某個IP地址的某種協(xié)議的數(shù)據(jù)包總大小及總大小。
4 總體設計方案
整個軟件分為三個子模塊。三個模塊為：數(shù)據(jù)包統(tǒng)計分析模塊、流量監(jiān)測模塊、用戶模塊(界面模塊)。
統(tǒng)計分析模塊主要基于WinPcap捕包原理，通過截獲整個網(wǎng)絡的所有信息流量，根據(jù)信息源主機，目標主機，服務協(xié)議端口等信息按照ARP、TCP、UDP、ICMP、廣播協(xié)議過濾分析、統(tǒng)計。
本模塊要將網(wǎng)絡中各種層次中的協(xié)議進行對比分析，對已知數(shù)據(jù)字段進行分析，這種分析是逐層進行的。因為數(shù)據(jù)包的結(jié)構(gòu)都是自頂向下層層的添加數(shù)據(jù)包頭，而且每層的包頭都有固定的長度，所以根據(jù)特定位置來判斷協(xié)議類型也就變得簡單。在本系統(tǒng)中，采用的是網(wǎng)絡中的OSI標準，即網(wǎng)絡的七層結(jié)構(gòu)。
流量監(jiān)測是流量的短期分析。該模塊主要實現(xiàn)如下功能：網(wǎng)絡總流量的實時查看，網(wǎng)絡輸出流量的實時查看，網(wǎng)絡輸入流量的實時查看。
用戶模塊（界面模塊）本系統(tǒng)主要采用Visual studio 2008平臺來設計用戶界面，使其界面與Windows保持最大的一致。
5 統(tǒng)計分析模塊詳細設計
編寫WinPcap應用程序首先獲得主機的所有網(wǎng)卡。WinPcap用函數(shù)pcap_findalldevs()來實現(xiàn)，該函數(shù)返回一個pcap_if的鏈表，鏈表中包含了每一個網(wǎng)卡的詳細信息。
打開設備的函數(shù)是pcap_open()，它有三個參數(shù)snaplen、flags和to_ms。snaplen參數(shù)用來制定捕獲包的特定部分。如果網(wǎng)卡設置成混雜模式，Winpcap能獲得其他主機的數(shù)據(jù)包。to_ms 參數(shù)指定讀數(shù)據(jù)的超時控制，超時以毫秒計算。當在超時時間內(nèi)網(wǎng)卡上沒有數(shù)據(jù)到來時，對網(wǎng)卡的讀操作將返回。
當設備被打開，調(diào)用函數(shù)pcap_dispatch()來捕獲數(shù)據(jù)包。pcap_dispatch()可以不被阻塞。這個函數(shù)都有返回的參數(shù)，一個指向某個函數(shù)的指針，Libpcap調(diào)用該函數(shù)對每個從網(wǎng)上到來的數(shù)據(jù)包進行處理和接收數(shù)據(jù)包。另一個參數(shù)帶有時間戳和數(shù)據(jù)包長度等信息，最后一個是含有所有協(xié)議頭部數(shù)據(jù)包的實際數(shù)據(jù)。MAC的冗余校驗碼一般不出現(xiàn)，因為當一個幀到達并被確認后網(wǎng)卡就將它刪除。
當對網(wǎng)絡數(shù)據(jù)包的分析的時候，必須先分析鏈路層，其次分析網(wǎng)絡層，之后是傳輸層，最后分析應用層。
由于本程序只分析以太網(wǎng)的協(xié)議，所以去掉以太網(wǎng)協(xié)議的部分，剩下的就是IP協(xié)議的數(shù)據(jù)；IP協(xié)議部分包括 TCP和UDP協(xié)議的數(shù)據(jù)包；之后分析TCP和UDP等傳輸層的協(xié)議，將傳輸層協(xié)議部分舍去，留下來的是應用層協(xié)議；最后解析應用層協(xié)議。
基于以太網(wǎng)協(xié)議內(nèi)容的進行分析，判斷以太網(wǎng)類型的值：如果是0x0806，表示ARP協(xié)議，則分析ARP協(xié)議；如果是0x0800，表示協(xié)議為IP協(xié)議，則分析IP協(xié)議,在分析IP協(xié)議時，根據(jù)協(xié)議類型的值判斷傳輸層協(xié)議類型：如果IP協(xié)議類型字段的值是6，表示協(xié)議為TCP協(xié)議，則分析TCP協(xié)議。
統(tǒng)計分析模塊將分為五個功能的詳細設計分別是ARP數(shù)據(jù)包統(tǒng)計、TCP數(shù)據(jù)包統(tǒng)計、UDP數(shù)據(jù)統(tǒng)計、ICMP數(shù)據(jù)包統(tǒng)計、廣播數(shù)據(jù)包統(tǒng)計。
6 流量監(jiān)測模塊詳細設計
網(wǎng)絡流量監(jiān)測的思想是：對流入和流出網(wǎng)卡的數(shù)據(jù)包進行檢測并對數(shù)據(jù)包的長度進行累加，從而得到流量數(shù)據(jù)。由于Windows NT/2000/XP/7提供了一個系統(tǒng)性能的接口（注冊表），所以需要做的就是訪問這個接口，得到數(shù)據(jù)流量。
具體實現(xiàn)通過PDH和讀取注冊表中的系統(tǒng)性能數(shù)據(jù)來實現(xiàn)流量的監(jiān)測模塊。PDH是英文Performance Data Helper的縮寫。隨著PDH逐漸成熟，為了使該數(shù)據(jù)庫的使用變得容易，Microsoft開發(fā)了一組Performance Data的API函數(shù)，包含在PDH.DLL文件中。使用PDH API基本上包括5個步驟。
創(chuàng)建一個查詢；向查詢中添加計數(shù)器；搜集性能數(shù)據(jù)；處理性能數(shù)據(jù)；關(guān)閉查詢。
在本系統(tǒng)中將采用查詢注冊表的方式完成PD的查詢。本系統(tǒng)中用到了一個注冊表函數(shù)RegQueryValueEx，該函數(shù)根據(jù)一個開放的注冊表鍵值和一個具體的名字值查找相關(guān)的類型和數(shù)據(jù)。
參考文獻：
[1] 劉敏,過曉冰,伍衛(wèi)國,等.針對網(wǎng)絡掃描的監(jiān)測系統(tǒng)[J].計算機工程,2002,28(2):77-78.省略/Class/winpcap/index.html.
篇4
隨著電力行業(yè)的改革深入，行業(yè)競爭的日益激烈，如何在最短的時間里，以最好的服務質(zhì)量、最低的服務成本提供給用戶服務是電力行業(yè)企業(yè)信息化要實現(xiàn)的目標。在面對當前業(yè)務飛速發(fā)展、新服務不斷出現(xiàn)和客戶需求日益提高的情況下，網(wǎng)絡系統(tǒng)的運維管理面臨著很大的挑戰(zhàn)：業(yè)務子系統(tǒng)復雜，故障查找難度大，網(wǎng)絡時而緩慢，對網(wǎng)絡業(yè)務的可視性、可控性降低。因此，建立一個網(wǎng)絡流量分析系統(tǒng)十分重要【1】。
隨著電力企業(yè)信息化的不斷深入發(fā)展,信息化網(wǎng)絡的規(guī)模越來越大, 網(wǎng)絡應用也越來越廣泛，對網(wǎng)絡帶寬資源、業(yè)務流量、用戶訪問量等方面都缺乏可見性和可控性。為了更好地管理網(wǎng)絡運行狀態(tài),提高公司信息化網(wǎng)絡的業(yè)務管理效率，降低運營成本，需要對信息網(wǎng)絡從“流量”這個根本因素出發(fā),進行精細化的監(jiān)控管理。為整個網(wǎng)絡的高效運行維護提供一個高可用性的管理平臺，加強信息網(wǎng)絡的業(yè)務優(yōu)勢，提高員工使用的滿意度，本文就信息網(wǎng)絡流量監(jiān)測系統(tǒng)在電力企業(yè)的應用進行探討。
2.網(wǎng)絡流量監(jiān)測系統(tǒng)在電力行業(yè)中的使用背景
2.1 使用網(wǎng)絡流量監(jiān)測系統(tǒng)的必要性
隨著信息化技術(shù)在電力行業(yè)IT網(wǎng)絡系統(tǒng)中的廣泛運用，大量的網(wǎng)絡流量產(chǎn)生，如何對網(wǎng)絡流量進行有效管理，保障關(guān)鍵業(yè)務的正常運行，提高網(wǎng)絡傳輸效率、可靠性、穩(wěn)定性，以及安全性等，對電力企業(yè)整個計算機信息網(wǎng)絡的IT環(huán)境健康、和諧的運營是至關(guān)重要的。
對電力網(wǎng)絡進行全網(wǎng)流量流向分析，多維度地展現(xiàn)業(yè)務流量分布情況和網(wǎng)絡帶寬資源的使用情況，了解網(wǎng)絡不同屬性流量分布，預測流量變化趨勢，找出網(wǎng)絡瓶頸，為網(wǎng)絡規(guī)劃、優(yōu)化調(diào)整提供基礎依據(jù)；對網(wǎng)絡應用進行深入分析，可以清晰地掌握網(wǎng)絡的應用行為，為設計實施更好的用戶服務及產(chǎn)品提供了可靠的基層數(shù)據(jù)【2】。
網(wǎng)絡流量監(jiān)測系統(tǒng)可以提供基于電力行業(yè)業(yè)務應用（包括ERP、售電、生產(chǎn)管理、協(xié)同辦公、郵件等系統(tǒng)的應用流量、SCADM/EMS、DTS、DMIS等電力調(diào)度系統(tǒng)的應用流量、基于SG186系統(tǒng)及其各關(guān)鍵業(yè)務子系統(tǒng)的應用流量）的分析；提供基于電力網(wǎng)絡的用戶分析；提供基于電力網(wǎng)絡的訪問行為分析；以及提供基于電力網(wǎng)絡的異常流量監(jiān)控分析。
2.2 網(wǎng)絡流量監(jiān)測系統(tǒng)的目標
電力企業(yè)信息網(wǎng)中部署流量監(jiān)測分析管理系統(tǒng)，通過全網(wǎng)流量實時監(jiān)測，對網(wǎng)絡設備性能狀態(tài)、吞吐量、帶寬資源利用率、異常流量監(jiān)控預警、業(yè)務應用流向分布等進行精細化的運維管理；提供全面的網(wǎng)絡流量可視化、量化的運行數(shù)據(jù)報告；提供網(wǎng)絡異常流量的監(jiān)控分析，減少網(wǎng)絡故障診斷、異常偵測分析的難度和時間；優(yōu)化網(wǎng)絡，減少因網(wǎng)絡擁塞或異常而發(fā)生的延遲、中斷，保障網(wǎng)絡的運行效率。整體地提高信息網(wǎng)絡的可靠性和可用性。
通過使用網(wǎng)絡流量監(jiān)測系統(tǒng)掌握網(wǎng)絡流量的特性、了解用戶的網(wǎng)絡行為；透視網(wǎng)絡流量狀態(tài)，分析用戶行為；量化網(wǎng)絡承載能力，為網(wǎng)絡服務優(yōu)化提供輔助決策依據(jù)；檢測分析異常流量，提升網(wǎng)絡服務安全性。
使用流量分析管理系統(tǒng)，可以實現(xiàn)基于業(yè)務的流量流向和流量成分的分析性能，分析總體業(yè)務發(fā)展趨勢和訪問行為，為網(wǎng)絡瓶頸排除和性能優(yōu)化提供依據(jù)；可以對網(wǎng)絡資源的使用情況進行精細化管理，避免因為資源使用過度或使用狀況不明所導致的網(wǎng)絡服務質(zhì)量下降；可以實現(xiàn)性能統(tǒng)計和性能趨勢分析，提供靈活的報表功能，提高網(wǎng)絡運行維護水平；可以提供多樣的歷史資料條件查詢和統(tǒng)計分析，便于指導網(wǎng)絡的規(guī)劃和資源優(yōu)化，為網(wǎng)絡業(yè)務發(fā)展提供數(shù)據(jù)依據(jù)；實現(xiàn)網(wǎng)絡的統(tǒng)一調(diào)配【3】?？梢约訌娋W(wǎng)絡的流量安全防范，建立系統(tǒng)化的流量管理體系，提高網(wǎng)絡訪問質(zhì)量，增強用戶的自御能力。
3.網(wǎng)絡流量監(jiān)測系統(tǒng)的性能
3.1全網(wǎng)流量流向分析
網(wǎng)絡流量監(jiān)測系統(tǒng)采用獨立的硬件結(jié)構(gòu)，獨自完成流量的采集、過濾、分析和數(shù)據(jù)的存儲。支持基于源IP、目的IP、源端口、目的端口進行詳細流量查詢；用戶可以自定義特定子網(wǎng)范圍，進行臨時及長期的精確流量監(jiān)控；通過NetFlow接收網(wǎng)絡流量數(shù)據(jù)，同時結(jié)合SNMP協(xié)議對網(wǎng)絡設備運行提供全面監(jiān)控、分析；能監(jiān)測端到端的網(wǎng)絡流量；能夠看到網(wǎng)絡設備接口通斷狀態(tài)。
網(wǎng)絡流量監(jiān)測系統(tǒng)通過對全網(wǎng)流量流向分析，可以同時接受多種網(wǎng)絡設備的NetFlow數(shù)據(jù)，并支持實時轉(zhuǎn)發(fā)流量數(shù)據(jù)，使用者根據(jù)要求快速擴展并進行綜合性的統(tǒng)計分析；具備流量排序功能，可做流量累積統(tǒng)計或?qū)崟r流量分析，流量排序支持自動設定，可按時自動生成TOP N排序報表；通過集中分析管理系統(tǒng)對網(wǎng)絡中流量情況進行匯總，定義監(jiān)控對象時，用戶可以定義源目的地址，傳輸協(xié)議，源目的端口，源目的AS，路由器物理端口等條件實現(xiàn)全網(wǎng)關(guān)聯(lián)的關(guān)聯(lián)性流量分析，滿足對全網(wǎng)流量狀況的整體把握。
3.2 異常流量分析
篇5
1 引言
IP網(wǎng)絡具有體系架構(gòu)開放、信息共享靈活等優(yōu)點，但是因其系統(tǒng)開放也極易遭受各種網(wǎng)絡攻擊的入侵。網(wǎng)絡異常流量檢測屬于入侵檢測方法的一種，它通過統(tǒng)計發(fā)現(xiàn)網(wǎng)絡流量偏離正常行為的情形，及時檢測發(fā)現(xiàn)網(wǎng)絡中出現(xiàn)的攻擊行為，為網(wǎng)絡安全防護提供保障。在網(wǎng)絡異常流量檢測方法中，基于統(tǒng)計分析的檢測方法通過分析網(wǎng)絡參數(shù)生成網(wǎng)絡正常行為輪廓，然后度量比較網(wǎng)絡當前主體行為與正常行為輪廓的偏離程度，根據(jù)決策規(guī)則判定網(wǎng)絡中是否存在異常流量，具有統(tǒng)計合理全面、檢測準確率高等優(yōu)點?；谙鄬氐漠惓z測方法屬于非參數(shù)統(tǒng)計分析方法，在檢測過程中無須數(shù)據(jù)源的先驗知識，可對樣本分布特征進行假設檢驗，可在缺乏歷史流量數(shù)據(jù)的情況下實現(xiàn)對網(wǎng)絡異常行為的檢測與發(fā)現(xiàn)。本文系統(tǒng)研究了模糊相對熵理論在網(wǎng)絡異常流量檢測中的應用，并搭建模擬實驗環(huán)境對基于模糊相對熵的網(wǎng)絡異常流量檢測方法進行了測試驗證。
2 基于模糊相對熵的多測度網(wǎng)絡異常流量檢測方法
2.1 模糊相對熵的概念
相對熵（Relative Entropy）又稱為K-L距離（Kullback-Leibler divergence），常被用作網(wǎng)絡異常流量的檢測方法。本文引入模糊相對熵的概念，假定可用來度量兩個概率分布P={p1，p2，...，...，pn}和Q={q1，q2，...，...，qn}的差別，其中，P、Q是描述同一隨機過程的兩個過程分布，P、Q的模糊相對熵定義為：
S（P，Q）=[Pi ln+（1-pi）ln] （1）
上式中qi可以接近0或1，這會造成部分分式分母為零，因此對（1）式重新定義：
S'（P，Q）=[Pi ln+（1-pi）ln]（2）
模糊相對熵為兩種模糊概率分布的偏差提供判斷依據(jù)，值越小說明越一致，反之亦然。
2.2 多測度網(wǎng)絡異常流量檢測方法流程
基于模糊相對熵理論的多測度網(wǎng)絡異常檢測具體實施分為系統(tǒng)訓練和實際檢測兩個階段。系統(tǒng)訓練階段通過樣本數(shù)據(jù)或監(jiān)測網(wǎng)絡正常狀態(tài)流量獲取測度的經(jīng)驗分布，實際檢測階段將實測數(shù)據(jù)獲取的測度分布與正常測度分布計算模糊相對熵，并計算多個測度的加權(quán)模糊相對熵，根據(jù)閾值判定網(wǎng)絡異常情況，方法流程如下：
Step1：獲取網(wǎng)絡特征正常流量的參數(shù)分布。通過樣本數(shù)據(jù)或監(jiān)測網(wǎng)絡正常狀態(tài)流量獲取各測度的經(jīng)驗分布。
Step2：獲取網(wǎng)絡特征異常常流量的參數(shù)分布。對選取網(wǎng)絡特征參數(shù)異常流量進行檢測獲取各種測度的概率分布。
Step3：依據(jù)公式（2）計算單測度正常流量和異常流量間模糊相對熵Si。
Step4：計算多測度加權(quán)模糊相對熵S。
S=α1S1+α2S2+…+αkSk （3）
式中αk表示第k個測度的權(quán)重系數(shù)，由測評數(shù)據(jù)集統(tǒng)計分析獲得。
最終，根據(jù)S建立不同的等級閾值來表征網(wǎng)絡異常情況。S越大，表示網(wǎng)絡流量特征參數(shù)分布偏離正常狀態(tài)越多，網(wǎng)絡中出現(xiàn)異常流量的概率越大；S越小，表示網(wǎng)絡流量特征參數(shù)分布與正常狀態(tài)吻合度越好，網(wǎng)絡中出現(xiàn)異常流量的概率越小。
3 測試驗證
為測試方法的有效性，搭建如圖1所示的實驗環(huán)境，模擬接入層網(wǎng)絡拓撲結(jié)構(gòu)、流量類型和流量負載情況。測試環(huán)境流量按業(yè)務域類型分類，主要分為視頻、語音、數(shù)據(jù)三種業(yè)務域，按每個業(yè)務單路帶寬需求計算，總帶寬需求約為2368kbps～3200kbps。
（1）檢測系統(tǒng)接入交換機鏡像端口，系統(tǒng)部署環(huán)境。
①硬件環(huán)境：Intel（R） Core（TM） 2 Duo CPU 2.00GHz，2.0G內(nèi)存；②操作系統(tǒng)環(huán)境：Windows XP，.NET Framework 3.5；③數(shù)據(jù)庫系統(tǒng)：Microsoft SQL Server 2005 9.00.1399.06 （Build 2600： Service Pack 3）。
測試環(huán)境交換機采用華為S3050C，用戶主機接入點配置如表1所示。
測試網(wǎng)絡正常流量狀態(tài)方案配置。
①1號主機架設視頻服務器模擬視頻業(yè)務域，單路平均帶寬需求2.59Mbps；②2、3號主機架設音頻服務器模擬語音業(yè)務域，單路平均帶寬需求128kbps；③4、5、6號主機采用應用層專用協(xié)議和傳輸UDP協(xié)議模擬發(fā)包程序模擬數(shù)據(jù)業(yè)務域，單路平均帶寬需求64kbps。
按上述方案配置網(wǎng)絡環(huán)境，交換機網(wǎng)絡流量負載約為2.996Mbps。
3.1 測試用例設計
網(wǎng)絡中的異常行為主要包括非法網(wǎng)絡接入、合法用戶的違規(guī)通信行為、網(wǎng)絡攻擊及未知的異常流量類型等，系統(tǒng)將其定義為四類：帶寬占用、非法IP地址、非法IP會話、模糊相對熵異常四類異常事件，其中模糊相對熵異?？筛鶕?jù)經(jīng)驗數(shù)據(jù)設定多個閾值等級。測試用例以網(wǎng)絡正常流量為背景流量，根據(jù)測試目的添加異常流量事件。測試用例設計及實驗測試過程如表2所示。
3.2 結(jié)果分析
測試用例持續(xù)監(jiān)測網(wǎng)絡兩小時。根據(jù)模糊相對熵數(shù)據(jù)輸出，繪制ROC曲線，檢測率與誤警率的關(guān)系如圖2所示。通過ROC曲線，能夠準確反映模糊相對熵異常流量檢測方法檢測率與誤警率的關(guān)系。權(quán)衡檢測率與誤警率，選擇合適的閾值。當模糊相對熵閾值設定為39.6時，系統(tǒng)檢測率為84.36%，誤警率為3.86%，表明檢測系統(tǒng)對未知異常流量具有較好的檢測效果。
4 結(jié)束語
基于模糊相對熵的網(wǎng)絡異常流量檢測方法可以在不具備網(wǎng)絡歷史流量信息的情況下，通過對網(wǎng)絡流量特征進行假設檢驗，實現(xiàn)對網(wǎng)絡異常行為的檢測發(fā)現(xiàn)。實驗測試結(jié)果表明，設定合理的模糊相對熵閾值，該方法的檢測率可達84.36%。在下一步的工作中，將研究自學習式閾值設定方法，以及對模糊相對熵方法進一步優(yōu)化，提升方法的準確性和效率。
參考文獻
[1] 蔣建春，馮登國等.網(wǎng)絡入侵檢測原理與技術(shù)[M].北京： 國防工業(yè)出版社，2001.
[2] 蔡明，嵇海進.基于ISP網(wǎng)絡的DDoS攻擊防御方法研究[J].計算機工程與設計，2008， 29（7）：1644-1646.
[3] Francois Bavaud. Relative Entropy and Statistics[EB/OL].http：//unil.ch/webdav/site/imm/users/ fbavaud/private/IT_statistics_bavaud.pdf.，2011-05-16.
[4] 張亞玲，韓照國，任姣霞.基于相對熵理論的多測度網(wǎng)絡異常檢測方法[J].計算機應用，2010， 30（7）：1771-1774.
[5] 李涵秋，馬艷，雷磊.基于相對熵理論的網(wǎng)絡Dos攻擊檢測方法[J].電訊技術(shù)， 2011， 51（3）：89-92.
[6] 張登銀，廖建飛.基于相對熵理論網(wǎng)絡流量異常檢測方法[J].南京郵電大學學報（自然科學版），2012， 32（5）：26-31.
[7] 胡為，胡靜濤.加權(quán)模糊相對熵在電機轉(zhuǎn)子故障模糊識別中的應用[J].信息與控制，2009， 38（3）：326-331.
作者簡介：
篇6
1大數(shù)據(jù)下網(wǎng)絡異常流量檢測方法研究
光纖網(wǎng)絡利用光在玻璃纖維實現(xiàn)光波通信，大數(shù)據(jù)集成調(diào)度，然后通過交換機分配IP。光纖通信傳輸距離遠，云計算環(huán)境通過波分復用技術(shù)使光強度變化，通信中受到干擾導致通信信道配置失衡，需要對云計算光纖網(wǎng)絡大數(shù)據(jù)異常負載優(yōu)化檢測，提高網(wǎng)絡通信的輸出保真性[1]。云計算光纖網(wǎng)絡中大數(shù)據(jù)異常負載檢測模型研究需要提取大數(shù)據(jù)負載異常特征，實現(xiàn)異常負載檢測。
2網(wǎng)絡異常數(shù)據(jù)檢測大數(shù)據(jù)分析平臺
網(wǎng)絡異常流量分為DDoS、NetworkScan等類型，異常流量類型可從目的IP地址、源IP地址、字節(jié)數(shù)等特征區(qū)分[2]。DDos異常流量可通過特征二四五七檢測；NetworkScan異常流量可采用多個網(wǎng)絡地址對主機端口掃描動作；FlashCrowd異常流量由異常用戶對訪問資源申請動作。本文以影響網(wǎng)絡安全異常流量檢測為研究內(nèi)容，運用現(xiàn)有數(shù)據(jù)樣本對建立檢測模型訓練，對訓練后識別分析模型檢驗[3]。研究異常流量類型包括U2R攻擊類型、Probing攻擊類型等，需要對數(shù)據(jù)特征提取分析，對入侵事件進行分類[4]。應用多種入侵事件特征數(shù)據(jù)，包括離散不間斷協(xié)議、離散常規(guī)行為、離散接點狀態(tài)、不間斷數(shù)據(jù)源到目標數(shù)據(jù)比特數(shù)、持續(xù)創(chuàng)建新文件個數(shù)等。為避免兩種衡量標準相互干擾，需對離散數(shù)據(jù)采用連續(xù)化操作。云計算平臺迅速占領(lǐng)市場，目前應用廣泛的是Apache開源分布式平臺Hadoop，Hadoop云計算平臺由文件系統(tǒng)、分布式并行計算等部分組成[5]。MapReduce將傳統(tǒng)數(shù)據(jù)處理任務分為多個任務，提高計算效率（見圖1）。MapReduce編程核心內(nèi)容是對Map函數(shù)進行特定動作定義，Map核心任務是對數(shù)據(jù)值讀取，InputFormat類將輸入樣本轉(zhuǎn)換為key/value對。發(fā)現(xiàn)tasktracker模塊處于空閑狀態(tài)，平臺把相應數(shù)據(jù)Split分配到Map動作中，采用createRecordReader法讀取數(shù)據(jù)信息，tasktracker處于工作狀態(tài)程序進入等待。
3大數(shù)據(jù)分析模型
隨著待處理數(shù)據(jù)規(guī)模劇增，單臺計算機處理數(shù)據(jù)速度過于緩慢，云計算系統(tǒng)以Hadoop為平臺基礎，提高計算效率?；贖adoop平臺對網(wǎng)絡異常流量操作，向平臺提交網(wǎng)絡流量檢測請求，工程JAR包運行，通過JobClient指令把作業(yè)發(fā)送到JobTracker中，從HDFS中獲取作業(yè)分類情況。JobTracker模塊執(zhí)行任務初始化操作，運用作業(yè)調(diào)度器可實現(xiàn)對任務調(diào)度動作。任務分配后進入Map階段，所需數(shù)據(jù)在本地磁盤中進行存儲，依靠計算機Java虛擬機執(zhí)行實現(xiàn)JAR文件加載，TaskTracker對作業(yè)任務處理，需要對文件庫網(wǎng)絡流量特征測試，Map動作結(jié)果在本地計算機磁盤中存儲。系統(tǒng)獲得Map動作階段計算結(jié)果后對網(wǎng)絡流量分類，中間結(jié)果鍵值相同會與對應網(wǎng)絡流量特征向量整合，ReduceTask模塊對MapTask輸出結(jié)果排序。Reduce動作完成后，操作者通過JobTracker模塊獲取任務運行結(jié)果參數(shù)，刪除Map動作產(chǎn)生相應中間數(shù)據(jù)。BP神經(jīng)網(wǎng)絡用于建立網(wǎng)絡流量檢測模型，MapReduce平臺具有高效計算優(yōu)勢，最優(yōu)參數(shù)結(jié)果獲得需多次反復計算優(yōu)化，MapReduce平臺單詞不能實現(xiàn)神經(jīng)網(wǎng)絡計算任務，采用BP神經(jīng)網(wǎng)絡算法建立網(wǎng)絡流量檢測模型會加長計算時間。本文采用支持向量機算法建立網(wǎng)絡流量檢測模型。支持向量機以統(tǒng)計學理論為基礎，達到經(jīng)驗風險最小目的，算法可實現(xiàn)從少數(shù)樣本中獲得最優(yōu)統(tǒng)計規(guī)律。設定使用向量機泛化能力訓練樣本為（xi,yi），i=1，2，…，I，最優(yōu)分類平面為wx+b=0，簡化為s.t.yi（w?xi+b）-1≥0，求解問題最優(yōu)決策函數(shù)f(x)=sgn[∑i=1lyiai(x?xi)+b]，支持向量SVM把樣本x轉(zhuǎn)化到特定高維空間H，對應最優(yōu)決策函數(shù)處理為f(x)=sgn[∑i=1lyiaiK(x?xi)+b]。云計算Hadoop平臺為建立網(wǎng)絡異常流量檢測模型提供便捷。MapReduce模型通過Reduce獲得整體支持向量AIISVs，通過Reduce操作對SVs收集，測試操作流量先運用Map操作對測試數(shù)據(jù)子集計算，運用Reduce操作對分量結(jié)果Rs統(tǒng)計。
4仿真實驗分析
為測試實現(xiàn)云計算光纖網(wǎng)絡大數(shù)據(jù)異常負載檢測應用性能，采用MATLAB7進行負載檢測算法設計進行云計算光纖網(wǎng)絡中大數(shù)據(jù)異常負載檢測，數(shù)據(jù)樣本長度為1024，網(wǎng)絡傳輸信道均衡器階數(shù)為24，迭代步長為0.01。采用時頻分析法提取異常負載統(tǒng)計特征量進行大數(shù)據(jù)異常負載檢測，重疊干擾得到有效抑制。采用不同方法進行負載異常檢測，隨著干擾信噪比增大，檢測的準確性提高。所以設計的方法可以有效檢測大數(shù)據(jù)中異常負載，并且輸出誤碼率比傳統(tǒng)方法降低。單機網(wǎng)絡異常流量檢測平臺使用相同配置計算機，調(diào)取實測數(shù)據(jù)為檢驗訓練源數(shù)據(jù)，選取典型異常流量200條數(shù)據(jù)樣本用于測試訓練。采用反饋率參量衡量方法好壞，表達式為precision=TP/FP+FN×100%，其中，F(xiàn)N為未識別動作A特征樣本數(shù)量；TP為準確識別動作A特征樣本數(shù)量；FP為錯誤識別動作A特征樣本數(shù)量。提出檢測方法平均準確率提高17.08%，具有較好檢測性能。對提出網(wǎng)絡異常流量檢測方法進行檢測耗時對比，使用提出網(wǎng)絡異常流量檢測方法耗時為常規(guī)方法的8.81%，由于使用檢測方法建立在大數(shù)據(jù)云計算平臺，將檢測任務分配給多個子任務計算平臺。使用KDDCUP99集中的數(shù)據(jù)進行網(wǎng)絡異常流量檢測分析，選取R2L攻擊，Probing攻擊異常流量數(shù)據(jù)用于檢測分析，采用準確率參數(shù)衡量檢測方法宏觀評價網(wǎng)絡流量檢測識別方法：r=TP/FP+FN×100%。使用單機平臺下SVM算法建立網(wǎng)絡異常檢測模型對比分析，本文研究檢測模型平均識別率為68.5%，研究網(wǎng)絡異常流量檢測模型檢測準確率提高28.3%。多次試驗對比檢測耗時，使用本文提出網(wǎng)絡異常流量檢測耗時較短。
【參考文獻】
[1]林昕，呂峰，姜亞光，等.網(wǎng)絡異常流量智能感知模型構(gòu)建[J].工業(yè)技術(shù)創(chuàng)新，2021（3）：7-14.
[2]武海龍，武海艷.云計算光纖網(wǎng)絡中大數(shù)據(jù)異常負載檢測模型[J].激光雜志，2019（6）：207-211.
[3]農(nóng)婷.大數(shù)據(jù)環(huán)境下的網(wǎng)絡流量異常檢測研究[J].科技風，2019（17）：84.
篇7
Modeling and forecast of wireless network traffic
based on combinatorial optimization theory
CHEN Huafeng1， 2， LIU Jianing3
（1. School of Information Science and Technology， Hainan Normal University， Haikou 571158， China；
2. College of Qionghai Distance Education， Hainan Open University， Qionghai 571400， China；
3. Information Network and Data Center， Hainan Normal University， Haikou 571100， China）
Abstract： Since the wireless network traffic is synthetically affected by the factors of online cost and online behavior， it has the characteristics of randomness and periodic variation. To solve the difficulty that the single model can′t describe the change characteristic comprehensively， a wireless network traffic prediction model based on combinatorial optimization theory is put forward. The autoregressive integral moving average model is used to build the proposed model to find out the periodic variation rule of the wireless network traffic， the relevance vector machine is used to establish the model to find out the random variation characteristics of the wireless network traffic， and then the two prediction results are combined to realize the single step and multi?step wireless network traffic prediction experiments. The results show that the proposed model can describe the characteristics of randomness and periodic variation， and its prediction accuracy is higher than that of the single autoregressive integral moving average model or correlation vector machine.
Keywords： wireless network； autoregressive integral moving average model； modeling and prediction； combinatorial optimization theory
0 引 言
隨著無線網(wǎng)絡應用的拓寬，無線網(wǎng)絡用戶急劇增加，無線網(wǎng)絡流量大幅度增加，無線網(wǎng)絡的有效管理變得十分重要[1]。無線網(wǎng)絡流量的建模與預測可以幫助管理部門掌握人們的上網(wǎng)規(guī)律，提前掌握無線網(wǎng)絡流量的變化趨勢，因此建立高精度的預測模型具有重要的實際意義[2]。
最初人們采用多元線性回歸模型對無線網(wǎng)絡流量進行分析，建立無線網(wǎng)絡流量的回歸模型，并對將來無線網(wǎng)絡流量值進行估計[3]，該模型基于無線網(wǎng)絡流量呈線性增長的變化特點進行回歸預測，對于小規(guī)模無線網(wǎng)絡來說，預測精度高，而對于大規(guī)模、復雜無線網(wǎng)絡流量，預測精度低[4?5]。隨后有學者提出了采用自回歸積分滑動平均模型（ARIMA）對無線網(wǎng)絡流量進行分析，將無線網(wǎng)絡流量歷史值作為一個時間序列，找到數(shù)據(jù)之間的聯(lián)系，實現(xiàn)無線網(wǎng)絡流量的預測[6]，其與多元線性回歸模型相似，不能反映無線網(wǎng)絡流量的隨機變化特性[7]。最近，有學者采用神經(jīng)網(wǎng)絡和支持向量機等對無線網(wǎng)絡流量進行建模[8?10]，它們可以反映無線網(wǎng)絡流量的隨機性變化特點，但無法對無線網(wǎng)絡流量的周期性變化特點進行描述，因此存在一定的局限性[11]。
針對無線網(wǎng)絡流量復雜變化的特點，為了解決單一模型預測精度低的難題，提出基于組合優(yōu)化理論的無線網(wǎng)絡流量預測模型（ARIMA?RVM），首先采用自回歸積分滑動平均模型進行建模，然后采用相關(guān)向量機進行建模，最后采用單步和多步預測實驗分析其性能。
2 ARIMA?RVM的無線網(wǎng)絡流量建模與預測
（1） 對一個無線網(wǎng)絡系統(tǒng)進行分析，并采用網(wǎng)絡流量采集設備得到一段時間內(nèi)的流量變化值。
（2） 采用ARIMA對無線網(wǎng)絡流量進行建模，對其周期性變化特點進行預測，并根據(jù)預測值與實際值估計ARIMA預測誤差。
（3） ARIMA預測誤差包含無線網(wǎng)絡流量的隨機性變化特點，因此采用RVM對ARIMA預測誤差進行建模與預測，對無線網(wǎng)絡流量的隨機性變化特點進行描述。
（4） 將ARIMA與RVM的無線網(wǎng)絡流量預測值組合在一起，得到無線網(wǎng)絡流量的最終預測值。
綜上所述可知，ARIMA?RVM的無線網(wǎng)絡預測模型的工作框架如圖1所示。
3 實驗結(jié)果與分析
3.1 無線網(wǎng)絡流量數(shù)據(jù)
采用某公司的無線網(wǎng)絡系統(tǒng)、每小時的流量值作為實驗對象，共得到500個樣本，具體如圖2所示，其中200個樣本作為測試數(shù)據(jù)。無線網(wǎng)絡流量預測結(jié)果的均方根誤差（RMSE）和相對百分比誤差（MAPE）定義為：
[RMSE=1nt=1nyt-yt2] （21）
[MAPE=1nt=1nyt-ytyt×100%] （22）
式中：[yt]和[yt]為真實值和估計值。
3.2 結(jié)果與分析
ARIMA?RVM，ARIMA以及RVM的無線網(wǎng)絡流量的單步預測結(jié)果如圖3所示。從圖3的預測值與實際值的變化曲線可以發(fā)現(xiàn)，ARIMA可以描述無線網(wǎng)絡流量的整體變化趨勢，預測誤差變化范圍大，預測精度低；而RVM僅能描述無線網(wǎng)絡流量的隨機性變化特點，預測誤差變化更大，預測結(jié)果沒有一點實際應用價值；而ARIMA?RVM的預測值與真實值的變化趨勢相同，預測誤差十分小，預測精度要遠遠高于ARIMA，RVM，這主要是由于ARIMA?RVM集成了ARIMA，RVM的優(yōu)勢，可以對無線網(wǎng)絡流量的周期性和非線性變化特點進行建模與預測，克服了單一ARIMA以及RVM的不足。
RMSE和MAPE的單步統(tǒng)計結(jié)果見表1。ARIMA?RVM的RMSE要小于ARIMA和RVM，同時MAPE也得到了降低，說明ARIMA?RVM的無線網(wǎng)絡流量預測精度更高。
ARIMA?RVM，ARIMA以及RVM的無線網(wǎng)絡流量的多步預測結(jié)果如圖4所示。從圖4可以發(fā)現(xiàn)ARIMA的多步預測值與實際值的誤差很大，預測精度大幅度下降，同時RVM已經(jīng)無法對無線網(wǎng)絡流量變化特點進行預測。ARIMA?RVM的多步預測值與真實值的誤差同樣變大，但預測誤差相對較小，完全可以滿足無線網(wǎng)絡流量誤差低于10%的實際應用要求，比ARIMA，RVM的性能具有十分明顯的優(yōu)勢，對比結(jié)果證明了ARIMA?RVM的多步無線網(wǎng)絡流量預測的有效性，而且預測結(jié)果十分可信。
RMSE和MAPE的多步統(tǒng)計結(jié)果見表2。從多步預測結(jié)果的RMSE和MAPE可以發(fā)現(xiàn)，ARIMA?RVM的無線網(wǎng)絡流量預測結(jié)果仍然優(yōu)于ARIMA和RVM，主要是由于ARIMA?RVM可以對無線網(wǎng)絡流量的隨機性、周期性進行描述，而ARIMA和RVM僅只能描述其中的一種變化特點，無法建立性能優(yōu)異的無線網(wǎng)絡流量預測模型。
4 結(jié) 論
無線網(wǎng)絡的規(guī)模大、結(jié)構(gòu)復雜，而且影響因素眾多，使得無線網(wǎng)絡流量同時具有周期性變化規(guī)律和隨機性變化的特點，而單一模型只能描述周期性變化點或者隨機性變化特點，預測效果比較差。為了全面描述無線網(wǎng)絡流量的變化趨勢，提出基于ARIMA?RVM的無線網(wǎng)絡流量預測模型，單步和多步的實驗結(jié)果表明，ARIMA?RVM通過ARIMA預測無線網(wǎng)流量的周期性變化規(guī)律，從整體上把握無線網(wǎng)絡流量的變化態(tài)勢，采用RVM對無線網(wǎng)絡流量的隨機性進行描述，從細節(jié)上把握其變化特點，獲得較高精度的無線網(wǎng)流量預測結(jié)果，具有廣泛的應用前景。
參考文獻
[1] NGUYEN T T， ARMITAGE G. A survey of techniques for Internet traffic classification using machine learning [J]. IEEE communications surveys and tutorials， 2008， 10（4）： 56?76.
[2] 姜明，吳春明，胡大民，等.網(wǎng)絡流量預測中的時間序列模型比較研究[J].電子學報，2009，37（11）：2353?2358.
[3] 陳森，周峰.基于灰色系統(tǒng)理論的網(wǎng)絡流量預測模型[J].統(tǒng)計與決策，2006（3）：59?60.
[4] 王俊松，高志偉.基于RBF神經(jīng)網(wǎng)絡的網(wǎng)絡流量建模及預測[J].計算機工程與應用，2008，44（13）：6?11.
[5] 劉道文，忽海娜.基于網(wǎng)格搜索支持向量機的網(wǎng)絡流量預測[J].計算機應用與軟件，2012，29（11）：185?186.
[6] 張穎璐.基于遺傳算法優(yōu)化支持向量機的網(wǎng)絡流量預測[J].計算機科學，2008，35（5）：177?180.
[7] 尹艷玲.基于自適應神經(jīng)網(wǎng)絡的網(wǎng)絡流量預測研究[J].河南理工大學學報（自然科學版），2010，29（5）：700?704.
[8] 劉百芬，熊南.基于動態(tài)加權(quán)LS?SVM的網(wǎng)絡流量混沌預測[J].電視技術(shù)，2013，37（7）：87?90.
[9] 初良勇，田質(zhì)廣，謝新連.組合預測模型在網(wǎng)絡流量預測中的應用[J].大連海事大學學報，2004，30（4）：43?46.
[10] 孫建豐，向小東.基于灰色線性回歸組合模型的網(wǎng)絡流量預測研究[J].工業(yè)技術(shù)經(jīng)濟，2006，26（10）：146?148.
篇8
0 引言
目前，火焰檢測大多是通過使用點式光電感煙探測技術(shù)來執(zhí)行的。這些方法在大的，開放空間和有固定延時的情況下檢測效果不好，這是因為燃燒粒子所到達傳感器所用時間的影響。文僅使用像素的顏色信息最為特征來檢測。文中的檢測方法使用傅里葉描述符來描述火焰的邊界。在文中，使用小波分析來解決FFT執(zhí)行時窗口的選擇問題。這種方法依賴于小波能量，尋找小波能量最低且對噪聲是敏感的點。文中，作者提出一種系統(tǒng)，這種系統(tǒng)建?；鹧嫦袼刈鳛橐环N固定空間像素小波系數(shù)的隱馬爾科夫模型，這種固定空間像素是在三中狀態(tài)之間變化的變量。此外，他們使用邊界區(qū)域光滑作為分類變量。這兩個屬性相結(jié)合作為一個弱分類器。在文中非煙區(qū)域使用背景估計和顏色信息進行濾波。然后，計算Lucas-Ka-nade光流并且使用流的統(tǒng)計信息來訓練神經(jīng)網(wǎng)絡。
這些方法有一個共同點，就是不試圖區(qū)分類獨立的像素。本文為了檢測火焰和煙霧，同樣不去使用獨立的像素，以利于與火焰、火災煙霧顏色相近的實物的區(qū)分?；谠撝饕芯磕康?，提出了基于最優(yōu)質(zhì)量傳輸光流法的檢測算法，并結(jié)合神經(jīng)網(wǎng)絡，對火焰和煙霧進行檢測。
1 分類器特征選擇
目前大多數(shù)的檢測方法都是基于啟發(fā)式模型，這種模型描繪火或者煙的大約特征，但這往往不是最優(yōu)的。一個最基本的方法是從描述煙或者火的訓練數(shù)據(jù)中學習，訓練一個分類器如神經(jīng)網(wǎng)絡等。訓練和測試的原理如圖1所示。
計算一個圖像序列的光流，而不是簡單的幀差，這允許考慮成像過程所期望的屬性；接下來會討論原因，基于最優(yōu)質(zhì)量傳輸?shù)墓饬鞅挥嬎阌糜诨鸬姆诸?，Horn-Schunck光流用于煙霧區(qū)域的分類。
圖1（a）通過人工標記樣本圖像序列創(chuàng)建訓練數(shù)據(jù)。樣本含有時空像素鄰域，這個鄰域被標記是否含有火，煙或者二者都沒有。通過系數(shù)矩陣有限差分求解器來計算最優(yōu)質(zhì)量傳輸光流。特征矢量是由含有R、G、B顏色通道和光流速度形成的，且特征矢量通過一個反向傳播神經(jīng)網(wǎng)絡分類器進行分類處理。
圖1（b）在一個新的視頻幀中使用訓練的分類器權(quán)重為每個像素鄰域創(chuàng)建特征適量測試分類器。最終的輸出含有每個像素類成員的概率（煙、火都沒有）。
1.1 最優(yōu)質(zhì)量傳輸
最優(yōu)質(zhì)量傳輸問題起初是由Gaspar Monge在1781年提出的，且關(guān)注尋找將一堆土從一個地點移動到另一個地點最優(yōu)的方式，其意義在于最小化傳輸成本。這個問題在Kantorovich研究中被給出一種數(shù)學構(gòu)造，這就是熟知的Monge-Kantorovich問題。
我們現(xiàn)在給出Monge-Kantorovich問題的構(gòu)造。令Ω0和Ω1是Rd的兩個子域，擁有光滑的邊界，每個有一個正的密度函數(shù)，分別是μ0和μ1。我們假設
這項總的相同質(zhì)量是與Ω0和Ω1有關(guān)的。我們認為微分同胚映射u是從（Ω0，μ0）到（Ω1，μ1），微分同胚映射的意義是映射一個密度到其他的密度
（1）
也許有許多這樣的映射，并且從某種意義上來說我們想要選擇一種最優(yōu)的。因此，定義LPKantorovich-Wasserstein度量標準如下：
（2）
（3）式中|Hω|表示ω的海森行列式。
因此，Kantorovich-Wasserstein度量定義兩個質(zhì)量密度的距離，通過考慮式（2）給出的公式計算從一個域到另一個域最便宜的方式，最優(yōu)傳輸映射在p=2是情況下，是某一種函數(shù)的梯度。這個結(jié)果的新穎之處在于，它像平面上的Riemann映射理論，這個過程指出一個特定的偏愛幾何學的映射。
1.2 光流法
光流是一種計算方法來計算在很短時間差內(nèi)一組圖像間運動。主要的思想是每個圖像的灰度值在兩幀圖像間是不變的。這導出光流約束方程
（4）
（5）
注意方程（5）的一個潛在的假設是亮度恒定。在這種假設下，一個物體的亮度從一幀到另一幀是恒定的。這個假設適用于一個朗伯表面剛性物體但不是用于氣體和液體材料。在計算機視覺中，這些通過所謂的動態(tài)紋理建模。煙和火的典型的動態(tài)紋理具有內(nèi)在動態(tài)，所以不能通過標準光流方法來進行捕獲。同時，煙/火區(qū)域流的速度比周圍地區(qū)的速度快的多，通過公式（5）給出的模型可能又會產(chǎn)生很多錯誤結(jié)果。
這篇文章的目聳腔竦酶好的光流場模型用于火和煙霧檢測。這樣做的一個方法是基于在這些過程中物理屬性的光流。一個簡單的屬性是火和煙大約使亮度守恒作為一個廣義質(zhì)量并且以文中的最優(yōu)方法進行移動。因此，一個恰當?shù)臄?shù)學上的光約束不是強度守恒而且質(zhì)量守恒或者亮度守恒。這個模型被寫為
（6）
理由如下：
這意味著區(qū)域強度的總的變化率僅通過一個光流表示（邊界上進入或者出去的）。這是一個守恒定律。但是通過散度定理
這是一個精確無窮小亮度（質(zhì)量）守恒條件。
下面是前面部分的解釋，本文提出了用于動態(tài)紋理分割的光流：
第一項是優(yōu)化問題，代表移動圖像的總質(zhì)量，第二項是質(zhì)量守恒光流方程。
2 神經(jīng)網(wǎng)絡分類分類器
煙霧檢測可以抽象為兩種模型，其檢測結(jié)果由給定的像素決定屬于有煙的情況或是無煙的情況。神經(jīng)網(wǎng)絡的最小二乘計算模型滿足貝葉斯判別式。輸出的結(jié)果是關(guān)于一個像素屬于某一特定類的概率，因此決定像素屬于有煙情況或是無煙情況的閾值是使用者根據(jù)其期望設定的。根據(jù)貝葉斯定理，多個事件的后驗概率公式可以寫成如下形式：
（8）
上式中的x由Ck類滿足判別式y(tǒng)k（x，w）具有最大值時確定。如果x屬于Ck則目標值tk（x）=l，否則都為零。神經(jīng)網(wǎng)絡每次輸出的誤差如下式所示：
（9）
當樣本數(shù)量趨近無限大時，在文中可以看出，反向傳播算法最小化下面的式（10）來縮小由神經(jīng)網(wǎng)絡來產(chǎn)生的誤差
（10）式中的n代表類的數(shù)量。上式表明當數(shù)據(jù)點的數(shù)量趨近與無窮時，輸出的結(jié)果的判別式等價于后驗概率中）yk（x，ω）≈P（Ck|x）。因此，把x指定給類Ck，也就是映射具有最大值的判別式函數(shù)，相當于把x指定為具有最大后驗概率的這個類。
根據(jù)貝葉斯原理，確定判別式的形式。后驗概率如下式：
（11）
將文中ak=ln（p（x|Ck）p（Ck））的替換，式（11）也稱為softmax函數(shù)。此式恰恰是神經(jīng)網(wǎng)絡使用的激勵函數(shù)。
假設類的條件概率密度p（x|Ck）屬于分布的限制指數(shù)族，則采用下面的形式：
（12）
將上式的密度代入式（11），得到的等式是關(guān)于ak（x）與x成線性關(guān)系：
（13）
因此，判別式采用激勵函數(shù)的形式，當非線性函數(shù)φ（x）的線性組合為變量時如下：
（14）式中f（?）為激勵函數(shù)。
在神經(jīng)網(wǎng)絡中的非線性函數(shù)組成了隱藏單元，這些非線性函數(shù)是根據(jù)具體情況選擇的，而且它們是關(guān)于輸入的線性組合的函數(shù)。
（15）其中h（?）是一個柔性最大值（softmax）函數(shù)。本文所使用的神經(jīng)網(wǎng)絡是完全被連接的，并且由一個含有20個隱藏單元的單隱層構(gòu)成的，這個隱藏單元在隱藏層和輸出使用softmax非線性。
3 實驗結(jié)果
為了獲得如下結(jié)果，只需要6幀圖片來訓練神經(jīng)網(wǎng)絡分類器。包括手動描繪的有火、無火、有煙和無煙的區(qū)域。樣本的數(shù)量要小并且出自同一視頻中。通過提供更多明顯的樣本，例如來自不同的視頻資源的有用和沒用的數(shù)據(jù)樣本。可以使分類器檢測更多的視頻。
神經(jīng)網(wǎng)絡分類器的輸出結(jié)果為每個像素的后驗概率p（Ck|x），這里的類Ck指的是有火或煙和無火或煙，x是給定像素的特征向量，圖2中顯示了分類器的一個樣本輸出中一幀圖像的所有像素。根據(jù)閾值可以選擇像素的類，圖2顯示的是煙，圖3顯示的是火。
對圖2所示的圖片進行特征向量提取和相鄰時空像素最優(yōu)質(zhì)量傳輸光流速度值計算，并提供給神經(jīng)網(wǎng)絡分類器。輸出的每個像素的概率屬于煙的類。如圖2（b）所示，這種選擇是根據(jù)閾值概率做出的。可見白煙是從白墻中區(qū)分出來的。
篇9
隨著網(wǎng)絡技術(shù)的迅猛發(fā)展，互聯(lián)網(wǎng)[1]已經(jīng)被運用到千家萬戶，實時以及多媒體的傳播技術(shù)也在不斷普及，網(wǎng)絡流量將不斷增加，這對于現(xiàn)階段的網(wǎng)絡管理、維護以及檢測技術(shù)來說是一個不小的挑戰(zhàn)。有挑戰(zhàn)就存在一定的機遇，網(wǎng)絡流量監(jiān)控是網(wǎng)絡管理中的一個重要組成部分，更是網(wǎng)絡性能分析以及網(wǎng)絡規(guī)劃設計的根基，為網(wǎng)絡管理者的網(wǎng)絡實施運行提供了技術(shù)平臺，并且能正確處理網(wǎng)絡出現(xiàn)的異常問題。
1 基于SNMP流量的監(jiān)測技術(shù)
近幾年來，以NETFLOW以及SFLOW技術(shù)為代表的網(wǎng)絡流量監(jiān)測技術(shù)的運用憑借其準確、高效等優(yōu)勢在網(wǎng)絡管理中頗受寵愛，但是其部署也存在一定的局限性，主要表現(xiàn)在以下幾個方面：（1）該技術(shù)消耗網(wǎng)絡設備資源。（2）在大中型網(wǎng)絡中，該技術(shù)在每一個節(jié)點全面部署會產(chǎn)生大量的數(shù)據(jù)，如何高效便捷地處理這些數(shù)據(jù)對于網(wǎng)絡管理來說至關(guān)重要。即使利用提高采樣率來減少數(shù)據(jù)流量，但是隨著采樣率的不斷上升，很多有價值的信息也會隨之丟失。
綜上所示，現(xiàn)階段使用的NETFLOW以及SFLOW技術(shù)只適用于邊緣路由器的單獨部署。為了解決校園網(wǎng)方案中存在的一些問題，本文就提出了適用于校園區(qū)的網(wǎng)絡流量監(jiān)測系統(tǒng)，此方案使用基于SNMP技術(shù)，在現(xiàn)階段的校園網(wǎng)絡上能夠較為廉價以及便捷地解決上述問題。
1.1 SNMP簡介
SNMP的全稱是簡單網(wǎng)絡管理協(xié)議，此協(xié)議是一種基于TCP/IP參考模型[2]的應用層互聯(lián)網(wǎng)網(wǎng)絡管理協(xié)議，能對于互聯(lián)網(wǎng)中的各式各樣的設備進行監(jiān)控以及管理，它主要還包含了網(wǎng)絡管理站以及被管的網(wǎng)絡設備這兩個部分。被管的設備端運行者稱為設備的運用進程，其實現(xiàn)階段對于被管設備的各種被管對象的信息，例如流量等的收集以及對于這些被管對象的訪問支持。利用SNMP實現(xiàn)的網(wǎng)絡管理一般包含：管理進程利用定時來向各個設備的設備進程發(fā)送可查詢請求信息，，以便于跟蹤每一個設備的狀態(tài)。SNMP的作用是幫助網(wǎng)絡管理員提升網(wǎng)絡管理的主要性能，及時快速地發(fā)現(xiàn)并且解決網(wǎng)絡問題以及規(guī)劃網(wǎng)絡的增長。網(wǎng)絡管理員還可以利用SNMP接收網(wǎng)絡節(jié)點的通知消息，來告警事件報告等來獲知網(wǎng)絡出現(xiàn)的問題。
1.2 流量數(shù)據(jù)的采集
為了達到網(wǎng)絡流量的采集，設計了運用SNMP協(xié)議采集網(wǎng)絡設備MIB的方法，程序以輪詢的方式進行訪問MIB相對應的葉節(jié)點。SNMP是由三個部分組成的，分別是管理者、以及MIB，其中被管設備一定要啟動SNMP服務，管理者利用SNMP的相應操作通過獲得以及設置MIB變量的參數(shù)值，此處涉及到的一個共同體名是客戶進行提供的，與此同時，要能被服務器進程所識別的一個口令密碼，也正是管理進程請求的權(quán)限標志。MIB變量有簡單變量以及表格變量，對于簡單變量的訪問，通過對其對象標識符后面添加“0”來處理，利用get-request報文請求即可。
2 網(wǎng)絡流量監(jiān)測技術(shù)的現(xiàn)狀及其發(fā)展趨勢
根據(jù)現(xiàn)階段的網(wǎng)絡流量的采集方式可以將網(wǎng)絡流量監(jiān)測技術(shù)分為以下三個部分，分別是基于網(wǎng)絡流量全鏡像的檢測技術(shù)、基于SNMP的監(jiān)測技術(shù)以及基于NETFLOW的監(jiān)測技術(shù)。
網(wǎng)絡流量全鏡像的監(jiān)測：它是現(xiàn)階段IDS主要使用的是網(wǎng)絡流量采集模式，其工作原理是利用交換機等網(wǎng)絡設備的端口鏡像或者是通過分光器、網(wǎng)絡探針等附加設備，實現(xiàn)了網(wǎng)絡流量的無損復制以及鏡像采集，該技術(shù)的主要特征是可以為管理者提供應用層的信息。
目前，網(wǎng)絡流量監(jiān)測技術(shù)正在朝著迅猛提升的方向發(fā)展，其技術(shù)以及產(chǎn)品也正在不斷更新，也有朝著智能化發(fā)展的趨勢，主要表現(xiàn)在：流量自主學習，為判斷異樣流量提供強有力的證據(jù)。
3 采集過程中需要考慮的問題
3.1時間間隔的正確選擇
Cisco路由器[3]為IP Accounting Table 中建立了一個緩沖區(qū)，缺省設置為512行，如果超出了已經(jīng)限定的行數(shù)，那么全新的數(shù)據(jù)就會丟失。所以，在采集數(shù)據(jù)的時候要選擇正確合適的時間間隔。假如兩次采集的時間間隔過長，就會使得數(shù)據(jù)庫中的數(shù)據(jù)溢出，之前的數(shù)據(jù)就會被覆蓋，最終造成數(shù)據(jù)的丟失；假如采集時間間隔過短的話，又會導致訪問路由器以及寫入的數(shù)據(jù)庫過于頻繁，最終造成整個系統(tǒng)的性能下降。
3.2 Trap技術(shù)的應用
假如在采集程序運行之前，計費信息就會超過路由器保留計費信息的緩沖區(qū)的大小，就會造成計費信息的丟失。為了防止此類情況的出現(xiàn)，我們就要運用SNMP中的事件驅(qū)動技術(shù)，也就是Trap技術(shù)。
3.3準確安全性的考慮
考慮到整個系統(tǒng)的健壯性能，設計方案就會引入主從式的設計，在整個系統(tǒng)中，引入一個從計費服務器作為主服務器的備份。從服務器上采集而來的數(shù)據(jù)過程是實時的，全天運行的。其系統(tǒng)要根據(jù)已經(jīng)設定好的固定的時間間隔輪詢路由器IPAccountingTable表的讀寫情況，假如表的更新時間超過設定的最大更新周期，就會出現(xiàn)主服務器發(fā)生故障的狀況，根據(jù)服務器將進行數(shù)據(jù)的采集工作，為了防止數(shù)據(jù)的丟失。
本文利用分析了常見流量監(jiān)控系統(tǒng)，提出了在校園中網(wǎng)絡上運用SNMP協(xié)議實現(xiàn)在網(wǎng)絡流量上的監(jiān)控，本系統(tǒng)是架構(gòu)于SNMP模式的管理者以及結(jié)構(gòu)之上。此設計方案是在校園網(wǎng)上有較強的推廣價值，也被廣泛運用于其他網(wǎng)絡管理功能模塊的設計。
參考文獻
篇10
篇11
1.在IP網(wǎng)絡中采用網(wǎng)絡性能監(jiān)測技術(shù),可以實現(xiàn)
1.1 合理規(guī)劃和優(yōu)化網(wǎng)絡性能
為更好的管理和改善網(wǎng)絡的運行,網(wǎng)絡管理者需要知道其網(wǎng)絡的流量情況和盡量多的流量信息。通過對網(wǎng)絡流量的監(jiān)測、數(shù)據(jù)采集和分析,給出詳細的鏈路和節(jié)點流量分析報告,獲得流量分布和流向分布、報文特性和協(xié)議分布特性,為網(wǎng)絡規(guī)劃、路由策略、資源和容量升級提供依據(jù)。
1.2 基于流量的計費
現(xiàn)在lSP對網(wǎng)絡用戶提供服務絕大多數(shù)還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網(wǎng)絡提供者不能夠統(tǒng)計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網(wǎng)時長、上網(wǎng)流量、網(wǎng)絡業(yè)務以及目的網(wǎng)站數(shù)據(jù)分析,擺脫目前單一的包月制,實現(xiàn)基于時間段、帶寬、應用、服務質(zhì)量等更加靈活的交費標準。
1.3 網(wǎng)絡應用狀況監(jiān)測與分析
了解網(wǎng)絡的應用狀況,對研究者和網(wǎng)絡提供者都很重要。通過網(wǎng)絡應用監(jiān)測,可以了解網(wǎng)絡上各種協(xié)議的使用情況(如www,pop3,ftp,rtp等協(xié)議),以及網(wǎng)絡應用的使用情況,研究者可以據(jù)此研究新的協(xié)議與應用,網(wǎng)絡提供者也可以據(jù)此更好的規(guī)劃網(wǎng)絡。
1.4 實時監(jiān)測網(wǎng)絡狀況
針對網(wǎng)絡流量變化的突發(fā)性特性,通過實時監(jiān)測網(wǎng)絡狀況,能實時獲得網(wǎng)絡的當前運行狀況,減輕維護人員的工作負擔。能在網(wǎng)絡出現(xiàn)故障或擁塞時發(fā)出自動告警,在網(wǎng)絡即將出現(xiàn)瓶頸前給出分析和預測?，F(xiàn)在隨著Internet網(wǎng)絡不斷擴大,網(wǎng)絡中也經(jīng)常會出現(xiàn)黑客攻擊、病毒泛濫的情況。而這些網(wǎng)絡突發(fā)事件從設備和網(wǎng)管的角度看卻很難發(fā)現(xiàn),經(jīng)常讓網(wǎng)絡管理員感到棘手。因此,針對網(wǎng)絡中突發(fā)性的異常流量分析將有助于網(wǎng)絡管理員發(fā)現(xiàn)和解決問題。
1.5 網(wǎng)絡用戶行為監(jiān)測與分析
這對于網(wǎng)絡提供者來說非常重要,通過監(jiān)測訪問網(wǎng)絡的用戶的行為,可以了解到:
1)某一段時間有多少用戶在訪問我的網(wǎng)絡。
2)訪問我的網(wǎng)絡最多的用戶是哪些。
3)這些用戶停留了多長時間。
4)他們來自什么地方。
5)他們到過我的網(wǎng)絡的哪些部分。
通過這些信息,網(wǎng)絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。
2.網(wǎng)絡流量測量有5個要素:
測量時間、測量對象、測量目的、測量位置和測量方法。網(wǎng)絡流量的測量實體,即性能指標主要包括以下幾項。
2.1 連接性
連接性也稱可用性、連通性或可達性,嚴格說應該是網(wǎng)絡的基本能力或?qū)傩?不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。
2.2 延遲
對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。
2.3 丟包率
為了評估網(wǎng)絡的丟包率,一般采用直接發(fā)送測量包來進行測量。目前評估網(wǎng)絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。
2.4 帶寬
帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網(wǎng)絡能夠提供的最大的吞吐量。
2.5 流量參數(shù)
ITU-T提出兩種流量參數(shù)作為參考:一種是以一段時間間隔內(nèi)在測量點上觀測到的所有傳輸成功的IP包數(shù)量除以時間間隔,即包吞吐量;另一種是基于字節(jié)吞吐量:用傳輸成功的IP包中總字節(jié)數(shù)除以時間間隔。
3.測量方法
Internet流量數(shù)據(jù)有三種形式:被動數(shù)據(jù)(指定鏈路數(shù)據(jù))、主動數(shù)據(jù)(端至端數(shù)據(jù))和BGP路由數(shù)據(jù),由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術(shù)被網(wǎng)絡用戶或網(wǎng)絡研究人員用來分析指定網(wǎng)絡路徑的流量行為。
3.1 主動測量
主動測量的方法是指主動發(fā)送數(shù)據(jù)包去探測被測量的對象。以被測對象的響應作為性能評分的結(jié)果來分析。測量者一般采用模擬現(xiàn)實的流量(如Web Server的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網(wǎng)絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監(jiān)測者的角度反映的性能。
3.2 被動測量
被動測量是在網(wǎng)絡中的一點收集流量信息,如使用路由器或交換機收渠數(shù)據(jù)或者一個獨立的設備被動地監(jiān)測網(wǎng)絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優(yōu)點使人們更愿意使用被動測量技術(shù)。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經(jīng)過的路由。但被動測量的優(yōu)點使得決定測量之前應該首先考慮被動測量。被動測量技術(shù)遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。
3.3 網(wǎng)絡流量抽樣測量技術(shù)
篇12
網(wǎng)絡通信流量分析的目的是了解網(wǎng)絡工況，及早發(fā)現(xiàn)可能存在的數(shù)據(jù)流量問題和應對措施。需明確的是，計算機網(wǎng)絡通信的核心作用是傳輸數(shù)據(jù)，而網(wǎng)絡流量的分析就是采集和分析計算機網(wǎng)絡中傳輸?shù)暮Ａ繑?shù)據(jù)流，網(wǎng)絡數(shù)據(jù)流的分析從計算機及傳輸相關(guān)的物理硬件底層的數(shù)據(jù)流到應用層的數(shù)據(jù)流分析，也稱為網(wǎng)絡通信協(xié)議分析。網(wǎng)絡管理人員若想了解和管控好一個網(wǎng)絡，其最重要的就是對網(wǎng)絡的了解，所謂知己知彼，包括并不限于了解網(wǎng)絡的拓撲結(jié)構(gòu)、配置參數(shù)和設備類型等，但要保證網(wǎng)絡通信的服務質(zhì)量，這樣的認知是還是遠遠不夠。對網(wǎng)絡通信流量的分析能使網(wǎng)管更深入地了解計算機網(wǎng)絡，包括計算機網(wǎng)絡運行規(guī)律、網(wǎng)絡運行模式和用戶的上網(wǎng)行為。
2網(wǎng)絡異常的行為
計算機網(wǎng)絡異常的發(fā)現(xiàn)是建立在充分認知和網(wǎng)絡閥值為基礎的，一旦網(wǎng)絡流量突破了網(wǎng)管人員預設的網(wǎng)絡流量閥值，就需要通過發(fā)現(xiàn)、詢因、流控等技術(shù)手段，以防止網(wǎng)絡流量的無限暴增，進而能為網(wǎng)絡通信保持一定的高性能運行提供重要的保障。通常的網(wǎng)絡異常情況如下：(1)網(wǎng)絡運行異常：網(wǎng)絡中流量的異常，包括資源利用率、數(shù)據(jù)包數(shù)的異常。(2)網(wǎng)絡應用異常：進程連接數(shù)量、用戶應用響應、應用程序流量的異常，都能通過長期的主動分析來及時預警和發(fā)現(xiàn)。(3)用戶的異常上網(wǎng)行為：異常的上網(wǎng)行為也有鮮明的流量特征，如被蠕蟲病毒感染、不知情的情況下安裝了后門程序等，長期的數(shù)據(jù)流量分析能及時發(fā)現(xiàn)上網(wǎng)用戶的這些異常網(wǎng)絡行為，如何及時發(fā)現(xiàn)網(wǎng)絡用戶的異常上網(wǎng)行為是解決其影響網(wǎng)絡正常高效運行的關(guān)鍵。
二建立機器學習的計算機網(wǎng)絡通信流量分析
模型計算機網(wǎng)絡流量的突變性、弱耦合性和影響的非線性等特性，對傳統(tǒng)計算機網(wǎng)絡通信理論提出了新的挑戰(zhàn)，導致對網(wǎng)絡流量和協(xié)議概率分布的準確建模變得異常困難。
1模型擬解決的問題
針對計算機網(wǎng)絡通信流量分析的特點，提出了一個基于機器學習的計算機網(wǎng)絡通信的流量分析概念模型。提出該模型的真正目的在于：最大限度地利用獲得的流量數(shù)據(jù)和網(wǎng)管人員的監(jiān)測信息，自動完成流量分析的各個任務，自適應各種上層應用及對網(wǎng)絡的性能優(yōu)化。同時，模型通過計算機主動學習，指導主動式監(jiān)測的進行。從通信流量分析的具體任務而言，如果已經(jīng)較好地獲得了數(shù)據(jù)流量的概率分布特性，有兩個基本的問題：（1）正常情況，計算機監(jiān)控程序能否利用已得到的概率統(tǒng)計特性來預測可能發(fā)生未知的數(shù)據(jù)流量情況；（2）數(shù)據(jù)流量的特性突變之時，計算機監(jiān)控程序能否快速、有效地發(fā)現(xiàn)這種流量突變。這分別對應于網(wǎng)絡數(shù)據(jù)流量預測和異常網(wǎng)絡數(shù)據(jù)流量檢測，可以通過具有自學習能力的計算機程序自動實現(xiàn)上述預測和檢測。
2機器學習的概念
模型所謂機器學習的本質(zhì)是計算機程序的性能隨著經(jīng)驗的累積能自我完善。恰當選擇計算機的機器學習算法，可最大限度地使用上述經(jīng)驗和監(jiān)測信息，從而完成流量分析各任務的自動化處理，并根據(jù)應用環(huán)境對網(wǎng)絡的性能進行優(yōu)化。為此，機器算法是處理上述問題的理想選擇。首先給出基于機器學習的網(wǎng)絡流量分析模型，接著從機器學習的角度，闡明基于改進Boosting的機器學習算法。機器學習的本質(zhì)是將人類的經(jīng)驗積累和長期的監(jiān)測到的統(tǒng)計數(shù)據(jù)通過計算機程序以自動提高其性能，根據(jù)計算機通信網(wǎng)絡分析的一般流程，提出機器學習模型。此類模型利用網(wǎng)絡監(jiān)測算法測量獲得的流量數(shù)據(jù)，然后利用機器學習的方法，自動完成流量分析的各項作業(yè)任務，支持各種上層應用對網(wǎng)絡的性能優(yōu)化。當網(wǎng)絡管理人的監(jiān)督信息可以獲得的時候，該數(shù)據(jù)信息可以作為機器學習算法的儲備和先驗知識，結(jié)合人類的智慧以進一步提高算法的性能，如此往復，循環(huán)提升，不斷提高系統(tǒng)的數(shù)據(jù)流量分智能。
3改進Boosting算法
改進Boosting算法是一類使得學習算法的性能得以提高的學習策略?；贐oosting的學習算法的思路：找到許多簡單粗略的判斷準則要比找到一條非常準確的準則容易得多。通過不斷調(diào)用這種算法，每次用訓練樣本的不同子集對它進行訓練，循環(huán)多次后，這些準則就會結(jié)合成一條基本學習規(guī)則。
篇13
隨著校園網(wǎng)的發(fā)展，網(wǎng)絡管理已成為數(shù)字校園信息化建設中的重要一環(huán)，作為網(wǎng)絡管理和維護人員首要任務就是隨時了解網(wǎng)絡的運行狀況，對網(wǎng)絡的運行狀況進行流量監(jiān)控和流量分析，是整個網(wǎng)絡合理化的重要環(huán)節(jié)，它能在最短的時間內(nèi)發(fā)現(xiàn)安全威脅，在第一時間進行分析，通過流量分析來確定異常并發(fā)出預警，快速采取相應措施[1]。因此，為了更好地管理校園網(wǎng)絡，需引進專業(yè)的的網(wǎng)絡監(jiān)測軟件cacti，對校園網(wǎng)絡進行實時監(jiān)控。
1 Cacti架構(gòu)及功能
Cacti架構(gòu)Cacti系統(tǒng)由五個部分組成，如圖1所示。
包括數(shù)據(jù)定時采集、圖像繪畫與顯示、樹狀的主機和圖像管理、RRDTool信息管理、用戶和權(quán)限管理和模板導入導出。定時采集數(shù)據(jù)：Cacti會定時運行，使用“snmpget”命令或腳本執(zhí)行的方式進行數(shù)據(jù)的采集；存儲數(shù)據(jù)：使用RRDTool的“update”命令將采集到的數(shù)據(jù)儲存到rrd文件中；用戶查看某臺設備的流量：在Cacti的PHP頁面上點擊該設備，Cacti在數(shù)據(jù)庫中尋找該設備對應的rrd文件名稱。Cacti運行命令讓RRDTool進行繪圖。
2 Cacti在網(wǎng)絡流量監(jiān)控的應用
Cacti是一種開源式監(jiān)控軟件，它是通過SNMP抓取所監(jiān)控的數(shù)據(jù)，把相關(guān)數(shù)據(jù)存儲到RRDtool繪畫引擎中，分布式的管理模式使得Cacti能夠同時監(jiān)控各個節(jié)點的數(shù)據(jù)信息。下面以學生區(qū)域的網(wǎng)絡流量監(jiān)控圖，分析研究Cacti在網(wǎng)絡流量監(jiān)控的作用。
從圖1中我們可以看出，每天上午的流量波動在7∶00左右被檢測到，學生白天上網(wǎng)高峰出現(xiàn)在10：00～14：00左右，從8：00～23：30網(wǎng)絡流量呈現(xiàn)一種上升的趨勢，21：30～23：00左右達到最高值。這與我們學校的作息時間有關(guān)。學校每天早上7∶00來網(wǎng)，8：00上課。10：00一、二節(jié)課下課，部分同學回宿舍上網(wǎng)，至下午14：30上課期間，達到一個上網(wǎng)小高峰，下午18：00左右至23：00左右上是上網(wǎng)的高峰時期，23：00至次日7點監(jiān)測到的流量幾乎為零，是因為學校為了不影響學生休息和第二天的學習，每天23：00準時斷網(wǎng)，Cacti的監(jiān)測圖準確地反映了實際網(wǎng)絡狀況。
從圖3我們看出每周流入流出的大體趨勢相差不大，總體的流量走勢處于正常。從每天的流量波動趨勢大體相差不大。周五至周日流量比平時稍多，反映了休息日學生上網(wǎng)人數(shù)增加，是學生利用休息日來放松自己，上上網(wǎng)，聽聽音樂，玩玩游戲等。但是，周四的下午6：00左右出現(xiàn)過短時間的斷網(wǎng)事故，我們可以清晰地觀測到在Cacti監(jiān)控圖上，周四中間地段出現(xiàn)流量異常劇降為零，然后迅速恢復的過程。正是由于Cacti的直觀性，分布式管理的優(yōu)勢使得我們能夠迅速的找到問題所在，快速使網(wǎng)絡恢復正常。
通過以上實時監(jiān)測表明，Cacti能夠很直觀的反應出流量的分布情況，可以很直觀的發(fā)現(xiàn)異常的流量波動，進而對于網(wǎng)絡故障做出快速反應，及時排除，恢復網(wǎng)絡正常。是校園網(wǎng)有效管理和監(jiān)測的重要手段之一。
3 結(jié)論
校園網(wǎng)絡的流量監(jiān)控是網(wǎng)絡管理中的重要內(nèi)容，Cacti對網(wǎng)絡監(jiān)控提供了一個直觀可行的方案，我們通過它非常迅速的了解網(wǎng)絡各個部分的流量情況，第一時間發(fā)現(xiàn)網(wǎng)絡中的異常流量，及時發(fā)現(xiàn)黑客和病毒的攻擊，并能根據(jù)各網(wǎng)絡設備端口的使用情況對網(wǎng)絡進行合理劃分，大大提高網(wǎng)絡的安全和運行效率，同時該系統(tǒng)實現(xiàn)了網(wǎng)絡狀態(tài)的圖像化顯示、故障報警、監(jiān)測數(shù)據(jù)存儲、溫度濕度傳感器信息采集等功能。使用該軟件進行網(wǎng)絡管理具有通用性高，通知及時，成本低，直觀；非常適合校園網(wǎng)使用。
