日韩偷拍一区二区,国产香蕉久久精品综合网,亚洲激情五月婷婷,欧美日韩国产不卡

第5章稀疏深度神經網絡

5.1稀疏性的生物機理深度學習與稀疏認知學習、計算與識別之間的關系深刻而且本質，從機器學習中的特征工程(人工特征提取與特征篩選)到深度學習中的特征學習(通過線性與非線性操作的不斷復合獲取數據的高層統計或語義特性)，無論是以顯性還是隱性的嵌入方式，稀疏性都在模型中扮演著重要的角色。下面簡要從生物視覺機理和數學物理角度來描述稀疏性。備注： 稀疏認知學習、計算與識別的范疇包括表示理論(即基于稀疏表示的壓縮感知和稀疏編碼)，數學計算(匹配追蹤算法)和模式識別(稀疏表示分類器SRC及稀疏分類器設計SparseMax)等。5.1.1生物視覺機理視覺感知機理的研究表明，視覺系統可以看成一種合理而且高效的圖像處理系統，從視網膜到大腦皮層存在一系列具有不同生物學功能的神經細胞，例如隨著層級信息不斷的“加深”，不同視覺皮層上的神經細胞對特定形狀的視覺圖案有的響應和偏好的刺激，簡言之，層級越高感受野越大，即信息處理從局部到更大的區域，類似尺度特性。層級較低時，感受野所處理的區域越小，稀疏性越強(特指層級間的連接特性)，層級較高時，感受野所處理的區域越大，稀疏性越弱。另外，Barlow推論出在稀疏性和自然環境的統計特性之間必然存在某種聯系，隨后諸多基于生物視覺和計算的模型被提出來，都成功地例證了生物視覺針對自然環境所反饋出的物理統計特性蘊含著稀疏性。當層級較低時，其簡單細胞對應著嚴格的方向和帶通特性，而復雜細胞在保持簡單細胞特性的基礎上進一步具有局部變換(如平移)不變性，簡言之，簡單細胞處理信息具有稀疏(即局部連接)特性，而復雜細胞具有聚類(連接計算共享)特性。神經科學研究成果表明，稀疏編碼是視覺系統中圖像表示的主要方式，初級視覺皮層(V1區)中的神經元對視覺信息的反應具有稀疏性，V4區的神經元通過稀疏編碼的方式實現視覺信息的表示。從表5.1中可知，隨著對計算機視覺研究的深入，人類對自身視覺感知系統的理解也在不斷加深。借鑒生物視覺機理的研究成果，模擬建立相應的視覺計算模型，將成為一個具有挑戰性和吸引力的研究方向。下面給出生物(人類)視覺與計算機視覺的對比表(表5.1)。

表5.1生物(人類)視覺與計算機視覺對比

對比項人 類 視 覺計算機視覺

適應性適應性強，可在復雜及變化的環境中識別目標適應性差，容易受復雜背景及環境變化的影響智能具有高級智能，可運用邏輯分析及推理能力識別變化的目標，并能總結規律雖然可利用人工智能及神經網絡技術，但智能很差，不能很好地識別變化的目標續表

對比項人 類 視 覺計算機視覺

彩色識別能力對色彩的分辨能力強，但容易受人的心理影響，不能量化受硬件條件的制約，目前一般的圖像采集系統對色彩的分辨能力較差，但具有可量化的優點灰度分辨能力差，一般只能分辨64個灰度級強，目前一般使用256灰度級，采集系統可具有10bit、12bit、16bit等灰度級空間分辨能力分辨率較差，不能觀看微小的目標目前有4K×4K的面陣攝像機和8K的線陣攝像機，通過備置各種光學鏡頭，可以觀測小到微米大到天體的目標速度0.1秒的視覺暫留使人眼無法看清較快速運動的目標快門時間可達到10微秒左右，高速相機幀率可達到1000以上，處理器的速度越來越快感光范圍400~750nm范圍的可見光從紫外到紅外的較寬光譜范圍，另外有X光等特殊攝像機環境要求對環境溫度、濕度的適應性差，另外有許多場合對人有損害對環境適應性強，另外可加防護裝置觀測精度精度低，無法量化精度高，可到微米級，易量化其他主觀性，受心理影響，易疲勞客觀性，可連續工作

另外，關于生物視覺與計算機視覺之間核心的模塊對應關系見圖5.1，值得注意的是： 理解并分析大腦是如何在算法層面上工作的嘗試是鮮活且發展良好的，這項嘗試被稱為“計算神經科學”，并且是獨立于深度學習的一個領域。研究人員兩個領域間反復研究是很常見的，深度學習主要關注如何構建智能的計算機系統，以用來解決需要智能才能解決的任務，而計算神經科學領域主要是關注構建大腦如何工作的更的模型。

圖5.1生物視覺與計算機視覺核心模塊對應

5.1.2稀疏性響應與數學物理描述目前，構建高性能的計算模型，并不是模型越復雜越好，特別針對變量維數很高，樣本量不是很大的情形下，構建一個合理的，相對簡單的稀疏模型往往具有更高的性能，更為重要的是還具有生物可解釋性。從數學角度來看，依據模型的低復雜性結構(如向量的稀疏性，矩陣的低秩性等)，如何高效地從病態的線性逆問題中且穩健地恢復出特定的信息。值得指出的是： 常見的稀疏性是指向量中絕大多數元素的值為零或者接近于零； 而廣義的稀疏性是指通過特定變換后目標的稀疏性。可以看出，當前為了使得模型具備學習能力、高容量的表達能力、快速推斷能力以及多任務信息共享能力； 借鑒生物視覺的認知機理已成為一種必然趨勢。眾所周知，1996年Olshausen和Field在Nature雜志上發表的一篇重要論文指出，自然圖像經過稀疏編碼后得到的基函數類似于初級視覺皮層V1區上簡單細胞感受野的反應特性(即空間域的局部性、時域和頻域的方向性和選擇性)。需要指出的是稀疏編碼與稀疏表示是不同的，例如關于系數的稀疏性約束，前者采用光滑可導的函數，而后者采用偽范數或L1范數； 另外稀疏編碼不要求基原子個數一定要大于數據的維數。本節更為詳細的論述與解釋請參考第1章的稀疏表示，另外稀疏編碼部分可參考相關論文，這里不再贅述。5.2稀疏深度網絡模型及基本性質在深度神經網絡引入顯式稀疏性之前，關于稀疏模型的研究就已經成為機器學習中的熱點，特別是針對線性稀疏模型的研究，如壓縮感知、雙稀疏模型、結構化稀疏模型(如群稀疏)、SHMAX模型、SRC模型等。當然，除了顯式稀疏性(如稀疏正則化理論等)外，還有隱式稀疏性的研究，它通常內蘊在非線性激活函數和損失函數(如交互熵，非L2范數下的能量損失)的構建過程中。眾所周知，自從2006年至今深度神經網絡的一個重要體現或要求便是訓練數據量的規模要大(衡量標準可利用模型的參數個數與訓練數據量的個數來比較)，由于以往訓練數據集規模很小，加上計算性能很慢(硬件加速設備導致)，同時權值矩陣的初始化方式較為笨拙(容易出現梯度彌散現象)，以及使用了某種錯誤的非線性模型，導致深度神經網絡在過去的表現并不好。經過十余年的積累，目前深度神經網絡可簡略地認為是大規模訓練數據集，并行計算和規模化、靈巧的算法三者的結合。深度神經網絡中引入稀疏正則或蘊含稀疏性可以認為是病態模型良態化的過程，如稀疏正則的核心是解決過擬合問題，稀疏權值連接(DropOut策略)的本質是通過約減參數量間接增加訓練數據，以及非線性激活函數中所隱含的稀疏性是為了增加“扭曲”程度，即不同類別的(線性不可分)輸入隨著層級的增加，隱層特征所對應的線性可分性逐漸增強。下面簡要地分析深度神經網絡在各階段所出現的稀疏性及其優勢。備注： SHMAX為稀疏層次識別模型，SRC為稀疏表示分類器，結構化稀疏模型，基于稀疏正則的設計有群稀疏、圖稀疏、隨機場稀疏等。5.2.1數據的稀疏性數據的稀疏性包含三點： 一是數據中所包含某種拓撲特性或目標相對數據本身呈現出非零元素較少的情形； 二是數據在某種(線性或非線性)自適應或非自適應變換下對應的表示系數具有非零元素較少的狀況； 三是隨著數據集規模的增加，呈現出某種統計或物理特性的數據占整個數據集的少數，例如分辨率特別好的樣本或分辨率特別差的樣本在整個數據集中呈較少的狀態。目前，常用的稀疏性描述是基于第二點假設，并且作為一種有效的(稀疏性)正則約束，在優化目標函數關于解存在多樣性的問題中給出合理的解釋與逼近。而基于及時點，通常可作為一種有效的處理方式(如二值化處理，或者零化無關區域)，例如輸入到深度神經網絡中的一幅圖像，有效的目標占圖像的比例較少，便可以將圖像中除去目標的部分置為零； 值得注意的是： 利用視覺機制中的顯著性檢測方法。另外針對第三點，其核心問題是如何利用稀疏編碼篩選出這些重要樣本(或剔除少數樣本)。從框架(Frame Analysis)分析角度，認為比較好的冗余框架應該是緊框架，進而對輸入描述便可以得到較好的緊表示系數，也就是說框架上界和框架下界盡可能相等。但是通常獲取到的字典，也就是框架，不是緊的，能否利用大量無類標樣本將框架的上界與下界估計出來，然后利用輸入信號的逼近表示的二范數比上表示系數的二范數，看這個比值是否在框架上界與下界的中間，來判斷該樣本對字典(框架或系統)的表示是否是welldefined的，進而實現對樣本的有效篩選。備注： 本小節講的框架，是數學分析中的一支理論，繼傅里葉分析、時頻分析和小波分析之后，框架分析被提出，它指帶有冗余特性“基”的表示理論。5.2.2稀疏正則眾所周知，正則化的目的在于減少學習算法的泛化誤差(亦稱測試誤差)以期提高測試識別率。目前，有許多正則化策略，常用的方式是對參數進行約束或限制，以及基于某種特定類型的先驗知識進行約束與懲罰設計，注意這些懲罰和約束通過將模型求解參數良態化的過程來實現泛化性能的提升。基于如下的優化目標函數：

minθJ(θ)=1N∑Nn=1loss(x(n),y(n),θ) λ R(θ)(5.1)

其中的R(θ)為參數范數懲罰，例如常用的有L2范數下的吉洪諾夫正則(Tikhonov Regularization)，但它并沒有蘊含稀疏特性。而使用L1范數則通常可以誘導出稀疏特性，即

R(θ)=|W|1=∑i|Wi|(5.2)

注意參數θ包括權值連接W與偏置b，而正則約束往往只針對權值連接。除了在權值連接上引入稀疏正則外，還可以在某個隱層輸出層引入稀疏性，例如對于如下的目標函數：

min J()=|x-D |22 λ ||1(5.3)

注意這里的D為字典，數學中稱其為框架，即有冗余的“基”； x為輸入，為輸出，其L1范數的定義與式(5.2)對應。值得指出的是反卷積神經網絡中的卷積稀疏編碼可以認為是一種帶有共享機制下的權值稀疏性約束策略。備注： 除了上述具有稀疏特性的L1范數外，還可以引入群稀疏的策略，以及偽范數L1/2等，這里不再贅述。5.2.3稀疏連接眾所周知，卷積神經網絡的特性包括局部連接，權值共享和變換不變等特性且都蘊含著稀疏性，首先針對局部連接，相比較全連接策略，它更符合外側膝狀體到初級視覺皮層上的稀疏響應特性； 其次權值共享，進一步約束相似隱單元具有同樣的激活特性，使得局部連接后的權值具有結構特性，實際應用中可進一步約減參數個數，間接增加數據量； ，變換不變性是由池化方式誘導獲取，也可認為是一種有效的“刪減”參數的方式，即帶有稀疏性的零化操作。下面介紹一種經典的自適應權值刪減技巧DropOut，即指在模型訓練時隨機讓網絡某些隱含層節點的權重不工作，不工作的那些節點可以暫時認為不是網絡結構的一部分，但是它的權重需保留下來(注意只是暫時不更新)，因為下次樣本輸入時它可能又得工作了，見圖5.2。