日韩偷拍一区二区,国产香蕉久久精品综合网,亚洲激情五月婷婷,欧美日韩国产不卡

第5章稀疏深度神經(jīng)網(wǎng)絡(luò)

5.1稀疏性的生物機(jī)理深度學(xué)習(xí)與稀疏認(rèn)知學(xué)習(xí)、計(jì)算與識別之間的關(guān)系深刻而且本質(zhì)，從機(jī)器學(xué)習(xí)中的特征工程(人工特征提取與特征篩選)到深度學(xué)習(xí)中的特征學(xué)習(xí)(通過線性與非線性操作的不斷復(fù)合獲取數(shù)據(jù)的高層統(tǒng)計(jì)或語義特性)，無論是以顯性還是隱性的嵌入方式，稀疏性都在模型中扮演著重要的角色。下面簡要從生物視覺機(jī)理和數(shù)學(xué)物理角度來描述稀疏性。備注： 稀疏認(rèn)知學(xué)習(xí)、計(jì)算與識別的范疇包括表示理論(即基于稀疏表示的壓縮感知和稀疏編碼)，數(shù)學(xué)計(jì)算(匹配追蹤算法)和模式識別(稀疏表示分類器SRC及稀疏分類器設(shè)計(jì)SparseMax)等。5.1.1生物視覺機(jī)理視覺感知機(jī)理的研究表明，視覺系統(tǒng)可以看成一種合理而且高效的圖像處理系統(tǒng)，從視網(wǎng)膜到大腦皮層存在一系列具有不同生物學(xué)功能的神經(jīng)細(xì)胞，例如隨著層級信息不斷的“加深”，不同視覺皮層上的神經(jīng)細(xì)胞對特定形狀的視覺圖案有的響應(yīng)和偏好的刺激，簡言之，層級越高感受野越大，即信息處理從局部到更大的區(qū)域，類似尺度特性。層級較低時，感受野所處理的區(qū)域越小，稀疏性越強(qiáng)(特指層級間的連接特性)，層級較高時，感受野所處理的區(qū)域越大，稀疏性越弱。另外，Barlow推論出在稀疏性和自然環(huán)境的統(tǒng)計(jì)特性之間必然存在某種聯(lián)系，隨后諸多基于生物視覺和計(jì)算的模型被提出來，都成功地例證了生物視覺針對自然環(huán)境所反饋出的物理統(tǒng)計(jì)特性蘊(yùn)含著稀疏性。當(dāng)層級較低時，其簡單細(xì)胞對應(yīng)著嚴(yán)格的方向和帶通特性，而復(fù)雜細(xì)胞在保持簡單細(xì)胞特性的基礎(chǔ)上進(jìn)一步具有局部變換(如平移)不變性，簡言之，簡單細(xì)胞處理信息具有稀疏(即局部連接)特性，而復(fù)雜細(xì)胞具有聚類(連接計(jì)算共享)特性。神經(jīng)科學(xué)研究成果表明，稀疏編碼是視覺系統(tǒng)中圖像表示的主要方式，初級視覺皮層(V1區(qū))中的神經(jīng)元對視覺信息的反應(yīng)具有稀疏性，V4區(qū)的神經(jīng)元通過稀疏編碼的方式實(shí)現(xiàn)視覺信息的表示。從表5.1中可知，隨著對計(jì)算機(jī)視覺研究的深入，人類對自身視覺感知系統(tǒng)的理解也在不斷加深。借鑒生物視覺機(jī)理的研究成果，模擬建立相應(yīng)的視覺計(jì)算模型，將成為一個具有挑戰(zhàn)性和吸引力的研究方向。下面給出生物(人類)視覺與計(jì)算機(jī)視覺的對比表(表5.1)。

表5.1生物(人類)視覺與計(jì)算機(jī)視覺對比

對比項(xiàng)人 類 視 覺計(jì)算機(jī)視覺

適應(yīng)性適應(yīng)性強(qiáng)，可在復(fù)雜及變化的環(huán)境中識別目標(biāo)適應(yīng)性差，容易受復(fù)雜背景及環(huán)境變化的影響智能具有高級智能，可運(yùn)用邏輯分析及推理能力識別變化的目標(biāo)，并能總結(jié)規(guī)律雖然可利用人工智能及神經(jīng)網(wǎng)絡(luò)技術(shù)，但智能很差，不能很好地識別變化的目標(biāo)續(xù)表

對比項(xiàng)人 類 視 覺計(jì)算機(jī)視覺

彩色識別能力對色彩的分辨能力強(qiáng)，但容易受人的心理影響，不能量化受硬件條件的制約，目前一般的圖像采集系統(tǒng)對色彩的分辨能力較差，但具有可量化的優(yōu)點(diǎn)灰度分辨能力差，一般只能分辨64個灰度級強(qiáng)，目前一般使用256灰度級，采集系統(tǒng)可具有10bit、12bit、16bit等灰度級空間分辨能力分辨率較差，不能觀看微小的目標(biāo)目前有4K×4K的面陣攝像機(jī)和8K的線陣攝像機(jī)，通過備置各種光學(xué)鏡頭，可以觀測小到微米大到天體的目標(biāo)速度0.1秒的視覺暫留使人眼無法看清較快速運(yùn)動的目標(biāo)快門時間可達(dá)到10微秒左右，高速相機(jī)幀率可達(dá)到1000以上，處理器的速度越來越快感光范圍400~750nm范圍的可見光從紫外到紅外的較寬光譜范圍，另外有X光等特殊攝像機(jī)環(huán)境要求對環(huán)境溫度、濕度的適應(yīng)性差，另外有許多場合對人有損害對環(huán)境適應(yīng)性強(qiáng)，另外可加防護(hù)裝置觀測精度精度低，無法量化精度高，可到微米級，易量化其他主觀性，受心理影響，易疲勞客觀性，可連續(xù)工作

另外，關(guān)于生物視覺與計(jì)算機(jī)視覺之間核心的模塊對應(yīng)關(guān)系見圖5.1，值得注意的是： 理解并分析大腦是如何在算法層面上工作的嘗試是鮮活且發(fā)展良好的，這項(xiàng)嘗試被稱為“計(jì)算神經(jīng)科學(xué)”，并且是獨(dú)立于深度學(xué)習(xí)的一個領(lǐng)域。研究人員兩個領(lǐng)域間反復(fù)研究是很常見的，深度學(xué)習(xí)主要關(guān)注如何構(gòu)建智能的計(jì)算機(jī)系統(tǒng)，以用來解決需要智能才能解決的任務(wù)，而計(jì)算神經(jīng)科學(xué)領(lǐng)域主要是關(guān)注構(gòu)建大腦如何工作的更的模型。

圖5.1生物視覺與計(jì)算機(jī)視覺核心模塊對應(yīng)

5.1.2稀疏性響應(yīng)與數(shù)學(xué)物理描述目前，構(gòu)建高性能的計(jì)算模型，并不是模型越復(fù)雜越好，特別針對變量維數(shù)很高，樣本量不是很大的情形下，構(gòu)建一個合理的，相對簡單的稀疏模型往往具有更高的性能，更為重要的是還具有生物可解釋性。從數(shù)學(xué)角度來看，依據(jù)模型的低復(fù)雜性結(jié)構(gòu)(如向量的稀疏性，矩陣的低秩性等)，如何高效地從病態(tài)的線性逆問題中且穩(wěn)健地恢復(fù)出特定的信息。值得指出的是： 常見的稀疏性是指向量中絕大多數(shù)元素的值為零或者接近于零； 而廣義的稀疏性是指通過特定變換后目標(biāo)的稀疏性?？梢钥闯?，當(dāng)前為了使得模型具備學(xué)習(xí)能力、高容量的表達(dá)能力、快速推斷能力以及多任務(wù)信息共享能力； 借鑒生物視覺的認(rèn)知機(jī)理已成為一種必然趨勢。眾所周知，1996年Olshausen和Field在Nature雜志上發(fā)表的一篇重要論文指出，自然圖像經(jīng)過稀疏編碼后得到的基函數(shù)類似于初級視覺皮層V1區(qū)上簡單細(xì)胞感受野的反應(yīng)特性(即空間域的局部性、時域和頻域的方向性和選擇性)。需要指出的是稀疏編碼與稀疏表示是不同的，例如關(guān)于系數(shù)的稀疏性約束，前者采用光滑可導(dǎo)的函數(shù)，而后者采用偽范數(shù)或L1范數(shù)； 另外稀疏編碼不要求基原子個數(shù)一定要大于數(shù)據(jù)的維數(shù)。本節(jié)更為詳細(xì)的論述與解釋請參考第1章的稀疏表示，另外稀疏編碼部分可參考相關(guān)論文，這里不再贅述。5.2稀疏深度網(wǎng)絡(luò)模型及基本性質(zhì)在深度神經(jīng)網(wǎng)絡(luò)引入顯式稀疏性之前，關(guān)于稀疏模型的研究就已經(jīng)成為機(jī)器學(xué)習(xí)中的熱點(diǎn)，特別是針對線性稀疏模型的研究，如壓縮感知、雙稀疏模型、結(jié)構(gòu)化稀疏模型(如群稀疏)、SHMAX模型、SRC模型等。當(dāng)然，除了顯式稀疏性(如稀疏正則化理論等)外，還有隱式稀疏性的研究，它通常內(nèi)蘊(yùn)在非線性激活函數(shù)和損失函數(shù)(如交互熵，非L2范數(shù)下的能量損失)的構(gòu)建過程中。眾所周知，自從2006年至今深度神經(jīng)網(wǎng)絡(luò)的一個重要體現(xiàn)或要求便是訓(xùn)練數(shù)據(jù)量的規(guī)模要大(衡量標(biāo)準(zhǔn)可利用模型的參數(shù)個數(shù)與訓(xùn)練數(shù)據(jù)量的個數(shù)來比較)，由于以往訓(xùn)練數(shù)據(jù)集規(guī)模很小，加上計(jì)算性能很慢(硬件加速設(shè)備導(dǎo)致)，同時權(quán)值矩陣的初始化方式較為笨拙(容易出現(xiàn)梯度彌散現(xiàn)象)，以及使用了某種錯誤的非線性模型，導(dǎo)致深度神經(jīng)網(wǎng)絡(luò)在過去的表現(xiàn)并不好。經(jīng)過十余年的積累，目前深度神經(jīng)網(wǎng)絡(luò)可簡略地認(rèn)為是大規(guī)模訓(xùn)練數(shù)據(jù)集，并行計(jì)算和規(guī)?；?、靈巧的算法三者的結(jié)合。深度神經(jīng)網(wǎng)絡(luò)中引入稀疏正則或蘊(yùn)含稀疏性可以認(rèn)為是病態(tài)模型良態(tài)化的過程，如稀疏正則的核心是解決過擬合問題，稀疏權(quán)值連接(DropOut策略)的本質(zhì)是通過約減參數(shù)量間接增加訓(xùn)練數(shù)據(jù)，以及非線性激活函數(shù)中所隱含的稀疏性是為了增加“扭曲”程度，即不同類別的(線性不可分)輸入隨著層級的增加，隱層特征所對應(yīng)的線性可分性逐漸增強(qiáng)。下面簡要地分析深度神經(jīng)網(wǎng)絡(luò)在各階段所出現(xiàn)的稀疏性及其優(yōu)勢。備注： SHMAX為稀疏層次識別模型，SRC為稀疏表示分類器，結(jié)構(gòu)化稀疏模型，基于稀疏正則的設(shè)計(jì)有群稀疏、圖稀疏、隨機(jī)場稀疏等。5.2.1數(shù)據(jù)的稀疏性數(shù)據(jù)的稀疏性包含三點(diǎn)： 一是數(shù)據(jù)中所包含某種拓?fù)涮匦曰蚰繕?biāo)相對數(shù)據(jù)本身呈現(xiàn)出非零元素較少的情形； 二是數(shù)據(jù)在某種(線性或非線性)自適應(yīng)或非自適應(yīng)變換下對應(yīng)的表示系數(shù)具有非零元素較少的狀況； 三是隨著數(shù)據(jù)集規(guī)模的增加，呈現(xiàn)出某種統(tǒng)計(jì)或物理特性的數(shù)據(jù)占整個數(shù)據(jù)集的少數(shù)，例如分辨率特別好的樣本或分辨率特別差的樣本在整個數(shù)據(jù)集中呈較少的狀態(tài)。目前，常用的稀疏性描述是基于第二點(diǎn)假設(shè)，并且作為一種有效的(稀疏性)正則約束，在優(yōu)化目標(biāo)函數(shù)關(guān)于解存在多樣性的問題中給出合理的解釋與逼近。而基于及時點(diǎn)，通常可作為一種有效的處理方式(如二值化處理，或者零化無關(guān)區(qū)域)，例如輸入到深度神經(jīng)網(wǎng)絡(luò)中的一幅圖像，有效的目標(biāo)占圖像的比例較少，便可以將圖像中除去目標(biāo)的部分置為零； 值得注意的是： 利用視覺機(jī)制中的顯著性檢測方法。另外針對第三點(diǎn)，其核心問題是如何利用稀疏編碼篩選出這些重要樣本(或剔除少數(shù)樣本)。從框架(Frame Analysis)分析角度，認(rèn)為比較好的冗余框架應(yīng)該是緊框架，進(jìn)而對輸入描述便可以得到較好的緊表示系數(shù)，也就是說框架上界和框架下界盡可能相等。但是通常獲取到的字典，也就是框架，不是緊的，能否利用大量無類標(biāo)樣本將框架的上界與下界估計(jì)出來，然后利用輸入信號的逼近表示的二范數(shù)比上表示系數(shù)的二范數(shù)，看這個比值是否在框架上界與下界的中間，來判斷該樣本對字典(框架或系統(tǒng))的表示是否是welldefined的，進(jìn)而實(shí)現(xiàn)對樣本的有效篩選。備注： 本小節(jié)講的框架，是數(shù)學(xué)分析中的一支理論，繼傅里葉分析、時頻分析和小波分析之后，框架分析被提出，它指帶有冗余特性“基”的表示理論。5.2.2稀疏正則眾所周知，正則化的目的在于減少學(xué)習(xí)算法的泛化誤差(亦稱測試誤差)以期提高測試識別率。目前，有許多正則化策略，常用的方式是對參數(shù)進(jìn)行約束或限制，以及基于某種特定類型的先驗(yàn)知識進(jìn)行約束與懲罰設(shè)計(jì)，注意這些懲罰和約束通過將模型求解參數(shù)良態(tài)化的過程來實(shí)現(xiàn)泛化性能的提升。基于如下的優(yōu)化目標(biāo)函數(shù)：

minθJ(θ)=1N∑Nn=1loss(x(n),y(n),θ) λ R(θ)(5.1)

其中的R(θ)為參數(shù)范數(shù)懲罰，例如常用的有L2范數(shù)下的吉洪諾夫正則(Tikhonov Regularization)，但它并沒有蘊(yùn)含稀疏特性。而使用L1范數(shù)則通常可以誘導(dǎo)出稀疏特性，即

R(θ)=|W|1=∑i|Wi|(5.2)

注意參數(shù)θ包括權(quán)值連接W與偏置b，而正則約束往往只針對權(quán)值連接。除了在權(quán)值連接上引入稀疏正則外，還可以在某個隱層輸出層引入稀疏性，例如對于如下的目標(biāo)函數(shù)：

min J()=|x-D |22 λ ||1(5.3)

注意這里的D為字典，數(shù)學(xué)中稱其為框架，即有冗余的“基”； x為輸入，為輸出，其L1范數(shù)的定義與式(5.2)對應(yīng)。值得指出的是反卷積神經(jīng)網(wǎng)絡(luò)中的卷積稀疏編碼可以認(rèn)為是一種帶有共享機(jī)制下的權(quán)值稀疏性約束策略。備注： 除了上述具有稀疏特性的L1范數(shù)外，還可以引入群稀疏的策略，以及偽范數(shù)L1/2等，這里不再贅述。5.2.3稀疏連接眾所周知，卷積神經(jīng)網(wǎng)絡(luò)的特性包括局部連接，權(quán)值共享和變換不變等特性且都蘊(yùn)含著稀疏性，首先針對局部連接，相比較全連接策略，它更符合外側(cè)膝狀體到初級視覺皮層上的稀疏響應(yīng)特性； 其次權(quán)值共享，進(jìn)一步約束相似隱單元具有同樣的激活特性，使得局部連接后的權(quán)值具有結(jié)構(gòu)特性，實(shí)際應(yīng)用中可進(jìn)一步約減參數(shù)個數(shù)，間接增加數(shù)據(jù)量； ，變換不變性是由池化方式誘導(dǎo)獲取，也可認(rèn)為是一種有效的“刪減”參數(shù)的方式，即帶有稀疏性的零化操作。下面介紹一種經(jīng)典的自適應(yīng)權(quán)值刪減技巧DropOut，即指在模型訓(xùn)練時隨機(jī)讓網(wǎng)絡(luò)某些隱含層節(jié)點(diǎn)的權(quán)重不工作，不工作的那些節(jié)點(diǎn)可以暫時認(rèn)為不是網(wǎng)絡(luò)結(jié)構(gòu)的一部分，但是它的權(quán)重需保留下來(注意只是暫時不更新)，因?yàn)橄麓螛颖据斎霑r它可能又得工作了，見圖5.2。