深度神經(jīng)網(wǎng)絡(luò)是年來受到廣泛關(guān)注的研究方向，它已成為人工智能2.0的主要組成部分。本書系統(tǒng)地論述了深度神經(jīng)網(wǎng)絡(luò)基本理論、算法及應(yīng)用。全書共十六章，分為兩個部分；靠前部分(靠前章到第十章)系統(tǒng)論述了理論及算法，包括深度前饋神經(jīng)網(wǎng)絡(luò)、深度卷積神經(jīng)網(wǎng)絡(luò)、深度堆棧神經(jīng)網(wǎng)絡(luò)、深度遞歸神經(jīng)網(wǎng)絡(luò)、深度生成網(wǎng)絡(luò)、深度融合網(wǎng)絡(luò)等；第二部分(第十一章到第十五章)論述了常用的深度學(xué)習(xí)平臺，以及在高光譜圖像、自然圖像、SAR與極化SAR影像等領(lǐng)域的應(yīng)用；第十六章為總結(jié)與展望，給出了深度學(xué)習(xí)發(fā)展的歷史圖、前沿方及近期新進(jìn)展。每章都附有相關(guān)閱讀材料及仿真代碼，以便有興趣的讀者進(jìn)一步鉆研探索。
本書可為高等院校計算機(jī)科學(xué)、電子科學(xué)與技術(shù)、信息科學(xué)、控制科學(xué)與工程、人工智能等領(lǐng)域的研究人員提供參考，以及作為相關(guān)專業(yè)本科生及研究生教學(xué)參考書，同時可供深度學(xué)習(xí)及其應(yīng)用感興趣的研究人員和工程技術(shù)人員參考。
《深度學(xué)習(xí)、優(yōu)化與識別》的特色
深度學(xué)習(xí)是計算機(jī)科學(xué)與人工智能的重要組成部分。全書16章，分為理論與實(shí)踐應(yīng)用兩部分，同時介紹5種深度學(xué)習(xí)主流平臺的特性與應(yīng)用，后給出了深度學(xué)習(xí)的前沿進(jìn)展介紹，另附帶47種相關(guān)網(wǎng)絡(luò)模型的實(shí)現(xiàn)代碼。本書具有以下的特點(diǎn)：
一、內(nèi)容系統(tǒng)
全書16章，覆蓋了深度學(xué)習(xí)當(dāng)前出現(xiàn)的諸多經(jīng)典框架或模型，分為兩個部分。部分系統(tǒng)地從數(shù)據(jù)、模型、優(yōu)化目標(biāo)函數(shù)和求解等四個方面論述了深度學(xué)習(xí)的理論及算法，如卷積神經(jīng)網(wǎng)絡(luò)、深度生成模型等；第二部分基于5種主流的深度學(xué)習(xí)平臺給出了深度網(wǎng)絡(luò)在自然圖像、衛(wèi)星遙感影像等領(lǐng)域的應(yīng)用，如分類、變化檢測、目標(biāo)檢測與識別等任務(wù)。另外給出了深度學(xué)習(xí)發(fā)展的脈絡(luò)圖及研究進(jìn)展，提供可基于5種平臺實(shí)現(xiàn)的47中深度網(wǎng)絡(luò)代碼，以便有興趣的讀者進(jìn)一步鉆研探索。
二、敘述立場客觀
作為深度學(xué)習(xí)的入門教材，盡可能不帶偏見地對材料進(jìn)行分析、加工以及客觀介紹。本書理論部分均從模型產(chǎn)生的本源來介紹，并給出各個經(jīng)典模型之間內(nèi)在的相互聯(lián)系。本書實(shí)踐應(yīng)用部分對相關(guān)任務(wù)做了詳盡的分析，并給出深度學(xué)習(xí)應(yīng)用實(shí)踐的經(jīng)驗(yàn)總結(jié)。
三、設(shè)計裝幀精美
該書設(shè)計人性化，文字、公式、數(shù)學(xué)符號混排格式美觀精致，特別是，全書采用全彩印制，軟精裝裝幀。封面設(shè)計清新卻不脫俗、學(xué)術(shù)化，足可以看出出版社和作者的用心。
焦李成，男，1959年10月生, 西安電子科技大學(xué)教授、博導(dǎo)，智能感知與圖像理解教育部重點(diǎn)實(shí)驗(yàn)室主任、國際智能感知與計算研究中心主任、國家"111"計劃創(chuàng)新引智基地負(fù)責(zé)人、教育部長江學(xué)者創(chuàng)新團(tuán)隊首席專家。擔(dān)任國務(wù)院學(xué)位委員會學(xué)科評議組成員、教育部本科教學(xué)水平評估專家、國家自然科學(xué)基金委員會信息學(xué)部會審專家、國家博士后管理委會專家評審委員會專家。兼任中國人工智能學(xué)會副理事長、中國電子學(xué)會監(jiān)事、IET西安分會，IEEE西安分會獎勵委員會、IEEE 計算智能學(xué)會西安chapter。主要研究領(lǐng)域?yàn)榉蔷€性信號與圖像處理，自然計算和智能信息處理，發(fā)表專著10余部，在國內(nèi)外刊物上200余篇，獲國家發(fā)明專利授權(quán)50余項，研究成果獲2013年國家自然科學(xué)獎。1992年起享受國務(wù)院政府特殊津貼，首批入選國家"百千萬人才工程"(、二層次)和陜西省首批"三五人才"層次，榮獲中國青年科技獎、陜西省有突出貢獻(xiàn)的專家、陜西省師德標(biāo)兵等稱號，為全國百篇很好博士學(xué)位論文指導(dǎo)教師。2014年榮獲"全國模范教師"稱號。
第1章 深度學(xué)習(xí)基礎(chǔ) 1
1.1 數(shù)學(xué)基礎(chǔ) 2
1.1.1 矩陣論 2
1.1.2 概率論 3
1.1.3 優(yōu)化分析 5
1.1.4 框架分析 6
1.2 稀疏表示 8
1.2.1 稀疏表示初步 8
1.2.2 稀疏模型 20
1.2.3 稀疏認(rèn)知學(xué)習(xí)、計算與識別的范式 24
1.3 機(jī)器學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò) 31
1.3.1 機(jī)器學(xué)習(xí) 31
1.3.2 神經(jīng)網(wǎng)絡(luò) 36
參考文獻(xiàn) 38
第2章 深度前饋神經(jīng)網(wǎng)絡(luò) 41
2.1 神經(jīng)元的生物機(jī)理 42
2.1.1 生物機(jī)理 42
2.1.2 單隱層前饋神經(jīng)網(wǎng)絡(luò) 43
2.2 多隱層前饋神經(jīng)網(wǎng)絡(luò) 45
2.3 反向傳播算法 47
2.4 深度前饋神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)范式 48
參考文獻(xiàn) 51
第3章 深度卷積神經(jīng)網(wǎng)絡(luò) 54
3.1 卷積神經(jīng)網(wǎng)絡(luò)的生物機(jī)理及數(shù)學(xué)刻畫 55
3.1.1 生物機(jī)理 55
3.1.2 卷積流的數(shù)學(xué)刻畫 56
3.2 深度卷積神經(jīng)網(wǎng)絡(luò) 61
3.2.1 典型網(wǎng)絡(luò)模型與框架 61
3.2.2 學(xué)習(xí)算法及訓(xùn)練策略 69
3.2.3 模型的優(yōu)缺點(diǎn)分析 71
3.3 深度反卷積神經(jīng)網(wǎng)絡(luò) 73
3.3.1 卷積稀疏編碼 74
3.3.2 深度反卷積神經(jīng)網(wǎng)絡(luò) 75
3.3.3 網(wǎng)絡(luò)模型的性能分析與應(yīng)用舉例 77
3.4 全卷積神經(jīng)網(wǎng)絡(luò) 77
3.4.1 網(wǎng)絡(luò)模型的數(shù)學(xué)刻畫 77
3.4.2 網(wǎng)絡(luò)模型的性能分析及應(yīng)用舉例 79
參考文獻(xiàn) 80
第4章 深度堆棧自編碼網(wǎng)絡(luò) 83
4.1 自編碼網(wǎng)絡(luò) 84
4.1.1 逐層學(xué)習(xí)策略 84
4.1.2 自編碼網(wǎng)絡(luò) 84
4.1.3 自編碼網(wǎng)絡(luò)的常見范式 87
4.2 深度堆棧網(wǎng)絡(luò) 90
4.3 深度置信網(wǎng)絡(luò)/深度玻爾茲曼機(jī)網(wǎng)絡(luò) 93
4.3.1 玻爾茲曼機(jī)/受限玻爾茲曼機(jī) 93
4.3.2 深度玻爾茲曼機(jī)/深度置信網(wǎng)絡(luò) 94
參考文獻(xiàn) 96
第5章 稀疏深度神經(jīng)網(wǎng)絡(luò) 99
5.1 稀疏性的生物機(jī)理 100
5.1.1 生物視覺機(jī)理 100
5.1.2 稀疏性響應(yīng)與數(shù)學(xué)物理描述 102
5.2 稀疏深度網(wǎng)絡(luò)模型及基本性質(zhì) 102
5.2.1 數(shù)據(jù)的稀疏性 103
5.2.2 稀疏正則 103
5.2.3 稀疏連接 104
5.2.4 稀疏分類器設(shè)計 106
5.2.5 深度學(xué)習(xí)中關(guān)于稀疏的技巧與策略 108
5.3 網(wǎng)絡(luò)模型的性能分析 110
5.3.1 稀疏性對深度學(xué)習(xí)的影響 110
5.3.2 對比實(shí)驗(yàn)及結(jié)果分析 110
參考文獻(xiàn) 111
第6章 深度融合網(wǎng)絡(luò) 113
6.1 深度SVM網(wǎng)絡(luò) 114
6.1.1 從神經(jīng)網(wǎng)絡(luò)到SVM 114
6.1.2 網(wǎng)絡(luò)模型的結(jié)構(gòu) 115
6.1.3 訓(xùn)練技巧 117
6.2 深度PCA網(wǎng)絡(luò) 117
6.3 深度ADMM網(wǎng)絡(luò) 119
6.4 深度極限學(xué)習(xí)機(jī) 121
6.4.1 極限學(xué)習(xí)機(jī) 121
6.4.2 深度極限學(xué)習(xí)機(jī) 123
6.5 深度多尺度幾何網(wǎng)絡(luò) 125
6.5.1 深度脊波網(wǎng)絡(luò) 125
6.5.2 深度輪廓波網(wǎng)絡(luò) 127
6.6 深度森林 130
6.6.1 多分辨特性融合 131
6.6.2 級聯(lián)特征深度處理 131
參考文獻(xiàn) 133
第7章 深度生成網(wǎng)絡(luò) 136
7.1 生成式對抗網(wǎng)絡(luò)的基本原理 137
7.1.1 網(wǎng)絡(luò)模型的動機(jī) 137
7.1.2 網(wǎng)絡(luò)模型的數(shù)學(xué)物理描述 139
7.2 深度卷積對抗生成網(wǎng)絡(luò) 141
7.2.1 網(wǎng)絡(luò)模型的基本結(jié)構(gòu) 141
7.2.2 網(wǎng)絡(luò)模型的性能分析 144
7.2.3 網(wǎng)絡(luò)模型的典型應(yīng)用 146
7.3 深度生成網(wǎng)絡(luò)模型的新范式 151
7.3.1 生成式對抗網(wǎng)絡(luò)的新范式 151
7.3.2 網(wǎng)絡(luò)框架的性能分析與改進(jìn) 154
7.4 應(yīng)用驅(qū)動下的兩種新生成式對抗網(wǎng)絡(luò) 155
7.4.1 堆棧生成式對抗網(wǎng)絡(luò) 155
7.4.2 對偶學(xué)習(xí)范式下的生成式對抗網(wǎng)絡(luò) 158
7.5 變分自編碼器 160
參考文獻(xiàn) 162
第8章 深度復(fù)卷積神經(jīng)網(wǎng)絡(luò)與深度二值神經(jīng)網(wǎng)絡(luò) 167
8.1 深度復(fù)卷積神經(jīng)網(wǎng)絡(luò) 168
8.1.1 網(wǎng)絡(luò)模型構(gòu)造的動機(jī) 168
8.1.2 網(wǎng)絡(luò)模型的數(shù)學(xué)物理描述 168
8.2 深度二值神經(jīng)網(wǎng)絡(luò) 172
8.2.1 網(wǎng)絡(luò)基本結(jié)構(gòu) 172
8.2.2 網(wǎng)絡(luò)的數(shù)學(xué)物理描述 173
8.2.3 討論 176
參考文獻(xiàn) 177
第9章 深度循環(huán)和遞歸神經(jīng)網(wǎng)絡(luò) 180
9.1 深度循環(huán)神經(jīng)網(wǎng)絡(luò) 181
9.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的生物機(jī)理 181
9.1.2 簡單的循環(huán)神經(jīng)網(wǎng)絡(luò) 181
9.1.3 深度循環(huán)神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)物理描述 183
9.2 深度遞歸神經(jīng)網(wǎng)絡(luò) 188
9.2.1 簡單的遞歸神經(jīng)網(wǎng)絡(luò) 188
9.2.2 深度遞歸神經(jīng)網(wǎng)絡(luò)的優(yōu)勢 189
9.3 長短時記憶神經(jīng)網(wǎng)絡(luò) 190
9.3.1 改進(jìn)動機(jī)分析 190
9.3.2 長短時記憶神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)分析 191
9.4 典型應(yīng)用 192
9.4.1 深度循環(huán)神經(jīng)網(wǎng)絡(luò)的應(yīng)用舉例 193
9.4.2 深度遞歸神經(jīng)網(wǎng)絡(luò)的應(yīng)用舉例 194
參考文獻(xiàn) 194
第10章 深度強(qiáng)化學(xué)習(xí) 197
10.1 深度強(qiáng)化學(xué)習(xí)基礎(chǔ) 198
10.1.1 深度強(qiáng)化學(xué)習(xí)的基本思路 198
10.1.2 發(fā)展歷程 198
10.1.3 應(yīng)用的新方向 200
10.2 深度Q網(wǎng)絡(luò) 201
10.2.1 網(wǎng)絡(luò)基本模型與框架 201
10.2.2 深度Q網(wǎng)絡(luò)的數(shù)學(xué)分析 202
10.3 應(yīng)用舉例—AlphaGo 204
10.3.1 AlphaGo原理分析 205
10.3.2 深度強(qiáng)化學(xué)習(xí)性能分析 206
參考文獻(xiàn) 207
第11章 深度學(xué)習(xí)軟件仿真平臺及開發(fā)環(huán)境 209
11.1 Caffe平臺 210
11.1.1 Caffe平臺開發(fā)環(huán)境 210
11.1.2 AlexNet神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 210
11.1.3 AlexNet神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像分類 212
11.2 TensorFlow平臺 215
11.2.1 TensorFlow平臺開發(fā)環(huán)境 215
11.2.2 深度卷積生成式對抗網(wǎng)DCGAN 216
11.2.3 DAN應(yīng)用于樣本擴(kuò)充 217
11.3 MXNet平臺 220
11.3.1 MXNet平臺開發(fā)環(huán)境 220
11.3.2 VGG-NET深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí) 222
11.3.3 圖像分類應(yīng)用任務(wù) 225
11.4 Torch 7平臺 226
11.4.1 Torch 7平臺開發(fā)環(huán)境 226
11.4.2 二值神經(jīng)網(wǎng)絡(luò) 227
11.4.3 二值神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像分類 239
11.5 Theano平臺 233
11.5.1 Theano平臺開發(fā)環(huán)境 233
11.5.2 遞歸神經(jīng)網(wǎng)絡(luò) 234
11.5.3 LSTM應(yīng)用于情感分類任務(wù) 237
參考文獻(xiàn) 238
第12章 基于深度神經(jīng)網(wǎng)絡(luò)的SAR/PolSAR影像地物分類 240
12.1 數(shù)據(jù)集及研究目的 241
12.1.1 數(shù)據(jù)集特性分析 241
12.1.2 基本數(shù)據(jù)集 244
12.1.3 研究目的 247
12.2 基于深度神經(jīng)網(wǎng)絡(luò)的SAR影像地物分類 251
12.2.1 基于自適應(yīng)自編碼和超像素的SAR圖像分類 251
12.2.2 基于卷積中層特征學(xué)習(xí)的SAR圖像分類 257
12.3 基于及時代深度神經(jīng)網(wǎng)絡(luò)的PolSAR影像地物分類 263
12.3.1 基于稀疏極化DBN的極化SAR地物分類 263
12.3.2 基于深度PCA網(wǎng)絡(luò)的極化SAR影像地物分類 267
12.4 基于第二代深度神經(jīng)網(wǎng)絡(luò)的PolSAR影像地物分類 271
12.4.1 基于深度復(fù)卷積網(wǎng)絡(luò)的極化PolSAR影像地物分類 271
12.4.2基于生成式對抗網(wǎng)的極化PolSAR影像地物分類 274
12.4.3基于深度殘差網(wǎng)絡(luò)的極化PolSAR影像地物分類 278
參考文獻(xiàn) 280
第13章 基于深度神經(jīng)網(wǎng)絡(luò)的SAR影像變化檢測 284
13.1 數(shù)據(jù)集特點(diǎn)及研究目的 285
13.1.1 研究目的 285
13.1.2 數(shù)據(jù)基本特性 288
13.1.3 典型數(shù)據(jù)集 291
13.2 基于深度學(xué)習(xí)和SIFT特征的SAR圖像變化檢測 293
13.2.1 基本方法與實(shí)現(xiàn)策略 284
13.2.2 對比實(shí)驗(yàn)結(jié)果分析 295
13.3基于SAE的SAR圖像變化檢測 299
13.3.1 基本方法與實(shí)現(xiàn)策略 299
13.3.2 對比實(shí)驗(yàn)結(jié)果分析 303
13.4基于CNN的SAR圖像變化檢測 305
13.4.1基本方法與實(shí)現(xiàn)策略 305
13.4.2對比實(shí)驗(yàn)結(jié)果分析 307
參考文獻(xiàn) 309
第14章 基于深度神經(jīng)網(wǎng)絡(luò)的高光譜圖像分類與壓縮 311
14.1 數(shù)據(jù)集及研究目的 312
14.1.1 高光譜遙感技術(shù) 312
14.1.2 高光譜遙感的研究目的 313
14.1.3 常用的高光譜數(shù)據(jù)集 314
14.2 基于深度神經(jīng)網(wǎng)絡(luò)的高光譜影像的分類 318
14.2.1 基于堆棧自編碼的高光譜影像的分類 319
14.2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的高光譜影像的分類 325
14.3基于深度神經(jīng)網(wǎng)絡(luò)的高光譜影像的壓縮 333
14.3.1 基于深度自編碼網(wǎng)絡(luò)的高光譜圖像壓縮方法 334
14.3.2 實(shí)驗(yàn)設(shè)計及分類結(jié)果 336
參考文獻(xiàn) 338
第15章 基于深度神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測與識別 340
15.1 數(shù)據(jù)特性及研究目的 341
15.1.1 研究目的 341
15.1.2 常用數(shù)據(jù)集 343
15.2 基于快速CNN的目標(biāo)檢測與識別 345
15.2.1 R-CNN 346
15.2.2 Fast R-CNN 348
15.2.3 Faster R-CNN 349
15.2.4 對比實(shí)驗(yàn)結(jié)果與分析 352
15.3 基于回歸學(xué)習(xí)的目標(biāo)檢測與識別 353
15.3.1 YOLO 353
15.3.2 SSD 356
15.3.3 對比實(shí)驗(yàn)結(jié)果分析 359
15.4 基于學(xué)習(xí)搜索的目標(biāo)檢測與識別 360
15.4.1 基于深度學(xué)習(xí)的主動目標(biāo)定位 360
15.4.2 AttentionNet 363
15.4.3 對比實(shí)驗(yàn)結(jié)果分析 365
參考文獻(xiàn) 366
第16章 總結(jié)與展望 368
16.1 深度學(xué)習(xí)發(fā)展歷史圖 369
16.1.1 從機(jī)器學(xué)習(xí)、稀疏表示學(xué)習(xí)到深度學(xué)習(xí) 370
16.1.2 深度學(xué)習(xí)、計算與認(rèn)知的范式演進(jìn) 371
16.1.3 深度學(xué)習(xí)形成脈絡(luò) 375
16.2 深度學(xué)習(xí)的典型應(yīng)用 375
16.2.1 目標(biāo)檢測與識別 375
16.2.2 超分辨 376
16.2.3 自然語言處理 376
16.3 深度神經(jīng)網(wǎng)絡(luò)的可塑性 377
16.3.1 旋轉(zhuǎn)不變性 377
16.3.2 平移不變性 378
16.3.3 多尺度、多分辨和多通路特性 378
16.3.4 稀疏性 379
16.4 基于腦啟發(fā)式的深度學(xué)習(xí)前沿方向 380
16.4.1 生物神經(jīng)領(lǐng)域關(guān)于認(rèn)知、識別、注意等的近期研究進(jìn)展 380
16.4.2 深度神經(jīng)網(wǎng)絡(luò)的進(jìn)一步研究方向 382
16.4.3 深度學(xué)習(xí)的可拓展性 383
