深度神經網絡是年來受到廣泛關注的研究方向，它已成為人工智能2.0的主要組成部分。本書系統地論述了深度神經網絡基本理論、算法及應用。全書共十六章，分為兩個部分；靠前部分(靠前章到第十章)系統論述了理論及算法，包括深度前饋神經網絡、深度卷積神經網絡、深度堆棧神經網絡、深度遞歸神經網絡、深度生成網絡、深度融合網絡等；第二部分(第十一章到第十五章)論述了常用的深度學習平臺，以及在高光譜圖像、自然圖像、SAR與極化SAR影像等領域的應用；第十六章為總結與展望，給出了深度學習發展的歷史圖、前沿方及近期新進展。每章都附有相關閱讀材料及仿真代碼，以便有興趣的讀者進一步鉆研探索。
本書可為高等院校計算機科學、電子科學與技術、信息科學、控制科學與工程、人工智能等領域的研究人員提供參考，以及作為相關專業本科生及研究生教學參考書，同時可供深度學習及其應用感興趣的研究人員和工程技術人員參考。
《深度學習、優化與識別》的特色
深度學習是計算機科學與人工智能的重要組成部分。全書16章，分為理論與實踐應用兩部分，同時介紹5種深度學習主流平臺的特性與應用，后給出了深度學習的前沿進展介紹，另附帶47種相關網絡模型的實現代碼。本書具有以下的特點：
一、內容系統
全書16章，覆蓋了深度學習當前出現的諸多經典框架或模型，分為兩個部分。部分系統地從數據、模型、優化目標函數和求解等四個方面論述了深度學習的理論及算法，如卷積神經網絡、深度生成模型等；第二部分基于5種主流的深度學習平臺給出了深度網絡在自然圖像、衛星遙感影像等領域的應用，如分類、變化檢測、目標檢測與識別等任務。另外給出了深度學習發展的脈絡圖及研究進展，提供可基于5種平臺實現的47中深度網絡代碼，以便有興趣的讀者進一步鉆研探索。
二、敘述立場客觀
作為深度學習的入門教材，盡可能不帶偏見地對材料進行分析、加工以及客觀介紹。本書理論部分均從模型產生的本源來介紹，并給出各個經典模型之間內在的相互聯系。本書實踐應用部分對相關任務做了詳盡的分析，并給出深度學習應用實踐的經驗總結。
三、設計裝幀精美
該書設計人性化，文字、公式、數學符號混排格式美觀精致，特別是，全書采用全彩印制，軟精裝裝幀。封面設計清新卻不脫俗、學術化，足可以看出出版社和作者的用心。
焦李成，男，1959年10月生, 西安電子科技大學教授、博導，智能感知與圖像理解教育部重點實驗室主任、國際智能感知與計算研究中心主任、國家"111"計劃創新引智基地負責人、教育部長江學者創新團隊首席專家。擔任國務院學位委員會學科評議組成員、教育部本科教學水平評估專家、國家自然科學基金委員會信息學部會審專家、國家博士后管理委會專家評審委員會專家。兼任中國人工智能學會副理事長、中國電子學會監事、IET西安分會，IEEE西安分會獎勵委員會、IEEE 計算智能學會西安chapter。主要研究領域為非線性信號與圖像處理，自然計算和智能信息處理，發表專著10余部，在國內外刊物上200余篇，獲國家發明專利授權50余項，研究成果獲2013年國家自然科學獎。1992年起享受國務院政府特殊津貼，首批入選國家"百千萬人才工程"(、二層次)和陜西省首批"三五人才"層次，榮獲中國青年科技獎、陜西省有突出貢獻的專家、陜西省師德標兵等稱號，為全國百篇很好博士學位論文指導教師。2014年榮獲"全國模范教師"稱號。
第1章 深度學習基礎 1
1.1 數學基礎 2
1.1.1 矩陣論 2
1.1.2 概率論 3
1.1.3 優化分析 5
1.1.4 框架分析 6
1.2 稀疏表示 8
1.2.1 稀疏表示初步 8
1.2.2 稀疏模型 20
1.2.3 稀疏認知學習、計算與識別的范式 24
1.3 機器學習與神經網絡 31
1.3.1 機器學習 31
1.3.2 神經網絡 36
參考文獻 38
第2章 深度前饋神經網絡 41
2.1 神經元的生物機理 42
2.1.1 生物機理 42
2.1.2 單隱層前饋神經網絡 43
2.2 多隱層前饋神經網絡 45
2.3 反向傳播算法 47
2.4 深度前饋神經網絡的學習范式 48
參考文獻 51
第3章 深度卷積神經網絡 54
3.1 卷積神經網絡的生物機理及數學刻畫 55
3.1.1 生物機理 55
3.1.2 卷積流的數學刻畫 56
3.2 深度卷積神經網絡 61
3.2.1 典型網絡模型與框架 61
3.2.2 學習算法及訓練策略 69
3.2.3 模型的優缺點分析 71
3.3 深度反卷積神經網絡 73
3.3.1 卷積稀疏編碼 74
3.3.2 深度反卷積神經網絡 75
3.3.3 網絡模型的性能分析與應用舉例 77
3.4 全卷積神經網絡 77
3.4.1 網絡模型的數學刻畫 77
3.4.2 網絡模型的性能分析及應用舉例 79
參考文獻 80
第4章 深度堆棧自編碼網絡 83
4.1 自編碼網絡 84
4.1.1 逐層學習策略 84
4.1.2 自編碼網絡 84
4.1.3 自編碼網絡的常見范式 87
4.2 深度堆棧網絡 90
4.3 深度置信網絡/深度玻爾茲曼機網絡 93
4.3.1 玻爾茲曼機/受限玻爾茲曼機 93
4.3.2 深度玻爾茲曼機/深度置信網絡 94
參考文獻 96
第5章 稀疏深度神經網絡 99
5.1 稀疏性的生物機理 100
5.1.1 生物視覺機理 100
5.1.2 稀疏性響應與數學物理描述 102
5.2 稀疏深度網絡模型及基本性質 102
5.2.1 數據的稀疏性 103
5.2.2 稀疏正則 103
5.2.3 稀疏連接 104
5.2.4 稀疏分類器設計 106
5.2.5 深度學習中關于稀疏的技巧與策略 108
5.3 網絡模型的性能分析 110
5.3.1 稀疏性對深度學習的影響 110
5.3.2 對比實驗及結果分析 110
參考文獻 111
第6章 深度融合網絡 113
6.1 深度SVM網絡 114
6.1.1 從神經網絡到SVM 114
6.1.2 網絡模型的結構 115
6.1.3 訓練技巧 117
6.2 深度PCA網絡 117
6.3 深度ADMM網絡 119
6.4 深度極限學習機 121
6.4.1 極限學習機 121
6.4.2 深度極限學習機 123
6.5 深度多尺度幾何網絡 125
6.5.1 深度脊波網絡 125
6.5.2 深度輪廓波網絡 127
6.6 深度森林 130
6.6.1 多分辨特性融合 131
6.6.2 級聯特征深度處理 131
參考文獻 133
第7章 深度生成網絡 136
7.1 生成式對抗網絡的基本原理 137
7.1.1 網絡模型的動機 137
7.1.2 網絡模型的數學物理描述 139
7.2 深度卷積對抗生成網絡 141
7.2.1 網絡模型的基本結構 141
7.2.2 網絡模型的性能分析 144
7.2.3 網絡模型的典型應用 146
7.3 深度生成網絡模型的新范式 151
7.3.1 生成式對抗網絡的新范式 151
7.3.2 網絡框架的性能分析與改進 154
7.4 應用驅動下的兩種新生成式對抗網絡 155
7.4.1 堆棧生成式對抗網絡 155
7.4.2 對偶學習范式下的生成式對抗網絡 158
7.5 變分自編碼器 160
參考文獻 162
第8章 深度復卷積神經網絡與深度二值神經網絡 167
8.1 深度復卷積神經網絡 168
8.1.1 網絡模型構造的動機 168
8.1.2 網絡模型的數學物理描述 168
8.2 深度二值神經網絡 172
8.2.1 網絡基本結構 172
8.2.2 網絡的數學物理描述 173
8.2.3 討論 176
參考文獻 177
第9章 深度循環和遞歸神經網絡 180
9.1 深度循環神經網絡 181
9.1.1 循環神經網絡的生物機理 181
9.1.2 簡單的循環神經網絡 181
9.1.3 深度循環神經網絡的數學物理描述 183
9.2 深度遞歸神經網絡 188
9.2.1 簡單的遞歸神經網絡 188
9.2.2 深度遞歸神經網絡的優勢 189
9.3 長短時記憶神經網絡 190
9.3.1 改進動機分析 190
9.3.2 長短時記憶神經網絡的數學分析 191
9.4 典型應用 192
9.4.1 深度循環神經網絡的應用舉例 193
9.4.2 深度遞歸神經網絡的應用舉例 194
參考文獻 194
第10章 深度強化學習 197
10.1 深度強化學習基礎 198
10.1.1 深度強化學習的基本思路 198
10.1.2 發展歷程 198
10.1.3 應用的新方向 200
10.2 深度Q網絡 201
10.2.1 網絡基本模型與框架 201
10.2.2 深度Q網絡的數學分析 202
10.3 應用舉例—AlphaGo 204
10.3.1 AlphaGo原理分析 205
10.3.2 深度強化學習性能分析 206
參考文獻 207
第11章 深度學習軟件仿真平臺及開發環境 209
11.1 Caffe平臺 210
11.1.1 Caffe平臺開發環境 210
11.1.2 AlexNet神經網絡學習 210
11.1.3 AlexNet神經網絡應用于圖像分類 212
11.2 TensorFlow平臺 215
11.2.1 TensorFlow平臺開發環境 215
11.2.2 深度卷積生成式對抗網DCGAN 216
11.2.3 DAN應用于樣本擴充 217
11.3 MXNet平臺 220
11.3.1 MXNet平臺開發環境 220
11.3.2 VGG-NET深度神經網絡學習 222
11.3.3 圖像分類應用任務 225
11.4 Torch 7平臺 226
11.4.1 Torch 7平臺開發環境 226
11.4.2 二值神經網絡 227
11.4.3 二值神經網絡應用于圖像分類 239
11.5 Theano平臺 233
11.5.1 Theano平臺開發環境 233
11.5.2 遞歸神經網絡 234
11.5.3 LSTM應用于情感分類任務 237
參考文獻 238
第12章 基于深度神經網絡的SAR/PolSAR影像地物分類 240
12.1 數據集及研究目的 241
12.1.1 數據集特性分析 241
12.1.2 基本數據集 244
12.1.3 研究目的 247
12.2 基于深度神經網絡的SAR影像地物分類 251
12.2.1 基于自適應自編碼和超像素的SAR圖像分類 251
12.2.2 基于卷積中層特征學習的SAR圖像分類 257
12.3 基于及時代深度神經網絡的PolSAR影像地物分類 263
12.3.1 基于稀疏極化DBN的極化SAR地物分類 263
12.3.2 基于深度PCA網絡的極化SAR影像地物分類 267
12.4 基于第二代深度神經網絡的PolSAR影像地物分類 271
12.4.1 基于深度復卷積網絡的極化PolSAR影像地物分類 271
12.4.2基于生成式對抗網的極化PolSAR影像地物分類 274
12.4.3基于深度殘差網絡的極化PolSAR影像地物分類 278
參考文獻 280
第13章 基于深度神經網絡的SAR影像變化檢測 284
13.1 數據集特點及研究目的 285
13.1.1 研究目的 285
13.1.2 數據基本特性 288
13.1.3 典型數據集 291
13.2 基于深度學習和SIFT特征的SAR圖像變化檢測 293
13.2.1 基本方法與實現策略 284
13.2.2 對比實驗結果分析 295
13.3基于SAE的SAR圖像變化檢測 299
13.3.1 基本方法與實現策略 299
13.3.2 對比實驗結果分析 303
13.4基于CNN的SAR圖像變化檢測 305
13.4.1基本方法與實現策略 305
13.4.2對比實驗結果分析 307
參考文獻 309
第14章 基于深度神經網絡的高光譜圖像分類與壓縮 311
14.1 數據集及研究目的 312
14.1.1 高光譜遙感技術 312
14.1.2 高光譜遙感的研究目的 313
14.1.3 常用的高光譜數據集 314
14.2 基于深度神經網絡的高光譜影像的分類 318
14.2.1 基于堆棧自編碼的高光譜影像的分類 319
14.2.2 基于卷積神經網絡的高光譜影像的分類 325
14.3基于深度神經網絡的高光譜影像的壓縮 333
14.3.1 基于深度自編碼網絡的高光譜圖像壓縮方法 334
14.3.2 實驗設計及分類結果 336
參考文獻 338
第15章 基于深度神經網絡的目標檢測與識別 340
15.1 數據特性及研究目的 341
15.1.1 研究目的 341
15.1.2 常用數據集 343
15.2 基于快速CNN的目標檢測與識別 345
15.2.1 R-CNN 346
15.2.2 Fast R-CNN 348
15.2.3 Faster R-CNN 349
15.2.4 對比實驗結果與分析 352
15.3 基于回歸學習的目標檢測與識別 353
15.3.1 YOLO 353
15.3.2 SSD 356
15.3.3 對比實驗結果分析 359
15.4 基于學習搜索的目標檢測與識別 360
15.4.1 基于深度學習的主動目標定位 360
15.4.2 AttentionNet 363
15.4.3 對比實驗結果分析 365
參考文獻 366
第16章 總結與展望 368
16.1 深度學習發展歷史圖 369
16.1.1 從機器學習、稀疏表示學習到深度學習 370
16.1.2 深度學習、計算與認知的范式演進 371
16.1.3 深度學習形成脈絡 375
16.2 深度學習的典型應用 375
16.2.1 目標檢測與識別 375
16.2.2 超分辨 376
16.2.3 自然語言處理 376
16.3 深度神經網絡的可塑性 377
16.3.1 旋轉不變性 377
16.3.2 平移不變性 378
16.3.3 多尺度、多分辨和多通路特性 378
16.3.4 稀疏性 379
16.4 基于腦啟發式的深度學習前沿方向 380
16.4.1 生物神經領域關于認知、識別、注意等的近期研究進展 380
16.4.2 深度神經網絡的進一步研究方向 382
16.4.3 深度學習的可拓展性 383
