本書是關于支持向量機理論及算法的專著。全書共分八章:diyi章介紹了數據挖掘算法的發展歷程、支持向量機的研究現狀;第二章介紹了統計學習理論和zui優化理論中的重要概念和定理;第三章在zui優分類超平面基礎之上,詳細闡述了三類情形下的支持向量機模型;第四章至第六章依次介紹了zui小二乘支持向量機、支持向量域描述、光滑支持向量機;第七章將支持向量機與其他算法集成,展示了在大規模樣本集上的分類性能;第八章展望支持向量機未來的發展趨勢。
梁錦錦,博士,西安石油大學副教授,研究方向為zui優化理論、支持向量機,主持縱向項目2項,大學生創新項目1項。以diyi作者發表了論文二十余篇,其中被SCI、EI檢索9篇,核心收錄8篇,主編《積分變換與場論》教材1部,撰寫13萬字。
目錄
1緒論(1)
1.1機器學習理論(1)
1.1.1學習問題的一般模型(2)
1.1.2經驗風險zui小化原則(3)
1.1.3模型復雜度和推廣能力(3)
1.1.4結構風險zui小化原則(4)
1.2支持向量機算法及研究現狀(4)
1.2.1理論研究(5)
1.2.2訓練算法(7)
1.2.3應用研究(8)
2統計學習理論和zui優化理論(10)
2.1統計學習理論基礎(10)
2.1.1學習問題的數學表達(10)
2.1.2經驗風險zui小化原則(11)
2.1.3學習過程的一致性條件(11)
2.1.4學習過程收斂速率的漸進性理論(13)
2.1.5推廣能力的泛化誤差界(14)
2.1.6結構風險zui小化原則(14)
2.2zui優化理論(15)
2.2.1基本概念(16)
2.2.2凸集理論基礎(17)
2.2.3拉格朗日乘子理論(18)
2.3本章小結(21)
3標準支持向量機算法(22)
3.1zui優分類超平面(22)
3.2核函數理論(23)
3.3支持向量機算法(25)
3.3.1線性支持向量機(25)
3.3.2近似線性可分支持向量機(26)
3.3.3非線性支持向量機(28)
3.3.4支持向量特性(29)
3.4數值試驗(30)
3.4.1數據預處理(30)
3.4.2實驗結果(31)
3.5本章小結(33)
4zui小二乘支持向量機算法(34)
4.1zui小二乘支持向量機(34)
4.1.1線性zui小二乘支持向量機(34)
4.1.2非線性zui小二乘支持向量機(35)
4.2原空間zui小二乘支持向量機(36)
4.2.1線性原空間zui小二乘支持向量機(36)
4.2.2非線性原空間zui小二乘支持向量機(37)
4.2.3標準形式(38)
4.2.4仿真實驗(39)
4.2.5小結(41)
4.3稀疏zui小二乘支持向量機(42)
4.3.1線性稀疏zui小二乘支持向量機(42)
4.3.2非線性稀疏zui小二乘支持向量機(42)
4.3.3稀疏模型L1SLSSVM(43)
4.3.4仿真實驗(43)
4.3.5小結(46)
4.4本章小結(46)
5支持向量域描述算法(47)
5.1研究現狀(47)
5.2工作機理(48)
5.2.1線性空間SVDD(48)
5.2.2特征空間SVDD(49)
5.2.3支持向量特性及分布(51)
5.3約簡支持向量域描述RSVDD(51)
5.3.1中心距離比值SVM(52)
5.3.2約簡支持向量域描述(53)
5.3.3約簡集規模(54)
5.3.4數值實驗(55)
5.3.5結論(57)
5.4信賴支持向量域描述(57)
5.4.1信賴支持向量域描述(57)
5.4.2抽樣集規模(58)
5.4.3抽樣集分布(58)
5.4.4參數設置和復雜度(60)
5.4.5數值實驗(61)
5.4.6結論(63)
5.6本章小結(64)
6光滑支持向量機算法(65)
6.1引言(65)
6.2Mangasasian的光滑SSVM(66)
6.2.1標準SVM(66)
6.2.2光滑支持向量機(67)
6.2.3多項式光滑模型(67)
6.3光滑對角加權支持向量機(69)
6.3.1二次損失函數SVM(69)
6.3.2線性光滑對角加權支持向量機(70)
6.3.3非線性光滑對角加權支持向量機(72)
6.3.4算法實現(76)
6.3.5數值實驗(77)
6.4隱空間光滑支持向量機(80)
6.4.1隱空間簡介(81)
6.4.2隱空間支持向量機(81)
6.4.3隱空間光滑支持向量機HS3VM (83)
6.4.4PSO參數尋優(83)
6.4.5數值試驗(85)
6.4.6結束語(87)
6.5本章小結(87)
7大規模樣本集下的支持向量機算法(88)
7.1同心超球面支持向量機HSVM(88)
7.1.1理論基礎(88)
7.1.2同心超球面組的構造(90)
7.1.3算法實現(92)
7.1.4數值實驗(93)
7.1.5小結(95)
7.2支持向量機的集成算法(95)
7.2.1集成學習算法概述(95)
7.2.2空間支持向量域分類器SSVDC(96)
7.2.3算法實現(100)
7.2.4數值實驗(101)
7.2.5結論(105)
7.3聚類分片雙支持向量域分類器(106)
7.3.1聚類分片(106)
7.3.2雙支持向量域分類器(108)
7.3.3鏈接規則(110)
7.3.4復雜度分析(111)
7.3.5數值試驗(111)
7.4本章小結(114)
8總結與展望(116)
8.1總結(116)
8.2展望(117)
參考文獻(119)