本書簡明地介紹了自適應信號處理和自適應濾波的主要概念, 在統一框架下對主要類型的自適應濾波算法進行了闡述。本書指導思想是揭示出自適應濾波的堅實理論基礎, 第四版與第二版相比, 不僅包含了原書中關于自適應濾波的經典理論和非線性自適應濾波、 子帶自適應濾波、 線性約束維納濾波器、 LMS類算法、 RLS算法、 IIR算法、 仿射投影算法等內容, 還增加了數據選擇性自適應濾波、 盲自適應濾波、 復信號自適應濾波、 卡爾曼濾波和集員仿射投影算法等全新內容和研究成果。本書符號表示清晰, 主要算法均以圖表形式給出, 許多舉例來源于實際問題。此外, 作者還根據教學需要和讀者要求, 對原書部分內容進行了調整和優化, 對習題和參考文獻進行了更新和補充。本書提供了大量的算法、 例題、 仿真結果、 參考文獻以及所有算法的MATLAB實現, 以幫助讀者深入理解書中內容, 快速解決問題并對算法進行驗證和應用。
本書講述自適應濾波及其算法與實現,內容
Paulo S. R. Diniz教授長期致力于自適應信號處理、模擬和數字信號處理、數字通信、無線通信、多采樣率系統、隨機過程、電子電路等領域的教學和研究工作,是國際上信號處理領域中的著名學者。他曾在巴西里約熱內盧聯合大學、美國圣母瑪利亞大學、加拿大維多利亞大學、芬蘭赫爾辛基大學等世界各地許多學術機構和研究院所進行講學。
第1章 自適應濾波導論 1.1 引言 1.2 自適應信號處理 1.3 自適應算法簡介 1.4 應用 參考文獻 第2章 自適應濾波基礎 2.1 引言 2.2 信號表示 2.2.1 確定性信號 2.2.2 隨機信號 2.2.3 遍歷性 2.3 相關矩陣 2.4 維納濾波器 2.5 線性約束維納濾波器 2.6 MSE曲面 2.7 偏差和一致性 2.8 牛頓算法 2.9 最陡下降算法 2.10 應用回顧 2.10.1 系統辨識 2.10.2 信號增強 2.10.3 信號預測 2.10.4 信道均衡 2.10.5 數字通信系統 2.11 小結 2.12 習題 參考文獻 第3章 最小均方(LMS)算法 3.1 引言 3.2 LMS算法 3.3 LMS算法特性 3.3.1 梯度特性 3.3.2 系數向量的收斂特性 3.3.3 系數誤差向量協方差矩陣 3.3.4 誤差信號的特性 3.3.5 最小均方誤差 3.3.6 超量均方誤差和失調 3.3.7 瞬態特性 3.4 非平穩環境下LMS算法的特性 3.5 復數LMS算法 3.6 舉例 3.6.1 分析舉例 3.6.2 系統辨識仿真 3.6.3 信道均衡仿真 3.6.4 快速自適應仿真 3.6.5 線性約束LMS算法 3.7 小結 3.8 習題 參考文獻 第4章 基于LMS準則的算法 4.1 引言 4.2 量化誤差算法 4.2.1 符號誤差算法 4.2.2 雙符號算法 4.2.3 2的冪誤差算法 4.2.4 符號數據算法 4.3 LMS牛頓算法 4.4 歸一化LMS算法 4.5 變換域LMS算法 4.6 仿射投影算法 4.6.1 仿射投影算法的失調 4.6.2 非平穩環境下的算法特性 4.6.3 暫態特性 4.6.4 復數仿射投影算法 4.7 舉例 4.7.1 分析舉例 4.7.2 系統辨識仿真 4.7.3 信號增強仿真 4.7.4 信號預測仿真 4.8 小結 …… 第5章 常規RLS自適應濾波器 第6章 數據選擇性自適應濾波 第7章 自適應格型RLS算法 第8章 快速橫向RLS算法 第9章 基于QR分解的RLS濾波器 第10章 自適應IIR濾波器 第11章 非線性自適應濾波 第12章 子帶自適應濾波器 第13章 盲自適應濾波 第14章 復數微分 第15章 LMS算法的量化效應 第16章 RLS算法的量化效應 第17章 卡爾曼濾波器 第18章 集員仿射投影算法分析 參考文獻
譯者序
自適應濾波理論是統計信號處理領域中的一個重要組成部分。對于時變未知環境下的信號處理問題,自適應濾波器比傳統固定濾波器更優,并且擁有其他方法不具備的信號處理能力。因此,近50年來,自適應濾波理論在許多領域(如通信、控制、雷達、聲吶、地震和生物醫學工程等)獲得了廣泛應用。
本書作者PauloS.R.Diniz教授長期致力于自適應信號處理、模擬和數字信號處理、數字通信、無線通信、多采樣率系統、隨機過程、電子電路等領域的教學和研究工作,是國際上信號處理領域中的著名學者。他曾在巴西里約熱內盧聯邦大學、美國圣母瑪麗亞大學、加拿大維多利亞大學、芬蘭赫爾辛基理工大學等世界各地許多學術機構和研究院所進行講學。他根據講授自適應信號處理課程的講稿,結合其多年從事教學工作積累的豐富經驗和學生的需求,專門針對大學高年級本科生、研究生和從事實際工作的工程師撰寫了本書。
本書與其他有關自適應濾波理論的著作相比,具有如下三個突出特點。
及時,本書適合于作為教材。作者在有限篇幅內系統精煉地闡明了自適應信號處理和自適應濾波的理論基礎,深入探討了大多數基本概念,給出了適當的例子,并對實際應用進行了討論。為了避免直接給出推導結果又不至于內容重復,作者以統一的風格對算法進行了嚴格推導,便于在講解不同算法時,不至于在符號和推導上花太多時間。因此,本書尤其適合于作為高年級本科生和研究生學習自適應信號處理和自適應濾波理論時的教材。
第二,本書重點介紹了便于有效實現的算法。在應用自適應濾波理論時常常面臨一個問題,即在有限精度實現中,到底哪一個算法才能真正有效。因此,作者特別針對那些利用有限精度實現能真正有效的算法進行了重點講解,對量化效應還單獨進行了理論分析。這使學生能夠通過學習,嘗試自適應濾波器的實現和研究。對于從事實際工作的工程師和科技人員來說,這也是非常有益的。
第三,本書內容新穎獨特。本書作者具有多年教學經驗,他的許多觀點都很有獨創性。本書除了討論自適應信號處理和自適應濾波的基本理論以外,還新增了數據選擇性自適應濾波、盲自適應濾波、復信號自適應濾波、卡爾曼濾波和集員仿射投影算法等內容,以及近年來國際上的近期研究成果。
正因為如此,本書自及時版出版以來,就受到了讀者的一致好評,現已作為世界上許多大學的教材。本書對于信號處理、通信工程、自動控制、電路與系統、智能系統等領域的科研人員以及其他對自適應濾波理論感興趣的人來說都很有參考價值。
本書第1章至第7章及第18章由劉郁林教授翻譯,第8章至第11章由萬群教授翻譯,第12章至第14章由王銳華高級工程師翻譯,第15章至第17章由陳紹容副教授翻譯。全書由劉郁林教授統稿審校,重慶通信學院的晁志超博士參與了譯稿的整理工作。
盡管在翻譯本書時對原著中的部分錯誤和不當之處進行了認真校對,但由于譯者水平有限,書中難免存在疏漏和不當之處,懇請廣大讀者和專家批評指正。
前言
在過去30年中,數字信號處理領域取得了飛速發展,在許多大學的本科生和研究生教學計劃中都包括了"數字信號處理"這門課程,這與不斷出現的數字信號處理實現技術是密不可分的。數字信號處理技術的巨大發展,使得其中的某些研究方向已經獨立出來,成為新的領域。如果可以得到待處理信號的信息,設計者就能很容易地選擇最合適的算法來對信號進行處理。如果待處理信號的統計特性是未知的,采用固定算法就不能有效地處理信號。解決方法是采用自適應濾波器,這種濾波器可以通過其內部參數的化來自動改變其特征。自適應濾波算法在統計信號處理的許多應用中都是非常重要的。
40多年以來,自適應信號處理一直都是研究的熱點。但是,直到20世紀80年代,其研究和應用才取得了重大進展。其原因有兩點,一是實現工具不斷實用化,二是出現的早期教材系統地對該問題進行了闡述。最近,在自適應濾波領域,新的研究成果仍然不斷涌現出來,特別是針對一些具體應用。實際上,線性自適應濾波理論已經趨于成熟,以至于可以用一本教材對相應的不同方法進行統一闡述,并強調那些可以較好實現的算法。本書集中討論了自適應算法。當可以得到環境中信號的一個新采樣值時,算法就自適應地進行更新。本書還包括了只有在得到一個新的數據塊時才自適應更新的所謂塊算法,并用子帶濾波框架對其進行了介紹。通常而言,塊算法與在線算法相比,其實現所需的資源是不同的。本書還簡單介紹了非線性自適應濾波和盲信號處理理論,作為前面章節中算法的自然拓展。對于這些基本知識的理解,是進一步深入研究這些領域的基礎,它們在某些書籍中專門進行了詳細討論。
當我在里約熱內盧聯邦大學(FederalUniversityofRiodeJaneiro,UFRJ)研究生院講授自適應信號處理課程時,就萌發了撰寫本書的念頭。學生們要求我盡可能多地講授算法,這使我開始思考如何來組織這個主題,以便在講解不同算法時,不至于花掉太多時間來改變符號和推導過程。另一個普遍存在的問題是,在有限精度實現中,到底哪一個算法才能真正有效。這些問題使我得出一個結論,就是可以寫一本關于這個主題的新教材,并時刻記住這些目標。此外,考慮到大多數本科生和研究生的教學計劃都包含自適應濾波這門課程,因此這本書也不應該太長。盡管當前這個版本不夠短,但是前六章包含了該主題的核心內容。另一個需要實現的目標則是為從業的工程師提供了解有效算法的方便途徑。
直到我在加拿大維多利亞大學(UniversityofVictoria)進行了一年半的休假以后,才真正開始寫作本書。我利用業余時間開始慢慢進行寫作。本書前面的部分章節是我在不同學校講授自適應信號處理的短期課程時用過的,這些學校包括芬蘭赫爾辛基理工大學(HelsinkiUniversityofTechnology,現已改名為AaltoUniversity),西班牙的MenendezPelayo大學以及加拿大維多利亞大學(維多利亞微型網絡中心)。本書其他部分則是根據我在COPPE(里約熱內盧聯邦大學的研究生工程項目協調機構)為研究生講授自適應信號處理課程時的講稿修改而成的。
本書的指導思想是為讀者提供堅實的理論基礎,并避免直接給出推導結果和重復講述某些內容。同時,我還力圖將本書控制在適當的篇幅以內,而不會犧牲內容的清晰度,也不會省略某些重要的內容。本書的另一個目標是使讀者達到可以嘗試實現和開始進行研究的程度。在每章末尾都給出了許多參考文獻,以幫助讀者繼續學習該部分內容。
本書的讀者需要掌握數字信號處理和隨機過程的一些基本原理,包括離散傅里葉變換和Z變換、FIR和IIR數字濾波器的實現、多速率系統、隨機變量和隨機過程、一階和二階統計量、矩以及隨機信號的濾波等。如果讀者具備這些方面的基礎知識,我相信閱讀本書是不成問題的。
本書第1章介紹自適應濾波的基本概念,并為后續章節給出的所有方法提供了一個統一的框架。本章還簡單介紹了自適應濾波的一些典型應用。
在第2章中,回顧了離散隨機過程的基本概念,特別強調了那些對分析自適應濾波算法來說有用的結果。另外,本章還給出了維納濾波器,構建了平穩環境下的線性濾波器。第14章主要針對維納解對復數微分概念進行了簡要介紹。由于線性約束維納濾波器在天線陣信號處理中得到了廣泛應用,第2章也對其進行了討論。本章給出了將約束最小化問題轉化為非約束最小化問題的方法,然后介紹了均方誤差曲面的概念(這是分析自適應濾波器的另一個有用的工具)。本章還簡單介紹了經典的牛頓算法和最陡下降算法。由于應用這些算法需要掌握隨機環境的完整知識,因此后續章節介紹的自適應濾波算法則可以應用。本章詳細回顧了自適應濾波算法的實際應用,其中包括了一些具有閉式解的例子,以便正確解釋在每個應用中期望呈現的算法特性。
第3章介紹了最小均方(Least-Mean-Square,LMS)算法,并在一定程度上對其進行了分析,討論了該算法幾個方面的特性(如在平穩和非平穩環境下的收斂性能等)。本章還包括了許多仿真舉例,以說明LMS算法在不同情況下的性能。在第15章中,討論了LMS算法用定點和浮點數實現時的量化效應問題。
第4章討論了在某種意義上與LMS算法密切相關的一些算法,包括量化誤差算法、LMS-牛頓算法、歸一化LMS算法、變換域LMS算法以及仿射投影算法等。本章還討論了這些算法的一些特性,重點對仿射投影算法進行了分析。
第5章介紹了常規遞歸最小二乘(RecursiveLeast-Squares,RLS)算法。該算法使某個確定性目標函數最小化,從這個意義上講,它與最小均方(LMS)算法是不同的。與第3章的討論方式相同,我們也對常規RLS算法幾個方面的特性(如在平穩和非平穩環境下的收斂性能)進行了討論,并給出了一些仿真結果。第16章也討論了這種算法的穩定性問題,以及用定點和浮點數實現算法時存在的量化效應問題。除了量化效應問題以外,本章所給出的一些結果,對第7章至第9章中的RLS算法也是有效的。作為第5章內容的補充,第17章還給出了離散時間卡爾曼濾波算法,它盡管通常被視為維納濾波器的推廣,實際上與RLS算法也密切相關。
第6章討論了降低自適應濾波算法總體計算復雜度的一些方法。首先介紹了集員算法,只有當輸出估計誤差高于規定的上界時算法才進行更新。然而,由于在平穩環境下的早期迭代過程中需要頻繁更新數據,因此又引入了部分更新概念來進一步降低計算復雜度,以適合于計算資源缺乏的應用。另外,本章還給出了與仿射投影算法相關的幾種不同形式的集員算法,以及其各種特殊情形。在第18章中,簡單給出了簡化集員仿射投影算法的超量MSE和收斂時間常數的一些閉合表達式。第6章也包括一些標準情況下和面向具體應用問題的仿真舉例,并將本章與前面章節中的算法進行了詳細比較。
在第7章中,介紹了一類基于FIR格型結構實現的快速RLS算法,包括非歸一化算法、歸一化算法和誤差反饋算法等。這些算法可以代替計算復雜度較高的常規RLS算法。
第8章介紹了快速橫向RLS算法,由于計算復雜度很低,這種算法非常具有吸引力。然而,在實際實現中,這些算法可能會面臨穩定性問題。因此,我們特別強調了一種穩定快速橫向RLS算法。
第9章介紹了一類基于QR分解的RLS算法,并給出了這類算法的常規形式和快速實現形式。由于一些基于QR分解的算法具有數值穩定性,因此也具有較強吸引力。
第10章討論了利用IIR數字濾波器實現自適應濾波的問題,包括如何計算梯度,以及如何導出自適應算法等內容。作為對利用直接形式實現的IIR自適應濾波器的替代,我們還給出了利用級聯結構、并行結構和格型結構實現的IIR自適應濾波器。同時,還討論了IIR自適應濾波器的均方誤差曲面的性能。此外,本章還介紹了基于其他誤差表達式的算法,如基于方程誤差和Steiglitz-McBride方法的算法。
第11章討論非線性自適應濾波問題,利用非線性結構來完成自適應濾波。其出發點在于利用非線性自適應濾波結構來更好地模擬某些非線性現象,在通信應用中這些非線性現象(如發送端功率放大器的非線性特征等)常常出現。特別地,我們介紹了Volterra級數LMS算法和RLS算法,以及基于雙線性濾波器的自適應算法。另外,我們還簡單介紹了一些基于神經網絡概念的非線性自適應濾波算法,即多層感知算法和徑向基函數(RadialBasisFunction,RBF)算法。本章還包括了判決反饋均衡(DFE)的一些例子。
第12章介紹的子帶自適應濾波主要針對所需自適應濾波器階數較高的應用場合。例如,在語音回波消除應用中,未知系統(回波)模型就具有很長的沖激響應。在子帶自適應濾波問題中,信號被分析濾波器組在頻域子帶中進行了分割。本章還簡單回顧了多速率系統的有關知識,給出了子帶自適應濾波的基本結構。同時,還介紹了無延遲子帶自適應濾波的概念,此時的自適應濾波系數在子帶中進行更新,并被映射到一個等效的全頻帶濾波器。本章還對子帶濾波和塊自適應濾波(也稱為頻域自適應濾波)算法的關系進行了討論。
第13章介紹了一些適用于沒有參考信號應用的自適應濾波算法,這種算法稱為盲自適應濾波算法。特別地,本章對那些針對單輸入單輸出(Single-InputSingle-Output,SISO)均衡應用隱含利用高階統計量的盲算法進行了介紹。為了克服SISO均衡系統的缺點,還對利用二階統計量解決單輸入多輸出(Single-InputMulti-Output,SIMO)均衡問題的算法進行了討論。SIMO算法可以自然應用于對接收信號進行過采樣或者采用多個接收天線的系統。本章還對盲信號處理的一些相關問題進行了簡要討論。第14章至第18章分別是第2章、第3章、第4章、第5章和第6章內容的補充。
在本書中,我利用了一些標準的例子來進行仿真,以對不同算法的仿真結果進行驗證和比較。這樣不僅避免了頻繁的重復,而且還使讀者容易比較各種方法的性能。各章后面的大多數習題都是需要仿真的,但也包含部分理論方面的習題,以對教材內容進行適當補充。
本書第二版與及時版相比,主要不同是包含了非線性自適應濾波和子帶自適應濾波內容,但在其他章節中也包含了許多微小變化。在第三版中,根據學生的要求和同行的建議,引入了許多算法推導過程和分析解釋內容。另外,還新增了關于數據選擇性算法和盲自適應濾波的兩章內容,以及大量新的例子和習題。我們對前面五章內容進行了較大調整,以使讀者更容易理解技術細節,并提高他們決定如何使用基本概念的能力。由于仿射投影算法在實際中越來越重要,因此也對其進行了詳細分析。全書包含了多個實際和理論方面的舉例,目的是方便對所給各類算法進行比較。第四版在沿用前面各版體例結構的基礎上,在第4章至第6章和第10章中給出了一些新的分析和仿真舉例,并在新增的第18章中,對集員算法的理論分析進行了概括。另外,第四版也根據讀者建議進行了一些微小修改,包括一些新的習題和參考文獻。
在三學期的課程教學計劃中,我通常講授第1章至第6章(有時也跳過第2章的部分內容)以及第15章和第16章中關于量化效應分析的內容。如果時間允許,我會盡可能多地講授余下章節的內容,通常還會征求學生們的意見,了解他們的學習興趣和需求。本書也可以作為自學教材,讀者可以閱讀第1章至第6章,如果不需了解具體實現,還可以忽略附錄A,這樣也不會影響全書的連貫性。除了第8章要求先具備第7章的知識以外,其他章節均自成體系。第7章至第9章中對其他RLS算法及其快速實現方法的討論結果,在后續章節中也不需利用。
教學輔助資源
我們針對教師給出了由L.W.P.Biscainho博士對本書全部習題所做的解答,可以從出版商那里獲取有關本書習題解答的獲取可參閱"目錄"前所附的"教學支持說明"——編者注。。如果需要,也可以向作者索取書中所有算法的幻燈片和MATLAB源代碼。本書算法的代碼可以從MATLAB中心下載,網址為:
致謝
本書得到了巴西里約熱內盧聯邦大學(UFRJ)理工學院電子與計算機工程系及該大學研究生工程項目協調機構(COPPE)電子工程項目的大力支持。
我非常幸運地與很多富有創造力的教授和研究人員相互交流,與他們一起討論并提出了許多有趣的技術問題,使我能夠滿懷熱情地完成本書的及時版至第四版。非常感謝加拿大維多利亞大學(UniversityofVictoria)的PanAgathoklis教授、巴西塞阿拉州聯邦大學(FederalUniversityofCear)的C.C.Cavalcante教授、英國約克大學(UniversityofYork)的R.C.deLamare教授、巴西圣保羅大學(UniversityofSoPaulo)的M.Gerken教授、挪威奧斯陸大學(UniK-UniversityofOslo)的A.Hjrungnes教授、芬蘭赫爾辛基理工大學(HelsinkiUniversityofTechnology)的T.I.Laakso教授、瑞典呂勒奧理工大學(LuleUniversityofTechnology)的J.P.Leblanc教授、加拿大維多利亞大學的W.S.Lu教授、微軟研究院(MicrosoftResearch)的H.S.Malvar博士、巴西圣保羅大學的V.H.Nascimento教授、巴西坎皮納斯州立大學(StateUniversityofCampinas)的J.M.T.Romano教授、美國得克薩斯A&M大學(TexasA&MUniversity)的E.SanchezSinencio教授,以及美國約翰霍普金斯大學(JohnHopkinsUniversity)的TracD.Tran教授。
我的研究生導師、朋友和同事L.P.Calba教授不僅激發我寫作本書,而且在我整個職業生涯中也一直給予鼓勵。我的博士生導師A.Antoniou教授也是我珍貴的朋友,從他那里學到了很多論文研究方法。我非常幸運有這么的恩師!
里約熱內盧聯邦大學參與工程項目的我的許多學生也是本書靈感的源泉。特別地,我很幸運有很多敬業的研究生,他們參與了自適應濾波研究工作。他們是:R.G.Alves博士、J.A.ApolinrioJr.教授、L.W.P.Biscainho教授、M.L.R.Campos教授、J.E.Cousseau教授、T.N.Ferreira教授、M.V.S.Lima、T.C.MacedoJr.、W.A.Martins教授、S.L.Netto教授、G.O.Pinto、C.B.Ribeiro教授、A.D.SantanaJr.、M.G.Siqueira博士、S.Subramanian博士(AnnaUniversity)、M.R.Vassali、S.Werner教授(赫爾辛基理工大學),等等。他們中的大多數在研究生和博士生階段閱讀了本書的部分內容,并提出了許多有價值的建議。本書部分內容是與他們和其他以前學生的探討交流中逐步修改形成的。
還要特別感謝L.W.P.Biscainho教授、M.L.R.Campos和J.E.Cousseau,本書給出的許多例子都得到了他們的支持。感謝L.W.P.Biscainho教授、M.L.R.Campos和S.L.Netto仔細閱讀了本書全部內容,并且提供了許多改進建議。
最感謝的還有里約熱內盧聯邦大學的E.A.B.daSilva教授,他對本書初稿的部分內容提出了許多關鍵性的建議,而且在困難時刻始終伸出援助之手。
事實上,里約熱內盧聯邦大學信號處理實驗室友好和諧的工作環境也一直為本書提供了大量的靈感和挑戰。從Michelle經理到教授,從研究生、本科生到工作人員,我都總是能夠得到他們專業職責以外的大量支持。Jane認真仔細地完成了書中的許多圖表,在此深表感謝!
還要感謝芬蘭赫爾辛基理工大學的I.Hartimo教授、西班牙塞維利亞大學的J.L.Huertas教授、加拿大維多利亞大學的A.Antoniou教授、阿根廷蘇爾國立大學(UniversidadNacionaldelSur)的J.E.Cousseau教授、美國圣母大學(UniversityofNotr