摘要：近10 年來，人工智能技術得到了科技與工業界的極大的重視，預示著人類文明將進入智能時代。但是，作為智能時代基礎的“智能科學”還遠未成型。本文從電磁物理信息感知技術的獨特視角，討論智能科學如何發展的一些見解，指出人類智能與外在世界互為對偶問題、相互不可分割的根本屬性，因此按人工智能所應對的對象及關聯學科分為數學、物理、心理、意識4 個階段。其中第1 階段解決智能形成的通用學習算法的數學理論，第2 階段發展應對物理世界的物理智能。以此為基礎，第3 階段發展應對智能涉及社會群體的高階智能，第4 階段研究自由意識的本質和人工智能能否形成意識的超智能問題。結合筆者電磁信息感知專業領域，提出向物理智能發展的微波視覺新概念、相關內涵以及關鍵技術的建議，以筆者團隊在這一方向的前期工作為例，討論了以物理智能為基礎的智能科學的研究與發展。

著名的摩爾定律成功預測了集成電路的指數次增長規律，實際上人類文明和科技的發展也大致遵循指數次增長的規律。如果把人類社會發展史繪制成一條曲線，橫坐標為時間，縱坐標為文明和科技水平，那么它就是一條指數增長曲線。站在今天回望歷史，不難發現人類每一次科技革命到來的時間間隔在指數次遞減。例如40年前的個人計算機技術、100年前的相對論和量子力學、500年前的近代科學起源，又比如兩次工業革命、農業革命、信息產業革命等，無不驗證著這一規律。

有人說人工智能是下一次工業革命，亦或許是人類文明的智能時代。科技是人類文明的核心之一，文明的進步經歷了資源、能量、信息、智能的4個階段（圖1）。冷兵器時代人類文明依賴于自然資源的優勢，熱兵器時代的制勝點在于核武器等大規模殺傷性武器，進入信息時代后體現在信息獲取能力上，發達國家依靠偵察、隱身、賽博等信息技術實現對其他國家的信息不對稱性優勢，可以預見未來決勝的是人工智能水平的高低。

信息時代的關鍵是全面多類精準信息快速獲取和反獲取的能力，包括軍事科技的偵察、隱身、對抗等技術。在大數據獲取能力達到一定的高度，必須由大數據的物理信息進一步進入到其物理世界背后的意識世界中，發展人工智能與超人工智能，實現對抗式的智能感知、處理、推演、決策技術，在未來智能科技時代占據領先優勢。

圖1 人類文明發展的新階段
Fig. 1 New era of human civilization development

10 多年前神經網絡研究先驅Hinton^[1]在《Science》上發表的一篇論文在人工智能領域引發了深度學習熱潮。谷歌子公司DeepMind開發的AlphaGo^[2]以4∶1戰勝了韓國圍棋九段棋手李世乭，讓人工智能得到了廣泛的關注。人工智能在過去10年取得的重大進展，主要得益于深度學習技術，一種在強大的計算能力、海量的數據支持和改進的算法3個條件下成功實現突破的人工智能技術。

短短10年間，深度學習引發了人工智能在各行各業的研究應用熱潮。在信息、生物、材料、化學等領域均開展了深度學習的人工智能應用研究。在工業界與政府部門，也紛紛推出重磅計劃，為人工智能單設計劃條目。深度學習技術在各領域均找到了應用，從而引起越來越多的關注。

然而，深度學習技術背后的理論積累難以支撐爆炸式增長的技術發展和應用需求。深度神經網絡背后的理論基本上還是30多年前的人工神經網絡理論，僅在深度表征和訓練算法方面有局部突破。智能時代的來臨亟需一門智能科學支撐。它與腦科學、認知科學等相關的諸多人腦功能學科相關聯，又直接面對物理世界與社會科學界的應用需求。智能科學的舉步維艱與人工智能技術應用的火爆現象的反差令人回想起前幾次人工智能曾有過的寒冬。這種嚴峻的趨勢也令多位著名學者進行深刻的思考。

本文簡單討論智能科學這一新學科方向，按人工智能所應對的對象及關聯學科分為數學、物理、心理和意識4個階段，并在物理智能的范疇下結合筆者前期研究提出信息感知的微波視覺新概念、相關內涵及關鍵技術。

1 智能科學

1.1 深度學習

深度學習屬于機器學習，機器學習是人工智能的一個主要分支。深度學習的主要技術即深度神經網絡，它是人工神經網絡領域新興的研究方向。人工神經網絡通過將腦科學、數學、計算機科學、信息處理學、心理學等多個研究領域相互交叉結合，以建立一個可以模擬人腦智能的模型。雖然人腦智能研究僅有不到100年的發展歷史，但已經在機器視覺、人臉識別、語音識別、智能搜索和遺傳編程等領域得到了長足的發展，取得了廣泛的十分有意義的應用。

人工神經網絡研究起源于20世紀50年代，最早的人工神經網絡模型只是對一個神經元接受刺激的響應進行簡單的模擬。然而由于理論的缺乏和計算機技術的限制，人工神經網絡并沒能得到有效的發展。直到20世紀80年代，基于后向傳播（BP）機制的神經網絡得到快速發展。但是由于訓練困難等問題，仍然局限于3層的神經網絡，可以解決的問題很有限。之后，機器學習的主流方法大都是淺層結構算法（如支撐矢量機），少有人關注包含3層結構以上的深層算法。

2006年，Hinton^[1]提出通過“貪婪學習”的思路，實現對多層自編碼器的訓練，重新引發了神經網絡領域對于深層網絡的研究興趣。2012年，Hinton團隊^[9]將深度卷積網絡用于ImageNet圖像分類挑戰賽上，取得遠高于以往淺層算法的成績，引起機器學習領域的關注。從此機器學習主流開始往多層自動學習算法偏移，超過3 層結構以上的機器學習算法被稱為深度學習。2016年，谷歌子公司DeepMind將深度神經網絡應用于強化學習上，開發了AlphaGo計算機圍棋程序，4∶1擊敗了韓國圍棋九段棋手李世乭，從而引發了各界人士的關注。各行各業對于人工智能的興趣開始爆炸式增長。特別是在工業界，深度學習已被廣泛的應用在各領域，如計算機視覺、語音識別、機器翻譯、搜索引擎、自動駕駛、機器人等。

事實上，深度學習目前最成功的算法應該是深度卷積網絡對于圖像、視頻類空域信息的處理，以及深度循環網絡對于語音、文字類時間序列信息的處理^[4]。例如深度強化學習的一些應用，均是得益于這2個核心神經網絡算法對于原始輸入數據的處理。而卷積神經網絡與循環神經網絡這兩種網絡結構早在20世紀90年代就被提出。可見深度神經網絡或深度學習的核心在于“深度”，即用深層結構表征原始數據。

深度學習的核心思想是層次化的特征提取結構（圖2），例如深度卷積網絡仿照哺乳動物視覺神經系統，利用層次化特征提取的信息處理模式。先對輸入信息進行低級特征提取，在高層將低級特征組合成更高級的特征信息，經過多層特征傳遞，得到足夠高級的特征信息，再計算最終的輸出。通過訓練，從海量數據中自動提取所關心的特征，將數據標簽映射擬合到一個高度非線性函數中。所以，深度神經網絡的本質可以看作是一個多層嵌套的非線性擬合函數，它巧妙地通過隨機梯度下降算法將網絡訓練到合適的擬合精度。然而，“深度”的概念也不是最新才提出的，用超過3層的多層神經網絡來擬合的方法也早就被嘗試過。因此學界普遍認為深度學習爆發與3個偶然因素有關：計算能力的指數次增長、數據量的爆炸式增長和神經網絡算法的改進。這3個條件的成熟使得神經網絡邁入了深度學習的階段，因而能解決更接近實際應用的復雜問題。從這個角度看，深度學習的出現對于智能科學而言僅僅是量變，還沒有達到質變。

圖2 深度學習的主要思想：層次化可組合的特征表征框架
Fig. 2 Key idea of deep learning: hierarchical compositional framework of feature representation

回顧歷史可以發現，21世紀初出現的計算能力的增長和數據量的增長使得訓練深度神經網絡成為可能，而算法的改進一直到近幾年來才出現的。從2006年Hinton提出的多層自編碼網絡直到2012年的深度卷積網絡之間并沒有出現很成功的應用，而從2012年之后，視覺計算的最成功應用均采用深度卷積網絡，說明深度神經網絡的核心算法改進發生在2006—2012年。

2006年，Hinton提出的“貪婪算法”訓練多層自編碼器引領了一批專家去研究深度神經網絡，包括LeCun和Bengio等。深度神經網絡之所以取得巨大成功，筆者認為其最核心算法改進在于采用了一類簡化的激活函數，即規則化線性單元（rectified linear unit，ReLU）。由圖3可知，ReLU本質上是分段線性函數y=max（0，x）。類似ReLU的激活函數事實上早在1975年即被提出^[5]，但是在1980年代被Sigmoid等具有良好非線性、連續可導、梯度計算復雜度低等優點的激活函數全面取代。一直到2009年，LeCun團隊^[6]在研究深度神經網絡時，發現采用類ReLU的分段線性激活函數是實現對深度網絡端到端訓練的關鍵因素。2011年，Bengio團隊^[7-8]研究得到結論：深度神經網絡最適合用ReLU作為激活函數，給出的理由包括ReLU與人腦神經元的相似性，因為神經元對某些輸入完全沒有反應，而對一些輸入的反應呈單調關系，每一時刻處在激活狀態的神經元總是稀疏的。這些工作為2012年Hinton團隊^[3]首次采用深度卷積網絡贏得ImageNet 挑戰賽奠定了理論基礎。

圖3 2種激活函數（Sigmoid，ReLU）及其單層、多層梯度比較
Fig. 3 Two types of activation function (Sigmoid, ReLU) and their single-layer, multi-layer gradients

關于ReLU優點，圖3給出一種簡單的解釋，即其梯度在多層網絡后向傳播時能保持穩定，不像Sigmoid的梯度在累乘后容易達到飽和。關于ReLU的理論研究在2012年后還在繼續，例如2015年LeCun團隊^[9]證明了深度神經網絡的損失函數中的局部最小值均為較優解，且很容易被隨機梯度下降算法找到，由此在理論上，它解釋了深度神經網絡取得巨大成功的一個主要原因。

可以看出，深度神經網絡的本質是采用很多層嵌套的非線性函數來擬合海量的數據，監督學習即擬合高維數據空間中的一個曲面，而非監督學習如生成網絡則擬合一種分布。至目前為止，真正解決實際應用問題的深度學習技術，無論在網絡結構上有各種各樣的創新，或者在訓練優化算法上有各種各樣的設計，都逃脫不了一個模式，即用海量的訓練數據擬合一個包含海量未知數的復雜多層網絡。

因此，筆者完全贊同圖靈獎獲得者Judea Pearl的觀點：無論深度學習技術取得多大成功，各種相關研究多么五花八門，我們還沒有突破其曲線/曲面擬合的本質^[10]。不少學者已經開始反思深度學習面臨的困境，由于其背后基礎理論積累不足，深度學習技術很快就陷入一個瓶頸期。現在的深度學習相關技術過于簡單，以致可以完全被計算機掌握，由于各種工具箱的出現使得絕大多數人可以輕易掌握深度神經網絡應用技能，絕大多數人掌握這些技能后便快速陷入調參數、調結構的瓶頸。顯然，這本身就是一份機械的工作，可以被人工智能取代。果然，谷歌公司于2018年初推出的AutoML工具即扮演了調參的角色，使得一大部分應用深度神經網絡的人被深度神經網絡取代。谷歌公司最新開發的AlphaGo Zero新版圍棋程序也證明了靠機械的搜索來獲得較優解決方案的工作也可以被取代。可以預見，更多的在研究網絡結構和優化算法的科研人員也將被取代。深度學習技術的出現，預示著缺乏創造力的機械工作將會被取代。

因此，深度學習出現的意義首先是很好地利用了數據資源優勢，實現超強擬合能力，解決各個領域的實際應用問題。其次它引發了人們對于人工智能技術的廣泛關注，引領了一個大力研究智能科技的時代。然而，深度學習的超強擬合能力導致人們的期望過高，如果智能科學的基礎理論遲遲沒有突破，很快深度學習或人工智能就會跟不上人們對它的期望。

1.2 智能科學的誕生

人工智能深度學習技術的廣泛應用必將要求智能科學的誕生。智能科學應是一門區別于自然科學和社會科學的嶄新學科。它的誕生不僅僅與深度學習技術爆發有關，而且與腦科學、認知科學、理論神經科學、數據科學的發展密切相關，智能科學甚至還與一般自然科學和社會科學相關，這些學科是智能科學的前奏和基石。

智能科學是人工智能背后的基礎科學，人工智能是建立于智能科學之上的一門應用學科。首先需要關心的是人工智能需要什么樣的科學支撐。社會學家將廣義人工智能分為3類：弱人工智能和強人工智能和超人工智能。弱人工智能是指擅長某一方面的人工智能，現階段發展的人工智能就是弱人工智能。強人工智能指的是與人類比肩的人工智能，人類能做的事情它都能做。超人工智能就是科幻世界中經常出現的智力超越人類的人造機器。人工智能的目標可以歸納為4點——像人一樣行動、像人一樣思考、合理地思考、合理地行動。如果要使機器能像人一樣思考的話，必須先弄清楚人類是如何思考的。這本身就是一件復雜而有趣的工作。有3種辦法可以完成這項任務：通過內省——反思人類的思維方式；通過心理實驗——觀察被測對象，然后總結；以及通過腦成像——觀察大腦的活動規律。然而，直到今天，人類對于自己大腦的運作原理以及人類思維等的認識仍然不足，認知科學還有諸多問題有待解決。

當前深度網絡的巨大應用成功僅僅發源于人們對于視覺神經網絡的理解和仿生。大腦和智能作為至今人類還沒有研究透徹的領域，不斷引起了科技界，乃至工業界和政府部門的重視。系統的腦科學研究主要分為自底向上的生物學研究和自頂向下的理論神經科學或認知科學研究，神經生物學通過生物觀測實驗手段從微觀層面開始，不斷向上積累基礎知識，試圖理解整個大腦的工作機制，例如通過神經元細胞切片的觀察，一直到宏觀尺度的大腦活動功能核磁共振（fMRI）成像等，神經生物學研究目前無法徹底理解大腦工作機制，主要局限于對活體大腦實時活動的微觀觀察手段的缺乏，近年來發展的熒光標記高分辨率光學成像技術將是該領域下一個突破口。理論神經科學或認知科學研究通過對人類宏觀行為的理解建立數學理論模型以圖仿制大腦智能。理論神經科學仿照牛頓物理學首先從數學上對大腦工作機制進行建模，通過假設的基本規律來逐步解釋更復雜的大腦工作機制，與生物學手段比起來，理論神經科學的研究一直停滯不前。實驗觀測和理論建模必須有效結合，才能得到可靠的進展。例如通過觀測發現的脈沖時間相關可塑性（SDTP）機制被認為是記憶和學習的神經化學基礎，對于神經網絡模型的構建具有重要推動作用。除了系統的腦科學研究，目前提及最多的是更接近應用層面的類腦人工智能算法（即深度學習）及其實現（即神經網絡芯片），以及機器人外圍技術（如機械骨架、仿生材料）。當前類腦人工智能算法與真正意義上的神經生物學的結合不夠緊密，這將是下一代人工智能發展的方向之一。而機器人外圍技術由于其在工業生產、家庭護理、國家安全等領域的重要應用得到重視，在人工智能技術的推動下，機器人可以實現的功能已快速接近以前只有在科幻世界中才出現的場景。

美國、歐盟、中國均已經或即將推出各自的大腦研究計劃和人工智能戰略，在神經生物學、類腦人工智能技術等方面開展研究。解開大腦的奧秘是開啟未來智能世界的關鍵，是未來科技發展的戰略制高點，誰掌握人工智能，誰將成為未來核心技術的掌控者。

人工智能及其相關技術日新月異，每周都有相關突破性進展報道。但是如前論述，深度學習本質即為超強函數擬合，其技術紅利可能將很快被用盡。顯然，目前的人工智能依舊處于弱人工智能范疇，走向強人工智能和超人工智能的道路依舊一團迷霧。在這個過程中，需要先解開大腦思維的奧秘，發展系統的智能科學。就像看到鳥的展翅飛翔，有了人類飛行的萌芽，但要發明飛機，則要發展現代航空力學與航空工業。

多名學者針對深度學習的火爆現象進行了冷靜思考，并提出智能科學的研究建議。深度學習的引領人物也不停在反思，Hinton等^[11]在深度學習進入火熱的現象后，一直在思考，最近提出要推翻后向傳播梯度下降的算法，認為人腦不是靠梯度下降學習，提出“膠囊網絡”的新概念。LeCun^[12]針對機器學習的發展也提出無監督學習與預測學習是機器學習的一個大方向。

此外，深度學習也受到來自機器學習其他領域學者的質疑，比如谷歌公司的Rahimi^[13]在第31屆神經信息處理系統大會（NIPS 2017）上公開將當前深度學習的研究比喻為“煉金術”，其本意就是批評當前大量的深度學習研究僅僅浮于網絡結構和參數的不斷調整嘗試上，而沒有試圖建立一門基于嚴謹、周密、可驗證的理論之上的科學。

正如人人會做的釀酒術，并不能容易產生近代化學一樣。LeCun認為：工程總是先于理論，就像望遠鏡先于光學、蒸汽機先于熱動力學、計算機先于計算科學等。對于此，麻省理工學院Poggio^[14]則認為當前深度學習太依賴于數據，應該回歸到理解人類智能上來，即腦科學和神經科學，比如首先解釋人腦智能是如何產生的這樣的根本科學問題。

2011 年圖靈獎獲得者、貝葉斯網絡的先驅JudeaPearl^[10]最近發表論文闡述了機器學習理論的可能發展方向，認為當前深度學習的本質即函數擬合，其所關聯的數據科學也只跟數據有關并沒有科學。Pearl認為強人工智能的正確途徑是引入因果關系，他將其分為關聯（association）、交互（intervention）和想象（counterfactu?al）3個層面（圖4^[10]）。當前深度學習僅停留在關聯的層面，在交互的層面需要引入互動并觀察其因果關系，而在想象層面則需要具備邏輯推理能力。最后，他提出應采用他本人發明的用于描述因果關系的貝葉斯網絡等數學工具來研究下一步的強人工智能。

圖4 Pearl的3層因果關系
Fig. 4 Pearl's three layers of casual relationship

加州大學洛杉磯分校朱崧純^[15]對人工智能從現狀、任務到構架與統一進行了系統的闡述。他將人工智能學科分為6個方向：計算機視覺、自然語言理解與交流、認知與推理和機器人學、博弈與倫理和機器學習。他對于人工智能的一個觀點也是與數據依賴性有關，認為人工智能不應該依賴大量數據，更應該關注人腦內在因素。認為智能科學是牛頓與達爾文理論體系的統一，提出應該把面向應用的人工智能變成智能科學。他提出一個很好的觀點：“物理學把生物的意志排除在研究之外，而這正好是智能科學要研究的對象。智能科學要研究的是一個物理與生物混合的復雜系統。智能作為一種現象，就表現在個體與自然、社會群體的相互作用和行為過程中。我個人相信這些行為和現象必然有統一的力、相互作用、基本元素描述。”這是筆者所了解到的對智能科學最深邃的見解之一。

1.3 智能科學與物理智能

智能科學是智能時代所必須的支撐基礎科學，它的內涵遠不止當前的深度學習技術。智能科學應以人腦為支點，研究人與自然世界、人與人類社會的多體問題。但智能科學不能是孤立的研究人腦的科學。人腦是進化和后天學習的產物，生物進化給予人類一套可塑的神經組織，通過人與世界和社會的交互才形成了人類智能。人腦本身的結構組成和工作機制離不開外界對它的影響。可以想象一個初生的嬰兒若一直孤獨地生存在太空中，不與任何物質或信息交互，則不可能具備人類智能。所以說，人類智能是外在世界對人腦施加作用后所產生的反作用，外在世界與人腦智能是一雙對偶問題。現有科學已經對外在世界建立較為成熟的理論體系。

因此智能科學應是一門以人腦為中心，研究人腦與自然世界相互作用、人腦與人腦相互作用，人腦與人類社會相互作用的學科。它不僅依賴于一套能描述人腦原理的數學理論，還需結合用于描述自然世界單體問題的自然科學和用于描述人類社會單體問題的社會科學。

按這一觀點將人工智能分為下面4個階段。

第1個階段研究對象為人類智能的大腦原生組織結構，即自然進化賜予人類的可塑神經網絡，借助于腦科學與計算神經科學等，發展一套可以建模大腦原生組織結構的數學工具，可以稱之為數學智能。這一階段的目的是用數學和計算工具描述和模擬初生嬰兒大腦的通用組織結構和通用學習算法。

第2個階段研究對象為外在物理世界加到人腦的“外力”導致在人腦中產生的“應力”，即人腦與物理世界交互后學會的適應物理世界并在其中生存的能力，可以稱之為物理智能。物理智能即能適應客觀世界的人工智能，如機器人。構造物理智能必須依賴數學智能和物理學。人類建立起來的強大的物理學理論體系有助于構造強于人類的物理智能，即比人類更適應物理世界的智能體，本文第2節討論的微波視覺即屬于這一范疇。物理智能可以推廣到廣義的自然智能，即研究能夠適應各種自然科學現象的人工智能。

第3個階段研究對象為他人或社會對于人腦的“外力”與所產生的“應力”，即人腦如何學會與他人相處、如何在人類社會中適應和生存的能力，可以稱之為心理智能，或廣義的社會智能。這個階段研究智能與智能之間的高階相互作用，也可稱為高階智能；則物理智能屬于一階智能，因為其研究范疇只涉及單個智能體。

每個階段還應該研究對應的人腦原生的驅動力，如生理需求、心理需求等，這些需求是驅動通用人工智能算法進行正確學習的必要源動力。

第4個階段研究對象為意識的本質，意識如何形成是一個根本科學問題，人工智能是否能產生意識更是一個哲學問題，這一根本問題的研究有助于解答人類一直尋求的答案：人是從哪里來的。有一點可以肯定是：沒有自我意識的人工智能不可能超越人類。

這種分類方法（圖5）體現了智能在進化生長過程不同階段中所應對的對象不同。當前智能科學相關的研究往往不特別區分這些階段，而這個分階段的生長過程卻定義了智能本質。人類智能就是循序漸進的從先適應客觀世界的物理智能，發展到適應人類社會的心理智能。人工智能的發展也應遵循這一規律。先建立一種通用的人工智能算法，能夠建模人類大腦的基本機能，如學習、記憶等。這種算法與物理世界交互即可產生物理智能，例如機器人能夠應對牛頓力學。不同階段的研究可以并行進行，如在數學智能沒有完全研究成熟之前可以進行相應的物理智能研究。例如基于現階段的深度神經網絡理論，可以結合計算物理進行基于深度學習的物理智能研究。數學智能與物理智能可以相互補充、相互促進。人工智能來源于人類智能但完全有可能在某些方面超越人類，就像人類學鳥飛發明飛機，而飛機卻超越鳥類，當然也超越了不會飛的人類的能力；顯然，已經建立的物理學理論體系可以幫助人們發明在某一方面超越人類的物理智能。

圖5 未來智能科學體系
Fig. 5 Architecture of future intelligent science

通過2個途徑，人們可能構建超越人類的物理智能：1）借助物理學對于物理世界的嚴謹理論表述，我們可以將物理原理設計在人工智能中，使其具備比人類更強的適應或戰勝物理世界的能力；2）采用計算物理模擬器來訓練通用人工智能算法，使其具備人類不可能擁有的超能力。第1點類似于在人工智能大腦內部用計算物理引擎構建1個模型來幫助預測外部世界。關于第2點，谷歌AlphaGo Zero算法的成功給人們一定的信心，通過在圍棋模擬器上學習3天即超過人類3000年的集體智慧，說明模擬器訓練是一種可行的途徑。

因此，計算物理模擬器是物理智能的關鍵。采用模擬器構建物理智能的途徑利用了人類發展史上的2次革命成果：1）科學革命建立了人類對于物理世界規律精確表述的理論和技術創新；2）信息革命建立了人類利用計算機對物理世界規律進行計算仿真的能力。這相當于將人類千年的智慧匯集到一個人工智能大腦中。物理智能將超越人類智能，因為物理學描述的現象超越人類感官范疇。例如，物理學涵蓋的尺度范圍和速度范圍遠超過人類能適應的范圍，電磁波涵蓋的頻譜遠超過人類能感知的光譜范圍（圖6）。

圖6 物理智能在適應物理世界的能力上將超越人類智能
Fig. 6 Physical intelligence will excel over human being in adapting to the physical world

作為物理智能一個典型的例子，通過力學模型構建的人工智能可以完美地控制機器人的運動。另一個例子就是“微波視覺”，一種基于計算電磁學引擎的物理智能，像人類處理光信息一樣處理微波信息。

2 微波視覺

2.1 內涵

人的視覺能看見光，但看不見微波。若有外星人的眼睛能看見微波，那他就有“微波眼睛”，他的視覺神經中樞必與人類視覺不同，可稱為“微波視覺”。第二次世界大戰期間發明的雷達等技術已使人類感受到微波的信息，是否也能發展基于人工智能的信息感知與理解的“微波視覺”？

在陽光下歷經億年進化，人類形成與生俱來的適應光學信息的大腦，初生嬰兒的大腦再通過其與光學世界交互進行學習，最終形成能感知世界、認識自我的人類視覺。人類視覺能高效理解光學信息、實現自主定位導航，同時還是產生自我意識的關鍵因素。

深度學習前沿技術AlphaGo Zero給予人們啟發，智能算法與虛擬圍棋世界的交互和學習可以獲得超越人類的智能。早期AlphaGo版本采用人類棋譜進行學習與訓練，AlphaGo Zero版本則完全通過在圍棋游戲模擬器里面相互對弈，然后相互學習優化，經過3天的學習就達到了人類冠軍的水平。AlphaGo Zero達到這一成績的核心前提條件在于模擬器精確的模擬了圍棋游戲世界的規則，也就是說如果有一個能精確模擬物理世界的模擬器，相信人們也能用現有深度學習技術訓練出實用的人工智能。

顯然，物理智能的其中一種途徑（或者說當前可行的途徑）就是用精確高效的計算物理模擬器訓練基于深度學習的人工智能，而這樣的思想已經在國際上得以推行。例如在自動駕駛領域的絕大多數企業都在使用虛擬現實模擬器和真實采集的數據一起訓練自動駕駛算法。2017 年底，美國美國國防高級研究計劃局（DARPA）啟動“進攻性蜂群使能戰術”OFFSET研究項目，旨在研發能自動控制上百架無人機進行協同作戰的人工智能技術。該項目的主要技術途徑即依賴虛擬現實飛行模擬器AirSim訓練這一人工智能技術。

基于現有深度學習技術，可以發展適應電磁信息的認知智能算法，并用超算模擬電磁世界，通過與電磁模擬器的交互進行演化學習，實現人造微波視覺。研究微波視覺能自動解譯雷達圖像、復雜電磁環境等微波信息，實現微波視覺自主定位導航，為探索意識本質提供基礎。

圖7闡述了微波視覺的主要構思，光視覺是人在光世界中進化和學習獲得，而我們提出通過模擬電磁（微）波世界，實現相類似光視覺但又截然不同電磁信息感知認知的微波視覺。主要技術途徑是借鑒Alpha?Go/OFFSET、基于電磁學理論，構建微波世界模擬器，用于演化和訓練微波視覺。

圖7 微波視覺的概念與內涵
Fig. 7 Microwave vision

借鑒人腦的光視覺發展人工智能的微波視覺，人腦產生光視覺的3個必要條件是：外在光學世界的存在；自然進化產生的光視覺神經網絡；人與光世界交互學習演化的能力。因此發展微波視覺需要研究對應3個問題：高性能電磁物理模擬器、處理電磁信息的微波視覺神經網絡、智能體與電磁模擬器的交互學習機制，這3個問題分別構成了微波視覺的電磁物理基礎、神經生物基礎和認知學習基礎，稱之為微波視覺三要素。

1）微波視覺的電磁物理基礎——準實時高逼真的電磁物理模擬器。

首先解決微波視覺的虛擬訓練環境問題，為微波視覺的進化和學習提供虛擬環境。這一問題的關鍵體現在既要實現高逼真度的模擬效果，又要在資源約束條件下滿足準實時交互的要求，這是采用虛擬環境訓練人工智能的可行性條件。若采用精確幾何物理建模和現有計算電磁學方法，其模型精細度難以在有限人力條件下做到高逼真要求，算法復雜度無法達到準實時要求。突破這一瓶頸的思路是將觀測大數據同化到計算物理模型中，研究數據驅動的電磁模擬器，通過大數據挖掘提取半經驗底層散射模型，進一步發展混合多尺度計算電磁學方法，實現既能提高仿真逼真度、又能降低算法復雜度、滿足準實時交互的需求。

2）微波視覺的神經生物基礎——處理電磁信息的微波視覺神經網絡。

人類進化的視覺神經網絡適應于光信息處理，需要設計專門表征處理電磁信息的微波視覺神經網絡。以視覺神經網絡底層組織、環路和網絡結構為啟發，對比光信息與微波信息，仿照設計構建電磁信息神經網絡，體現從以粒子效應為主到波場效應為主的物理屬性轉變。解決神經元如何表征電磁信息的時、頻、相、極化等多維度特征，神經信息傳遞機制如何體現電磁波相干散射與傳播規律，神經網絡結構如何契合電磁散射逆問題求解模式等微波視覺神經網絡基礎問題。設計用于結構化表征的深度生成網絡和用于反演的深度鑒別網絡等基本組件。

3）認知學習基礎——智能體與電磁模擬器交互學習機制。

光視覺是人腦視覺神經網絡與外在光世界交互學習演化的產物，基于交互的學習機制是突破通用人工智能須解決的根本問題。盡管腦科學這方面研究相對滯后，現階段的微波視覺研究可參考已知人類光視覺的學習機制和運作機制，如視覺注意、視覺印象、視角關聯、預測推斷等，受它們啟發研究如何建立具備注意、記憶、關聯、預測等功能的微波視覺強化學習架構。借鑒視覺神經認知機制，探求如何設計交互式迭代學習算法，按訓練和測試2個階段分別研究不同交互機制，在訓練階段的交互以采樣為目的，測試階段的交互以實時預測反演為目的。

“微波視覺”與人類長期依靠的“光視覺”不同，它的產生將顛覆傳統的雷達信號處理與以光視覺為基礎的圖像處理技術，將使目前似乎看不見摸不著的微波監測成為“微波視覺”中看得清理解透的新的技術形態，如自主定位導航、電子偵查對抗等電磁波技術。微波視覺將實現天地海目標雷達回波圖像在線自動解譯，改變目前地面站人工判讀業務形態；實現雷達回波直接重構目標與場景的可視化表征，顛覆傳統電磁信號處理、雷達回波圖像解譯的思維與方法；實現直接對散射輻射場的視覺語義概念生成、推理、決策和交互，改變現有雷達、偵查、干擾對抗的技術形態；實現基于微波視覺的智能自主定位導航，補充傳統視覺導航技術。

微波視覺將是從基本理論到多種關鍵技術再到廣泛應用的體系化研究，面臨多個維度的挑戰。理論上需解決微波視覺的根本科學問題，包括如何理解智能與物理世界交互的機制，如何實現高效電磁模擬器，如何使用模擬器構建微波視覺。在技術上需解決技術難題包括大規模場景與目標的快速計算仿真、無限解空間的搜索與學習、視覺的交互學習算法以及而向應用的各種方法等。

2.2 前期研究

復旦大學電磁波信息科學教育部重點實驗室長期從事電磁散射機制、微波遙感圖像解譯和參數反演等研究，前期在微波視覺相關領域特別是合成孔徑雷達（synthetic aperture radar，SAR）圖像快速仿真、智能解譯和目標識別方面做了相關研究工作。

合成孔徑雷達能夠全天時、全天候、高分辨率成像，因此適用于目標的偵察、監視和識別，同時也已經被廣泛應用于地球科學、天氣變化與環境系統監測、海洋資源利用、行星探測、戰場偵察等領域，是空間遙感的前沿技術。由于其微波波段成像和相位相干處理的特性，SAR圖像與光學圖像表現不同，難以直觀解讀。事實上，SAR圖像包含了豐富的目標信息，例如幾何形狀、材質、結構等。SAR圖像解譯和信息獲取是在軌雷達衛星實現成功應用的最后決定性的一步。

遙感大數據時代下的SAR圖像解譯是一個極大的科學應用挑戰。大數據時代的智能方法如計算機視覺技術目前已經取得很大的成功，但是需要發展先進的SAR微波雷達智能信息獲取方法。每天都有海量的數據從太空返回而等待處理，需要強大的解譯和信息獲取方法。

微波視覺的物理基礎在于準實時高逼真的電磁物理模擬平臺，復旦大學電磁波信息科學教育部重點實驗室開發的POLSAR EYES仿真平臺（圖8）采用雙向解析射線追蹤算法，并在通用圖形處理器上大規模并行實現，可實現準實時的大規模地物場景與目標的SAR成像仿真，包括上百平方公里的地形起伏、覆蓋地物如植被等以及人工目標如建筑物、船只等。

（a）射線追蹤仿真引擎（b）大規模地物目標虛擬場景

（c）準實時仿真的極化SAR圖像（d）真實機載極化SAR圖像

圖8 POLSAR EYES準實時大規模地物場景與地物的SAR仿真
Fig. 8 POLSAR EYES: Near-real time SAR simulation platform for large-scale terrain scene and targets

SAR圖像中自動目標識別是一個關鍵應用，也是最適合利用機器學習方法實現的。采用卷積神經網絡（CNN）對10類地面車輛SAR數據集進行分類，取得較好效果（圖9）^[16]。針對SAR圖像數據比較少、對觀測條件敏感等特點，直接用SAR數據訓練CNN很容易出現過擬合的問題。因為CNN自由參數太多，但訓練樣本不充足，這就導致了嚴重的過擬合。CNN中絕大部分的可訓練參數都包含在全連接層，通過用卷積層取代全連接層，而不是大量地減少網絡的層數，減少需要訓練的參數。盡管這種改變降低了網絡的表示能力，但是也大大減小了過擬合。在標準測試集（觀測條件、目標配置幾乎不變）上取得99%的分類精度，而在擴展測試集（觀測條件、目標配置發生變化）上分類精度有一定下降但仍比傳統方法具有優勢。由此可以明顯看到現有深度神經網絡過度依賴訓練數據的缺陷。

（a） （b）

圖9 全卷積網絡（a）及其在MSTAR數據集訓練得到的卷積核和特征圖（b）
Fig. 9 (a) AConvNet; (b) Convolutional kernel and feature maps trained on MSTAR dataset

將CNN用于多極化SAR地物分類中，發現可以取得比傳統方法更好的效果^[17]。對于地物分類而言，其應用模式與圖像分割非常類似，因此可以按像素選擇局域窗口進行訓練和測試，訓練樣本數量遠大于目標識別的情形，但要求訓練樣本與測試樣本的觀測條件和地物類型保持一致。同時也測試了CNN地表分類器的通用性，圖10顯示了2個不同地點不同時間采集的極化SAR圖像經過同一分類器得到的結果性能一致，說明了CNN地表分類器具有較好的泛化性能。

（a）光學影像

（b）ALOS2圖像

（c）分類結果圖

圖10 用CNN分類的ALOS極化SAR圖像及其分類結果和對比光學影像
Fig. 10 Classification of ALOS POLSAR image with CNN

對于多通道相干的SAR圖像，如極化SAR或干涉SAR，其通道間相干相位差帶有重要信息。因此針對帶相位信息的SAR圖像，將CNN推廣到了復數域，稱為復數卷積網絡（complex-valued-CNN，CV-CNN）^[18]。為了區分，實數神經網絡可稱為real-valued CNN（RVCNN）。特別是如極化SAR和干涉SAR，均包含了不同通道之間的相位差，該相位信息不再是完全隨機的，往往隱含了散射地物的位置、形狀、散射機制的信息，這些信息對地物分類和識別至關重要。CV-CNN不僅將復數數據作為輸入，同時對各層傳遞了相位信息，也即每層的神經元信息和權重均由復數表示，神經元操作以及學習算法均推廣至復數域。對比實驗結果表明，在相同未知數規模下，采用復數輸入按復數計算的CV-CNN和將實部虛部作為2個獨立實數輸入的RVCNN相比，CV-CNN 能有效提高網絡性能，對于極化SAR地表分類中，其錯誤率可以降低2/3以上（圖11）^[18]。

（a）

（b）

圖11 CV-CNN架構（a）及用于等效對比實驗的CV-CNN和RV-CNN（b）

Fig. 11 CV-CNN architecture (a) and the comparison between CV-CNN and RV-CNN with similar degrees of freedom(b)

采用神經網絡的方法還可以由單極化或雙極化SAR圖像重構全極化SAR圖像（圖12）。采用多尺度卷積網絡提取單極化SAR圖像上的空域特征，通過訓練將其轉化到極化特征，然后重構出對應的多極化SAR圖像，稱為對灰度雷達圖像填上顏色^[19]。該方法首先利用預訓練的CNN從單極化灰度雷達圖像中提取多尺度空域特征矢量，然后訓練一個全連接深度網絡將空域特征空間映射到極化域特征空間，由此得到每個像素的極化散射矩陣。

圖12 從單極化SAR圖像中重構全極化散射矩陣的深度網絡架構

Fig. 12 Deep neural networks used to reconstruct full polarimetric scattering matrix from single-pol SAR image

SAR圖像中的相干斑抑制是理解SAR圖像的基本處理步驟。筆者還提出了基于卷積網絡的SAR相干斑濾波網絡^[20]。如圖13所示，將SAR圖像鄰域窗口輸入CNN訓練其預測當前像素的真實散射系數的分布，而訓練該網絡所需要的真實散射系數分布的真值標簽難以獲得，因此基于相干斑乘積模型，設計了可以非監督訓練的目標函數，即將預測散射系數的對數分布與理想相干斑的對數分布進行卷積再使其等于輸入SAR圖像塊像素值的對數分布。該網絡架構對于仿真和真實SAR圖像進行測試均得到理想效果。

圖13 用于SAR圖像相干斑抑制的深度卷積網絡架構
Fig. 13 Deep convolutional neural network for SAR speckle reduction

用于訓練樣本的SAR圖像往往并不充分，筆者提出基于生成網絡的零樣本學習方法，采用生成網絡來層次化表征SAR圖像特征，由此構建連續的可解釋的特征空間，通過將SAR圖像映射到該特征空間來實現對于未知樣本的解譯^[21]。圖14（a）為深度生成網絡架構，由構造網絡、生成網絡和解譯網絡3部分組成，分別進行從已知目標標簽到特征空間的映射、從特征空間到圖像空間的生成，以及從未知目標圖像空間到特征空間的映射；圖14（b）給出的即是對MSTAR中7類已知目標經過生成網絡學習后構造的二維特征空間及其中的目標分布。

（a）

（b）

圖14 用于零樣本學習SAR目標特征空間的深度生成網絡架構
Fig. 14 Deep generative neural network for zero-shot learning of SAR target feature space

基于SAR目標重構傳統的方法，將被觀察目標重構成人類可以直接理解的表征，即三維幾何形狀和一些可識別的特點，重構的幾何結構應保留目標識別用到的關鍵特征。相對于SAR自動目標識別的，SAR目標重構的2個關鍵優勢在于：不僅局限對已知目標庫的識別，應對所有目標都適用；因此也不需要對應的訓練數據進行訓練。這樣的方法必須直接從物理模型中提煉出來，因為只有物理規律才具有普適性。提出一個分層框架實現SAR目標重構[22]，如圖15所示，該框架由2層組成：基礎層，首先提取和識別原始散射機制，包括模型參數的估計；高級層，組合孤立散射體而進一步重構得到完整幾何結構。

圖15 SAR目標重構框架
Fig. 15 Framework for SAR target reconstruction

如何利用人工智能技術進一步發展SAR圖像智能解譯是亟需研究的課題。圖16給出一種數據驅動和模型約束下的SAR智能解譯框架^[23]，深度學習技術本身必須由海量數據驅動，但是往往人們忽視了模型的作用，也就是將先驗知識融合到智能算法中。特別是針對SAR圖像這樣的電磁波散射物理過程的產物，需要融合電磁散射理論和機器學習理論，將物理規律等先驗知識體現在智能解譯算法中。這一目的可由模型、數據和算法三者協作達成：模型可以產生模擬數據，實測數據可以同化模型中，同時模型可以直接對機器學習算法進行正則化約束。這一思路即是物理智能/微波視覺的一個例子。

圖16 數據驅動-模型約束下的SAR智能解譯
Fig. 16 SAR intelligent interpretation with data drivenmodel constraint

3 結論

深度學習引發人類社會進入智能時代，智能時代迫切需要智能科學，然而完整的智能科學體系還不明朗。筆者認為智能科學是與自然科學和社會科學并列的大領域，并不局限于研究人類智能的腦科學。由于智能形成的因素和存在的必要條件，智能科學的范疇應該與自然科學與社會科學是對偶問題，因此三者應該相結合進行交叉研究。例如物理智能是一類典型的智能科學研究，即建立人工智能能適應甚至戰勝物理世界。

物理智能是一個重要的智能科學研究領域，通過物理學與智能科學交叉研究能應對物理世界的人工智能。物理智能應與現有物理學緊密結合進行研究，特別是某些超越人類感官范疇、能力范圍的領域，依賴于人類已建立的描述物理世界的精確理論體系，物理智能將超越人類感官范疇、超越人腦計算能力，其中微波視覺技術即旨在研發處理微波頻段電磁信息的人工智能技術。物理智能的研究應該與智能科學的進展同時開展，例如在現階段就可以利用虛擬世界模擬器來訓練深度學習技術，從而實現如自動駕駛、智能蜂群或微波視覺的實用技術。

參考文獻（References）

[1] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504-507.
[2] Silver D, Huang A, Maddison C J, et al. Mastering the game of Go with deep neural networks and tree search[J]. Nature, 2016, 529(7587): 484-489.
[3] Krizhevsky A, Sutskever I, Hinton G. ImageNet classification with deep convolutional neural networks[J]. Advances in Neural Information Processing Systems, 2012, 25(2): 1097-1105.
[4] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.
[5] Fukushima K. Cognitron: A self-organizing multilayered neural network[J]. Biological Cybernetics, 1975, 20(3-4): 121-136.
[6] Jarrett K, Kavukcuoglu K, Ranzato M, et al. What is the best multi-stage architecture for object recognition?[C]//IEEE, Inter?national Conference on Computer Vision. Piscataway NJ: IEEE, 2010: 2146-2153.
[7] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[J]. Journal of Machine Learning Research, 2010, 9: 249-256.
[8] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[J]. Journal of Machine Learning Research, 2012, 15: 315-323.
[9] Choromanska A, Henaff M, Mathieu M, et al. The loss surface of multilayer networks[J]. Arxiv.org, 2014, arXiv:1412.0233
[10] Pearl J. Theoretical impediments to machine learning with seven sparks from the causal revolution[J/OL]. [2018- 03- 20].
http://www.cse-lab.ethz.ch/wp-content/uploads/2014/09/Judea_Pearl_GREAT.pdf.
[11] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[J/OL]. [2018- 03- 20]. http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules.pdf.
[12] LeCun Y. Predictive learning[EB/OL]. [2018-03-20]. https://www.youtube.com/watch?v=Qi1Yry33TQE.
[13] Ali Rahimi's talk at NIPS [EB/OL]. [2018-03-20]. https://www.youtube.com/watch?v=Ount2Y4qxQo.
[14] 周翔. Tomaso Poggio: 深度學習需要從煉金術走向化學[EB/OL]. (2018- 01- 28) [2018- 03- 20]. http://www.sohu.com/a/219443091_697750. Zhou Xiang. Tomaso Poggio: Deep learning from alchemy to chemistry[EB/OL]. (2018-01-28)[2018-03-20]. http://www.sohu.com/a/219443091_697750.
[15] 朱崧純. 淺談人工智能: 現狀、任務、構架與統一[EB/OL].
(2017- 11- 02) [2018- 03- 20]. https://mp.weixin.qq.com/s/-wSYLu-XvOrsST8_KEUa-Q.
[16] Chen S, Wang H, Xu F, et al. Target classification using the deep convolutional networks for SAR images[J]. IEEE Transactions on Geoscience & Remote Sensing, 2016, 54(8): 4806-4817.
[17] Zhou Y, Wang H, Xu F, et al. Polarimetric SAR image classification using deep convolutional neural networks[J]. IEEE Geoscience & Remote Sensing Letters, 2017, 13(12): 1935-1939.
[18] Zhang Z, Wang H, Xu F, et al. Complex-valued convolutional neural network and its application in polarimetric SAR image classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2017, 55(12): 7177-7188.
[19] Song Q, Xu F, Jin Y Q. Radar image colorization: Converting single-polarization to fully polarimetric using deep neural networks[J]. arXiv.org, 2017, arXiv:1707.07225.
[20] YueD, Xu F, Jin Y Q. Deep despeckling neural network for SAR images[J]. International Journal of Remote Sensing, 2018, in press.
[21] Song Q, Xu F. Zero-shot learning of SAR target feature space with deep generative neural networks[J]. IEEE Geoscience & Remote Sensing Letters, 2017, 14(12): 2245-2249.
[22] Xu F, Jin Y Q, Moreira A. A preliminary study on SAR advanced information retrieval and scene reconstruction[J]. IEEE Geoscience & Remote Sensing Letters, 2016, 13(10): 1443-1447.
[23] 徐豐, 王海鵬, 金亞秋. 深度學習在SAR目標識別與地物分類中的應用[J]. 雷達學報, 2017, 6(2): 136-148.
Xu Feng, Wang Haipeng, Jin Yaqiu. Deep learning as applied in sar target recognition and terrain classification[J]. Journal of Radars, 2017, 6(2): 136-148.

作者： 徐豐1,2，金亞秋1,2
1. 復旦大學電磁大數據與遙感智能研究所，上海200433 2. 復旦大學電磁波信息科學教育部重點實驗室
來源：科技導報