依莊防，博士，泰伯網海外(wài)特約專欄作者。傣族，出生(shēng)于西雙版納，目前就職于Development Seed（美國華盛頓特區），是一(yī)位機器學習算法工(gōng)程師。

作者： 依莊防

　　人工(gōng)智能不可阻擋地向各行業滲透。這一(yī)現象，恰巧撞上了“商(shāng)業遙感衛星發射潮”。這似乎預示了某種潛流。此刻，從事衛星遙感影像解譯和大(dà)數據提取的專業人士、科研人員(yuán)、政府部門和企業都躍躍欲試：恨不得在獲取數據的同時，一(yī)股腦兒在衛星上直接解譯、處理和打包，地面接收站再根據用戶需求分(fēn)發。

　　顯然，這種願景目前還無法實現。商(shāng)業衛星影像本身數據量龐大(dà)，有很多難點尚未攻關。不過，在高分(fēn)辨率影像應用領域，市場和科研都有一(yī)些亮眼的成果——它們讓高分(fēn)遙感從獲取、解譯到數據分(fēn)配的一(yī)條龍服務的願景成爲可能。

　　（注：目前熱議的人工(gōng)智能，其實包括了很多領域和應用。講真，所有可以用機器代替人工(gōng)來做，特别是重複性強的，在媒體(tǐ)報道中(zhōng)都統稱人工(gōng)智能。本文所指的人工(gōng)智能，具體(tǐ)指用機器學習、深度學習等計算機視覺技術去(qù)分(fēn)析、解譯高分(fēn)遙感數據。）

　　所以，隻有充分(fēn)了解高分(fēn)辨率遙感影像的直接應用難度，才能爲人工(gōng)智能與遙感的結合，構建合理的想像。

　　高分(fēn)遙感應用難度

　　難度1. 數據大(dà)

　　高分(fēn)遙感影像的分(fēn)辨率越大(dà)，其數據就越大(dà)。

　　30米分(fēn)辨率指的是遙感影像上每一(yī)個像素對應的地物(wù)是30米x30米。比如地面120米 x 120米的地塊，在分(fēn)辨率爲30米的衛星影像圖上是16個像元，但是在3米x 3米的衛星影像上就是1600個像元，到了30厘米 x 30厘米的衛星影像圖中(zhōng)則變成了160000個像元。

　　分(fēn)辨率越高記錄的數據信息越詳細，不僅僅是像元随着高分(fēn)影像增大(dà)，其每個像元的信息複雜(zá)性也在增加，因此高分(fēn)遙感影像分(fēn)辨率的提高和其更低分(fēn)辨率影像之間的文件大(dà)小(xiǎo)不是線性關系。

　　難度2. 分(fēn)析難

　　分(fēn)辨率越高，信息量越大(dà)，數據提取就越難。

　　同一(yī)個地點，高分(fēn)辨率遙感影像随着分(fēn)辨率越高獲取的地面數據越多，信息越複雜(zá)，就越難提取有用的信息。

　　如果在一(yī)二十年前用Landsat衛星影像（30米分(fēn)辨率）做一(yī)個縣市級别的土地利用分(fēn)類工(gōng)作，直接把數據導入地理信息和圖像解譯工(gōng)作平台（ERDAS，ENVI和ArcGIS等等）大(dà)概都可以作出個産品來。但是如果衛星影像分(fēn)辨率達到了30厘米(相當于30m分(fēn)辨率高出100倍的精度)：30米分(fēn)辨率時隻能看到大(dà)概的形狀，30厘米就可以看到路上行駛的車(chē)輛了——遙感影像分(fēn)辨率越高，精度越高，可以觀察到的地物(wù)就越多，那麽在衆多繁雜(zá)的信息中(zhōng)分(fēn)辨出有用信息的難度就越大(dà)。

　　普通影像處理軟件處理分(fēn)辨率越高的影像就越困難，此時人工(gōng)智能的作用就凸顯了。高性能超級計算機，可以不知(zhī)疲倦地實時處理人工(gōng)和普通影像處理軟件無法完成的工(gōng)作。

Digital GlobeWorldView-3影像兩個分(fēn)辨率對比圖，左圖是分(fēn)辨率爲1.24米（文件大(dà)小(xiǎo)爲1.7M），右圖分(fēn)辨率是0.31米（圖片大(dà)小(xiǎo)是10.2M）

難度3. 可用性不确定

　　解譯數據的可用性。

　　這時，可能會有遙感專業的同事說，信息量大(dà)，正是高分(fēn)辨率遙感的魅力所在。這話(huà)是沒有錯的。

　　下(xià)面咱們還要講怎麽使用人工(gōng)智能遙感從高分(fēn)辨率遙感影像中(zhōng)提取有用的信息。但是在實現這一(yī)步之前，有一(yī)個不可忽視的細節難度——分(fēn)辨率越高的影像解譯和提取的信息越多，處理不好，反倒可能使得結果沒辦法用。

　　我(wǒ)們從高分(fēn)辨率影像中(zhōng)提取的數據，最終目的是希望可以放(fàng)在地圖上，供專業人士或者普通市民使用。基本上很多計算機視覺裏面使用到機器學習和深度學習（比如圖像分(fēn)割、對象檢測和圖像分(fēn)類）都可以在高分(fēn)辨率遙感中(zhōng)應用。

　　無人駕駛汽車(chē)使用的機器學習算法是圖像分(fēn)割，即該車(chē)在街道上行駛時不斷的拍照和解讀，哪裏是道路、道路邊界、行道樹(shù)和行人。從高分(fēn)辨率遙感解譯信息其實也是這麽一(yī)回事，從圖像分(fēn)割中(zhōng)知(zhī)道哪裏是樓房、道路、橋梁、樹(shù)林、機場等等。

　　和一(yī)般計算機視覺不同的是，高分(fēn)遙感提取的數據需要放(fàng)在地圖上，就是說這數據不僅要在機器學習（人工(gōng)智能）模型中(zhōng)達到好的精度，還要有準确的地理信息（比如經緯度等等）——這最終才有可用性。

　　比如咱們用圖像分(fēn)割中(zhōng)解譯出來的道路在地圖上向右平移了5米，或者解譯出來的樓房缺了三分(fēn)之一(yī)等等。那麽數據要用到現實生(shēng)活，如導航或者計算建築面積，就沒啥用了。

　　難度4.其他

　　高分(fēn)辨率遙感影像本身特點帶來的問題。

　　除了以上高分(fēn)辨率遙感影像文件大(dà)、信息複雜(zá)、信息提取難度高、以及人工(gōng)智能模型結果的可用性不确定等因素之外(wài)，高分(fēn)辨率遙感影像本身還存在以下(xià)問題：

　　①雲層覆蓋。大(dà)家擡眼看天空，雲層千變萬化。不同的季節和地區雲層覆蓋不一(yī)。一(yī)旦衛星影像研究區域的雲覆蓋率到了10%以上就很難從中(zhōng)提取好的數據。當然這個問題在商(shāng)業小(xiǎo)衛星覆蓋率高的地區，衛星可以在短時間内重複性的訪問一(yī)個地點，或者在天氣晴朗的時候使用無人機獲取數據等，是可以解決這個問題的。

　　②時空分(fēn)辨率的取舍。空間分(fēn)辨率，是到目前一(yī)直強調的高分(fēn)辨率。而時間分(fēn)辨率指的是遙感影像以多高的頻(pín)率獲取，比如是一(yī)天拍一(yī)次上海，還是一(yī)個月一(yī)次，還是一(yī)年一(yī)次。

　　高分(fēn)辨率衛星影像不僅僅處理和解譯難，獲取的費(fèi)用也是不菲的。因此沒有長期的研究、資(zī)金支持和投入，沒有市場需求，同時開(kāi)發的高分(fēn)遙感産品不能在時間或空間分(fēn)辨率中(zhōng)占得優勢的話(huà)，企業很難在市場上存活。比如美國Digital Globe，它的衛星影像是根據客戶需要去(qù)采集數據，它最好的數據産品WorldView-3和4的分(fēn)辨率可達0.31米。Planet Lab的商(shāng)業模式則不同，它是通過提高時間分(fēn)辨率但（部分(fēn)）放(fàng)棄空間分(fēn)辨率（他們的最高分(fēn)辨率的衛星影像産品是1米空間分(fēn)辨率），以實現每周生(shēng)成覆蓋全球的遙感影像。當然，Planet同時也在提高衛星影像的空間分(fēn)辨率來搶占市場。

　　③波段多，難以取舍。和計算機視覺的機器學習、人工(gōng)智能模型中(zhōng)大(dà)部分(fēn)隻是用紅綠藍(lán)三個色相通道（就是普通的照片）不同，高分(fēn)辨率遙感影像可以有十幾到上百個波段，不同的地物(wù)解譯和圖像分(fēn)割可選取不通的波段組合。但是選擇多了也很痛苦，因爲目前高分(fēn)率波段組合和選擇在機器學習（人工(gōng)智能）上的應用還沒有足夠積累。

人工(gōng)智能和高分(fēn)遙感的結合

　　人工(gōng)智能和高分(fēn)辨率遙感可以說是天作之合。

　　高分(fēn)辨率遙感影像的存在是爲了能讓我(wǒ)們實時監測地面發生(shēng)的變化。比如一(yī)個城市哪裏新建了房屋，哪裏新建了道路橋梁；農業上哪一(yī)個作物(wù)得了病蟲害；或者哪一(yī)個地區發生(shēng)旱災澇害，要怎樣疏導災民，如何重建。也有保險公司在實時監測用戶的屋頂材料和冰雹雪災之間的聯系，從而爲拓展房屋保險業務提供服務。人工(gōng)智能可以讓我(wǒ)們大(dà)規模、智能化、實時性的實現數據提取。

　　前面說了那麽多困難，那麽，人工(gōng)智能和高分(fēn)辨率遙感影像解譯能結合嗎(ma)？能有未來嗎(ma)？答案是肯定的。下(xià)面待我(wǒ)給大(dà)家一(yī)一(yī)解讀。

　　傳統計算機視覺的新玩法

　　01.啥是機器學習（深度學習）

　　機器學習可以分(fēn)爲監督學習，非監督學習和強化學習。

　　顧名思義，監督學習指的是告訴模型你認爲圖像裏哪是房子哪是路，人工(gōng)智能就會建立原始衛星影像和你給的标簽（房子，道路）之間的數學關系。非監督學習就是不告訴模型哪是房子哪是道路，模型根據衛星影像裏面的像元值對圖像進行分(fēn)類。強化學習則是啥也不告訴模型，讓模型自己學習，并不斷強化。當然我(wǒ)這是往簡單裏說，具體(tǐ)的解釋大(dà)家可以參考其他機器學習的資(zī)料。

　　高分(fēn)辨率遙感影像解譯用的最多的是監督學習。

第一(yī)排的兩張圖是監督學習中(zhōng)的圖像分(fēn)割訓練數據（左圖是衛星影像圖，右圖是标簽數據——房子和道路）。這個訓練圖集的關系就如同解方程式：其中(zhōng)衛星影像圖就相當于X，标簽數據就是y，人工(gōng)智能模型就是在X和y中(zhōng)找數學關系。然後我(wǒ)們可以通過這個關系從未被人工(gōng)智能模型訓練過的衛星影像圖中(zhōng)提取房子和道路的信息。

　　  第二排的兩張圖是監督學習中(zhōng)的對象檢測訓練數據（左圖是衛星影像圖，右圖是房子的對象檢測框）。

　　在第一(yī)排訓練數據訓練的圖像分(fēn)割模型，就可以從高分(fēn)辨率遙感影像中(zhōng)找出衛星影像中(zhōng)哪一(yī)個像元是房子或者道路。第二排訓練數據集訓練的模型則可以用來“找房子”，這個方法一(yī)般可以用來數房子，即可以用通過新房子在一(yī)段時間的建設數量來衡量區域經濟發展的速度。比如第一(yī)排的訓練數據集可以通過在高分(fēn)辨率遙感影像和标簽數據之間建立數學關系（這裏通常通過深度學習的方法），進而預測未知(zhī)影像中(zhōng)的檢測對象。

人工(gōng)智能模型通過輸入的高分(fēn)辨率遙感影像和标簽數據來預測檢測對象。圖中(zhōng)第一(yī)排是房屋建築面積的預測模型，第二排是道路系統檢測模型。

　　02.高分(fēn)影像和開(kāi)放(fàng)街道地圖（Open Street Map）爲機器學習新玩法雪中(zhōng)送炭

　　高分(fēn)遙感影像數據量大(dà)，傳統的分(fēn)析方法是下(xià)載一(yī)整片衛星影像，導入到可以用來分(fēn)析這個影像的地理信息軟件中(zhōng)來分(fēn)析。這項工(gōng)作繁瑣、緩慢(màn)、不讨好，而且受各種不可知(zhī)因素影響。沒有大(dà)量的人工(gōng)投入很難用于應急，比如洪澇災害來了，隻能依靠過往的地圖和模型信息積累來開(kāi)展工(gōng)作。

　　通過區塊地圖服務（Tile Map Service）實現高分(fēn)遙感的實時分(fēn)享，以及開(kāi)放(fàng)街道地圖的存在，它們是未來人工(gōng)智能在高分(fēn)辨率遙感影像解譯方面長足發展的兩個重要基礎。要做到以上實時預測道路網絡，離(lí)不開(kāi)這兩個基石。

　　03.區塊地圖服務（Tile Map Service）

　　大(dà)家肯定熟悉百度地圖、高德地圖、必應衛星影像圖。照理來說，全球或整個中(zhōng)國的地圖數據那麽大(dà)，儲存了那麽多數據，比如你喜歡的餐館、書(shū)店(diàn)、咖啡館、電(diàn)影院等等，以及你上學、上班和回家的每一(yī)條路，還有千千萬萬同學的同學、朋友的朋友的住宅小(xiǎo)區等等。數據那麽大(dà)，可是并不妨礙你一(yī)打開(kāi)手機就可以浏覽。

　　這得益于區塊地圖服務（當然還有其他的技術，咱們先往簡單裏說），這個技術可以使我(wǒ)們從全球地圖開(kāi)始，點擊放(fàng)大(dà)地圖20次就可以看到世界上任何一(yī)個地區的街景。地圖在每一(yī)次放(fàng)大(dà)過程中(zhōng)的信息量不一(yī)樣，在全球水平上是非常粗糙的國家級數據，放(fàng)大(dà)20次在手機屏幕上展示的信息就是你感興趣的街景圖。

　　在放(fàng)大(dà)地圖的過程中(zhōng)越來越多的信息被展現，在縮小(xiǎo)的過程你會發現經常走的那條街不見了，慢(màn)慢(màn)的學校在地圖上消失了，然後在全國地圖上你隻看到你的省會城市。

　　這和高分(fēn)遙感影像實時分(fēn)享有啥關系？說白(bái)了就是同一(yī)個道理。高分(fēn)遙感簡單的說是你可以放(fàng)到最大(dà)看到的衛星影像圖，精細、信息量大(dà)。可以想像，這些塊狀的衛星影像就像地闆磚一(yī)樣（英文用詞是tile，很形象），分(fēn)辨率爲1米的塊狀衛星影像要覆蓋（鋪滿）整個中(zhōng)國大(dà)概需要千萬億塊（960萬平方公裏）。可想而知(zhī)要在這個分(fēn)辨率尺度上解譯國家級别的數據，這個工(gōng)作量和人工(gōng)需求有多大(dà)，就更不要說比1米分(fēn)辨率更高的高分(fēn)辨率影像了。

　　商(shāng)業衛星影像公司可以通過生(shēng)成不同分(fēn)辨率影像，來滿足不同的用戶需求。比如要做建築物(wù)占地面積或者道路系統的人工(gōng)智能模型，就會希望用到最高空間分(fēn)辨率的影像（下(xià)圖提到的放(fàng)大(dà)次數我(wǒ)們希望用到zoom level 17以上的影像數據），但是做農業相關的土地利用圖就不需要高分(fēn)辨率的影像。

區塊地圖服務可以從全球低分(fēn)辨率的衛星影像放(fàng)大(dà)到高尺度的衛星影像。

　　04.開(kāi)放(fàng)街道地圖

　　開(kāi)放(fàng)街道地圖是以人人都可以編輯的世界地圖爲其宗旨。全球有幾百萬會員(yuán)每天都在世界不同的國家和地區編輯和錄入數據。其中(zhōng)人道主義援助的貢獻特别突出，比如海地和尼泊爾地震期間就有全球的志(zhì)願者通過高清衛星影像編輯地圖，比如勾畫出哪個地段的道路和房子被毀了，哪裏是最近的救援點和醫院等等。

　　開(kāi)放(fàng)街景地圖可以作爲機器學習的訓練數據集，特别是訓練數據中(zhōng)的标簽數據。我(wǒ)們最近開(kāi)發了一(yī)個開(kāi)放(fàng)的python數據包，叫做Label Maker。該數據包可以從開(kāi)放(fàng)街道地圖的API匹配同個地區的Mapbox衛星影像來生(shēng)成包括TensorFlow、MXNet、Pytorch、Theano和Keras框架下(xià)的深度學習訓練數據集。

　　我(wǒ)們在Label Maker的上面放(fàng)了幾個機器學習的案例，包括圖像分(fēn)類和對象檢測，大(dà)家可以去(qù)看看（我(wǒ)的中(zhōng)文博客介紹）。

　　高分(fēn)影像、開(kāi)放(fàng)街景地圖和Label Maker，加上雲計算，可以實現很多以往傳統的中(zhōng)低分(fēn)辨率遙感影像和傳統的衛星影像解譯無法做到的。SkyNet是我(wǒ)們做圖像分(fēn)割的一(yī)個機器學習方法，開(kāi)放(fàng)的，大(dà)家可以去(qù)玩玩。

　　我(wǒ)們用SkyNet可以實時從高分(fēn)遙感影像中(zhōng)解譯道路系統。當然SkyNet的背後是劍橋大(dà)學在前幾年開(kāi)發的SegNet技術。機器學習中(zhōng)的圖像分(fēn)割（也是SkyNet）背後的技術是目前無人駕駛汽車(chē)中(zhōng)主要使用的計算機視覺技術之一(yī)。 我(wǒ)們現在還在開(kāi)發更多、更新、運算更快的算法。北(běi)美和全球都有很多類似的公司和機構，開(kāi)發各種深度學習、傳統機器學習在高分(fēn)辨率遙感影像解譯中(zhōng)的應用軟件包和工(gōng)具。希望未來可以給大(dà)家多多介紹。

       高分(fēn)遙感影像的出現和人工(gōng)智能可以幫我(wǒ)們做很多事情。作爲這個領域的專業人士，我(wǒ)們該從應用的角度出發，挖掘人工(gōng)智能和高分(fēn)影像的應用。比如對于智能城市的建設，第一(yī)道數據關口是我(wǒ)們的城市裏道路建設和房屋狀況是怎麽樣的？哪裏發展最快，哪裏比較慢(màn)，爲什麽？洪澇災害來了哪裏會受災比較嚴重？醫院學校都建在哪裏，其他的公共設施都建在哪裏？

　　高分(fēn)遙感的實時更新以及人工(gōng)智能的快速運算，需要能夠回答智能城市建設的最基本問題。比如下(xià)圖，通過對比人工(gōng)智能模型的建築占地面積預測結果和已經在地圖上标記的建築占地面積，就可以找出一(yī)個城市哪些建築是新的、還沒有标記在地圖上的。開(kāi)放(fàng)街景地圖的制圖任務管理人員(yuán)可以号召制圖志(zhì)願者到這些地方添加沒有地圖标記的建築物(wù)。同樣的道理，人工(gōng)智能和高分(fēn)辨率遙感影像的結合，除了可以幫城市規劃機構标記城市化的進程外(wài)，遙感的多光譜波段還可以“看見”城市建築物(wù)的材料，從而“預見”城市在不同自然災害下(xià)的脆弱程度，這對災後重建工(gōng)作也會起到很大(dà)作用。

淺見未來

　　01.人工(gōng)智能也需要加入人的協助

　　目前人工(gōng)智能在高分(fēn)辨率遙感影像上的應用日新月異，但是因爲衛星遙感影像應用難度，以及人工(gōng)智能本身的應用瓶頸，還不能實現全程的自動化。因此，從衛星影像采集到衛星影像解譯和數據整理一(yī)條龍服務還難以達到。不過，相關專業人士可以在這個過程中(zhōng)助力。

　　比如上面提到的道路系統和房屋建築占地面積預測在一(yī)定程度上是可以實現全程自動化的，但是還有大(dà)量案例是無法全部自動化的。

　　2018年我(wǒ)們幫助世界銀行制作巴基斯坦、尼日利亞和贊比亞三國的高壓電(diàn)網圖。高壓電(diàn)網在高分(fēn)辨率影像中(zhōng)是非常難以分(fēn)辨的，我(wǒ)們通過人工(gōng)智能模型預測高壓電(diàn)塔的分(fēn)布、引導專業制圖人員(yuán)制圖的方式完成，這要比傳統人工(gōng)查看高壓電(diàn)塔、畫高壓電(diàn)網的方法在速度上提高了33倍工(gōng)作産出（該方法現在是開(kāi)放(fàng)的報告和模型方法，可供大(dà)家參閱）。

02.高分(fēn)辨率影像解譯和人工(gōng)智能要完成三件事

　　現在人工(gōng)智能（機器學習和深度學習）和高分(fēn)辨率遙感的解譯和應用熱情空前高漲，但是所有業内人士也不能忽略這個問題：如何從高分(fēn)遙感影像中(zhōng)提取可直接應用的數據。

　　這個問題不是專業人士拍拍腦袋就能夠決定的，而是應該從不同應用案例和使用者的角度出發來解譯和整理數據。比如同樣的方法論，我(wǒ)上面提到的應用圖像分(fēn)割從高分(fēn)辨率遙感影像中(zhōng)提取道路系統。城市規劃師需要的數據與交通管理部門不同，澇災情況下(xià)的導航需要的道路系統也與災後重建所需要的不同。

　　道路系統屬性不同，能夠支持不同的工(gōng)作和需求。因此，機器學習算法工(gōng)程師和高分(fēn)辨率遙感影像解譯的工(gōng)作，必須能夠滿足三方面的要求：第一(yī)，數據的完整性；第二，預測的準确性；第三，數據的應用性。其中(zhōng)，第三個條件不應該是最後考慮的，而是要在人工(gōng)智能模型的開(kāi)發過程中(zhōng)貫穿始終。

　　希望我(wǒ)們可以一(yī)起做更多更有意義的工(gōng)作，通過開(kāi)放(fàng)的軟件開(kāi)發服務更多的社區、地區、國家和需要數據的人。

文章轉載泰博網