機器之心分析師網(wǎng)絡(luò)
作者：Yuanyuan Li
編輯：Joni
本文從視覺、追蹤和導(dǎo)航三個方面入手，以近年來的新應(yīng)用為例，帶領(lǐng)讀者一窺機器人與昆蟲之間奇妙的化學(xué)反應(yīng)。
很多工程師的夢想都是創(chuàng)造出能夠在復(fù)雜的環(huán)境下穩(wěn)定勝任一系列任務(wù)——比如行走和導(dǎo)航——的機器人。為了實現(xiàn)這一目標(biāo)，早期的研究者們試圖將機器人身處的環(huán)境抽象化，然后根據(jù)其所可能應(yīng)對的情況和任務(wù)制定一系列規(guī)則，并賦予機器人一定的推理能力。在這段期間, 全世界范圍內(nèi)也許最成功的機器人是名叫赫伯特的機器人。
赫伯特的前身是由西屋電氣工程師 Roy J. Wensley 開發(fā)用來遠(yuǎn)程調(diào)用變電系統(tǒng)的機器人 Televox，僅由一組控制單元組成。Televox 本質(zhì)上是一個聲控系統(tǒng)，為了實現(xiàn)遠(yuǎn)程遙控的目的，該控制單元的一部分放在變電站另一部分則放置于調(diào)度員處。調(diào)度員可以利用 Televox 將指令轉(zhuǎn)為不同的聲音頻率發(fā)送到另一端，經(jīng)過解碼后再執(zhí)行相應(yīng)操作。這一發(fā)明成功后，Wensley 進一步開發(fā)，并將 Televox 包裝為了一個有“臉”、身體和身體的機器人，也就是赫伯特機器人。
圖：世界上最早的機器人之一：Herbert Televox 和其開發(fā)者 Roy J. Wensley
source: https://medium.com/robotics-today/first-humanoid-robot-ever-87df3ee079b0
用今天的眼光來看，赫伯特也許完全算不上智能，因為它主要是靠規(guī)則驅(qū)動的，它的行為與人也并不相似。以當(dāng)時最為人津津樂道的赫伯特作為家庭助手為例，操作人必須按照相對固定的腳本緩慢的向赫伯特傳達命令，有時還必須按下特定的按鈕來進行選擇或確認(rèn)。因為赫伯特并不能真正理解操作人的語音，它只能識別一系列已經(jīng)寫入系統(tǒng)的指令——還是在固定的音節(jié)上。可以說，赫伯特只能在其系統(tǒng)內(nèi)規(guī)定的規(guī)則范圍內(nèi)工作，這與今天大行其道的聯(lián)結(jié)主義 (connectionism) 是不同的。
聯(lián)結(jié)主義， 又稱仿生主義，認(rèn)為心理現(xiàn)象可以用簡單并一致的網(wǎng)絡(luò)——如神經(jīng)網(wǎng)絡(luò)——來描述，不同的行為可以通過這些基礎(chǔ)結(jié)構(gòu)之間復(fù)雜的互動實現(xiàn)，這與人腦工作的方式相似。因此，聯(lián)結(jié)主義追求用簡潔的方式構(gòu)建有通用性的解法，而規(guī)則驅(qū)動的算法則是 case by case，有很大的可能會隨著環(huán)境的復(fù)雜度增加而變得過于龐大。
顯然，隨著擬人機器人的發(fā)展，不少學(xué)者也轉(zhuǎn)向了其他方向來試圖開發(fā)更類人、具有更高智能的機器人。一些研究者將目光投向自然界，試圖從動物——比如昆蟲等結(jié)構(gòu)比較簡單的動物——身上利用聯(lián)接主義進行研究、學(xué)習(xí)和模仿。這不難理解，從昆蟲的神經(jīng)科學(xué)研究上看，昆蟲的神經(jīng)系統(tǒng)比大部分動物都簡單很多，使對昆蟲的大腦建模相對來說簡單。但另一方面，許多昆蟲的大腦在大小、重量上都不值一提，有些甚至還“視力其差”，但這并不影響昆蟲高效、穩(wěn)定的完成覓食和協(xié)作等復(fù)雜的行為。此外，盡管昆蟲的身體類型、行為、棲息地和生活方式種類繁多，但各個物種的大腦組織之間仍存在許多令人驚訝的一致性，這表明它們可能是有效，高效和通用的解決方案。[3]
本文從視覺、追蹤和導(dǎo)航三個方面入手，以近年來的新應(yīng)用為例，帶領(lǐng)讀者一窺機器人與昆蟲之間奇妙的化學(xué)反應(yīng)。
一、視覺場景識別 - A Hybrid Compact Neural Architecture for Visual PlaceRecognition
在視覺場景識別領(lǐng)域，流行的算法大致可以分為兩類：以深度學(xué)習(xí)為代表的更多依賴于計算機科學(xué)的模型，和利用大腦的特性建模的更多依賴于神經(jīng)科學(xué)的模型。本文作者則旨在結(jié)合兩類研究的優(yōu)點，實現(xiàn)新的緊湊而高性能的模型。
視覺位置識別（VPR）是指僅基于圖像所提供的視覺線索，而不使用任何其他信息，來識別圖像中描繪的位置的任務(wù)[6]。對于在現(xiàn)實環(huán)境中長時間運行的任何機器人系統(tǒng)或自動駕駛車輛而言，可靠地執(zhí)行視覺位置識別（VPR）都是一項挑戰(zhàn)。因為同一個地方因為時間，如白天 / 夜晚或天氣 / 季節(jié)周期，的變化可能看起來完全不相似，而多個地方在某些特定的情況下反而可能看起來十分相似。另外一個問題是目前流行的預(yù)訓(xùn)練模型大多是在單個圖像上訓(xùn)練的，雖然這些模型也取得了很好的成績，但是期通常會忽略連續(xù)圖像內(nèi)所蘊含的時間信息。
而昆蟲等生物卻能夠非常有效地從低分辨率數(shù)據(jù)中提取有關(guān)其環(huán)境的信息，它們能夠在各種環(huán)境條件下（不同光照、對比度等）強大地執(zhí)行視覺處理任務(wù)。一般認(rèn)為，昆蟲對位置的識別主要是通過蕈形體（mushroom bodies）實現(xiàn)的。蕈形體是昆蟲或其他節(jié)肢動物和一些環(huán)節(jié)動物如沙蠶腦中的一對結(jié)構(gòu)[7]，其名字來自于其大致半球形的花萼，這個花突通過中樞神經(jīng)束或花序梗與大腦的其余部分相連。下圖標(biāo)亮了果蠅大腦中的蕈形體。蕈形體的結(jié)構(gòu)可以簡化為多層感知器（MLP），它涉及蜜蜂和螞蟻的嗅覺和視覺信息的分類、學(xué)習(xí)和識別。這些昆蟲的感官接受到經(jīng)過密集編碼和高度處理的輸入，并傳遞給蕈形體，后者則將該信息稀疏地連接到蕈形體內(nèi)的大量內(nèi)在神經(jīng)元。
圖：果蠅大腦中的蕈形體
圖源：維基百科 https://en.wikipedia.org/wiki/Mushroom_bodies
根據(jù)果蠅嗅覺神經(jīng)回路的工作機制，作者提出了僅包含兩層全連接層的 FlyNet 算法（FLA）。圖像在預(yù)處理后將以 10% 的采樣率被輸入到第一層網(wǎng)絡(luò)當(dāng)中。當(dāng)?shù)诙尤B接層的輸出其編碼的表示后，僅有 50% 的輸出值將被設(shè)置被 1，其他則被設(shè)置為 0，以獲得一個簡潔的二進制特征表示。該網(wǎng)絡(luò)的具體結(jié)構(gòu)如下圖所示：
圖：FNA 算法圖示
圖源：Chancan, M., Hernandez-Nunez, L., Narendra, A., Barron, A. B., & Milford, M. (2020). A hybrid compact neural architecture for visual place recognition. IEEE Robotics and Automation Letters, 5(2), 993-1000. https://doi.org/10.1109/LRA.2020.2967324
為了處理圖像序列中的時間維度，作者在 FlyNet 上疊加了一個一維連續(xù)吸引子神經(jīng)網(wǎng)絡(luò)（continuous attractor neural network, CANN）。CANN 也是一個典型的仿生智能例子——一般認(rèn)為大腦在執(zhí)行一些計算任務(wù)時會采用特定結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，CANN 就是基于此而開發(fā)的。CANN 由吸引子組成，它們之間有局部連接。此外，網(wǎng)絡(luò)內(nèi)有興奮性與抑制性的兩種活動，從而保證網(wǎng)絡(luò)即能夠形成有意義的空間活動，又不會在正反饋的疊加下爆炸。因此一個吸引子可以使用興奮性和抑制性連接來激發(fā)或抑制自身以及附近的吸引子。CANN 在數(shù)學(xué)表示和結(jié)構(gòu)上具有良好的特性，如空間平移不變性 [8]。
圖：（A）朝向編碼的一維 CANN 的圖示（B）一維 CANN 的穩(wěn)定狀態(tài)，每個吸引子對應(yīng)一個高斯波包活動狀態(tài)。
圖源：Wu, S., Wong, K. Y., Fung, C. C., Mi, Y., & Zhang, W. (2016). Continuous Attractor Neural Networks: Candidate of a Canonical Model for Neural Information Representation. F1000Research, 5, F1000 Faculty Rev-156. https://doi.org/10.12688/f1000research.7387.1
在本文中，由 FlyNet 輸出的二進制圖像特征將被輸入到 CANN 中，如下圖所示，以達到對 FlyNet 的輸出進行時間濾波的目的。
圖：FlyNet+CANN 混合神經(jīng)網(wǎng)絡(luò)架構(gòu)
圖源：Chancan, M., Hernandez-Nunez, L., Narendra, A., Barron, A. B., & Milford, M. (2020). A hybrid compact neural architecture for visual place recognition. IEEE Robotics and Automation Letters, 5(2), 993-1000. https://doi.org/10.1109/LRA.2020.2967324
作者在 Nordland 和 Oxford RobotCar 數(shù)據(jù)集上 FlyNet + CANN 以及目前的 SOTA 算法進行了對比，指標(biāo)為 AUC （area under curve）。該數(shù)據(jù)集內(nèi)的圖像大多為 1000*1000 以上的較高分辨率圖像，但在測試 FlyNet + CANN 時作者將其一概下采樣為 32*64 的灰度圖像。考慮到分辨率的大幅下降，這個信息損失還是很驚人的。個別 SOTA 算法使用了 VGG16 等對圖像分別率有要求的結(jié)構(gòu)，因而作者沒有將圖像也圖樣下采樣到 32*64， 但有將最終輸出的特征進行下采樣到 FlyNet 輸出特征一樣的維度。
下圖顯示了 FlyNet + CANN 和 SOTA 算法的對比結(jié)構(gòu)。在 Nordland 數(shù)據(jù)集上，MPF 表現(xiàn)更好，AUC 達到了驚人的 100%，能夠同時在秋冬轉(zhuǎn)換下準(zhǔn)確的識別所有位置。FlyNet + CANN 和 SeqSLAM 的表現(xiàn)相似，并且在冬季和夏季的數(shù)據(jù)上的表現(xiàn)也比較平衡。基于語義的 LoST-X 的精度則在冬季數(shù)據(jù)上大幅下降，導(dǎo)致了最低的 AUC。
與 Nordland 不同，Oxford RobotCar 數(shù)據(jù)集帶來了日夜轉(zhuǎn)換的挑戰(zhàn)。下圖中可以看到所有模型在夜景數(shù)據(jù)上的 AUC 都有或多或少的下降，SeqSLAM 的 AUC 更是降到幾乎為零。在這一數(shù)據(jù)集上，F(xiàn)lyNet + CANN 取得了最高的 AUC 并且在夜景上的表現(xiàn)也沒有過多下降。
圖：（上）：Precision Recall 曲線 （左）Nordland （右）Oxford RobotCar
（下）：AUC （左）Nordland （右）Oxford RobotCar
圖源：Chancan, M., Hernandez-Nunez, L., Narendra, A., Barron, A. B., & Milford, M. (2020). A hybrid compact neural architecture for visual place recognition. IEEE Robotics and Automation Letters, 5(2), 993-1000. https://doi.org/10.1109/LRA.2020.2967324
當(dāng)然，作者使用基于仿生研究的模型結(jié)構(gòu)的一大目的是獲得能耗較低但運行速度夠快的模型，根據(jù)作者對 1000 張圖片的平均位置識別時間的統(tǒng)計，F(xiàn)lyNet + CANN 可以達到每秒 16.66 幀的查詢速度，比排名第二快模型還要快 1.5 倍以上。這一點為仿生神經(jīng)網(wǎng)絡(luò)對比 CNN 提供了強大的競爭力——即便目前的相關(guān)研究也很活躍，但 CNN 的能耗和推理速度仍然為在移動端部署模型帶來了不小的挑戰(zhàn)。而基于昆蟲大腦的 FlyNet + CANN 等神經(jīng)網(wǎng)絡(luò)，可以將模型參數(shù)控制在百萬以內(nèi)，并且沒有在模型表現(xiàn)上落后太多。此外，F(xiàn)lyNet + CANN 也繼承了昆蟲的另一特性——在低分辨率下進行計算，從計算角度直接保證了模型的實時推理的可行性。
二、追蹤 - An autonomous robot inspired by insect neurophysiology pursues moving features in natural environments
計算機視覺和機器人應(yīng)用往往需要在移動平臺上實現(xiàn)強大而有效的目標(biāo)跟蹤算法，但就目前的人工視覺系統(tǒng)的表現(xiàn)而言，在雜亂的背景下檢測和跟蹤移動物體仍是最具挑戰(zhàn)性的任務(wù)之一，更遑論對實時系統(tǒng)的部署。而昆蟲的視覺系統(tǒng)，則為研究者們提供了一個理想的視覺追蹤系統(tǒng)的完美例子。許多飛行昆蟲，例如蜻蜓，都能夠檢測、選擇和追捕微小的獵物或同種動物。更令人咋舌的是，昆蟲僅有限的視覺分辨率（ 0.5°）、尺寸相對較小的大腦（小于 2 mm 寬）和重量輕和低功率的神經(jīng)元結(jié)構(gòu)用于處理數(shù)據(jù)。
本文作者們在之前數(shù)年的研究中已經(jīng)通過細(xì)胞內(nèi)電生理技術(shù)來記錄昆蟲視神經(jīng)葉內(nèi)的神經(jīng)元活動，并確定了一組與目標(biāo)的檢測和追蹤相關(guān)的神經(jīng)元，作者將其命名為“小目標(biāo)運動檢測器”（small target motion detectors, STMD)。基于這些生理數(shù)據(jù)，作者開發(fā)了用于局部目標(biāo)識別的非線性“基礎(chǔ) STMD”（Elementary- STMD， ESTMD）模型（Wiederman 等人，2008），并在 VR 模擬環(huán)境中對該追蹤系統(tǒng)進行了測試。在本篇論文中，作者主要實現(xiàn)了整套追蹤模型在機器人平臺上的部署，并在室內(nèi)和室外環(huán)境對該機器人進行了詳盡的測試。
下圖中，作者給出了整個系統(tǒng)的工作流程，所有功能在 Husky A200（Clearpath RoboticsTM）平臺上實現(xiàn)。機器人身上裝有一個 Blackfly 相機，用于獲取機器人所處環(huán)境的視覺輸入。相機輸出用作昆蟲啟發(fā)的目標(biāo)跟蹤模型的輸入，該模型包括：
1）圖像預(yù)處理（early visual processing）：該模塊主要用于模擬飛行昆蟲中光學(xué)，感光體和大型單極細(xì)胞（large monopolar cells ， LMC）的響應(yīng)特性。由于飛行昆蟲的光學(xué)器件受到小平面透鏡內(nèi)的衍射和其他形式的光學(xué)干涉的限制，針對輸入的圖像，作者首先使用高斯低通濾波器對這種光學(xué)模糊進行建模，這與典型的日間活動昆蟲的光學(xué)采樣相似（Stavenga，2003 年）。為在算法的敏銳度和計算效率之間取得平衡，作者還以 1° 的間隔對捕獲的圖像進行二次采樣。另外，作者選擇僅處理 RGB 圖像的綠色通道來模擬飛行昆蟲運動路徑的綠色光譜敏感性。接下來，這一模塊中還有時間共同濾波和空間高通濾波，以進一步去除多余的信息。
2）目標(biāo)匹配濾波（Target Matched Filtering，ESTMD 階段）：這一模塊主要模擬的是昆蟲第二視神經(jīng)網(wǎng)（2nd optic neuropil）內(nèi)的 Rectifying transient cells（RTC）。RTC 對光增量（ON 通道）或減量（OFF 通道）具有獨立的適應(yīng)性，在實際實現(xiàn)中，作者通過半波整流（half-wave rectification， HWR1）對 ON 和 OFF 通道的分離進行建模。接下來，生成的 ON 和 OFF 的通道數(shù)據(jù)需要通過快速適應(yīng)模塊，其中適應(yīng)狀態(tài)由切換其時間常數(shù)的非線性濾波器確定。當(dāng)輸入增加時，時間常數(shù)為“快”（3 毫秒），減少時則為“慢”（70 毫秒）。此外，作者使用了強烈的空間中心包圍對抗（spatial centre-surround antagonism），使得每個通道周圍都抑制了其最近的鄰居。時間適應(yīng)減少了對背景紋理的響應(yīng)，而強烈的空間中心包圍對抗則傳達了對局部邊緣特征的選擇性。在此輸出上，作者添加了第二個半波整流，用于消除負(fù)值。到了這一步，在前進方向上，小目標(biāo)將會首先表現(xiàn)為亮度的升高（或下降），經(jīng)過短暫的延遲后才出現(xiàn)相應(yīng)的下降（或升高）。為了充分利用這一特征，作者每個通道的輸出與相對通道的延遲版本（下圖標(biāo)記為低通濾波器（LP_ESTMD））相乘，然后對輸出求和。這能夠賦予最終系統(tǒng)足夠的目標(biāo)靈敏度，而與目標(biāo)相對于背景的對比極性無關(guān)。
3）ESTMD 輸出融合（Integration and facilitation of ESTMD output）：在這一模塊中，處理后的信息將被用于兩個方面。一方面，機器人需要根據(jù)輸入的信息推斷追蹤目標(biāo)的位置。輸入這一模塊的數(shù)據(jù)首先需要通過雙曲正切 “激活” 函數(shù) S（x），以保證所有數(shù)據(jù)值都在于 0 和 1 之間，其中的最大值將被認(rèn)為是當(dāng)前位置估計 r(t)。另一方面，由于目標(biāo)追蹤是一個連續(xù)的過程，將此前的信息連續(xù)不斷的與最新的視覺信息整合起來是必須的。為了模擬昆蟲更新信息的融合機制（facilitation mechanism），研究者們可以將當(dāng)前的位置根據(jù)目標(biāo)速度矢量進行相應(yīng)的偏移——以作為對目標(biāo)未來位置的估算——然后加權(quán)更新系統(tǒng)地圖（Nordstr m 等人，2011; Dunbier 等人，2011; 2012）。在本文中，通過將當(dāng)前位置估計（r（t））與由 Hassenstein-Reichardt 基本運動檢測器提供的目標(biāo)速度矢量（v（t））的估計值相乘，并乘以采樣時間，可以計算出預(yù)測目標(biāo)位置（r’(t+1)）。接下來，作者使用 2D 高斯核 FG（r"）來實現(xiàn)軌跡估計和實際觀察到的數(shù)據(jù)之間的融合。文中使用的 2D 高斯核 FG（r"）相當(dāng)于昆蟲神經(jīng)元的感受野之間有 50％的重疊。該輸出上將被疊加一個低通濾波器（LP_Fac），處理后的信息將會被用于與下一次的輸入信息進行融合，以提供目標(biāo)在此前的運動軌跡。融合的強度由時間常數(shù) τf 控制，其可以決定 r(t) 周圍的位置將被增強多久。
4） 掃視追蹤算法（Saccadic Pursuit Algorithm）：在飛行過程中，昆蟲會繞頭移動（saccadic head movements），這是一種 “急速” 轉(zhuǎn)彎——即短而快速的偏航轉(zhuǎn)彎以改變注視方向。為了模擬這一行為，在成功的從視覺線索中識別目標(biāo)并確定其位置后，追蹤算法需要決定相應(yīng)的前進速度，并保持目標(biāo)始終在自己的視野中心內(nèi)。當(dāng) ESTMD 輸出的位置估計從視場中心移出超過 5° 時，機器人會重新掃視自己的視野并計算需要調(diào)整的角度，來模擬昆蟲行為中看到的這種繞頭移動。使目標(biāo)保持在視野內(nèi)的特定角度位置。
圖：目標(biāo)追蹤的閉環(huán)流程
圖源：Bagheri, Zahra & Cazzolato, Ben & Grainger, Steven & O"Carroll, David & Wiederman, Steven. (2017). An autonomous robot inspired by insect neurophysiology pursues moving features in natural environments. Journal of Neural Engineering. 14. 046030. 10.1088/1741-2552/aa776c.
在實際測試中，作者使用不同大小——直徑 65mm 或 100mm——和不同顏色——黑色、深灰、淺灰、白色等——的泡沫球來代表目標(biāo)。泡沫球被用類似于魚線的透明細(xì)線懸掛于離地面 50-150cm 的高度，并按照固定的軌跡以 0.06m/s 或 0.12 m/s 的速度前進，以代表慢速和快速的目標(biāo)。在實驗過程中，如果機器人在泡沫球完成其運動軌跡之前能夠前進至泡沫球一米之內(nèi)，就認(rèn)為追蹤成功了。
由于相機硬件的限制，機器人只能以 20 Hz 的頻率對所處環(huán)境進行采樣并跟蹤目標(biāo)。整個實驗可以在戶外進行，也可以通過將周圍環(huán)境投影到墻壁上在室內(nèi)進行。由于室外環(huán)境的挑戰(zhàn)更強，筆者將著重關(guān)注該機器人在室外的表現(xiàn)。
圖：機器人的視頻輸出樣例，用以顯示室外實驗的環(huán)境條件。
圖源：Bagheri, Zahra & Cazzolato, Ben & Grainger, Steven & O"Carroll, David & Wiederman, Steven. (2017). An autonomous robot inspired by insect neurophysiology pursues moving features in natural environments. Journal of Neural Engineering. 14. 046030. 10.1088/1741-2552/aa776c.
內(nèi)部模型對目標(biāo)檢測的影響
如前文提到的，在飛行過程中，昆蟲會繞頭移動以使目標(biāo)保持在視野內(nèi)的特定角度位置。然而，這些掃視運動會導(dǎo)致視網(wǎng)膜圖像的頻繁且大量的移位。因此，在掃視過程中昆蟲需要利用眼睛或身體的運動來調(diào)節(jié)視覺輸入，以將視覺注意力轉(zhuǎn)移到正確的位置。一些研究認(rèn)為飛行昆蟲體內(nèi)有一種內(nèi)部模型 （internal model）來對這種掃視運動進行預(yù)測和計劃。為了衡量這種內(nèi)部模型對于追蹤成功率的影響，作者比較了開環(huán)（open-loop）和閉環(huán)（closed-loop）控制下的追蹤成功率。在閉環(huán)控制中，機器人系統(tǒng)可以根據(jù)運動傳感器的信息，將融合了 ESTMD 的輸出后的位置信息重新定位到完成掃視運動后的相應(yīng)位置，而在開環(huán)控制實驗中機器人則沒有這類運動傳感器數(shù)據(jù)。
結(jié)果——如下圖（a）顯示，閉環(huán)系統(tǒng)的目標(biāo)檢測成功率的中位數(shù)為 59%，而在開環(huán)系統(tǒng)中，檢測成功的中位數(shù)則直接下降到 48％，因而顯示了內(nèi)部模型在跟蹤目標(biāo)檢測中的重要作用。
信息融合對目標(biāo)檢測的影響
在機器人系統(tǒng)的第三部分內(nèi)，作者實現(xiàn)了一個信息協(xié)助機制（facilitation mechanism），從而提高目標(biāo)相對于其周圍壞境的對比度。為了量化該協(xié)助機制的作用，作者選取了機器人在實驗一開始難以盡快檢測到目標(biāo)，但在追蹤過程中后來又將其鎖定的視頻圖像。在這些圖像中，作者人為的選取目標(biāo)在第一幀中的位置，并將其作為融合機制中目標(biāo)的未來位置，從而提供一個對目標(biāo)位置的初識估計。整個過程可以持續(xù) 200 毫秒或 500 毫秒。
接下來，作者比較了在系統(tǒng)成功將目標(biāo)鎖定之前的幀內(nèi)，系統(tǒng)有（200 ms 或 500 ms）或無目標(biāo)初始位置估計的目標(biāo)檢測成功率。200 ms 和 500 ms 的目標(biāo)初始位置的估計和信息融合將成功目標(biāo)檢測的中位數(shù)提高到 29％和 34％，相比之下，無目標(biāo)初始位置的估計情況下的成功率是 3％， 如下圖（b）所示。這些結(jié)果表明，信息融合機制的存在可以有效的將注意力引導(dǎo)到目標(biāo)位置，從而提高檢測成功率。
圖：a）內(nèi)部模型對目標(biāo)檢測的影響， b）信息融合機制可增強目標(biāo)相對于其周圍壞境的對比度
圖源：Bagheri, Zahra & Cazzolato, Ben & Grainger, Steven & O"Carroll, David & Wiederman, Steven. (2017). An autonomous robot inspired by insect neurophysiology pursues moving features in natural environments. Journal of Neural Engineering. 14. 046030. 10.1088/1741-2552/aa776c.
目標(biāo)對比度的重要性
作者在閉環(huán)追蹤中量化了目標(biāo)相對于環(huán)境的對比度的影響。下圖 （a）中的框線圖總結(jié)了追蹤過程中的平均目標(biāo)對比度，框內(nèi)的紅線是平均對比度的中位數(shù)，兩端則是 25％和 75％分位數(shù)，剩余的紅色小點是 outlier。盡管在實驗過程中光照條件會發(fā)生變化，因此目標(biāo)對比度也會發(fā)生變化，但不同實驗的平均對比度中位數(shù)實際上是相似的。如果將目標(biāo)對比度平均分為 5 個水平，并計算其相應(yīng)的追蹤成功率——其中不同的曲線對應(yīng)機器人在融合位置信息時使用的不同的時間常數(shù) τf ——如圖 （b）所示，我們可以得出一些有趣的結(jié)論。
首先——不出意料的——可以看出高目標(biāo)對比度對實現(xiàn)高追蹤成功率是相當(dāng)有效的。當(dāng)目標(biāo)對比度較低時，由于檢測到目標(biāo)的成功率已經(jīng)很低，使用不同的時間常數(shù) τf 基本沒有任何影響，時間常數(shù)的最大影響是當(dāng)目標(biāo)對比度大于 0.3 時。作者認(rèn)為，由于目標(biāo)對比度在追蹤過程中會發(fā)生變化，在實際使用時如果能夠在目標(biāo)對比度較高時使用合適的時間常數(shù)建立高效的融合機制，并在隨后追蹤中僅試圖 “鎖定” 在對比度降低的目標(biāo)上，將會大大提高追蹤的成功率。
圖：目標(biāo)對比度對于追蹤成功率的影響
圖源：Bagheri, Zahra & Cazzolato, Ben & Grainger, Steven & O"Carroll, David & Wiederman, Steven. (2017). An autonomous robot inspired by insect neurophysiology pursues moving features in natural environments. Journal of Neural Engineering. 14. 046030. 10.1088/1741-2552/aa776c.
毫無疑問的，本文中受昆蟲的生物結(jié)構(gòu)啟發(fā)而實現(xiàn)的各類模塊使得機器人在低目標(biāo)對比度、存在噪聲的環(huán)境等的環(huán)境中表現(xiàn)的穩(wěn)健型有了提高，并且系統(tǒng)的成功率與模擬（simulation）計算出的成功率相似。但是，該系統(tǒng)也有一些美中不足的地方 —— 在信息融合機制中，由于需要對目標(biāo)的未來位置進行估計，對當(dāng)前目標(biāo)速度的估計是很重要的。而作者僅簡單的使用了目標(biāo)的當(dāng)前速度并將分為 “慢”，“中” 或“快”三等。這不可避免的導(dǎo)致了位置估計的誤差，從而影響了系統(tǒng)的表現(xiàn)。另外，當(dāng)機器人運動時，其一定會受到震動產(chǎn)生的力和振動的影響。振動會削弱信息的獲取、運動信息的命令輸出或?qū)⑤斎胄畔⑴c輸出運動命令相關(guān)聯(lián)的過程。昆蟲通過減少振動傳遞到頭部 / 復(fù)眼的方式——即頭和身體獨立轉(zhuǎn)動——來減少其對視覺的影響。這種 “主動視覺” 在本文的機器人系統(tǒng)上并沒有被實現(xiàn)。
本文其他的局限性主要來自于硬件系統(tǒng)——在當(dāng)前的研究中，攝像機的幀數(shù)較低（20 fps），因而限制了機器人和目標(biāo)的速度。而像蜻蜓等昆蟲的飛行速度可以達到 6.8 m/s，也就是說，目前在地面上緩慢移動的機器人平臺無法像蜻蜓那樣處理同等水平的動態(tài)能量和運動控制難題。要實現(xiàn)高處理速度和低計算復(fù)雜度，就必須轉(zhuǎn)向高速攝像頭，并處理隨之的數(shù)據(jù)處理和能耗要求。不難想象，如果以上問題都能夠解決的話，該模型最理想的實現(xiàn)平臺應(yīng)該是無人機等空中平臺。
三、導(dǎo)航：The Central Complex as a Potential Substrate for Vector Based Navigation
接下來，我們的目標(biāo)轉(zhuǎn)向在地面上活動的昆蟲 —— 螞蟻等昆蟲具有強大的導(dǎo)航能力。一般認(rèn)為，這類昆蟲利用其大腦內(nèi)的中心復(fù)合體（central complex）來實現(xiàn)與導(dǎo)航，方向和空間學(xué)習(xí)緊密相關(guān)的功能，上面的神經(jīng)回路會通過稱為路徑整合（path integration ，PI）的過程來跟蹤它們在巢外的移動情況。目前，建立在神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)數(shù)據(jù)基礎(chǔ)上的最新模型已經(jīng)可以解釋 PI 系統(tǒng)是如何控制昆蟲在巢外環(huán)境探索并準(zhǔn)確返回巢穴的——通過結(jié)合體內(nèi)的指南針和速度信息，該系統(tǒng)可以不斷更新原點矢量（home vector），用以記錄目前其相對于巢穴的位置和方向——其中振幅用于記錄距離，相位用于記錄方向——從而允許昆蟲在外行進任意路線之后直接返回巢穴。但是，昆蟲不會僅將 PI 系統(tǒng)用于歸巢。例如，他們還可以利用該系統(tǒng)存儲向量信息（PI vector-memories）以返回到已知的食物位置，并在多個食物位置之間尋找捷徑。對昆蟲這種行為的實現(xiàn)可以提供基于矢量的豐富導(dǎo)航功能。
本文實現(xiàn)的中心復(fù)合體神經(jīng)模型一共有五層，如下圖所示。第一層分為兩部分，分別由用于獲取智能體（Agent）當(dāng)前的速度 （speed）的 TN_2 神經(jīng)元和和用于獲取前進方向（directional）的 TL 神經(jīng)元組成。后者包含 16 個輸入神經(jīng)元，每個輸入神經(jīng)元都優(yōu)先響應(yīng)一個特定方向 α∈ 。通過判斷哪個神經(jīng)元被激活了，就可以得出智能體的前進方向。在實驗中，智能體每走一步都會收到其目前的前進方向 α 和應(yīng)該前進方向 θ ∈ [0, 2π) 之差的余弦值作為輸入。
第二層由 16 個神經(jīng)元組成，主要作為方向單元（direction cells）用以模擬昆蟲體內(nèi)的 CL1 神經(jīng)元，這些神經(jīng)元接收與前一層方向?qū)拥妮敵龀杀壤囊种戚斎搿＿@些方向單元劃分了方位角空間（azimuthal space ），并互相抑制，從而形成一個環(huán)形吸引電路（ring attractor circuit)，然后以正弦曲線形式產(chǎn)生穩(wěn)定的分布圖案。
第三層主要實現(xiàn)指南針（compass）功能，由 8 個神經(jīng)元組成，它們從前一層中具有相同方向偏好的每對 CL 神經(jīng)元中獲取輸入。這些神經(jīng)元與中心復(fù)合體的前腦橋中的 TB1 神經(jīng)元相同，它們也以類似于環(huán)形吸引電路的特定模式相互抑制連接。
第四層負(fù)責(zé)速度累加（Speed Accumulation），由 16 個神經(jīng)元組成，主要模擬中心復(fù)合體上的 CPU_4 細(xì)胞，每個從 8 個 TB1 神經(jīng)元和上一層的 CL_1 神經(jīng)元獲取輸入。這些神經(jīng)元實際上是一組積分單元（integrator cells ），負(fù)責(zé)結(jié)合方向和速度信息。值得注意的是，其速度輸入是受到其相應(yīng)方向單元的抑制的，因此神經(jīng)元累積會與航向相反的行進距離，從而創(chuàng)建了原點矢量的分布式表示形式。
到這一步，作者額外添加了“向量記憶”（vector memory）神經(jīng)元，該神經(jīng)元可以存儲第 4 層的輸出狀態(tài)，進而在該輸出到達第 5 層之前對其進行調(diào)制（modulation）。具體來說，系統(tǒng)需要將利用記憶神經(jīng)元的突觸權(quán)重（synaptic weights）——兩個節(jié)點之間聯(lián)系的強度或幅度——實現(xiàn)向量記憶。當(dāng)智能體發(fā)現(xiàn)食物后——當(dāng)然這在此后的研究中可以被替換為更廣泛的事件類型——智能體將會將當(dāng)前的原點矢量存儲到記憶神經(jīng)元中。這樣，智能體可以在之后回到它存儲原點矢量的位置。當(dāng)智能體回到巢穴后，第四層的輸出在理想狀態(tài)下應(yīng)該為 0 ——因為它距離原點，也就是巢穴的距離為 0——因此，第四層中任何非零的輸出都就代表了整個路徑中的錯誤。利用這一“錯誤向量”，智能體可以對其存儲的最后一個向量進行重新校準(zhǔn)。
第五層模擬的是中央復(fù)合體的 CPU1 神經(jīng)元，負(fù)責(zé)輸出智能體的轉(zhuǎn)向（steering）。它們接收來自第三層的指南針輸入，以及第四層中經(jīng)過向量內(nèi)存調(diào)制（modulated）的原點向量。根據(jù)智能體的行動目的——比如歸巢或覓食——神經(jīng)元可以有選擇性的接受輸入信息。
圖：中央復(fù)合體模型中的大概結(jié)構(gòu)和主要連接
圖源：Le Mo l, F., Stone, T., Lihoreau, M., Wystrach, A., & Webb, B. (2019). The Central Complex as a Potential Substrate for Vector Based Navigation. Frontiers in psychology, 10, 690.
作者在 Python 2.7 中搭建了模擬環(huán)境，主要包括一個巢穴（nest），幾個食物點（feeders）和一些障礙物。巢穴和食物點都用圓形表示，并且其直徑相對于模擬環(huán)境是較小的，但其會散發(fā)出一些特定的嗅覺信息，使得智能體在到達巢穴和食物附近后能夠被吸引過來。而障礙物則可以是任意形狀的，它會在很小的半徑范圍內(nèi)發(fā)出排斥信號來迫使智能體轉(zhuǎn)向。在測試中，智能體可以從外部參考系中獲取有關(guān)其前進方向和速度的信息，如果智能體能夠成功進入到巢穴或食物的半徑范圍內(nèi)，就視為該測試成功。
作者首先測試了向量記憶是否可用于計算兩個已知位置之間的捷徑（shortcutting）。該測試目的，從幾何上來說，如果智能體存儲了兩個從不同位置指向巢穴的原點矢量 F_1 和 F_2（下圖中的綠色箭頭和紫色箭頭），那么當(dāng)智能體處于 F_1 時，對 F_1 和 F_2 之間做減法，可以形成一個平行四邊形，也就是可以得到從 F_1 直接前往 F_2 的捷徑（下圖中的深橘色箭頭）。
圖：昆蟲如果利用其存儲的向量可以計算多個目的地之間的捷徑
圖源：Le Mo l, F., Stone, T., Lihoreau, M., Wystrach, A., & Webb, B. (2019). The Central Complex as a Potential Substrate for Vector Based Navigation. Frontiers in psychology, 10, 690.
在實驗過程中，智能體需要通過隨機游走（random walk）——從而模擬昆蟲探索周圍環(huán)境的行為——獨立的發(fā)現(xiàn)兩處食物點并將其對應(yīng)的原點矢量存儲在向量記憶中。然后，智能體首先需要根據(jù)其記憶返回其中一個食物點，其記憶中的另一個原點向量將在到達后被激活，用以計算從當(dāng)前食物點直接前往下一食物點的捷徑。作者衡量了到達第二個食物點的成功率，前往第二個食物點的路徑的平直性，以及離開第一個食物點的角度誤差。在 212 次實驗中，有 193 次智能體成功到達了第一個食物點，這其中到達第二個食物點的成功率高達 89.6%。
圖：利用向量記憶尋找捷徑。（A）智能體現(xiàn)在有兩個不同的向量記憶神經(jīng)元可用，但一次只能調(diào)用一個。（B）當(dāng)智能體調(diào)用第一個向量到達 F1 后，有關(guān) F2 的向量記憶會被激活，并通過向量之間的加減法計算從當(dāng)前位置前往 F2 的捷徑。半透明的線分別代表 100 次重復(fù)實驗，其中一次實驗用實線更清晰的標(biāo)記出來用作示例。
圖源：Le Mo l, F., Stone, T., Lihoreau, M., Wystrach, A., & Webb, B. (2019). The Central Complex as a Potential Substrate for Vector Based Navigation. Frontiers in psychology, 10, 690.
接下來，作者測試了智能體在需要依次訪問多個食物點的時候能不能找到全局最短路徑（multi-location routes）。這個測試一共有三種情況，第一種情況是正陣列（positive array），智能體一共需要訪問五個食物點，每次僅簡單的訪問最近的下一個食物點就可以形成全局最短路徑；第二種情況時負(fù)陣列（negative array），智能體需要訪問六個食物點，但簡單的訪問最近鄰與全局最短路徑是不等價的；第三種情況也是負(fù)陣列，智能體需要訪問十個食物點。已知在自然界中蜜蜂可以很好的處理前兩種情況，但無法在第三種情況中找到最優(yōu)解。每一種情況的食物點分布和最優(yōu)路徑如下圖所示。
圖：全局最短路徑測試 （A）智能體現(xiàn)在有多個不同的向量記憶神經(jīng)元可用，但一次仍然只能調(diào)用一個；（B）正陣列（5 個食物點）測；（C）負(fù)陣列（6 個食物點）測試；（D）負(fù)陣列（10 個食物點）測試。左：中黑色的箭頭的寬度與該線路出現(xiàn)的頻率成正比；右上角：智能體最常選擇的路線；右下角：單個路徑示例
圖源：Le Mo l, F., Stone, T., Lihoreau, M., Wystrach, A., & Webb, B. (2019). The Central Complex as a Potential Substrate for Vector Based Navigation. Frontiers in psychology, 10, 690.
在實驗開始之前，作者首先保證每個食物點都在 100 次以上隨機游走過程被智能體發(fā)現(xiàn)，然后對其存儲的向量記憶求均值，從而獲得關(guān)于每個食物點的精確的向量記憶，以排除位置誤差在本次實驗中的影響。然后在測試中，一次向外旅行（outward trip）對應(yīng)于一個智能體離開巢穴，根據(jù)其向量記憶計算新路線或簡單的追蹤其記憶，并在找到所有食物點或達到時間限制后返回巢穴。在旅行過程中，智能體可以隨時根據(jù)當(dāng)前的 CPU4 激活值減去其向量記憶，產(chǎn)生的最小值所對應(yīng)的向量記憶將被選擇為當(dāng)前調(diào)用的向量記憶，從而驅(qū)動智能體的活動路徑。由于這類計算沒有時間限制，如果最小值正好變化了，它可能在任何時刻調(diào)用不同的向量記憶并改變路徑。當(dāng)沒有任何向量記憶可以調(diào)動后，智能體會直接返回巢穴。
每一種情況都被重復(fù)測試了 500 次以上，作者選取了測試中智能體成功在時間限制之內(nèi)到達每個食物點然后返回巢穴的路徑，計算了智能體造訪食物點的順序，完整路線的形狀和頻率以及食物點間的個別移動。
在第一種情況中（正陣列），智能體一種有 5 ！= 120 條可能的路線來訪問此陣列中的 5 個食物點。在 500 次重復(fù)實驗中，94.20％的智能體都成功完成了測試，其中有 77.71％（r = 366）和 15.07％（r = 71）的智能體使用了兩種最佳路線（逆時針和順時針；5、4、3、2、1 和 1、2， 3、4、5），有 1.49％ 和 0.64％ 的智能體選擇了次佳路線，僅有不到 3% 的智能體使用另外的 8 中路線，剩余的 108 條可能路線則從來沒有被選擇過，這與學(xué)者們在蜜蜂中觀察到的情況非常相似。
在第一個負(fù)陣列中，智能體一共有 6 ！= 750 條可能的路線來訪問 6 個食物點，有 94% 的智能體都成功的通過了測試。雖然在其中，至于 2.77％ 的智能體選擇了最佳路線（1、2、3、4、5、6），但作者發(fā)現(xiàn)有 47.23％ 的智能體選擇了次優(yōu)路線。剩下的智能體則選擇了其他路徑，同樣的，有大量的路徑 （711 條）從來沒有被選擇過。
可能的路徑總數(shù)隨著食物點的增加是呈指數(shù)級增長的，在第二個負(fù)陣列中，智能體一共有 10！= 3628800 條可能的路線來訪問 10 個食物點。所有實驗中仍然有 95.40％ 的智能體成功的完成了測試，但相比于前兩種情況，智能體的路徑選擇更多樣化，500 次實驗中一共有 371 條不同的路徑被選擇了。因而，作者也無法像此前的實驗一樣從中計算出一條具有代表性的典型路徑來。相對來說，最經(jīng)常被選擇的四條路徑在長度上不是最優(yōu)的，同時也不是僅僅選擇最近鄰而形成的路線。接下來的三條最常被選擇的路徑是最優(yōu)路徑之一，但僅有 1.05％ 的智能體選擇了它們。這次實驗的結(jié)果顯示了強烈的隨機性，作者認(rèn)為主要是由兩個原因?qū)е碌模?）食物點間較短的相對距離會導(dǎo)致較大的方向誤差，2）不同食物點之間的距離相似，導(dǎo)致當(dāng)前向量記憶的選擇更加隨機。
整體來說，這篇文章證明了對矢量的操縱是對觀察到的昆蟲導(dǎo)航系統(tǒng)的高度簡約的解釋。它既符合解剖學(xué)模型， 同時在實現(xiàn)上足夠簡單，產(chǎn)生的結(jié)果也與對實際昆蟲的觀測結(jié)果相符。本文中使用的向量記憶是新穎的，它可以校正 PI 機制中積累產(chǎn)生的誤差，并且可以有效的在不同目的地之間計算捷徑。但本文沒有考慮到 PI 機制如何可以與其他導(dǎo)航線索結(jié)合起來——眾所周知螞蟻等昆蟲會從腹部末端的肛門和腿上的腺體里分泌帶有特殊氣味的化學(xué)物質(zhì)，以提供氣味路標(biāo)。這在原點矢量的位置不準(zhǔn)確的時候?qū)峁O大的幫助。
結(jié)語
很顯然，目前以模擬昆蟲的功能實現(xiàn)智能系統(tǒng)的研究還處在一個比較早期的階段，我們要在終端產(chǎn)品上見到這些系統(tǒng)還需要一段時間。但仿昆蟲大腦的智能，乃至仿生智能，仍然為更一般的神經(jīng)啟發(fā)式 AI 提供了曙光。目前流行的深度學(xué)習(xí)，能夠從大型數(shù)據(jù)集提取模式并獲得超出人類水平的表現(xiàn)。但在半監(jiān)督和無監(jiān)督學(xué)習(xí)領(lǐng)域，開發(fā)出能夠自我標(biāo)記新類示例的算法仍然是一個挑戰(zhàn)。盡管這些任務(wù)對于人類來說似乎微不足道，缺乏推理能力的深度學(xué)習(xí)算法仍難以與人類的性能相匹配。神經(jīng)啟發(fā)的 AI——或仿生智能——則提供了新的機會，因為它可能可以直接跳過我們目前常用的解題思路來解決這些難題。一旦研究者們能取得突破，人類對自然界智能的認(rèn)知又將再上一個臺階。
參考文獻
[1] Chancan, M., Hernandez-Nunez, L., Narendra, A., Barron, A. B., & Milford, M. (2020). A hybrid compact neural architecture for visual place recognition. IEEE Robotics and Automation Letters, 5(2), 993-1000. https://doi.org/10.1109/LRA.2020.2967324
[2] Chance, F. S., Aimone, J. B., Musuvathy, S. S., Smith, M. R., Vineyard, C. M., & Wang, F. (2020). Crossing the Cleft: Communication Challenges Between Neuroscience and Artificial Intelligence. Frontiers in computational neuroscience, 14, 39. https://doi.org/10.3389/fncom.2020.00039
[3] Webb, Barbara. (2020). Robots with insect brains. Science. 368. 244-245. 10.1126/science.aaz6869.
[4] Bagheri, Zahra & Cazzolato, Ben & Grainger, Steven & O"Carroll, David & Wiederman, Steven. (2017). An autonomous robot inspired by insect neurophysiology pursues moving features in natural environments. Journal of Neural Engineering. 14. 046030. 10.1088/1741-2552/aa776c.
[5] Le Mo l, F., Stone, T., Lihoreau, M., Wystrach, A., & Webb, B. (2019). The Central Complex as a Potential Substrate for Vector Based Navigation. Frontiers in psychology, 10, 690. https://doi.org/10.3389/fpsyg.2019.00690
[6] Le, D. C., Youn C. H. (2020). City-Scale Visual Place Recognition with Deep Local Features Based on Multi-Scale Ordered VLAD Pooling. arXiv:2009.09255 **
[7] https://en.wikipedia.org/wiki/Mushroom_bodies
[8] Wu, S., Wong, K. Y., Fung, C. C., Mi, Y., & Zhang, W. (2016). Continuous Attractor Neural Networks: Candidate of a Canonical Model for Neural Information Representation. F1000Research, 5, F1000 Faculty Rev-156. https://doi.org/10.12688/f1000research.7387.1
分析師介紹：
本文作者為Yuanyuan Li。幾次轉(zhuǎn)行，本科國際貿(mào)易，研究生轉(zhuǎn)向統(tǒng)計，畢業(yè)后留在比利時，從事農(nóng)用機械研發(fā)工作，主要負(fù)責(zé)圖像處理，實現(xiàn)計算機視覺算法的落地。欣賞一切簡單、優(yōu)雅但有效的算法，試圖在深度學(xué)習(xí)的簇?fù)碚吆蛻岩烧咧g找到一個平衡。
關(guān)于機器之心全球分析師網(wǎng)絡(luò) Synced Global Analyst Network
機器之心全球分析師網(wǎng)絡(luò)是由機器之心發(fā)起的全球性人工智能專業(yè)知識共享網(wǎng)絡(luò)。在過去的四年里，已有數(shù)百名來自全球各地的 AI 領(lǐng)域?qū)I(yè)學(xué)生學(xué)者、工程專家、業(yè)務(wù)專家，利用自己的學(xué)業(yè)工作之余的閑暇時間，通過線上分享、專欄解讀、知識庫構(gòu)建、報告發(fā)布、評測及項目咨詢等形式與全球 AI 社區(qū)共享自己的研究思路、工程經(jīng)驗及行業(yè)洞察等專業(yè)知識，并從中獲得了自身的能力成長、經(jīng)驗積累及職業(yè)發(fā)展。
