蘋果向來擅長把用戶界面從個人電腦推廣到手機和智能手表上。目前，蘋果的工程師正在考慮將手機觸屏轉變為混合現實(Mixed Reality，MR)，很可能會構建出良好的用戶體驗。最近，蘋果正在申請手勢控制專利，這似乎也透漏出了蛛絲馬跡，表明公司對混合現實已做出了方方面面的考量。混合現實是一種可穿戴系統，該系統可以在真實環境中呈現虛擬場景，通過感知手指運動，就能控制混合現實空間中的數字內容。

過去幾年，蘋果一直在為混合現實的工作打基礎。2017年，該公司發布了ARKit框架，幫助開發人員構建了數千個增強現實應用。這些應用必須通過iPhone或iPad來體驗，所以使用起來有點笨重。而且，這類應用很快就會嵌入到眼部設備中，蘋果肯定不會設計笨重的頭戴設備，所以只有等到出現合適的增強眼鏡，能把所有混合現實部件組合在一起時，混合現實應用才能有用武之地。

控制和駕馭混合現實的裝置與方式雖然稍顯笨拙，但卻在不斷發展。混合現實領域中的領先設備(例如Hololens和Magic Leap)可以讓用戶使用手勢進行導航和控制。但跟蹤所需的深度攝像頭和傳感器需要容納空間，因此這類頭戴設備并不小巧。而將手部動作傳感器移動到身體上的其他地方則能有效減小頭戴設備的規格。蘋果此次申請的專利稱為“含傳感器和觸覺反饋的指戴式設備(Finger-mounted Device with Sensors and Haptics)”，是一種包含了多種傳感器的指戴系統。每個手指上都配備了多種類型的傳感器，光學傳感器可以測量指尖的運動，加速度傳感器計有助于測量手勢。

指戴式設備讓指尖保持裸露，指節上的傳感器用于檢測指尖“按壓”或“滾動”等操作。指戴式設備可以通過內置的觸覺反饋單元響應用戶的觸摸或手勢。專利稱，指戴式設備可用于控制虛擬現實或增強現實系統，當用戶在桌面上進行手指點擊時，可以為用戶提供在物理鍵盤上進行交互的感覺。

蘋果并不是唯一一家考慮混合現實輸入問題的大公司。谷歌近幾年來一直在開發一種基于手勢的控制系統“Project Soli”。Soli的傳感器使用微型雷達系統捕獲三維空間內的手部運動。到目前為止，谷歌已經將雷達傳感器應用在智能手表和電視等中，實現了手勢控制，所以該技術有望在更復雜的現實背景下跟蹤手勢。一位專家表示，像智能手表這樣的可穿戴設備也有可能嵌入雷達傳感器，然后雷達傳感器會向用戶的手發出雷達波束以檢測手勢。谷歌顯然對Soli非常看重，公司最近請求聯邦通信委員會(Federal Communications Commission，FCC)批準項目在更高功率的頻段上運行，以獲得更精確的手勢。去年年底，聯邦通信委員會批準了這一請求。

三星也在積極開發混合現實的手勢控制系統。美國專利局公布了三星的專利申請，該專利提出了一款虛擬現實頭戴設備，結合三維傳感器和紅外傳感器來檢測用戶手部的復雜動作。三星提交了另一份專利申請，其中也使用了類似的技術來控制增強現實系統中的內容。

目前，蘋果的ARKit和谷歌的ARCore都是借助手機背面的普通2D攝像機，實現了基于手機的增強現實(如Pokémon Go)。不過，把增強現實從手機推向眼鏡之前，仍存在可開發的空間。目前，3D攝像頭已能繪制出3D數字內容，智能手機制造商顯然也希望將它們用作后置攝像頭。彭博社去年12月的報道稱，華為計劃在2019年將索尼3D攝像頭用作幾款新手機的后置攝像頭。報道援引消息人士的話，3D攝像頭不僅僅能用于拍攝3D照片和空間掃描，還能用于跟蹤手勢。

iPhone X把3D攝像頭用作前置攝像頭進行面部識別，也因此誕生了Animoji和Memoji。但如果把3D攝像頭用作后置攝像頭，則能實現更多功能。如果房間的3D圖更加精確，那么ARKit應用程序就能以更逼真和功能性更強的方式來部署內容。與之類似，3D攝像頭也可用于跟蹤手勢。

蘋果專利中的技術常常沒有進入市場，即便成功了，最終的形式也與專利中所描述的截然不同。蘋果的“指戴式”設備專利是公司所解決過的最有趣的問題。蘋果正在認真考慮用戶界面的下一個潮流，期待憑借合適的時機和技術引領混合現實，就像最初引領移動體驗一樣。(獵云網注：本文作者馬克·蘇利凡(Mark Sullivan)為Fast Company的記者。)

關鍵詞：