在數字空間的采集和重建過程中,如視會通過圖像處理能力對采集捕捉的原始數據進行自動化、多樣性處理。好的圖像處理能力就是好的根基,直接關系到三維重建的真實性和準確度,對最終生成一個精確、完整的數字空間起到重要作用。
目前,如視已經形成了完整的圖像處理能力鏈條,并滲透在VR采集、處理、編輯等全流程,能夠全方位賦能三維重建,最終生成一個1:1復刻物理空間的數字空間。其中,如視的全域圖像彩色處理、平面到三維的升維,以及深度信息自動化提取等能力達到業界領先水平并受到廣泛關注。此外,如視在生成高質量數字空間的同時,還能為用戶提供高自由度、高便利性的使用體驗。
圖像處理能力具體指什么?它如何滲透在三維重建全流程?一個優質的數字空間背后是什么在支撐著?今天,如視帶大家走進圖像處理的世界,一探其中奧秘。
原始數據自動化處理
RAW數據色彩處理
RAW數據素來有“數字底片”之稱,它是采集設備拍攝得到的原始圖像數據,因未經壓縮和處理具備更好的圖像質量、更高的動態范圍和更豐富的色彩深度,允許用戶進行更高自由度的調整處理。但嚴格來說,RAW數據并不是圖像文件,而是一個記錄了采集設備原始信息和拍攝得到的元數據的數據包,由于色域空間大且層次豐富,RAW數據在未經處理時所得到的圖像會顯得平淡而昏暗。只有在經過色彩處理之后,圖像才能煥發出其應有的光彩。
為了給用戶提供前端展示實時確認采集效果,提升整個數字空間重建過程的效率,如視對RAW數據的色彩處理,在采集階段就已經開始。經過去壞點、去照度/彩色暗角、噪聲抑制、去馬賽克、白平衡、色彩校正、伽馬校正、曝光融合、色調映射、去霧、銳化等一系列色彩處理環節后,用戶在采集端即可欣賞到色彩豐富、色調真實的畫質效果。
全景圖拼接
想要生成一個真實沉浸、可供720°全景瀏覽的數字空間,如視需要對多張不同視角的拍攝圖像進行有效整合,拼接成覆蓋大范圍、全視角的全景圖。無需用戶額外操作,如視即可通過AI輔助自動完成全景圖拼接流程,輕松得到沒有拼縫、色彩一致的全景圖像。
同時,基于強大的全域圖像彩色處理能力,如視擁有將多張RAW數據處理為前端可展示的單張全景圖的能力,如視可提供基于不同場景的個性化彩色設定,如居住場景的溫馨淡雅、工廠園區的清冽粗獷等。
cube圖
cube圖即六面圖,是VR行業中的一個專業名詞,指的是將球形全景圖切分為六個面,這六個面就像是一個骰子的六個面,觀察者即最終的用戶的視點位于這個空間的中間位置。通過將前、后、左、右、上、下不同位置的圖像組合起來,繼而形成一個完整的空間。當用戶站在這個空間中心環視四周時,就可以看到完整的全景圖像,得到更具空間感的體驗。
以如視旗下的專業級激光VR掃描儀伽羅華為例,該設備能夠采集到1.34億像素的超高清全景圖像,其切割形成的cube圖單張分辨率為4096*4096。當用戶置身于由6張超高清cube圖組成的全景空間中時,每個點位都代表一次完整的瀏覽體驗。
圖像中信息挖掘
深度推測
所謂深度推測,就是估計圖像中場景的深度,即場景中各點像素到相機成像平面的垂直距離。通過圖像深度推測,計算機能夠直觀理解圖像中物體和場景的空間關系,獲得深度圖和尺度信息,并由此得到基于世界坐標系的點云信息,進而實現對物理空間的精細建模和真實還原,為用戶提供更自然、更沉浸的交互體驗。
如視擁有全球最大的三維空間數據庫,能夠持續為大模型投喂海量真值數據,使之能夠精準推測出圖像的深度。
圖像特征提取
如視在對圖像特征進行提取的過程中,通過不同圖像中的相似特征匹配計算出空間及物體的相對位姿。由于特征信息能夠很好地描述和區分圖像,相較于直接處理整個圖像,特征提取能夠大大減少計算量,降低后續處理的復雜度和時間成本。而特征信息對噪聲和不相關轉換不敏感的特性,能夠有效應對圖像中噪聲、光照變化、尺度變化等因素的干擾,即使在復雜環境也顯得十分可靠和穩定。
常用的特征提取方法包括邊緣檢測、顏色分析、紋理分析、形狀分析等,除了這些傳統方法以外,如視還運用算法進一步提高圖像特征提取的效率。
如視由平面到三維的卓越升維能力也由此而來。通過強大的數據庫不斷對算法能力進行訓練,以此為根基,如視能夠高精度推測圖像深度,并從圖像中提取的特征進行相似特征匹配,由此計算出不同圖像的相對位姿,進而構建高質量模型。
內容識別
如視自研多項VR識別算法,基于對空間高精度的三維深度記錄,以及全面且高保真的二維圖像記錄,建立了如視智能空間數據挖掘能力矩陣,不僅可以快速且精準地識別出空間中的每一樣物品,還可以檢測并定位空間中存在的文本信息,為用戶從采集空間到編輯美化提供全面的助力。
識別的精度受到多種因素影響,比如物品、場景、文本是否參與過訓練,物品和拍攝點的距離等。有特殊需求的用戶,可以提前針對所要識別的物品、場景和文本進行定制訓練,提高算法對特定內容的識別效果。
圖像在應用中的豐富度
圖像處理工具
如視為用戶提供了豐富的圖像處理工具,包括濾鏡、圖像替換、去除鏡中設備、人臉自動識別馬賽克、自動補充等,支持用戶根據自身需求和審美,對數字空間進行個性化編輯,進而提升數字空間的功能性和用戶體驗,為用戶提供更加便捷而豐富的服務。
舉個例子,用戶用設備在鏡子前拍攝時,會把設備在鏡子中的成像也拍下來,這會影響數字空間的整體美感、打破用戶在游覽數字空間時的沉浸式體驗。但通過去除鏡中設備這一功能,如視能夠自動識別、去除采集設備鏡像,并通過圖像填充技術智能補充空白區域,讓拍攝設備“消失”在數字空間中。少了這種“割裂感”,數字空間也更加真實而完美。
考慮到用戶采集的物理空間不可能總是空無一人,如視還上線了人臉自動識別馬賽克功能。通過先進的人臉檢測技術和圖像處理算法,如視能夠準確、快速地識別出VR內容中的人臉圖像,并對其進行馬賽克處理,在進行隱私保護、保障內容合規性的同時,大大優化了用戶體驗。
總的來說,如視當前所具備的圖像處理工具,覆蓋隱私保護、空間美感、空間完整度等方方面面,綜合考量了用戶進行三維重建的功能和審美需求,充分彰顯出如視以用戶為中心的服務理念。
圖像下載
基于生成并編輯后的數字空間,如視可提供PNG、JPG等多種格式的全景圖下載,支持用戶利用第三方工具對全景圖進行二次編輯,并在多平臺和渠道進行共享和傳播,為用戶提供更加靈活和便捷的使用體驗。
簡單來說,三維重建過程中的圖像處理是對采集得來的RAW數據進行色彩處理、全景圖拼接等加工,結合如視專業設備采集到的激光數據,或是如視輕量級設備+深度推測能力獲得的深度數據,利用拼接能力構建一個由點云構成的三維空間,繼而進一步生成空間三維模型。
如視的圖像處理能力貫穿數字空間的采集、重建和后期處理全流程,能夠將多張RAW數據處理為用戶可自由定義彩色效果的單張全景圖,也能基于多張彩色圖生成高質量模型,并對全景圖的物品和文本內容進行精準識別。比如在使用伽羅華時,早在攝影師進行采集拍攝的過程中,伽羅華就已經開始了一系列自動化的圖像處理流程,這加快了三維重建的速度,使得用戶能夠短時間就可以漫游于數字空間中。
作為數字空間綜合解決方案引領者,如視研發團隊依舊在不斷精煉圖像處理能力的道路上繼續探索,并期待通過對這一能力的不斷升維為用戶帶來更加快速、真實、便捷的體驗。
關鍵詞: