IT時報記者 孫妍
近日,Gartner發(fā)布了2021年十大數據和分析技術趨勢,這十大趨勢包括:一、更智能、負責任、可擴展的AI;二、組裝式數據和分析架構;三、使用數據編織解決數據資產的多樣性、分散性、規(guī)模和復雜性問題;四、從大數據到小而寬數據;五、XOps智能化運維;六、工程化決策智能;七、數據和分析成為核心業(yè)務功能;八、圖技術;九、增強型數據消費者增加;十、邊緣計算的數據和分析。
疫情改變了商業(yè)環(huán)境,很多歷史數據變得不再適用,同時,數據和隱私保護趨嚴,用大數據解決問題的成本變得非常高,于是,小數據開始流行。
所謂小數據,就是應用相對較少的數據,仍能提供有見解的分析技術。
此前,企業(yè)花很多錢去搭建大數據平臺,但發(fā)現很多數據在實際生產中并沒有被應用,這些數據就成為暗數據。小而寬的數據可以減少企業(yè)對大數據的依賴,從而實現更豐富、更完整的態(tài)勢感知。
疫情期間,很多AI技術供應商紛紛研發(fā)AI閱片的應用,就是用AI來協助影像科醫(yī)生看CT片,以診斷患者是否患上新冠肺炎,這是小數據的典型應用場景。近日,劍橋大學領銜的一項最新研究發(fā)現,62個AI算法存在算法偏見和不可重復性等重大問題,都不具有新冠臨床診斷價值。因為這62個算法都存在一個普遍問題:缺乏影像科醫(yī)生和臨床醫(yī)生的參與。AI的部署需要擁有業(yè)務知識的人參與。
“我們也不要對小數據抱有太多的景仰。” Gartner研究總監(jiān)孫鑫表示,小數據還需要5-10年才會落地,市場滲透率不到1%,但小數據對AI的影響是深遠。
在上海等城市的數字化轉型過程中,小數據被多次提及,很多城市治理的場景積累的數據量遠遠不夠,比如老小區(qū)的晾衣桿整治。
Gartner預測,5年后,70%的企業(yè)將不得不把關注點從原先的大數據轉向現在的小數據或寬數據。屆時,超過85%的技術供應商將在AI解決方案中加入讓數據變得更豐富的方法和模型訓練技術,而在2020年,這樣做的供應商只有不到5%。
至于大眾都較為關心的數據隱私問題,Gartner預測,到2023年,在擁有20名以上的數據科學家的組織當中,將有60%的組織被要求制定關于數據和人工智能的道德使用的規(guī)定,作為一個行為準則。
疫情加速了企業(yè)的數字化轉型,2020年,嵌入數據分析平臺的企業(yè)是最多的,據Gartner觀察,嵌入數據分析平臺的企業(yè)占比從2018年的57%增長至2020年的70%。企業(yè)需要將數據分析能力變得更容易組裝以實現更快速的能力建設及嵌入。組裝式數據分析架構也是今年Gartner的十大數據和分析趨勢之一。