近日，阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI和北京大學(xué)楊智老師團(tuán)隊(duì)合作的論文《GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning》被SIGMOD 2023錄用。論文通過(guò)對(duì)深度學(xué)習(xí)數(shù)據(jù)預(yù)處理流水線的彈性伸縮，大幅提升了訓(xùn)練性能和集群資源利用效率。
SIGMOD是數(shù)據(jù)庫(kù)與數(shù)據(jù)管理系統(tǒng)領(lǐng)域的國(guó)際頂級(jí)會(huì)議，自1975年首次舉辦以來(lái)，一直對(duì)數(shù)據(jù)管理、存儲(chǔ)和處理的發(fā)展起著深刻的推動(dòng)作用，在學(xué)術(shù)和工業(yè)界均有巨大影響力。SIGMOD也重視數(shù)據(jù)管理系統(tǒng)與其他方向的交叉，尤其近年來(lái)也對(duì)機(jī)器學(xué)習(xí)和人工智能領(lǐng)域格外關(guān)注。此次入選意味著阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI在深度學(xué)習(xí)數(shù)據(jù)處理方向達(dá)到了全球業(yè)界先進(jìn)水平，獲得了國(guó)際學(xué)者的認(rèn)可，展現(xiàn)了中國(guó)機(jī)器學(xué)習(xí)系統(tǒng)技術(shù)創(chuàng)新在國(guó)際上的競(jìng)爭(zhēng)力。
近年來(lái)，隨著GPU加速器的不斷進(jìn)化，以及各類(lèi)軟件優(yōu)化技術(shù)的層出不窮，深度學(xué)習(xí)訓(xùn)練的計(jì)算效率正不斷被提升到新的層次。但與此同時(shí)，深度學(xué)習(xí)本質(zhì)上仍是一種多階段、多資源的任務(wù)類(lèi)型：不僅需要在GPU上進(jìn)行大量的訓(xùn)練計(jì)算，同時(shí)往往也需要CPU端的數(shù)據(jù)預(yù)處理流水線(如數(shù)據(jù)增強(qiáng)、特征轉(zhuǎn)換等)，這類(lèi)預(yù)處理計(jì)算是訓(xùn)練出高質(zhì)量模型的必要步驟。因此，GPU端訓(xùn)練性能的提升也帶來(lái)了更大的數(shù)據(jù)預(yù)處理壓力，使后者成為新的性能瓶頸。
針對(duì)這一問(wèn)題，在觀察后發(fā)現(xiàn)數(shù)據(jù)預(yù)處理流水線具有無(wú)狀態(tài)的特點(diǎn)，具有內(nèi)在的資源彈性。基于此，GoldMiner將數(shù)據(jù)預(yù)處理流水線和模型訓(xùn)練部分分離執(zhí)行，通過(guò)自動(dòng)計(jì)算圖分析來(lái)識(shí)別無(wú)狀態(tài)的數(shù)據(jù)預(yù)處理計(jì)算，并對(duì)其實(shí)現(xiàn)高效的并行加速和彈性伸縮，從而緩解數(shù)據(jù)預(yù)處理瓶頸，提升訓(xùn)練性能。通過(guò)與集群調(diào)度器的協(xié)同設(shè)計(jì)，GoldMiner進(jìn)一步發(fā)揮了數(shù)據(jù)預(yù)處理計(jì)算的資源彈性，大幅提升集群調(diào)度效率。實(shí)驗(yàn)顯示GoldMiner可提升訓(xùn)練性能最高達(dá)12.1倍，提升GPU集群利用率達(dá)2.5倍。
目前阿里云機(jī)器學(xué)習(xí)平臺(tái) PAI正在將GoldMiner與PAI-DLC集成，以向用戶提供數(shù)據(jù)預(yù)處理加速能力。機(jī)器學(xué)習(xí)平臺(tái)PAI面向企業(yè)客戶及開(kāi)發(fā)者，提供輕量化、高性價(jià)比的云原生機(jī)器學(xué)習(xí)，涵蓋PAI-DSW交互式建模、PAI-Designer可視化建模、PAI-DLC分布式訓(xùn)練到PAI-EAS模型在線部署的全流程。其中PAI-DLC提供了云原生一站式的深度學(xué)習(xí)訓(xùn)練平臺(tái)，提供靈活、穩(wěn)定、易用和高性能的機(jī)器學(xué)習(xí)訓(xùn)練環(huán)境。支持多種算法框架，超大規(guī)模分布式深度學(xué)習(xí)任務(wù)運(yùn)行及自定義算法框架，為開(kāi)發(fā)者和企業(yè)降本增效。
論文名字：GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning論文作者：趙漢宇，楊智，程羽，田超，任仕儒，肖文聰，袁滿，陳浪石，劉愷博，張楊，李永，林偉論文pdf鏈接：https://dl.acm.org/doi/pdf/10.1145/3589773
免責(zé)聲明：市場(chǎng)有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎！此文僅供參考，不作買(mǎi)賣(mài)依據(jù)。
關(guān)鍵詞：
