機器之心報道
編輯:蛋醬、澤南
近年來我們在報道 AI 頂會的文章里不斷聽到「史上最大」、「論文數量新高」等字眼,論文的審核儼然成了一項挑戰。但既然是在研究 AI,為什么不讓機器來自動解決問題?
人工智能頂會 NeurIPS 2019 的現場,曾被人吐槽像跨年夜的百貨商場。
對于大多數科學領域來說,期刊是同行評審和論文發表的主陣地,編輯們會根據專業判斷將論文分配給合適的審稿人。但在計算機科學領域,尋找審稿人的過程通常是匆匆忙忙的:大多數論文是一次性提交給年度大會,組織者需要在僅僅一周的時間內將成千上萬的論文分配給成千上萬的審稿人。
這樣的節奏是非常緊張的,在過去的五年內,大型 AI 會議的投稿量增長了三倍不止,也給大會主辦機構帶來了不小的壓力。舉個例子,人工智能領域最大規模的定會 NeurIPS 2020 收到了 9000 多份有效投稿,比上一年增長了 40%。組織者不得不將 3 萬多個審稿任務分派給約 7000 位審稿人。NeurIPS 2020 大會主席 Marc’Aurelio Ranzato 表示:「這非常累,壓力很大。」
大概也是「近水樓臺先得月」,AI 頂會的審稿工作得到了 AI 的協助。首先,主辦方使用了Toronto Paper Matching System (TPMS),在此之前 TPMS 也被應用于其他多個會議的投遞論文分配工作,它通過對比投稿論文和審稿人研究工作之間的文本,來計算投稿與審稿人專業知識之間的相關性。這個篩選過程是匹配系統中的一部分,期間審稿人也可以主動爭取自己希望審閱的論文。
TPMS 架構,該系統可通過會議管理系統在線使用。