機器之心報道
作者：小舟
RUDN 大學的數學家團隊找到一種新方法，該方法能夠讓神經網絡的大小減小到六分之一，且無需花費更多的資源重新訓練。
神經網絡壓縮是指在對神經網絡性能影響不大的情況下，通過有關方法來減少網絡的參數和存儲空間，大體上可以分為近似，量化和剪枝三類方法。
近日，來自俄羅斯人民友誼大學（RUDN）的數學家團隊找到一種方法，可以將訓練后的神經網絡的大小減小六倍，而無需花費更多的資源來對其進行重新訓練。該方法基于找到初始系統及其簡化版本中神經連接權重之間的相關性。這項研究的結果發表在《Optical Memory and Neural Networks》期刊上。
生命體中人工神經網絡和神經元的結構是基于相同的原理。網絡中的節點是相互連接的；其中一些接收信號，一些通過激活或抑制鏈中的下一個元素來發送信號。任何信號（例如圖像或聲音）的處理都需要很多網絡元素及其之間的連接。但是，計算機模型只有有限的模型容量和存儲空間。為了處理大量數據，這一領域的研究者必須發明各種方法來降低對模型能力的需求，包括所謂的量化。這有助于減少資源消耗，但需要對系統進行重新訓練。RUDN 大學的一些數學家發現后者可以避免。
RUDN 大學 Nikolskii 數學研究所助理教授 Iakov Karandashev 博士說：「幾年前，我們在 Hopfield 網絡中進行了有效且經濟高效的權重量化。這是一個關聯存儲網絡，并帶有遵循 Hebb 規則形成的元素之間的對稱連接。在其運行過程中，網絡的活動被降低到某個平衡狀態，并且在該狀態達到時任務就被認為是已經解決了，該研究中獲得的見解后來被應用于當今在圖像識別中非常流行的前饋深度學習網絡。通常這些網絡需要在量化后進行重新訓練，而我們找到了避免重新訓練的方法。」
簡化人工神經網絡背后的主要思想是所謂的權重量化，即減少每個權重的位數。量化提供信號的均值化：例如，如果將其應用于圖像，則代表相同顏色不同陰影的所有像素將變得相同。從數學上講，這意味著借助某些參數的相似神經連接應該具有相同的權重（或重要性），即表示成同一個數字。
RUDN 大學的一個數學家團隊進行了計算并創建了公式，該公式可以有效地在量化前后，在神經網絡的權重之間建立相關性。基于此，科學家們開發了一種算法，利用該算法，經過訓練的神經網絡可以對圖像進行分類。在該研究的實驗中，數學家使用了包含 5 萬張照片的數據集，這些照片包可以被分為 1000 組。訓練之后，該網絡會使用新方法進行量化，并且不進行重新訓練。然后，該研究將實驗結果與其他量化算法進行了比較。
RUDN 大學的 Iakov Karandashev 補充說道：「量化之后，分類準確率僅降低了 1％，但是所需的存儲容量減少了 6 倍。實驗表明，由于初始權重與量化后權重之間的相關性很強，該網絡不需要重新訓練。這種方法有助于在完成時間敏感任務或在移動設備上運行任務時節省資源。」
感興趣的讀者可以閱讀期刊原文。
參考原文：
https://www.eurekalert.org/pub_releases/2021-02/ru-rum020521.php
論文鏈接：
https://link.springer.com/article/10.3103/S1060992X20030042
https://arxiv.org/abs/2002.00623
