光芯片可用于訓練人工神經網(wǎng)絡訓練并更具優(yōu)勢

  ICCSZ訊 美國斯坦福大學的研究人員在《Optica》上發(fā)表研究成果，展示了直接在光芯片上使用光模擬“反向傳播”算法的方式可訓練人工神經網(wǎng)絡，證實直接在一個光芯片上訓練人工神經網(wǎng)絡的可能性。該重大突破性進展展示了光電路能夠實現(xiàn)基于電子的人工神經網(wǎng)絡的重要功能，并能夠以更廉價、更快和更高能效的方式來執(zhí)行類似語音或圖像識別等復雜任務?！胺聪騻鞑ァ彼惴ㄊ怯柧殏鹘y(tǒng)神經網(wǎng)絡的標準方式。

      需求背景

  人工智能神經網(wǎng)絡是一個通過使用互連單元以類似人腦的方式來處理信息的一種人工智能。人工智能神經網(wǎng)絡可用來執(zhí)行復雜任務，如在語音識別中，需要重要步驟來訓練算法來為不同單詞等輸入進行分類。

  盡管神經網(wǎng)絡處理通常在傳統(tǒng)計算機進行，但在設計神經網(wǎng)絡計算專用硬件上也投入了巨大精力。以光器件實現(xiàn)對人工神經網(wǎng)絡的訓練獲得了大量關注，因為其能夠使用比電子器件更少的能量及并行方式執(zhí)行計算。

  論文的第一作者Tyler W. Hughes說：“使用一個物理器件而不是一個計算機模型來進行訓練，可使訓練過程更加精確。而且，因為訓練是實現(xiàn)神經網(wǎng)絡的一個高計算密集型過程，以光學方式執(zhí)行該過程是改進人工智能網(wǎng)絡計算效率、速度、功耗的關鍵?！?

  雖然光人工神經網(wǎng)絡最近以實驗方式進行了展示，但訓練步驟使用的仍是在傳統(tǒng)數(shù)字計算機上的模型，然后將最后的設置輸入到光電電路中。

       核心進展

  在此次進展中，研究人員設計了一款能夠復制傳統(tǒng)計算機訓練神經網(wǎng)絡方法的光芯片，克服了實現(xiàn)一個全光神經網(wǎng)絡所面臨的重大挑戰(zhàn)。

  一個人工神經網(wǎng)絡可以被認為是一個帶有很多旋鈕的黑盒子。在訓練階段，這些旋鈕轉動一點，然后對整個系統(tǒng)進行測試，看看算法的性能是否改進了。Hughes說：“我們的方法不僅能夠幫助預測旋鈕轉動的方向，還能預測每個旋鈕應該旋轉多少以盡可能獲得想要的性能。我們的方法能夠顯著加速訓練，尤其是大的網(wǎng)絡，因為我們并行地獲得每個旋鈕的信息?！?

       成果展示

  研究人員已經展示了可使用一個光芯片(圖中藍色長方形區(qū)域)來訓練一個神經網(wǎng)絡。在完整網(wǎng)絡中，有幾個這樣的光芯片連接到一起。激光輸入(綠色)對信息進行編碼，然后由光電波導(黑色)傳過芯片。芯片使用可調分光器執(zhí)行對人工神經網(wǎng)絡關鍵的操作，這些通過波導中的彎曲部分來表現(xiàn)，耦合兩個相鄰的波導，通過調整光移相器的設置來調整(紅色和藍色閃光部分)，它像“旋鈕”一樣工作，在訓練過程中調整來執(zhí)行給定的任務。(圖片來源：Tyler W. Hughes, Stanford University)

       過程說明

  新的訓練協(xié)議在帶有可調分光器的光電電路上運行，這些分光器可通過改變光移相器來改變設置。激光編碼信息傳遞到光芯片進行處理，并由光波導傳遞通過分光器，這些分光器像旋鈕一樣調整來訓練神經網(wǎng)絡算法。

  在新的訓練協(xié)議中，激光首先通過光芯片。當離開器件時，就可計算出與預期輸出的差異。然后使用該信息來產生新的光信號，這個信號然后以相反的方向送回并穿過光電網(wǎng)絡。通過測量在這個過程中每一個分光器的光電密度，研究人員展示了對神經網(wǎng)絡性能的并行測量是如何根據(jù)每個分光器設置發(fā)生改變。移相器設置能夠基于該信息發(fā)生改變，該過程將重復進行直到神經網(wǎng)絡產生所需的輸出。

  結果測試

  研究人員使用一個光電仿真測試了他們的訓練技術——教一個算法來執(zhí)行復雜功能，例如在一套點中挑選復雜特性。他們發(fā)現(xiàn)光實現(xiàn)過程的性能可與傳統(tǒng)電子計算機一致。

  意義及下一步工作

  研究團隊領導者、斯坦發(fā)大學的Shanhui Fan說：“使用光電芯片來執(zhí)行神經網(wǎng)絡計算比數(shù)字計算機可能實現(xiàn)的效率更高，可以實現(xiàn)更復雜的問題得到解決。這將提高人工神經網(wǎng)絡執(zhí)行特定任務的能力，如自動駕駛汽車或對一個發(fā)問給出合適的答案。他將以我們現(xiàn)在無法想象的方式來改進我們的生活。我們的工作展示了能夠使用物理學來實現(xiàn)計算機科學算法。通過在光學域訓練這些網(wǎng)絡，顯示了光神經網(wǎng)絡能夠用于實現(xiàn)只用光自身就可實現(xiàn)的某種功能?！?

  研究人員計劃進一步優(yōu)化網(wǎng)絡，并打算使用其來實現(xiàn)神經網(wǎng)絡任務的實際應用。他們設計的通用方法可用于多種神經網(wǎng)絡架構，并且用于可配置光電器件等其他應用。

  參考文獻：Tyler W. Hughes, Momchil Minkov, Yu Shi, Shanhui Fan.Training of photonic neural networks through in situ backpropagation and gradient measurement. Optica, 2018; 5 (7): 864 DOI:10.1364/OPTICA.5.000864

  原標題：光電神經網(wǎng)絡|美國斯坦福大學證實可直接在一個光芯片上訓練人工神經網(wǎng)絡，具備比傳統(tǒng)電子器件更高的能效、更快的速度和更低的成本