近年來(lái)，深度神經(jīng)網(wǎng)絡(luò )在多種應用上取得了極大的成功，網(wǎng)絡(luò )架構也變得越來(lái)越深。以卷積神經(jīng)網(wǎng)絡(luò )為例，從 1998 年 LeNet 的 5 層，發(fā)展到 2015 年產(chǎn)生了 152 層的 ResNet。

在網(wǎng)絡(luò )架構變化的同時(shí)，包括物聯(lián)網(wǎng)在內的終端設備數量也越來(lái)越多，有著(zhù)急劇的增長(cháng)。因為這些設備直接連接傳感器數據（攝像頭、麥克風(fēng)、陀螺儀等），所以在終端設備上部署機器學(xué)習具有極大的吸引力。

但現在看來(lái)，頂級的機器學(xué)習系統還無(wú)法滿(mǎn)足終端設備的現狀：1. 要么把傳感器數據輸入到云端的大型神經(jīng)網(wǎng)絡(luò )模型；2. 要么直接在終端設備上使用簡(jiǎn)單的機器學(xué)習模型（如線(xiàn)性支持向量機）。前者有通信成本、延遲的問(wèn)題，后者會(huì )降低系統的準確率。

為了克服這些問(wèn)題，自然而然地就想到了分布式計算方法。層級分布式計算架構包括云、邊緣與終端設備，這種架構有固有的優(yōu)勢，例如支持中心調節與局部決策，具有系統可擴展性，特別是對基于位置分布的 IoT 設備上的大規模智能任務(wù)。

雖然業(yè)內也有一些分布式方法，但依然面臨多種挑戰，例如終端設備存儲與能源有限、通信成本等。那有沒(méi)有一種系統能夠訓練一個(gè)端到端模型，把模型在云與終端設備之間劃分開(kāi)？

為了這個(gè)目標，作者們提出了在云、邊緣以及終端設備這樣的分布式計算層級上的分布式深度神經(jīng)網(wǎng)絡(luò )（DDNN）。

摘要：我們提出了在分布式計算層級上的分布式深度神經(jīng)網(wǎng)絡(luò )（DDNNs)，包含云、邊緣設備以及終端設備。在能夠適應云上的神經(jīng)網(wǎng)絡(luò )推理的同時(shí)，DDNN 也允許在邊緣、終端設備上使用神經(jīng)網(wǎng)絡(luò )的淺層部分進(jìn)行更快、本地化的推理。在可延展的分布式計算層級支持下，DDNN 能按比例擴大網(wǎng)絡(luò )大小，且在區域跨度上進(jìn)行擴展。由于其分布式特性，DDNN 增強了傳感器融合、系統故障容錯、數據隱私。在 DDNN 的實(shí)現上，我們繪制了 DNN 在不同分布式計算層級上的部分。通過(guò)聯(lián)合訓練這些部位，我們最小化了設備上的通信和資源使用，最大化了在云中使用的提取特征的有效性。最終的系統內建了對自動(dòng)傳感器融合、故障容錯的支持。作為此概念的證實(shí)，我們演示了一個(gè) DDNN 能夠利用傳感器的多元性改進(jìn)目標識別的準確率、減少通信成本。在我們的實(shí)驗中，對比傳統的在云中卸載原始傳感器數據的方法，DDNN 能夠在終端設備本地處理大部分傳感器數據，同時(shí)取得高準確率，通信成本能夠降低 20 倍。

圖 2：DDNN 架構的概覽。垂直線(xiàn)表示 DNN 通道，連接水平線(xiàn)（神經(jīng)網(wǎng)絡(luò )層）。（a) 是標準的深度神經(jīng)網(wǎng)絡(luò )（完全在云端處理）；（b）是引入了終端設備和本地出口點(diǎn)（exit point)，可能分類(lèi)云之前的樣本；（c）是（b）的擴展，增加了多個(gè)終端設備，聚合在一起進(jìn)行分類(lèi)；（d) 和（e）是（b) 和（c）的拓展，增加了云與終端設備之間的邊緣層；（f）展示了邊緣也能像終端設備一樣被分布。