162. 網路的重引數化

請關閉瀏覽器的閱讀/暢讀/小說模式並且關閉廣告遮蔽過濾功能，避免出現內容無法顯示或者段落錯亂。

馬斯克的主要商業版圖是汽車與火箭這樣的重工業，其實原本與這個時間點的人工智慧關係沒有那麼大。

不過他個人的確是想法極其前沿又激進的一個人，造普通的車可不是他的風格。

特斯拉不僅要帶電，還要帶自動駕駛！

不僅如此，面對孟繁岐在視覺演算法上的接連突破，他有一個大膽的想法。

那就是希望為自己的特斯拉電車產業打造一個純計算機視覺系統，而不借助其他技術手段。

這是導致他此次再次來尋找孟繁岐，追求技術突破的主要原因。

個人來說，他其實已經對上次的結果非常滿意了，只不過他給自己的目標定的太高，想要完成這還遠遠不夠。

自動駕駛在深度學習發展起來之前就已經有了一些不錯的成果，不過那些內容都是基於雷達和感測器居多。

主要透過鐳射雷達或者其他感測器來檢測物體，以及這些物體距離車輛的距離。

不過馬斯克覺得，這與人類操作車輛的方式不大一樣，太不酷了。

想想人類是怎麼開車的？

一個人在駕駛汽車的時候，基本上就是純視覺的，只靠看就能駕駛。車輛上那些鏡，主要就是為了方便人看到周圍和後面。

可能偶爾有一些聽覺的輔助效果，比如鳴笛，不過不是特別關鍵。主要還是視覺系統在起到作用。

馬斯克稱之為第一原理思維，他希望做出的智慧系統完全按照人類的邏輯去駕駛車輛，而不是藉助感測器，畢竟人類可沒有這樣的超能力。

但是視覺系統完全是基於大量的相機的，非常依賴高精度的檢測演算法，這就會帶來很多的問題。

如果檢測到的東西資料集中沒有見過怎麼辦？那還能檢測到嗎？

基於鐳射雷達的感測器辦法，不管碰到什麼，總是可以檢測到粒子和物體，它的原理像不像人類不說，至少不那麼容易直接撞上去。

純依靠視覺的智慧系統那可就不好說了，必須先用網路處理影象，然後加以分析。

一旦分析出錯，出現了誤判，那是必撞無疑，肯定會發生車輛事故，一頭創死在上面。

馬斯克激進的技術策略和喜好導致了一個問題，那就是人工智慧演算法要做的事情太多了。

想要完全棄用感測器，那四面八方都得安裝車載攝像頭才行，才能保證前後左右都看得清楚。

此外，還有一個重要的事情，那就是距離的估計。

對於人類來說，根據一張圖片去判斷其中距離的遠近，實在太過容易，可這對人工智慧視覺演算法來說，不是一件容易的事情。

以現在的技術條件，需要進行非常複雜的標註，去分析樣例圖片中各個部位和畫素的距離遠近。

因為圖片畢竟是2D平面的，而自動駕駛是一個需要掌握好空間距離的任務。

透過大量不同角度的平面圖片，來重構一個三維的空間，甚至鳥瞰視角的三維空間是必要的。

不過現在這還只是空中樓閣，馬斯克再次聯絡孟繁岐的來意非常簡單，就是希望這個作為骨幹的神經網路可以再快一點，或者計算量再小一點。

否則以目前的情況看，特斯拉很難負擔得起這個運算量。

實際上，馬斯克沒有對這件事情抱有特別大的希望。在他看來，孟繁岐上次給出的方案已經好到非常離譜了。

在這個大家才剛開始復現DreamNet，還沒把殘差的原理和一些變種搞明白的時間點，孟繁岐已經針對各種不同平臺的其他運算裝置，做了相當多的實驗。

從而透過最佳化運算元結構，調整特定計算過程的方式，將這個核心的骨幹網路引數量減少了接近十倍。

運算快了這麼多，效能卻沒什麼變化，這已經非常不得了了。

馬斯克有這一問，也是私下裡的隨口一提。

但他名頭太大，以往自己做的事情又太瘋狂，導致孟繁岐聽著他那頗為低沉，有磁性的聲音之時，當了真。

還真以為這是個非常嚴肅認真的需求。

“自動駕駛的熱度確實也快起來了，我專門針對這方面做點最佳化工作，也不算虧。”

孟繁岐一邊利用著重生優勢開始抄底一些車企的股票，一邊開始著手實現一個巧妙的加速並且節省記憶體的方式。

這個新的最佳化辦法叫做網路結構的重引數化。

這半年來，視覺方法效能的突飛猛進來自於孟繁岐提出的殘差方法，也就是將y=F(x)變為y=F(x)+x。

這裡的寫法比較簡便，將一系列複雜的操作，抽象歸納為F()，在實際運算過程中，這個F()還是比較複雜的，往往需要算上好一會。

但在計算的時候，就有一個問題了，原本y=F(x)運算開始的時候，就不再需要繼續儲存x這個變數了，因為它已經在參與F(x)的運算。

在運算過程當中，它會變成其他的中間變數，然後最終變為我們所想要的y。

可在殘差辦法當中，y=F(x)+x，x這個原始的輸入，是不能夠捨棄的。

必須有空間一直被佔用著，用來存放這個x，因為它還等著最後加上去呢。

在比較複雜，解析度比較高的任務當中，這個變數的大小是相當可觀的。

這種情況有沒有辦法可以規避？規避之後，殘差方法帶來的效能提升能不能不要被影響？

答案當然是肯定的，完全可以做到。

孟繁岐準備實現的這種結構重引數化，其最核心的思想就是模型訓練和實際使用推理的分離。

首先構造一系列結構（一般用於訓練），並將其引數等價轉換為另一組引數（一般用於推理），從而將這一系列結構等價轉換為另一系列結構。

在現實場景中，訓練資源一般是非常豐富的，可以在大型的伺服器上得到。

而推理的時候，計算資源往往會比較有限，因此大家更在意的是推理時的開銷和效能。

想要訓練時的結構較大，具備好的某種性質，比如效能特別好，準確率特別高。

但在推理的時候，則把結構變小變快，同時在數學上等價於大型的結構。

孟繁岐的這個新辦法，就提供了這種可能，他相信，重引數+移動端網路的算力削減，將會成為自動駕駛領域的一大催化劑。最新網址：

本站網站: