深度學習在計算上受到限制并不是一件「新鮮事」。

創新互聯公司長期為千余家客戶提供的網站建設服務，團隊從業經驗10年，關注不同地域、不同群體，并針對不同對象提供差異化的產品和服務；打造開放共贏平臺，與合作伙伴共同營造健康的互聯網生態環境。為海棠企業提供專業的成都網站設計、網站制作、外貿營銷網站建設，海棠網站改版等技術服務。擁有10年豐富建站經驗和眾多成功案例,為您定制開發。

只是在過去十年里面，這種計算限制被「淡化」了。人們專注于「算法」優化和「硬件」性能的提升，以及愿意投入更高的「成本」來獲得更好的性能。

性價比這件事，從來沒被嚴肅以待。

但是現在，深度學習的計算需求越來越大，這些所謂的「方法」開始變得無濟于事了。

最近，MIT 計算機科學與人工智能實驗室的研究科學家 Neil Thompson 發表了最新研究，主題旗幟鮮明：「Computational Limits of Deep Learning」。

用46 頁、研究千余篇論文告訴你，深度學習的算力局限在哪里。

從設置的生成模型中發現理論上的算力局限。

首先，來看看理論上的算力局限。

他們設置了一個生成模型，在可能的 1000 個參數中，有 10 個非零參數，并考慮 4 個模型來嘗試發現這些參數。

Oracle model：在模型中有完全正確的 10 個參數。

Expert model：模型中恰好有 9 個正確參數和 1 個錯誤參數。

Flexible model：擁有模型中所有1000 個潛在參數，并使用「最小二乘估計」。

Regularized model：跟「Flexible model」一樣，它擁有模型中所有參數，但是是在正則化模型中。

于是，就得出了這樣的結果——模型復雜度與正則化對模型性能和對計算要求的影響。

其中模型性能，是以與預測器相比預測的歸一化平均平方誤差的負對數（以 10 為底）。

可以看到，隨著樣本量的增加，Oracle model 跟 Expert model 一開始表現出更好的性能，而 Flexible model 和 Regularized model 這兩個模型后進之勢十分猛烈。

而與之相應的「計算要求」，Flexible model 和 Regularized model 跟前兩個壓根就不是一個量級的。

這恰好印證了吳恩達的一個觀點：

當數據量小的時候，傳統的機器學習技術做得更好，但靈活的深度學習模型在數據量更大的情況下做得更好 。

那么這篇論文將這一見解推向了更加廣泛的結論：

靈活的深度學習模型有更大的潛力，但也有更大的數據和計算要求。

1058 篇論文看到實際中的算力需求

直接上圖。

可以看到，所有的深度學習模型的實際算力需求，在近幾年里，遠遠高于「硬件性能」提升中需要的計算能力。

為了研究深度學習對計算的依賴性，團隊研究了1058 篇研究論文。

涵蓋了圖像分類（ImageNet 基準）、對象檢測（MS COCO）、問題回答（SQuAD 1.1）、命名實體識別（COLLN 2003）和機器翻譯（WMT 2014 En-to-Fr）等領域。

以圖像分類為例。

ImageNet 為基準，顯示了 ImageNet 數據集上圖像識別錯誤率的下降及其與這些模型的計算要求的相關性。

除此之外，在問題回答、命名實體識別、機器翻譯等領域也表現出了對計算能力的依賴性。

除了機器翻譯（英語到德語），使用的計算能力的變化很小。其他的模型的依賴性都很強，其中問題回答的依賴性達到了 7.7。

總的來說，在深度學習的許多領域中，訓練模型的進展都依賴于計算能力的大量增加。

但隨之而來的，就是「高昂的研究成本」。

MIT 助理教授，清華大學校友韓松，就曾說過：

深度神經學習網絡在計算上非常昂貴，這是一個關鍵的問題。

今年一月，Facebook 的 AI 副總裁 Jerome Pesenti 在接受《連線》采訪時，就表示，該領域很快就會「碰壁」。

AI 科研成本的持續上漲，或導致我們在該領域的研究碰壁，現在已經到了一個需要從成本效益等方面考慮的地步，我們需要清楚如何從現有的計算力中獲得的收益。

現在，用千余篇論文研究再次證實了這一結論。

那么對于現在的機器翻譯、自動駕駛等項目需要重新考慮一下，「如何實現以低的成本實現收益化」。

換而言之，作為商業模型來落地的 AI 翻譯和自動駕駛項目，是時候要用「性價比」來重估了。

你覺得呢？

論文地址：

http://www.neil-t.com/moores-law-and-computer-performance/

參考鏈接：

https://www.wired.com/story/prepare-artificial-intelligence-produce-less-wizardry/

本文標題：MIT長篇論文：我們熱捧的AI翻譯和自動駕駛，需要用技術性價比來重估
轉載來源：http://www.yijiale78.com/article44/cghdhe.html

成都網站建設公司_創新互聯，為您提供微信公眾號、響應式網站、網站維護、網站策劃、企業建站、網站收錄

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯