淺談深度學(xué)習的基本思想和方法
淺談深度學(xué)習的基本思想和方法
淺談深度學(xué)習(Deep Learning)的基本思想和方法 深度學(xué)習（Deep Learning），又叫Unsupervised Feature Learning或者Feature Learning，是目前非常熱的一個(gè)研究主題。
本文將主要介紹Deep Learning的基本思想和常用的方法。
一. 什么是Deep Learning？
實(shí)際生活中，人們?yōu)榱私鉀Q一個(gè)問(wèn)題，如對象的分類(lèi)（對象可是是文檔、圖像等），首先必須做的事情是如何來(lái)表達一個(gè)對象，即必須抽取一些特征來(lái)表示一個(gè)對象，如文本的處理中，常常用詞集合來(lái)表示一個(gè)文檔，或把文檔表示在向量空間中（稱(chēng)為VSM模型），然后才能提出不同的分類(lèi)算法來(lái)進(jìn)行分類(lèi)；又如在圖像處理中，我們可以用像素集合來(lái)表示一個(gè)圖像，后來(lái)人們提出了新的特征表示，如SIFT，這種特征在很多圖像處理的應用中表現非常良好，特征選取得好壞對最終結果的影響非常巨大。因此，選取什么特征對于解決一個(gè)實(shí)際問(wèn)題非常的重要。
然而，手工地選取特征是一件非常費力、啟發(fā)式的`方法，能不能選取好很大程度上靠經(jīng)驗和運氣；既然手工選取特征不太好，那么能不能自動(dòng)地學(xué)習一些特征呢？答案是能！Deep Learning就是用來(lái)干這個(gè)事情的，看它的一個(gè)別名Unsupervised Feature Learning，就可以顧名思義了，Unsupervised的意思就是不要人參與特征的選取過(guò)程。因此，自動(dòng)地學(xué)習特征的方法，統稱(chēng)為Deep Learning。
二. Deep Learning的基本思想
假設我們有一個(gè)系統S，它有n層（S1,...Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>.....=>Sn => O，如果輸出O等于輸入I，即輸入I經(jīng)過(guò)這個(gè)系統變化之后沒(méi)有任何的信息損失，保持了不變，這意味著(zhù)輸入I經(jīng)過(guò)每一層Si都沒(méi)有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示�，F在回到我們的主題Deep Learning，我們需要自動(dòng)地學(xué)習特征，假設我們有一堆輸入I（如一堆圖像或者文本），假設我們設計了一個(gè)系統S（有n層），我們通過(guò)調整系統中參數，使得它的輸出仍然是輸入I，那么我們就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1，..., Sn。
另外，前面是假設輸出嚴格地等于輸入，這個(gè)限制太嚴格，我們可以略微地放松這個(gè)限制，
例如我們只要使得輸入與輸出的差別盡可能地小即可，這個(gè)放松會(huì )導致另外一類(lèi)不同的Deep Learning方法。上述就是Deep Learning的基本思想。
三.Deep Learning的常用方法
a). AutoEncoder
最簡(jiǎn)單的一種方法是利用人工神經(jīng)網(wǎng)絡(luò )的特點(diǎn)，人工神經(jīng)網(wǎng)絡(luò )（ANN）本身就是具有層次結構的系統，如果給定一個(gè)神經(jīng)網(wǎng)絡(luò )，我們假設其輸出與輸入是相同的，然后訓練調整其參數，得到每一層中的權重，自然地，我們就得到了輸入I的幾種不同表示（每一層代表一種表示），這些表示就是特征，在研究中可以發(fā)現，如果在原有的特征中加入這些自動(dòng)學(xué)習得到的特征可以大大提高精確度，甚至在分類(lèi)問(wèn)題中比目前最好的分類(lèi)算法效果還要好！這種方法稱(chēng)為AutoEncoder。當然，我們還可以繼續加上一些約束條件得到新的Deep Learning方法，如如果在A(yíng)utoEncoder的基礎上加上L1的Regularity限制（L1主要是約束每一層中的節點(diǎn)中大部分都要為0，只有少數不為0，這就是Sparse名字的來(lái)源），我們就可以得到Sparse AutoEncoder方法。
b). Sparse Coding
如果我們把輸出必須和輸入相等的限制放松，同時(shí)利用線(xiàn)性代數中基的概念，即O = w1*B1 + W2*B2+....+ Wn*Bn， Bi是基，Wi是系數，我們可以得到這樣一個(gè)優(yōu)化問(wèn)題：
Min |I - O|
通過(guò)求解這個(gè)最優(yōu)化式子，我們可以求得系數Wi和基Bi，這些系數和基礎就是輸入的另外一種近似表達，因此，它們可以特征來(lái)表達輸入I，這個(gè)過(guò)程也是自動(dòng)學(xué)習得到的。如果我們在上述式子上加上L1的Regularity限制，得到：
Min |I - O| + u*(|W1| + |W2| + ... + |Wn|)
這種方法被稱(chēng)為Sparse Coding。
c) Restrict Boltzmann Machine (RBM)
假設有一個(gè)二部圖，每一層的節點(diǎn)之間沒(méi)有鏈接，一層是可視層，即輸入數據層（v)，一層
是隱藏層(h)，如果假設所有的節點(diǎn)都是二值變量節點(diǎn)（只能取0或者1值），同時(shí)假設全概率分布p(v, h)滿(mǎn)足Boltzmann 分布，我們稱(chēng)這個(gè)模型是Restrict Boltzmann Machine
(RBM)。下面我們來(lái)看看為什么它是Deep Learning方法。首先，這個(gè)模型因為是二部圖，所以在已知v的情況下，所有的隱藏節點(diǎn)之間是條件獨立的，即p(h|v) =p(h1|v).....p(hn|v)。同理，在已知隱藏層h的情況下，所有的可視節點(diǎn)都是條件獨立的，同時(shí)又由于所有的v和h滿(mǎn)足Boltzmann 分布，因此，當輸入v的時(shí)候，通過(guò)p(h|v) 可以得到隱藏層h，而得到隱藏層h之后，通過(guò)p(v|h) 又能得到可視層，通過(guò)調整參數，我們就是要使得從隱藏層得到的可視層v1與原來(lái)的可視層v如果一樣，那么得到的隱藏層就是可視層另外一種表達，因此隱藏層可以作為可視層輸入數據的特征，所以它就是一種Deep Learning方法。
如果，我們把隱藏層的層數增加，我們可以得到Deep Boltzmann Machine (DBM)；如果我們在靠近可視層的部分使用貝葉斯信念網(wǎng)絡(luò )（即有向圖模型，當然這里依然限制層中節點(diǎn)之間沒(méi)有鏈接），而在最遠離可視層的部分使用Restrict Boltzmann Machine，我們可以得到Deep Belief Net （DBN） 。
當然，還有其它的一些Deep Learning 方法，在這里就不敘述了�？傊�，Deep Learning能夠自動(dòng)地學(xué)習出數據的另外一種表示方法，這種表示可以作為特征加入原有問(wèn)題的特征集合中，從而可以提高學(xué)習方法的效果，是目前業(yè)界的研究熱點(diǎn)。
【淺談深度學(xué)習的基本思想和方法】相關(guān)文章：
淺談韓語(yǔ)的學(xué)習方法09-12
淺談韓語(yǔ)學(xué)習方法09-10
淺談黃山旅游產(chǎn)業(yè)深度開(kāi)發(fā)10-16
淺談Illustrator課程的教學(xué)模式和方法09-18
學(xué)習圍棋的方法和技巧09-07
硬盤(pán)的深度維護的方法介紹07-03
淺談奧數學(xué)習的作用與方法09-30