相信你一定聽(tīng)說(shuō)過(guò)“深度學(xué)習(xí)”，它總是和人工智能一同出現(xiàn)，好像各種難以置信的AI成果都因?yàn)樗Ｄ敲?，“深度學(xué)習(xí)”到底是何方神圣？它與AI有什么關(guān)系？

改編一句臺(tái)詞，或許可以這樣說(shuō)：AI有那么多分支，其中一個(gè)叫機(jī)器學(xué)習(xí)；機(jī)器學(xué)習(xí)有那么多分支，歷史偏偏選中了深度學(xué)習(xí)。

什么是機(jī)器學(xué)習(xí)？

以圖像識(shí)別為例，把許多張貓和狗的圖片喂給電腦，希望它像人一樣正確判斷出是貓還是狗。這種人類易于完成的任務(wù)由于難以形式化、邏輯化，需要經(jīng)驗(yàn)，是計(jì)算機(jī)很難做到的。

現(xiàn)在，我們?cè)谪埖膱D片上標(biāo)注“貓”，在狗的圖片上標(biāo)注“狗”，我們就擁有了一批“已標(biāo)注數(shù)據(jù)”。我們希望機(jī)器能從這些數(shù)據(jù)中自己找到規(guī)律，總結(jié)出區(qū)分貓狗圖片的辦法，這就是機(jī)器學(xué)習(xí)的思想。

我們把喂給計(jì)算機(jī)的東西叫做“輸入”，計(jì)算機(jī)給出的結(jié)果叫“輸出”，那么，機(jī)器學(xué)習(xí)就是要讓計(jì)算機(jī)找到輸入和輸出之間的一座最佳橋梁，從而對(duì)于輸入有較準(zhǔn)確的輸出，這座橋梁可以看成是一個(gè)“函數(shù)”。

機(jī)器學(xué)習(xí)除了可以學(xué)習(xí)已標(biāo)注數(shù)據(jù)（即“有監(jiān)督學(xué)習(xí)”），還可以學(xué)習(xí)沒(méi)有標(biāo)注的數(shù)據(jù)（即“無(wú)監(jiān)督學(xué)習(xí)”），比如聚類，但我們先不談這個(gè)。

機(jī)器學(xué)習(xí)有很多種算法，其中對(duì)深度學(xué)習(xí)有重要意義的是“人工神經(jīng)網(wǎng)絡(luò)”，其典型例子是“多層感知機(jī)”（MLP）。人工神經(jīng)網(wǎng)絡(luò)的靈感來(lái)自于人腦神經(jīng)元，但它與復(fù)雜的人類大腦仍有很多不同。

什么是人工神經(jīng)網(wǎng)絡(luò)？

解決復(fù)雜問(wèn)題往往需要復(fù)雜的、非線性的函數(shù)（函數(shù)圖像不是直線），簡(jiǎn)單的線性函數(shù)（函數(shù)圖像為直線）最容易運(yùn)用，卻不能直接解決復(fù)雜問(wèn)題，能不能將復(fù)雜的、非線性的函數(shù)用線性函數(shù)表達(dá)呢？

人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)有同樣的思想：復(fù)雜函數(shù)可以用多個(gè)簡(jiǎn)單函數(shù)表示，是簡(jiǎn)單函數(shù)套簡(jiǎn)單函數(shù)套……一直套多個(gè)，從而化繁為簡(jiǎn)，由簡(jiǎn)至繁。

但是線性函數(shù)套線性函數(shù)，總歸是線性的，所以最后要套上非線性函數(shù)，再輸出。

以單個(gè)神經(jīng)元為例，一個(gè)神經(jīng)元接收來(lái)自多個(gè)方向的信號(hào)，每個(gè)信號(hào)都是一個(gè)輸入x，但這一串x不是“平等”的，而是有的重要，有的不重要。這就像有一大疊文件，不能一股腦兒都給老板，要分輕重緩急，重要的放上面，不重要的放下面。我們給每個(gè)x都乘上一個(gè)數(shù)w，重要的x就乘大些的w，不重要的x就乘小些的。把這一串乘積全加起來(lái)，重要的x就在總和中占據(jù)重要地位，不重要的則相反。這一串w叫“權(quán)重”。

對(duì)神經(jīng)元來(lái)說(shuō)，不是所有信號(hào)都會(huì)通過(guò)神經(jīng)細(xì)胞傳輸?shù)胶竺娴?，而是要達(dá)到一定的“閥值”才可以通過(guò)，信號(hào)就像一個(gè)跳高運(yùn)動(dòng)員，跳過(guò)了預(yù)定高度就晉級(jí)，否則止步。

所以，我們?cè)O(shè)定閥值b，讓w乘x乘積的總和減去b，如果差大于零，則通過(guò)，否則輸出零。

這個(gè)讓信號(hào)“跳高”的函數(shù)叫“激活函數(shù)”，上面其實(shí)是舉ReLU函數(shù)的例子，此外還有其他的激活函數(shù)。由于此前對(duì)x的操作都是線性的，再進(jìn)行線性操作得到的還是x的線性函數(shù)，而不是我們想要的非線性函數(shù)，因此，激活函數(shù)一般是非線性的。

一般來(lái)說(shuō)，人工神經(jīng)網(wǎng)絡(luò)會(huì)使用多個(gè)神經(jīng)元完成任務(wù)，神經(jīng)元會(huì)一層一層排列。一串x所處的層叫輸入層，最后得到分類結(jié)果的層，叫輸出層。對(duì)于已標(biāo)注數(shù)據(jù)，我們只能知道輸入層、輸出層是什么樣的，但在人工設(shè)計(jì)了需要多少層、每層幾個(gè)神經(jīng)元之后，中間各層的神經(jīng)元上，w、b這些參數(shù)都要機(jī)器去學(xué)出最優(yōu)值，我們一開(kāi)始并不知道最終會(huì)是什么，于是這些神經(jīng)元所在的層統(tǒng)稱隱藏層。

一串輸入x在經(jīng)過(guò)一層神經(jīng)元之后，終于魚(yú)躍龍門(mén)，到達(dá)了下一層。人工神經(jīng)網(wǎng)絡(luò)要求神經(jīng)元不可跨層連接，不可以讓x在幾個(gè)神經(jīng)元間走循環(huán)路。

那么，設(shè)計(jì)好人工神經(jīng)網(wǎng)絡(luò)之后，怎么讓機(jī)器學(xué)會(huì)區(qū)分貓狗呢？

把所有已標(biāo)注圖片分為兩類，大類叫“訓(xùn)練集”，小類叫“測(cè)試集”。訓(xùn)練集用來(lái)學(xué)習(xí)，測(cè)試集用來(lái)考試。如果學(xué)習(xí)之后，面對(duì)沒(méi)學(xué)過(guò)的數(shù)據(jù)（沒(méi)做過(guò)的題），準(zhǔn)確率在要求范圍內(nèi)（考得好），那么就算學(xué)習(xí)成功。

剛才說(shuō)了，從輸入到輸出，每個(gè)神經(jīng)元有一串w，一個(gè)b，整個(gè)網(wǎng)絡(luò)就有幾串w，一串b,這些參數(shù)不靠人教，要機(jī)器根據(jù)已標(biāo)注數(shù)據(jù)學(xué)出來(lái)。學(xué)習(xí)的過(guò)程，就是求出最佳參數(shù)的過(guò)程，從而得到最好的函數(shù)，也就是個(gè)優(yōu)化問(wèn)題，求最值。主流方法是梯度下降法，大概意思是：二元函數(shù)好比凹凸不平的跳跳床，如果在床的某個(gè)點(diǎn)上，跳跳床凹得最深，這個(gè)點(diǎn)就是我們要找的最小值點(diǎn)。從某個(gè)點(diǎn)開(kāi)始，沿著一個(gè)方向移動(dòng)，在這個(gè)方向上床變深的速度最快，我們就會(huì)找到深凹的點(diǎn)，當(dāng)有幾個(gè)深凹點(diǎn)時(shí)，經(jīng)過(guò)比較，可求出最小值。

人工神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別方面達(dá)到了一定水平，但準(zhǔn)確率一直難以突破，直到深度學(xué)習(xí)出現(xiàn)。

什么是深度學(xué)習(xí)？

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種，但在圖像、語(yǔ)音識(shí)別方面，準(zhǔn)確率比其他機(jī)器學(xué)習(xí)算法高許多。它包括多種算法，如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)，本文主要談深度學(xué)習(xí)算法的共同特性。

深度學(xué)習(xí)其實(shí)是對(duì)人工神經(jīng)網(wǎng)絡(luò)的繼承和超越，它主要改進(jìn)了兩個(gè)方面：1.設(shè)置更多的隱藏層。2.讓機(jī)器學(xué)習(xí)特征，而非人工設(shè)計(jì)。

在人工神經(jīng)網(wǎng)絡(luò)時(shí)代，如果想要獲得較好的結(jié)果，則需提供大量數(shù)據(jù)進(jìn)行訓(xùn)練，并用多層網(wǎng)絡(luò)解決復(fù)雜問(wèn)題，但當(dāng)時(shí)的數(shù)據(jù)量、算力都無(wú)法支撐。后來(lái)，海量數(shù)據(jù)出現(xiàn)，算力大幅提升，才為多層網(wǎng)絡(luò)的訓(xùn)練提供了可能。

此外，訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)還要解決“梯度消失”問(wèn)題，大致是指原有算法中從后向前對(duì)多層神經(jīng)網(wǎng)絡(luò)運(yùn)用梯度下降法，會(huì)使前面的層難以更新參數(shù)，降低準(zhǔn)確率。通過(guò)換用更好的激活函數(shù)等方法，人們終于解決了這個(gè)問(wèn)題。

因此有人說(shuō)，第三次人工智能浪潮是由算法、算力、數(shù)據(jù)三駕馬車?yán)瓌?dòng)的。

深度學(xué)習(xí)對(duì)以往機(jī)器學(xué)習(xí)最重要的超越，也是最重要的特性，是學(xué)習(xí)特征。在其他機(jī)器學(xué)習(xí)中，訓(xùn)練時(shí)輸入的一串x，其實(shí)是特定領(lǐng)域?qū)＜以O(shè)計(jì)的“特征”，而不是“原圖”。比如要把西瓜分成“好瓜”“壞瓜”，則需了解相關(guān)知識(shí)的人告訴我們：要看色澤、根蒂、敲聲，而這些就是西瓜的“特征”。機(jī)器通過(guò)對(duì)特征的描述（如：色澤：青綠；根蒂：蜷縮；敲聲：沉濁），和標(biāo)注的結(jié)果（好瓜），能學(xué)出怎樣的瓜屬于“好瓜”。特征的歸納對(duì)學(xué)習(xí)的效果有重要影響。

人工設(shè)計(jì)特征的不足在于：一、模型的框架難以通用，換個(gè)問(wèn)題就要重新設(shè)計(jì)特征。二、解決復(fù)雜問(wèn)題往往需要更多特征，特征多到一定程度時(shí)，訓(xùn)練數(shù)據(jù)量要極大增加才能保證準(zhǔn)確率，而原有方法無(wú)法應(yīng)對(duì)，這被稱為“維數(shù)災(zāi)難”。

由機(jī)器提取特征，不僅是解決這些問(wèn)題的重要方法，也是機(jī)器全自動(dòng)分析數(shù)據(jù)的大勢(shì)所趨。

2006年，辛頓等人提出了一種實(shí)現(xiàn)機(jī)器提取特征的方法，但更具實(shí)用性的例子是卷積神經(jīng)網(wǎng)絡(luò)（CNN）?；贑NN的算法達(dá)到的圖像識(shí)別準(zhǔn)確率已經(jīng)超越了人類平均水平。在CNN中，用于提取特征的是“卷積”過(guò)程。一張圖片在計(jì)算機(jī)眼中，其實(shí)是一張數(shù)字表，每個(gè)數(shù)字就是一個(gè)像素。數(shù)學(xué)上，“卷積”和神經(jīng)元中對(duì)一串x和w的乘積求和類似。我們把圖片分成很多小塊，每塊的全部像素是一串x，我們?cè)俳o出一串w，然后每個(gè)x與w對(duì)應(yīng)相乘，對(duì)這串乘積求和，替換原來(lái)的小塊數(shù)表。對(duì)于圖片的所有小塊，我們都用同一串w進(jìn)行同樣操作。此時(shí)w叫卷積核。當(dāng)我們對(duì)所有小塊都這樣操作之后，圖片的尺寸縮小了，像素也被聚合了，再進(jìn)行下一次卷積（本例對(duì)應(yīng)單通道圖片的簡(jiǎn)單情形）。簡(jiǎn)單說(shuō)，卷積層的作用就是“聚沙成塔”。這一方法的靈感來(lái)自人腦對(duì)圖片的感知過(guò)程，其實(shí)是從邊緣到局部再到整體的，每一次卷積，就使散點(diǎn)聚為邊緣，再聚為形狀，最后，整張圖片的特征就被勾勒出來(lái)了。

可以發(fā)現(xiàn)，卷積的核心在于卷積核的選取，采用梯度下降等方法，可以找出最好的卷積核，從而實(shí)現(xiàn)機(jī)器自主提取特征。

深度學(xué)習(xí)的未解之謎？

深度學(xué)習(xí)以其通用的框架和多種實(shí)用的算法，讓機(jī)器直接從經(jīng)驗(yàn)中學(xué)出規(guī)律，在圖像識(shí)別、自然語(yǔ)言處理等方面取得了很多成果，但以下幾個(gè)問(wèn)題不容忽視：

1. 魯棒性。如果對(duì)圖像施加一些干擾，比如把豬的圖片疊加一些黑白噪聲點(diǎn)，人類看不出任何差別，卻會(huì)導(dǎo)致算法誤判。這實(shí)際上是抗干擾能力，不少科學(xué)家正在解決這一問(wèn)題。

2. 可解釋性。機(jī)器直接從數(shù)據(jù)學(xué)出規(guī)律，并以此進(jìn)行新的決策。但它為什么會(huì)得出這樣的結(jié)論，訓(xùn)練數(shù)據(jù)和規(guī)律之間有何邏輯聯(lián)系，目前還不太清楚，因而被稱為“黑箱”。

3. 對(duì)數(shù)據(jù)量和訓(xùn)練次數(shù)的依賴。當(dāng)已標(biāo)注數(shù)據(jù)較少、訓(xùn)練次數(shù)不多時(shí)，深度學(xué)習(xí)的效果不佳。在硬件算力增長(zhǎng)速度下降（摩爾定律近期不斷修改）、部分領(lǐng)域已標(biāo)注數(shù)據(jù)不足的情況下，擺脫這一限制或成重要方向，目前已有相關(guān)成果，如遷移學(xué)習(xí)。

深度學(xué)習(xí)深幾許？今年花勝去年紅。

已知盡處是春山，行人更在春山外！

（圖片來(lái)自網(wǎng)絡(luò)，部分圖片經(jīng)作者修改）