他稱，愛因斯坦花了很多年時間才推導(dǎo)出了重力理論的方程。如果有人認(rèn)為隨機(jī)梯度下降(SGD)+ 反向傳播僅憑輸入輸出對就能理解一切，并在模型訓(xùn)練中解決問題，那這個人對于機(jī)器學(xué)習(xí)的理解是有問題的，對機(jī)器學(xué)習(xí)的工作方式了解也不夠。

愛因斯坦在理論推導(dǎo)中對現(xiàn)實(shí)做出了很多假設(shè)，比如光速恒定、時空是靈活的結(jié)構(gòu)，然后推導(dǎo)出了微分方程，其解揭示了黑洞、引力波等重大發(fā)現(xiàn)?？梢哉f，愛因斯坦利用因果推理將不同的概念連接了起來。

但是，SGD + 反向傳播并不是這樣，它們只是將信息壓縮到模型權(quán)重中，并不進(jìn)行推理，只是更新并轉(zhuǎn)向?qū)崿F(xiàn)具有最低誤差的參數(shù)配置。

他認(rèn)為，機(jī)器學(xué)習(xí)(ML)中的統(tǒng)計學(xué)習(xí)過程可能會顯然低誤差「盆地」，即無法探索不同的概念， 因?yàn)橐坏┫萑脒@些低誤差「盆地」或者局部最小值就無法重新開始。

因此，SGD + 反向傳播發(fā)現(xiàn)了看似有效但卻很容易崩潰的、脆弱的解決方案捷徑。這就是為什么深度學(xué)習(xí)系統(tǒng)不可靠并且實(shí)際訓(xùn)練起來很難，你必須在現(xiàn)實(shí)中不斷更新和訓(xùn)練它們，這就很麻煩。

梯度下降的工作原理就像一只蒼蠅尋找氣味源一樣，即蒼蠅跟隨空氣中的化學(xué)濃度向下移動，從而引導(dǎo)它導(dǎo)向氣味源。但如果僅依賴這種方式，則很容易迷路或陷入困境。