于爾根·施密德胡伯(Jürgen Schmidhuber)，德國計(jì)算機(jī)科學(xué)家，被譽(yù)為遞歸神經(jīng)網(wǎng)絡(luò)之父，現(xiàn)任瑞士達(dá)勒莫勒人工智能研究所（IDSIA）科學(xué)主任，以及沙特阿拉伯阿卜杜拉國王科技大學(xué)（KAUST）計(jì)算機(jī)、電氣和數(shù)學(xué)科學(xué)與工程（CEMSE）部門的人工智能倡議主任和教授。他在人工智能領(lǐng)域，尤其是人工神經(jīng)網(wǎng)絡(luò)方面的貢獻(xiàn)卓著，包括長短期記憶（LSTM）的開創(chuàng)性工作，以及元學(xué)習(xí)、生成對(duì)抗網(wǎng)絡(luò)和線性變壓器的原則。施密德胡伯還創(chuàng)立了Nnaisense公司，致力于開發(fā)多領(lǐng)域的人工智能商業(yè)應(yīng)用。
人物經(jīng)歷
于爾根·施密德胡伯（Jürgen Schmidhuber）在德國慕尼黑慕尼黑工業(yè)大學(xué)完成了本科（1987 年）和博士（1991 年）學(xué)習(xí)，并從 2004 年到 2009 年在那里任教。自 1995 年以來，他一直擔(dān)任瑞士人工智能研究所 (IDSIA) 的主任。從 2009 年起，他同時(shí)擔(dān)任瑞士盧加諾大學(xué)的人工智能教授。
在 20 世紀(jì) 80 年代，反向傳播對(duì)于人工神經(jīng)網(wǎng)絡(luò)中具有長信用分配路徑的深度學(xué)習(xí)效果不佳。為了克服這個(gè)問題，施密德胡伯（1991）提出了一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）層次結(jié)構(gòu)，它使用預(yù)測編碼來學(xué)習(xí)多個(gè)自組織時(shí)間尺度的內(nèi)部表示，這可以極大地促進(jìn)下游深度學(xué)習(xí)。
1991 年，施密德胡伯發(fā)表了對(duì)抗性神經(jīng)網(wǎng)絡(luò)，它們以零和博弈的形式相互競爭，其中一個(gè)網(wǎng)絡(luò)的收益就是另一個(gè)網(wǎng)絡(luò)的損失。 其中第一個(gè)網(wǎng)絡(luò)是一個(gè)生成模型，用于對(duì)輸出模式的概率分布進(jìn)行建模。第二個(gè)網(wǎng)絡(luò)通過梯度下降學(xué)習(xí)來預(yù)測環(huán)境對(duì)這些模式的反應(yīng)，這被稱為“人工好奇心”。 2014 年，這一原理被用于生成對(duì)抗網(wǎng)絡(luò)（GAN）發(fā)揚(yáng)光大。
施密德胡伯指導(dǎo)了他的學(xué)生 Sepp Hochreiter 于1991 年完成的畢業(yè)論文，并稱其為“機(jī)器學(xué)習(xí)史上最重要的文獻(xiàn)之一”。 它不僅測試了神經(jīng)歷史壓縮器（the neural history compressor），還分析并克服了梯度消失問題。這催生了稱為長短期記憶（LSTM）的深度學(xué)習(xí)方法，這是一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。LSTM 已成為 20 世紀(jì)被引用最多的神經(jīng)網(wǎng)絡(luò)。 到 2010 年代，LSTM 成為包括語音識(shí)別和機(jī)器翻譯在內(nèi)的各種自然語言處理任務(wù)的主導(dǎo)技術(shù)，并廣泛應(yīng)用于 谷歌 Translate 和 Siri 等商業(yè)技術(shù)中。
2009年至2012年9月期間，施密德胡伯團(tuán)隊(duì)開發(fā)的深度/循環(huán)神經(jīng)網(wǎng)絡(luò)（NN）贏得了八次國際模式識(shí)別競賽。 2017年，他的一個(gè)團(tuán)隊(duì)還獲得了NIPS強(qiáng)化學(xué)習(xí)大賽的冠軍。
自 2018 年以來，Transformers 通過 ChatGPT 等大型語言模型取代了 LSTM，成為自然語言處理領(lǐng)域的主導(dǎo)神經(jīng)網(wǎng)絡(luò)架構(gòu)。早在 1992 年，施密德胡伯 也發(fā)表了與之有共通之處的神經(jīng)網(wǎng)絡(luò)架構(gòu)，目前被稱為具有線性自注意力的 Transformer（a Transformer with linearized self-attention）。
個(gè)人事件
根據(jù)《衛(wèi)報(bào)》的報(bào)道，施密德胡伯在2015年發(fā)表的一篇“嚴(yán)厲的文章”中，指責(zé)同行的深度學(xué)習(xí)研究員杰弗里·辛頓、楊立昆和約書亞·本希奧“大量互相引用”，卻“沒有提及該領(lǐng)域的先驅(qū)者”，稱他們低估了施密德胡伯自己和其他早期機(jī)器學(xué)習(xí)先驅(qū)者的貢獻(xiàn)，包括于1965年發(fā)表首個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)的阿列克謝·格里戈里耶維奇·伊瓦赫年科（Alexey Grigorevich Ivakhnenko）。楊立昆否認(rèn)了這一指責(zé)，表示施密德胡伯“總是主張他所不該得到的名譽(yù)”。施密德胡伯本人則提出反對(duì)，聲稱楊立昆并沒有以實(shí)例來支持該主張，并自己列出了許多成果的優(yōu)先權(quán)爭論加以反駁。
榮譽(yù)
施密德胡伯 于 2013 年獲得國際神經(jīng)網(wǎng)絡(luò)協(xié)會(huì)亥姆霍茲獎(jiǎng)（the Helmholtz Award），并于 2016 年獲得 IEEE 計(jì)算智能協(xié)會(huì)神經(jīng)網(wǎng)絡(luò)先鋒獎(jiǎng) ，以表彰其“對(duì)深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)等人工智能領(lǐng)域的開創(chuàng)性貢獻(xiàn)”。他也是歐洲科學(xué)與藝術(shù)學(xué)院（the European Academy of Sciences and Arts）的院士。2017年他被任命為瑞士技術(shù)科學(xué)院院士。
他被人稱為“LSTM之父”，也被稱為“（現(xiàn)代）人工智能之父”或類似稱號(hào)，然而，施密德胡伯本人將 Alexey Grigorevich Ivakhnenko 稱為“深度學(xué)習(xí)之父”，并贊揚(yáng)了許多更早期的人工智能先驅(qū)的工作。
參考資料 >