主要從事網(wǎng)頁(yè)設(shè)計(jì)、PC網(wǎng)站建設(shè)（電腦版網(wǎng)站建設(shè)）、wap網(wǎng)站建設(shè)（手機(jī)版網(wǎng)站建設(shè)）、成都響應(yīng)式網(wǎng)站建設(shè)公司、程序開(kāi)發(fā)、微網(wǎng)站、重慶小程序開(kāi)發(fā)公司等，憑借多年來(lái)在互聯(lián)網(wǎng)的打拼，我們?cè)诨ヂ?lián)網(wǎng)網(wǎng)站建設(shè)行業(yè)積累了豐富的成都網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、網(wǎng)絡(luò)營(yíng)銷(xiāo)經(jīng)驗(yàn)，集策劃、開(kāi)發(fā)、設(shè)計(jì)、營(yíng)銷(xiāo)、管理等多方位專(zhuān)業(yè)化運(yùn)作于一體，具備承接不同規(guī)模與類(lèi)型的建設(shè)項(xiàng)目的能力。

雷鋒網(wǎng) AI 科技評(píng)論按：最近一陣子，NeurIPS 2019 放榜了、ICLR 2020 截稿了，為論文沒(méi)中而悶悶不樂(lè)、為投稿（或者改稿重投）而郁悶頭大的同學(xué)肯定不少。不過(guò)，在乎真正的學(xué)術(shù)貢獻(xiàn)的同學(xué)也不用著急，論文中了頂會(huì)最主要還是說(shuō)明符合流行風(fēng)向+運(yùn)氣好，就像每年頂會(huì)的最佳論文過(guò)十年再來(lái)看往往并不是真正推動(dòng)領(lǐng)域進(jìn)步的論文一樣。

其實(shí)，豈止「頂會(huì)最佳論文往往不是真正推動(dòng)領(lǐng)域進(jìn)步的論文」，有很多重要的、推動(dòng)進(jìn)步的論文都沒(méi)投頂會(huì)，甚至是投了然后被拒稿。谷歌大腦研究員 Colin Raffel 在推特上發(fā)帖討論了這事，和其它幾位學(xué)者共同列舉了一批重要的、推動(dòng)了領(lǐng)域進(jìn)步的、但并不屬于任何頂會(huì)的論文。

Generating Sequences With Recurrent Neural Networks

• 用 RNN 生成序列

• https://arxiv.org/abs/1308.0850

• 這篇論文發(fā)布時(shí)是相當(dāng)驚人的，首次表明了可以直接用 RNN 生成令人滿意的文本段落或者手寫(xiě)文字（具體來(lái)說(shuō)是用 LSTM 捕捉離散長(zhǎng)序列的結(jié)構(gòu)，每次預(yù)測(cè)下一個(gè)緊接著的元素）。而且這篇論文里還出現(xiàn)了注意力機(jī)制、Adam 等等后來(lái)廣為使用的技巧的雛形。

WaveNet: A Generative Model for Raw Audio

• WaveNet：一個(gè)原始音頻信號(hào)的生成模型

• https://arxiv.org/abs/1609.03499 

• 來(lái)自 DeepMind 的大名鼎鼎的 WaveNet 論文可以說(shuō)開(kāi)創(chuàng)了一個(gè)新的時(shí)代。在此之前的語(yǔ)音生成模型都是先生成“聲碼”，然后用單獨(dú)的發(fā)聲模型把聲碼變成音頻波形信號(hào)。WaveNet 直接表明了我們現(xiàn)在（2016 年）就可以直接用深度神經(jīng)網(wǎng)絡(luò)生成音頻波形信號(hào)，跳過(guò)聲碼這一環(huán)，生成效果也有極大的提升。沿著這個(gè)方向，后來(lái)的研究人員們還做了很多改進(jìn)和新的探索，大幅提高語(yǔ)音生成速度的并行 WaveNet （Parallel WaveNet， arxiv.org/abs/1711.10433 ）也很快就進(jìn)入了谷歌的商用系統(tǒng)。

Learning to Generate Reviews and Discovering Sentiment

• 學(xué)習(xí)生成評(píng)論并發(fā)掘情感

• https://arxiv.org/abs/1704.01444 

• A simple and surprising result (thresholding a neuron in an unsupervised LM could classify sentiment accurately) that helped kicked off the transfer learning craze in NLP.

• 這篇論文用了簡(jiǎn)單的無(wú)監(jiān)督預(yù)訓(xùn)練方法學(xué)習(xí)文本表征，然后得到了驚喜的結(jié)果：根據(jù)學(xué)習(xí)到的無(wú)監(jiān)督語(yǔ)言模型中的單個(gè)神經(jīng)元的閾值就可以準(zhǔn)確地判斷文本的情感。這項(xiàng)研究也助推了遷移學(xué)習(xí)的方法在 NLP 領(lǐng)域的流行。
  

Implicit Autoencoders

• 隱式自動(dòng)編碼器

• https://arxiv.org/abs/1805.09804 

• 可變自動(dòng)編碼器（VAE）的概念提出了挺久了，而這篇論文討論了一種新的自動(dòng)編碼器形式：編碼器中的重建項(xiàng)和正則化項(xiàng)都是用對(duì)抗損失表示的，也就是隱式地參數(shù)化。相比于之前的顯式的做法，隱式參數(shù)化、隱式的數(shù)據(jù)分布可以讓自動(dòng)編碼器學(xué)習(xí)到更強(qiáng)有表現(xiàn)力的先驗(yàn)知識(shí)和條件似然分布，從而，自動(dòng)編碼器中的隱含空間可以更專(zhuān)注捕捉數(shù)據(jù)中的抽象、高維信息，同時(shí)其余的低維信息都已經(jīng)被隱含的條件似然分布包括了。作者們的風(fēng)格、內(nèi)容解耦等實(shí)驗(yàn)中模型都發(fā)揮了優(yōu)秀的表現(xiàn)。

Learning Dexterous In-Hand Manipulation

• 學(xué)習(xí)靈活的機(jī)械手控制

• https://arxiv.org/abs/1808.00177  

• 這篇出自 OpenAI 的論文從發(fā)布以后就是機(jī)器人控制領(lǐng)域的熱門(mén)論文，實(shí)際上雷鋒網(wǎng) AI 科技評(píng)論也做過(guò) 詳細(xì)的解讀 。OpenAI 不僅提出了兩組、八個(gè)高難度問(wèn)題（機(jī)械臂末端控制、機(jī)械手拿取以及玩弄物體，都難以用早期強(qiáng)化學(xué)習(xí)算法直接解決），也用新的強(qiáng)化學(xué)習(xí)在模擬環(huán)境中訓(xùn)練了能完成這些任務(wù)的智能體；最驚人的是，即便是完全在模擬器中訓(xùn)練的，這個(gè)模型也可以不需任何微調(diào)就直接遷移到真實(shí)的機(jī)械手上，同樣優(yōu)美地完成了任務(wù)。這不僅是強(qiáng)化學(xué)習(xí)機(jī)器人控制的一個(gè)突破，在別的任務(wù)中使用強(qiáng)化學(xué)習(xí)的時(shí)候也可以參考他們的技巧。

Evolution Strategies as a Scalable Alternative to Reinforcement Learning

• 演化策略是一個(gè)強(qiáng)化學(xué)習(xí)的可拓展的的備選方案

• https://arxiv.org/abs/1703.03864  

• 這篇論文是演化策略 Evolution Strategies 這個(gè)研究方向的開(kāi)創(chuàng)性論文。演化策略提出時(shí)是作為當(dāng)時(shí)熱門(mén)的基于馬爾科夫決策過(guò)程的 Q-learning、策略梯度之類(lèi)的強(qiáng)化學(xué)習(xí)方法的補(bǔ)充，但是實(shí)際上即便演化策略是個(gè)黑盒優(yōu)化模型，它仍然有許多優(yōu)點(diǎn)：它在多 CPU 集群上的拓展性很好、對(duì)動(dòng)作頻率和延遲反饋不敏感、可以執(zhí)行非常長(zhǎng)期的任務(wù)、而且不需要時(shí)間折扣或者值函數(shù)逼近。

Distilling the Knowledge in a Neural Network

• 蒸餾神經(jīng)網(wǎng)絡(luò)中的知識(shí)

• https://arxiv.org/abs/1503.02531

• 首先，這篇論文的作者中有 Jeff Dean 和 Geoffrey Hinton，可以說(shuō)看到這兩個(gè)名字就知道這篇論文肯定有一些有價(jià)值的洞見(jiàn)。然而 Jeff Dean 在推特討論中自曝這篇論文投稿到了 NIPS 2014 然后被拒了，三位審稿人中有兩位的意見(jiàn)是「這項(xiàng)工作改進(jìn)很小，很可能不會(huì)有什么影響」…… 挺讓人郁悶的是不是，2019 年的我們都知道，隨著百萬(wàn)級(jí)參數(shù)數(shù)量的模型層出不窮，知識(shí)蒸餾、模型壓縮的方法不僅有用，很多時(shí)候甚至是實(shí)際應(yīng)用中必不可少的一個(gè)環(huán)節(jié)（為了達(dá)到可以接受的延遲和功耗）；知識(shí)蒸餾也成了近兩年的熱門(mén)研究課題。引用數(shù)據(jù)不會(huì)說(shuō)謊，這篇論文如今已經(jīng)有了大約 2000 的引用，比大多數(shù)頂會(huì)論文都要高。

在討論中也有人說(shuō)道，現(xiàn)在我們?cè)谶@里列舉出的論文被時(shí)間證明確實(shí)是有持續(xù)的影響力的，它們的引用數(shù)也都不低，但如果當(dāng)年投了頂會(huì)而且被接收了，可能還要高出很多。

（對(duì)于是不是一定要把論文投頂會(huì)，有人說(shuō)這其實(shí)要看作者是否已經(jīng)有了較高的教職、是否已經(jīng)有了類(lèi)似「fuck you money」這樣的底氣。如果一個(gè)人已經(jīng)有終生教職了、或者已經(jīng)達(dá)到了博士畢業(yè)的論文數(shù)量要求了，他就完全可以只把論文傳 arXiv，有價(jià)值的論文自然不會(huì)被忘記。相比之下，投頂會(huì)的論文相當(dāng)一部分是來(lái)自還沒(méi)達(dá)到目標(biāo)的在讀博士生的，出現(xiàn)學(xué)術(shù)價(jià)值不如沒(méi)投的論文的情況也不奇怪了）

幾篇論文打包下載見(jiàn)  https://www.yanxishe.com/resourceDetail/1030

原帖  https://twitter.com/colinraffel/status/1174691881114058752