據(ju)悉，本(ben)次(ci)大會共收到有(you)效投稿6743篇，最(zui)終1428篇論(lun)文(wen)被接(jie)收，接(jie)收率達到21.2%（略高于(yu)去年的20.8%）。在接(jie)收的論(lun)文(wen)中，還有(you)36篇Oral論(lun)文(wen)和164篇Spotlight論(lun)文(wen)。

從(cong)每篇(pian)論文作(zuo)(zuo)者(zhe)數量來看(kan)， NeurIPS2019接收的(de)論文大多數都(dou)有(you)3-4個(ge)作(zuo)(zuo)者(zhe)，其中(zhong)3個(ge)作(zuo)(zuo)者(zhe)的(de)共(gong)有(you)360篇(pian)，4個(ge)作(zuo)(zuo)者(zhe)的(de)共(gong)有(you)320篇(pian)。擁(yong)有(you)10個(ge)作(zuo)(zuo)者(zhe)以(yi)上的(de)論文共(gong)有(you)15篇(pian)，其中(zhong)有(you)1篇(pian)文章擁(yong)有(you)21個(ge)作(zuo)(zuo)者(zhe)。

從作(zuo)者(zhe)維度分(fen)析，NeurIPS2019接收的1427篇共(gong)來自4423位(wei)(wei)作(zuo)者(zhe)。其中3692位(wei)(wei)作(zuo)者(zhe)有(you)(you)1篇入選，510位(wei)(wei)作(zuo)者(zhe)有(you)(you)2篇入選，132位(wei)(wei)作(zuo)者(zhe)有(you)(you)3篇入選，48位(wei)(wei)作(zuo)者(zhe)有(you)(you)4篇入選。

超過(guo)5篇(pian)入(ru)選(xuan)(xuan)的作(zuo)(zuo)者(zhe)共有(you)(you)44位(wei)(wei)。其中，有(you)(you)1位(wei)(wei)作(zuo)(zuo)者(zhe)有(you)(you)12篇(pian)入(ru)選(xuan)(xuan)，他(ta)就是(shi)加州大學(xue)伯(bo)(bo)克利(li)分校EECS助理(li)教授Sergey Levine；其次是(shi)INRIA的大牛Francis Bach，共有(you)(you)10篇(pian)。伯(bo)(bo)克利(li)大牛Pieter Abbeel和(he)圖靈獎得主Yoshua Bengio都有(you)(you)9篇(pian)入(ru)選(xuan)(xuan)。

在(zai)華人作者中，論(lun)文入(ru)(ru)選數最多的是陶(tao)大(da)程，共有8篇(pian)入(ru)(ru)選。陶(tao)大(da)程是澳大(da)利亞科學(xue)院院士(shi)、悉尼大(da)學(xue)教(jiao)授，同時(shi)也擔任優必選機器人的首席(xi)科學(xue)家。

來(lai)自(zi)普林斯頓大學(xue)運籌學(xue)與金(jin)融工程(cheng)系的博士研究生楊(yang)卓然與美國西北大學(xue)助理(li)教授Zhaoran Wang分(fen)別(bie)有(you)7篇和6篇論(lun)文入選。

Zhuoran Yang（楊(yang)卓然）是(shi)普林斯(si)頓大學(xue)運籌學(xue)與(yu)金融工程(cheng)系的(de)博(bo)士研究(jiu)生(sheng)。于2015年獲得清華大學(xue)數學(xue)系學(xue)士學(xue)位，研究(jiu)方向是(shi)統計機器學(xue)習(xi)和(he)增強(qiang)學(xue)習(xi)。

從(cong)一(yi)作統(tong)計，共有(you)59位作者(zhe)(zhe)有(you)2篇以(yi)上(shang)（包括2篇）論(lun)(lun)文入選，其中，以(yi)一(yi)作身份發表(biao)3篇以(yi)上(shang)論(lun)(lun)文作者(zhe)(zhe)的共有(you)8位，還有(you)1位作者(zhe)(zhe)發表(biao)了4篇，他就是“計算機金牌(pai)王子”--朱澤園，在(zai)NeurIPS2018與 ICML 2017 上(shang)，朱澤園分別也有(you)4篇、5篇以(yi)一(yi)作論(lun)(lun)文被接收(shou)。

朱澤園目前就職于微軟總(zong)部研(yan)究院，主要致(zhi)力于機器學(xue)習和優化問(wen)題的(de)數(shu)學(xue)基礎的(de)相關研(yan)究，并將它們應(ying)用于深度(du)學(xue)習、理論計算(suan)機科學(xue)、運(yun)籌學(xue)和統計學(xue)。

從作者所屬國家(jia)來看，華(hua)人(ren)參與的(de)論(lun)文(wen)共(gong)有656篇，占總論(lun)文(wen)數的(de)46%。其(qi)中華(hua)人(ren)一作論(lun)文(wen)共(gong)有471篇，占華(hua)人(ren)參與論(lun)文(wen)數的(de)71.8%，占總論(lun)文(wen)數的(de)33%。

從論(lun)文所屬(shu)機構來(lai)看(kan)，Google+DeepMind組合高居(ju)榜首，入選論(lun)文共(gong)計171篇(pian)。MIT排(pai)名(ming)第二，92篇(pian)論(lun)文入選。斯坦福大(da)學、卡內基梅隆大(da)學排(pai)名(ming)第三，都有85篇(pian)入選。

國內高校中(zhong)，清(qing)華大學入(ru)選論(lun)文最多，共計35篇，排(pai)在總榜的第13位(wei)；北京大學有25篇入(ru)選，排(pai)在總榜第19位(wei)。

NeurIPS2019 杰出論(lun)文(wen)(wen)委員會(hui)的(de)(de)五位成員會(hui)從做oral presentation的(de)(de)論(lun)文(wen)(wen)中進行(xing)選(xuan)(xuan)擇，根據論(lun)文(wen)(wen)的(de)(de)長(chang)期潛力(li)、洞察(cha)力(li)、創造(zao)性(xing)(xing)、革命(ming)性(xing)(xing)、科學(xue)性(xing)(xing)、可重復性(xing)(xing)等原則(ze)作為(wei)評選(xuan)(xuan)標準進行(xing)初步(bu)分類(lei)，選(xuan)(xuan)出三篇論(lun)文(wen)(wen)的(de)(de)短名單和一個八篇備選(xuan)(xuan)論(lun)文(wen)(wen)的(de)(de)長(chang)名單，然后各自再(zai)對對這(zhe)八篇論(lun)文(wen)(wen)進行(xing)評估并為(wei)每篇論(lun)文(wen)(wen)定級，同時也會(hui)尋求更多(duo)的(de)(de)專(zhuan)家意見作為(wei)參(can)考(kao)，最(zui)終確(que)定獲獎名單。

杰出論文獎

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

作者：Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos（威斯康辛(xin)大(da)學麥迪遜分校、馬普所）

論文地址：

摘要：這(zhe)篇(pian)論(lun)文研究了在訓練數(shu)據(ju)中有(you)未知的(de)(de)(de)、有(you)界的(de)(de)(de)標簽噪聲(sheng)的(de)(de)(de)情(qing)(qing)況下，如何為二分類問(wen)題(ti)學習(xi)(xi)線性(xing)閾值函數(shu)。論(lun)文推導出(chu)一(yi)個(ge)在這(zhe)種情(qing)(qing)境(jing)下非常高(gao)效(xiao)的(de)(de)(de)學習(xi)(xi)算法，解決了一(yi)個(ge)基礎的(de)(de)(de)、長期存在的(de)(de)(de)開放(fang)性(xing)問(wen)題(ti)：在有(you)Massart噪聲(sheng)的(de)(de)(de)情(qing)(qing)況下高(gao)效(xiao)地學習(xi)(xi)半(ban)空(kong)間；這(zhe)也是機器(qi)學習(xi)(xi)的(de)(de)(de)核(he)心問(wen)題(ti)之一(yi)，這(zhe)篇(pian)論(lun)文帶來(lai)了巨大的(de)(de)(de)進步。

論文中的(de)(de)(de)一(yi)個(ge)簡(jian)單的(de)(de)(de)例(li)子證明了該方(fang)法(fa)(fa)的(de)(de)(de)效(xiao)果。在此之前，只(zhi)有1% Massart噪聲(sheng)就會(hui)讓(rang)(rang)弱學習無(wu)效(xiao)（達到(dao)49%的(de)(de)(de)錯誤(wu)率）。論文中展示(shi)了如何高(gao)效(xiao)地讓(rang)(rang)錯誤(wu)水(shui)平上限僅僅等于Massart噪聲(sheng)水(shui)平+ε （算(suan)法(fa)(fa)的(de)(de)(de)運行時(shi)間為(wei)（1/ε）的(de)(de)(de)多項式，正如預期）。算(suan)法(fa)(fa)的(de)(de)(de)實現方(fang)法(fa)(fa)很精密，達到(dao)這樣的(de)(de)(de)結果也有一(yi)定的(de)(de)(de)技(ji)術挑戰。最終的(de)(de)(de)結果是，能(neng)夠高(gao)效(xiao)地在（1/ε）的(de)(de)(de)多項式運行時(shi)間內讓(rang)(rang)錯誤(wu)水(shui)平上限為(wei)Massart噪聲(sheng)水(shui)平+ε 。

杰出新方向論文獎

Uniform convergence may be unable to explain generalization in deep learning

作(zuo)者：Vaishnavh Nagarajan、J. Zico Kolter（卡耐基梅(mei)隆(long)大學、博(bo)世人工(gong)智能(neng)中心(xin)）

論文地址：

為了(le)解釋過(guo)參(can)數(shu)化深度網絡令人驚訝的(de)(de)良好(hao)泛化性能，近期的(de)(de)論(lun)文為深度學習(xi)(xi)開發出了(le)各種(zhong)泛化邊(bian)界(jie)(jie)，這(zhe)(zhe)些邊(bian)界(jie)(jie)都是基于一致收斂理論(lun)上的(de)(de)基本(ben)學習(xi)(xi)技巧(qiao)。許多現(xian)有的(de)(de)邊(bian)界(jie)(jie)在數(shu)值(zhi)上都很大，通(tong)過(guo)大量的(de)(de)實(shi)驗(yan)，作者揭(jie)示了(le)這(zhe)(zhe)些界(jie)(jie)限的(de)(de)一個更值(zhi)得關注的(de)(de)方面：實(shi)際上，這(zhe)(zhe)些邊(bian)界(jie)(jie)可以隨著訓練數(shu)據集的(de)(de)增大而增大。

根(gen)據觀察結果，他們隨(sui)后(hou)給出(chu)了一(yi)(yi)些(xie)用梯度(du)下降（gradient descent， GD）訓練的(de)(de)過(guo)參數化(hua)(hua)(hua)(hua)線性分(fen)類(lei)器和(he)神經網絡的(de)(de)例子，而在這(zhe)些(xie)例子中，一(yi)(yi)致收(shou)斂(lian)被(bei)證明不能(neng)「解(jie)釋(shi)泛化(hua)(hua)(hua)(hua)」--即使(shi)盡可能(neng)充分(fen)地(di)考慮了梯度(du)下降的(de)(de)隱含偏見。更加確(que)切地(di)說，即使(shi)只考慮梯度(du)下降輸(shu)出(chu)的(de)(de)分(fen)類(lei)器集(ji)，這(zhe)些(xie)分(fen)類(lei)器的(de)(de)測試誤差小(xiao)于(yu)設置中的(de)(de)一(yi)(yi)些(xie)小(xiao)的(de)(de)ε。研(yan)究(jiu)者(zhe)也表明，對這(zhe)組分(fen)類(lei)器應用（雙(shuang)邊，two-sided）一(yi)(yi)致收(shou)斂(lian)將(jiang)只產生一(yi)(yi)個空(kong)洞的(de)(de)大(da)于(yu) 1-ε的(de)(de)泛化(hua)(hua)(hua)(hua)保證。通過(guo)這(zhe)些(xie)發現，研(yan)究(jiu)者(zhe)對基于(yu)一(yi)(yi)致收(shou)斂(lian)的(de)(de)泛化(hua)(hua)(hua)(hua)邊界的(de)(de)能(neng)力(li)提出(chu)了質疑，從(cong)而全面了解(jie)為什么過(guo)參數化(hua)(hua)(hua)(hua)深(shen)度(du)網絡泛化(hua)(hua)(hua)(hua)得很好。

杰出論文獎榮譽提名

Nonparametric density estimation & convergence of GANs under Besov IPM losses

作(zuo)者：Ananya Uppal、Shashank Singh、Barnabás Póczos（卡內基梅隆大學(xue)）

論文地址：

在本(ben)文中，作(zuo)者(zhe)探究了大(da)型損(sun)失(shi)函數(shu)族(zu)（Besov IPM）的(de)非參概(gai)率密度估(gu)計問題(ti)，該函數(shu)族(zu)包括 L^p 距離、總變分距離，以及(ji) Wasserstein 距離和 KolmogorovSmirnov 距離的(de)泛華版本(ben)。對于各種損(sun)失(shi)函數(shu)設置，研究者(zhe)提供了上下(xia)界，精確(que)明(ming)確(que)了損(sun)失(shi)函數(shu)與數(shu)據假設的(de)選擇(ze)，如(ru)何(he)影響極(ji)小極(ji)大(da)最優收(shou)斂率的(de)確(que)定。

作者同(tong)樣展示了線(xian)(xian)性分(fen)布估計(ji)經(jing)常不(bu)能(neng)(neng)達到最(zui)優收(shou)斂率(lv)，例(li)如經(jing)驗分(fen)布或(huo)核密(mi)度估計(ji)器等線(xian)(xian)性分(fen)布。他們得出(chu)來的上下界能(neng)(neng)幫助泛(fan)化、統一(yi)或(huo)提升一(yi)些最(zui)經(jing)典(dian)研(yan)究(jiu)成(cheng)(cheng)果。此(ci)外，IPM 可(ke)以用于形式(shi)化生成(cheng)(cheng)對抗(kang)網(wang)絡的統計(ji)模型。因此(ci)，研(yan)究(jiu)者展示了該結(jie)果如何表(biao)明 GAN 的統計(ji)誤差邊界，例(li)如 GAN 要嚴(yan)格超越最(zui)好的線(xian)(xian)性估計(ji)器。

Fast and Accurate Least-Mean-Squares Solvers

作者(zhe)：Alaa Maalouf、Ibrahim Jubran、Dan Feldman（以色(se)列海法大學）

論文地址：

本(ben)文(wen)從線性(xing)、Lasso回(hui)歸(gui)到(dao)奇異值分(fen)解和Elastic net，最小均方算法(fa)是許多ML算法(fa)的(de)核心。本(ben)文(wen)展示了如何在不損失精度(du)的(de)情況(kuang)(kuang)下，將其計算復雜度(du)降(jiang)低一(yi)到(dao)兩個(ge)數(shu)量級，并改進(jin)了數(shu)值穩(wen)定性(xing)。該方法(fa)依(yi)賴于(yu)Caratheodory定理，建立一(yi)個(ge)coreset （d維中(zhong)(zhong)d2 + 1個(ge)點的(de)集合）足以表征凸集中(zhong)(zhong)的(de)所有n個(ge)點。它的(de)新穎之處在于(yu)提出了一(yi)種分(fen)治算法(fa)，在復雜度(du)可承受的(de)情況(kuang)(kuang)下（O（nd + d5 log n），其中(zhong)(zhong)d << n））提取(qu)coreset。

杰出新方向論文獎榮譽提名

Putting An End to End-to-End：Gradient-Isolated Learning of Representations

作者(zhe)：Sindy Lwe、Peter O‘Connor、Bastiaan Veeling（阿姆斯特丹大學）

論文地址：

本文重新(xin)審視(shi)了(le)深度網絡的(de)(de)分層構建，使(shi)用了(le)van Oord等人提出的(de)(de)自監(jian)督(du)標準，特別是當前輸入(ru)的(de)(de)表(biao)示與空間或(huo)時(shi)間相(xiang)近的(de)(de)輸入(ru)之間的(de)(de)相(xiang)互信息。

Scene Representation Networks：Continuous 3D-Structure-Aware Neural Scene Representations

作者：Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein（斯坦福大學）

論文地址：

本文(wen)提出(chu)了CV中的(de)兩種(zhong)主要方(fang)法(fa)：多視圖幾何方(fang)法(fa)和深(shen)度表(biao)(biao)示方(fang)法(fa)完美地結合在一(yi)(yi)起。具(ju)體而言，本文(wen)的(de)三大貢獻表(biao)(biao)現(xian)在：1.基于每個體素的(de)神經渲染(ran)器，實現(xian)了場景(jing)的(de)3D感知無分辨率渲染(ran)；2.提出(chu)一(yi)(yi)種(zhong)可(ke)微分的(de)ray-marching 算法(fa)，解決(jue)了沿著攝像機投射光線尋找曲(qu)面交點的(de)難(nan)題；3.提出(chu)一(yi)(yi)種(zhong)潛在的(de)場景(jing)表(biao)(biao)示方(fang)法(fa)，利用(yong)自動編碼器和超級網絡對場景(jing)來回(hui)歸表(biao)(biao)示網絡的(de)參數。

經典論文獎

NeurIPS經典(dian)論文獎的授予原則為(wei)"重要貢獻(xian)、持久影(ying)響和廣泛吸(xi)引(yin)力"，本(ben)屆大會從 2009 年 NIPS 的 18 篇(pian)引(yin)用最多的論文中選出了持續(xu)影(ying)響力最高(gao)、對研(yan)究(jiu)領域具(ju)有杰出貢獻(xian)的研(yan)究(jiu)。

最終，今年的這(zhe)一獎項授予 了(le)NIPS 2009 論文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其作者(zhe)，微(wei)軟首(shou)席研(yan)究員 Lin Xiao。

Lin Xiao曾就(jiu)讀(du)于(yu)北京航空航天大學(xue)(xue)和(he)斯坦福大學(xue)(xue)，自 2006 年起就(jiu)職于(yu)微軟研究院。他的研究興(xing)趣包(bao)括大規模優(you)化的理論和(he)算(suan)法(fa)，機器學(xue)(xue)習的隨機和(he)在線(xian)算(suan)法(fa)，并行計算(suan)和(he)分布式計算(suan)。

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

論文地址：

該研(yan)究(jiu)提出了(le)用(yong)于在(zai)(zai)線最優(you)化求(qiu)解(jie)的(de)RDA（Regularized Dual Averaging）方法(fa)，是Lin Xiao在(zai)(zai)微軟10年的(de)研(yan)究(jiu)成果。該方法(fa)是Simple Dual Averaging Scheme一個擴(kuo)展，并更(geng)有(you)效地提升了(le)特征權(quan)重的(de)稀疏性。