機器學(xué)習(xí)領(lǐng)域的獨立研究者 Andreas Madsen 用 7 個月的時間成就一篇 ICLR Spotlight 論文，為黑暗中默默探索的獨立研究者們帶來希望！當(dāng)然，他本身也是一名技術(shù)達人，機會從來只留給有準(zhǔn)備的人！
而值得一提的是，驅(qū)動Andreas Madsen 嘗試發(fā)頂會論文的原因，則是他在申請博士入學(xué)資格過程中四處碰壁的經(jīng)歷。
一個擁有機器學(xué)習(xí)碩士學(xué)位、豐富的機器學(xué)習(xí)開發(fā)經(jīng)驗，同時也發(fā)表過一些重要論文的研究者竟然只因沒有發(fā)過頂會論文，而被一眾教授拒之門外？
這一現(xiàn)象在他看來，其實更像是學(xué)術(shù)界的一種「新精英主義」，最終會放大已經(jīng)對這一行業(yè)產(chǎn)生了挑戰(zhàn)的固有偏見。
2019 年 4 月，為了在重要的學(xué)術(shù)會議上發(fā)表論文，我下定決心成為了一名獨立研究者。終于，在 2019 年 12 月，經(jīng)歷了漫長的七八個月沒有資助的研究工作，我成功了！我的論文被 ICLR 接收了，更令人欣慰的是：這篇論文被接收為Spotlight論文！
在我將這篇論文發(fā)布在 Twitter 平臺上后，它迅速地傳播開來，為像我一樣的研究者帶來了希望。因此，我迄今為止收到了近 100 條私信，他們都在征詢我的意見，想知道如何作為一名獨立研究者發(fā)表論文。
在本文中，我會向大家提出一些這方面的建議。但是，更重要的是，我想談?wù)劄槭裁次疫x擇成為一名獨立研究者。要知道，在沒有任何資金支持的情況下工作 7 個月并非兒戲，這種做法值得大家慎重考慮！
圖 1：是的！我的第一篇頂會論文本ICLR接收為spotlight了！我們將DeepMind的論文「NALU」中的性能提升了 3-20倍。我在沒有任何資助的情況下，作為獨立研究者，花了 7-8個月完成了這份工作。
2018 年 3 月，我在「distill.pub」平臺上作為唯一作者發(fā)表了論文「Visualizing memorization in RNNs」，說明了針對自然語言處理任務(wù)，如何通過一種交互式的顯著性可視化技術(shù)，證明兩個準(zhǔn)確率幾乎一樣的模型具有差異極大的表現(xiàn)。
曾經(jīng)，我認(rèn)為憑借上面提到的這篇論文和我的機器學(xué)習(xí)碩士學(xué)位，就足以申請到博士入學(xué)資格，或者是研究型軟件工程師、實習(xí)項目或者機器學(xué)習(xí)工程師的職位了。所以我就開始向許多教授發(fā)博士申請信，同時向谷歌、微軟、Rakuten、ElementAI、英偉達、Hypefactors、英特爾、京東、亞馬遜、三星、Shift Technology、Corti 等公司求職。
在應(yīng)聘谷歌的研究型軟件工程師時，甚至有一名谷歌的高級研究員找到我，他鼓勵我申請他們部門的職位，并正式推薦了我。為保險起見，我還請求了另一名谷歌的高級軟件工程師內(nèi)推我，他曾經(jīng)與我在開源的Node.js 項目上有過很多合作。
非常感謝你的郵件，內(nèi)容非常有趣。一般來說，現(xiàn)在想要申博士學(xué)位，沒有一兩篇頂會頂刊上的機器學(xué)習(xí)/NLP 論文是相當(dāng)困難的。你在 Distill上發(fā)表的論文和你在工業(yè)領(lǐng)域的經(jīng)驗在一定程度上彌補了這一點。不幸的是，我現(xiàn)在沒有可供申請的空缺名額。——來自 QS 全球排名 Top 100 的大學(xué)的一名教授。
最好的人工智能博士項目要求申請者已經(jīng)在頂會上發(fā)表過論文。如果你并沒有在ACL/EMNLP/CVPR/ICCV/NeurIPS或 ICML 上發(fā)表過論文，你被錄取的幾率就非常小了。——某 QS 全球排名 Top 5 大學(xué)的前委員會成員。
當(dāng)然，我也收到了一些其它的郵件（大多數(shù)人并沒有回復(fù)我），那些教授說得沒有這么直白，但是對我的申請也完全不感興趣。
我想，他們實際上也要求申請者擁有一兩篇頂會論文，但并不想直接承認(rèn)這一點，因為這種糟糕的標(biāo)準(zhǔn)只對那些非常幸運的學(xué)生們有利。——我碩士期間就讀的大學(xué)并沒有鼓勵我們?nèi)グl(fā)表論文。但是丹麥同樣也是一個讀碩士的好地方。
這就是事實！為了實現(xiàn)我自 2011 年以來的夢想，我需要發(fā)表 1-2 篇頂會論文。于是，在 2019 年 4 月，我決定全身心投入到科研工作直到 2020 年 1月，力爭在 NeurIPS 或者 ICLR 上發(fā)表論文。如果最終還是沒有成功，那我就會去做一名 JavaScript 程序員。
我如何才能找到自己的研究思路？怎樣才能為我自己提供資金支持？這是我到目前為止被問最多的問題。然而，雖然這些問題確實有待解決，但我覺得它們其實沒有那么重要。
實際上，有很多方法可以發(fā)掘研究思路；如果你不用負(fù)擔(dān)別人的開支，有很多辦法可以自己省錢。你可以進入一種「孤獨地生活，但不放棄理智和希望」的狀態(tài)，這并不會讓你感到十分難受。
在 2017 年 9 月至 2018 年 10 月期間，我一直都是一名自由職業(yè)者。在我剛開始成為獨立研究者時，我的朋友 Emil Bay 向NearForm 推薦了我，他們想做一個名為「clinic.js」的新項目。該項目不僅需要工程師對Node.js 的內(nèi)部實現(xiàn)有詳細(xì)的了解，還要求具備統(tǒng)計學(xué)背景和網(wǎng)頁可視化技術(shù)。
這個項目簡直就是為我量身定制的！此前，我做過大量的可視化工作，參與了與Node.js 內(nèi)部實現(xiàn)相關(guān)的工作長達 6 年的時間，并且剛剛?cè)〉昧藱C器學(xué)習(xí)碩士學(xué)位。所以，我在這個項目中獲得了豐厚的報酬。如果我能將自己的開支消費控制在非常低水平，這份報酬足以支持我進行 3 到 4 年的研究。
可以說在資金方面，我非常幸運。但是，丹麥?zhǔn)且粋€消費水平很高的國家，或許在另外的國家資助自己完成研究會更加容易。
2019 年，他們也曾邀請我為其在 NodeConf EU 2019 上推出的物聯(lián)網(wǎng)智能手表/胸牌開發(fā) TensorFlow 組件。雖然這筆收入不足以支撐我全年的所有開支，但也對我?guī)椭艽蟆?/p>
正如我所說，可以有很多種方法發(fā)掘研究思路，所以不要太在意我的說法，要充分發(fā)揮你自己的創(chuàng)造性。
2019 年 2 月，我回到母校參加了一個人工智能學(xué)生社團的開幕式活動，希望與之前的導(dǎo)師談?wù)勆暾埐┦康氖虑?。但遺憾的是，他也無法為我提供任何的入學(xué)機會。
然而，我卻遇到了 Alexander R Johansen，他是一位助理研究員，想要尋找合作伙伴。2019 年 3 月下旬，我寫信給他，他告訴我他的幾名學(xué)生嘗試復(fù)現(xiàn) DeepMind 的論文「NALU」，但都以失敗告終。所以，他問我是否愿意對此進行研究，也許我們可以由此寫出一篇 NeurIPS 論文。
我的碩士學(xué)位論文和在 Distill 上發(fā)表的論文都是對其他人夸大或具有誤導(dǎo)性的作品進行批判性思考，然后改進這些工作。而且這項研究的難點在于優(yōu)化，而我對此卻很擅長。所以，我覺得自己可以勝任這項任務(wù)。
我的建議就是如此。這并不是一種非常具有啟發(fā)意義的尋找研究思路的策略，在這個過程中你也會遇到一些重大的挑戰(zhàn)，但的確是一種可行的策略。
作為一名獨立研究者，你可能很難獲得來自任何人的鼓勵。當(dāng)然，我也知道，許多博士生導(dǎo)師也不會鼓勵他們自己的學(xué)生，但這些學(xué)生可以從處于類似困境中的同門那里尋求鼓勵。而一名獨立研究者想要得到這樣的鼓勵幾乎是不可能的，這也是我建議大家不要成為獨立研究者的首要原因。
作為論文的第一作者，在寫論文的過程中，背后沒有與你感同身受的人支持你是很難熬的。這是我建議大家不要成為獨立研究者的首要原因。
每個人都多多少少需要一些鼓勵。不要以為在沒有任何鼓勵的情況下，你自己也能撐過 7 個月。我一直在擔(dān)心出現(xiàn)下面的情況：找不到解決方案、遭遇不公正的同行評審、得不出有用的實驗結(jié)果、發(fā)現(xiàn)工作中存在某些重要缺陷、甚至擔(dān)心即便論文發(fā)表了也會因為課題過于小眾而沒有影響力。
同時，自籌 7 個月的研究經(jīng)費也是有很大風(fēng)險的。如果最終論文沒有發(fā)表，我的損失就會很大。作為一名獨立研究者，我被錄取的機會是低于平均水平的，這是因為我得到的反饋更少。
圖 4：作為一名獨立研究者發(fā)表論文，很可能是我做不到的事，我也想過會失敗，但無論如何，我都會盡力做到最好。
然而，盡管可能沒有與你感同身受的人支持你，但你也可以通過其它方法解決這個問題。我是這么做的：
1.我通常每周會與 Alexander 就研究思路進行討論。雖然 Alexander 本人并沒有獲得博士學(xué)位，但他具有非常棒的批判性思維。我并不認(rèn)為必須和那些有很多一作論文、或者有多年論文指導(dǎo)經(jīng)驗的人交流。重要的是，我們需要和那些能針對我們的研究工作提出問題的人交流。不然的話，我們可能會變得懶惰，對自己論文中存在的錯誤視而不見。請盡量與別人討論你的論文，這會給你增加很大的壓力，讓你不會寄希望于投機取巧。
2.在主要的研究之外，我也進行了一些附帶的項目。把所有時間都分配給同一份工作的風(fēng)險太大。不妨花時間做一些你認(rèn)為有用的小項目。寫個開源工具、復(fù)現(xiàn)一篇知名論文都可以。從研究中抽身出來，放松一下也是非常有必要的。這樣一來，即使研究項目失敗了，但至少完成了某些小項目。對我來說，能夠讓這些附帶的項目被知名研究者們認(rèn)可也是一種莫大的鼓勵。
圖 5：三天完成的附帶項目示例，用到這個項目的研究者會十分感謝你，從中你可以感受到鼓勵。（推特大意：很高興在此發(fā)布「pip install Ircurve」。它可以被用于繪制實時的學(xué)習(xí)曲線，而不像TensorBoard那樣繁瑣。它包含一個Keras幫助文件和模型無關(guān)的接口。
在所有提交的論文中，大約只有 20% 會被接收，你的同行審稿人會尋找各種理由拒掉你的文章。你認(rèn)為文章已經(jīng)「足夠好」是遠(yuǎn)遠(yuǎn)不夠的，你需要讓自己的論文被人贊嘆道「great」！
然而，（對于獨立研究者來說）你并沒有任何導(dǎo)師能幫你，此前你也沒有發(fā)表過論文，那么怎樣才能寫一篇令人嘆為觀止的論文呢？
就我而言，我的第一份論文放到了 distill.pub 期刊上?；叵肫饋?，我那時太幸運了——Distill 特別關(guān)心論文的寫作質(zhì)量。因為與通過同行審稿人（他們自己可能并不精通寫作）的評審相比，Distill 更加強調(diào)論文能解釋清楚并教育他人。對于我來說，寫一篇用于解釋和教育的文章，要比寫一篇取悅同行評審的文章容易得多。
然而，我第一次向 Distill 投稿的時候遭到了編輯的拒稿！他們不清楚我的工作有何貢獻。它到底是對 Nested LSTM 的批判，還是提出了一項新的 NLP 任務(wù)「自動補全」，或者它是一種交互式的可視化技術(shù)？
一篇論文中可能有一到兩條重要的信息，如果它們被誤解了，那么就會讓讀者感到非常困惑，從而被拒稿。所以，不要害怕反復(fù)強調(diào)某些重要信息，從而避免這些問題。
在我的 Distill 論文中，上面提到的這樣的信息是：「可視化可以幫助人們理解模型，而準(zhǔn)確率卻并不能。然而，你需要使用一個任何人都能有直觀感受的問題來體現(xiàn)這一點，顯然，中文詩歌生成并不是這樣的問題」。
在我的ICLR 的論文中，這樣的信息是：「異構(gòu)單元之間的門控比它看上去要困難得多，但在解決門控的問題之前還有其他問題需要解決，所以我們會在未來的研究里解決門控的問題」。
我對論文進行了重大修改，將修改稿再一次提交給了 Distill。這次，他們更加開放一些。Distill 上的 Chris Olah 和 Ludwig Schubert 在論文進入同行評審環(huán)節(jié)之前為我給出了非常有用的反饋。
如果沒有從他們那里得到的經(jīng)驗，我不確定我是否還能被ICLR接收。大家可以讀一下小說家 McCarthy 關(guān)于如何寫科學(xué)類文章的技巧，里面涵蓋了我學(xué)到的大部分經(jīng)驗。
最后，我想告訴大家，我和 Alexander 一起花了很長時間對這篇論文進行潤色，尤其是在摘要和引言部分，他的幫助非常有價值。
我們將論文提交給了 NeurIPS 2019，但慘遭拒稿。當(dāng)時我內(nèi)心十分煎熬。畢竟，我付出了那么多的時間卻一無所獲。我感覺自己的夢碎了，我再也沒有機會追求自己的夢想，不能從事我熱愛的機器學(xué)習(xí)研究了。
一些審稿人不相信我們成功地復(fù)現(xiàn)了 NALU 的結(jié)果（那篇我們進行了改進的論文）。很多審稿人都會問：「為什么原始論文中的結(jié)果比你們給出的結(jié)果要好很多」？
一些審稿人要求我們在提交的論文中做到 NALU 論文聲稱可以做到的所有事情（即使我們已經(jīng)提供了明確的證據(jù)來說明 NALU 模型并沒有將這些事情做到令人滿意的程度）。如果你看過這篇論文，我們沒有解決的是除法，以及加法和乘法之間的門控。盡管如此，我們也對其它方面進行了改進。
其實，第二點也可以歸結(jié)為一些審稿人不相信我們的實驗結(jié)果和復(fù)現(xiàn)。這就是我們在改進別人夸大的實驗結(jié)果時可能遇到的難題。
審稿人更偏向支持已經(jīng)發(fā)布的研究成果。與批判之前發(fā)表過的論文相比（尤其是當(dāng)這些論文出自 DeepMind 之手），他們更容易對你新提交的論文持批判性態(tài)度。
我想澄清的是，DeepMind 在論文「NALU」最后給出的結(jié)果并不是假的，它們是可以復(fù)現(xiàn)的。但這樣的結(jié)果對于「外推任務(wù)」來說，卻并非以最合適的方式去構(gòu)建的，該任務(wù)是主要的目標(biāo)，它使模型能夠比第一次和第二次通讀的時候看起來更好（你需要更加仔細(xì)地閱讀實驗結(jié)果）。而且，NALU 這篇論文只展示了具有單個種子（seed）的結(jié)果，而我們的論文展示的是具有100 個種子時的結(jié)果。關(guān)于個話題我們發(fā)表了一篇 workshop 論文「Measuring Arithmetic Extrapolation Performance」（論文地址：）。
在對NeurIPS 2019 的審稿意見進行反駁之前，我們已經(jīng)對論文進行了一些改進。在提交給ICLR 的版本中，我們補充了更多的證據(jù)和實驗去支持我們的觀點。
我們做了一件非常明智的事！我們把自己完成的NALU 的實驗設(shè)置和復(fù)現(xiàn)結(jié)果發(fā)表在NeurlIPS 2019 的 SEDL 研討會上。我們還將這項工作寫在了推特上，發(fā)布了 NALU 一作的標(biāo)簽，他回復(fù)道：「很棒的工作！有了好的對比基準(zhǔn)，我們才能繼續(xù)改進模型」。這對我們來說很有幫助，我們不必再為實驗設(shè)置和我們的新模型而爭論了。相反，我們可以專注于我們提出的模型。
圖 7：要在神經(jīng)網(wǎng)絡(luò)上實現(xiàn)數(shù)學(xué)上的外推十分困難。我們提出了一種新的對比基準(zhǔn)，并發(fā)現(xiàn)NALU十分脆弱。那么我們?nèi)绾螛?gòu)建可以學(xué)習(xí)算術(shù)方法的神經(jīng)網(wǎng)絡(luò)呢？僅僅使用更多的數(shù)據(jù)并不能做到這一點。
我其實很希望我能告訴你，我們的改進起了很大作用，但事實是，我覺得我們只是比較走運，遇到了一位超棒的審稿人。由于評論是公開的，他在 OpenReview 上對我們工作的評論引起了更廣泛的討論、更深入的批判性思考以及更少的謾罵性評論。
值得一提的是，我們收到了四份審稿意見，我認(rèn)為，這意味著我們的領(lǐng)域主席對此非常感興趣。其中一位評審在 NeurIPS 上也審閱過我們的論文（可能是那時的reviewer #3），同時他在 NeurIPS 上給出的審稿意見也是最具建設(shè)性的。
在我們做出這一系列的修改后，這位審稿人的意見從 NeurIPS 的弱拒改為了 ICLR 的弱接收，在 ICLR 的終審意見中又改成了接收，他甚至還對其他審稿人的意見評論道，「這篇文章中體現(xiàn)的貢獻進步巨大」。
我理解其它審稿人所關(guān)心的問題，本文給出的模型是在其它模型上進行增量式修改得到的。但我并不認(rèn)為本文的優(yōu)點僅僅在于模型本身，而是在于全文中體現(xiàn)的而理論和實驗分析，從而提升了模型的性能，而且本文的代碼也公開了。
這篇文章可讀性很強，它嘗試針對最近提出的模型做一些工作，它指出了他人提出的模型的缺陷，并給出了詳細(xì)的分析過程，然后改進了該模型以及對比基準(zhǔn)。本文直面了原模型的復(fù)現(xiàn)問題，并對其進行了大幅度的改進。這就是為什么我認(rèn)為這篇論文一定要被接受的原因。
我不確定這里提出的模型是否會在該領(lǐng)域引起巨大的改變，但是這種方法可能會影響并啟發(fā)其他研究者做出更加透徹的分析。
這條審稿意見讓我十分開心。那時，我們的論文還有兩個弱拒，所以仍然存在被拒稿的可能性。但即使被拒絕，我至少也會覺得我并沒有失敗，而是審稿程序有缺陷。
最終，我們的論文被ICLR 接收。我希望我能肯定地說，這篇文章能幫助我找到一份研究工作，但說實話，我并不知道未來會如何。我剛剛看到一封郵件，上面說我需要「2 篇頂會論文（最好是和著名研究者合作），才能被頂級的博士項目錄取」，但作為一名獨立研究者，這一點我是做不到的。希望只是這所大學(xué)有這種要求。
圖 9：機器學(xué)習(xí)研究之路是漫長的。然而，如果你不敢邁出第一步，一切都會看起來不可能。如果你真的想去做，那就付諸努力去尋找其他方法。
前文并沒有回答我收到的所有問題，我認(rèn)為現(xiàn)在的內(nèi)容還不足夠吸引人。所以我在下面針對其它重要問題一一作出解答：
A：我所有的圖都是用 R 語言的ggplot2 庫繪制的，這個代碼庫給了我很大幫助。我并沒有用 R 語言做其它事情，我只是將 CSV 文件從 Python 中導(dǎo)出，將其導(dǎo)入到 R 中，然后使用 R 計算置信區(qū)間并畫圖。
A：我每周在這篇論文上大約花 48 個小時，有時候達到 100 個小時。但請記住，我也在做一些附帶的項目和自由工作。
A：你要為自己的信念負(fù)責(zé)，不要指望你的導(dǎo)師主動來找你。你要慶幸你能得到實習(xí)機會，我之前沒有得到?？梢蚤_始安排與導(dǎo)師的交流，但也要記住，除了導(dǎo)師，你還可以向別人請教。
A：如果你能找到一位對此持開放態(tài)度的導(dǎo)師，那么你可以嘗試發(fā)表論文。同時，要嘗試在學(xué)習(xí)期間尋找實習(xí)工作。大多數(shù)實習(xí)工作只對學(xué)生開放。我曾經(jīng)得到過實習(xí)機會但卻去不了，因為我已經(jīng)畢業(yè)了。
A：確實是這樣，這種現(xiàn)象的黃金時期是 2013 年到 2015 年。如果當(dāng)時你拿到了碩士學(xué)位并且足夠幸運，你就可以走得很遠(yuǎn)。
1.與他人合作。這個人不一定必須是論文寫作方面的專家，只要是能對你的工作提出建設(shè)性評論的人就行。因此，在大學(xué)里找到一個擁有計算資源的人幫助你，可能是很有必要的。
2.做最壞的打算，盡最大的努力。只有 20% 的論文會被接收。作為一名獨立研究者，你被接收的概率可能還要低于平均水平。不要在被拒絕一次后就氣餒！你也可以進行一些附帶的項目，這樣的話，即使你失敗了，也不會覺得自己完全是在浪費時間。
3.避免成為獨立研究者。如果有更好的選擇，你就不應(yīng)該有什么理由成為獨立研究者。也許你的碩士生導(dǎo)師對你不上心，但至少你可以和其他博士生交流。如果你成為獨立研究者，就失去了非常重要的支持你的人際網(wǎng)絡(luò)。
圖 10：成為一個獨立研究者是極其艱難、孤獨的。然而，如果你足夠幸運，也可能在轉(zhuǎn)角處發(fā)現(xiàn)希望。
最后，由于我們有一篇論文被相關(guān)研討會接收了，我確實也參加了 NeurIPS 2019。在會上，我有幸與幾位招聘人員、教授、研究者交談。我感到極為震驚：招聘者的需求、研究人員的意愿和教授所能提供的條件之間存在著巨大的差距。
我想讓研究者們知道的是，在過去的兩年里，這個學(xué)術(shù)領(lǐng)域中的供需關(guān)系發(fā)生了翻天覆地的變化。如今，得到一個讀博機會似乎比完成博士學(xué)業(yè)還要難。
但如今，你需要在（NeurIPS/ICLR/ICML）等頂會上發(fā)表 1-2 篇論文（而且最好是與著名研究者合作）才能夠滿足入學(xué)要求。
我希望研究者、教授、委員會成員以及會議組織者都能夠幫助遏制這種迅速蔓延的新精英主義。它只會放大已經(jīng)對這一行業(yè)產(chǎn)生挑戰(zhàn)的固有偏見。