前天，一篇 ICLR 2019 的接收論文引發了熱烈討論。該論文的匿名評審結果是 4，4，3，三位評審全都給出了 rejection 的決定。然而，領域主席「力排眾議」，對這篇論文給出了 Accept (Poster) 的決定……網友對這件事的不滿主要集中在這三個方面：作者泄露了個人信息，違反了雙盲規定；論文寫作風格草率；作者對匿名評審人員的回復言論語氣惡劣。
剛剛，ICLR 2019 大會官方回復了這一事件。
我們說明一下評審過程中的內部信息。rebuttal and discussion period 持續了 3 周，期間我們通過電子郵件與大約 80 位領域主席討論 ICLR 2019 的論文接收決定。這些討論旨在確保論文接收與否的決定能夠真正基于領域專家的意見。
就本案例而言，作為該領域公認專家的領域主席（AC）認為這項研究被嚴重低估了，因此為其做出了辯護。理想情況下，領域主席應該與審稿人進行充分討論；但這里，討論沒有得到充分進行。
鑒于審稿人人數眾多、水平各異，因此在領域主席認為有必要進行干預時，我們將采用遵從領域主席意見的方式。大多數情況下，這會讓討論更充分且最終能達成共識。不過這里我們看到了私下討論的一個失敗案例。
就文章匿名問題，我們務實地決定不直接將沒有匿名的論文自動拒絕，而是在被舉報時讓作者盡早修改。從本案例來看，這種機制顯然存在問題；但據我們所知，本案例中沒有證據表明 AC 受此影響。
從這個回復中我們可以看到，ICLR 評審制度存在以下幾點問題：1）評審人員水平參差不齊；2）由此導致 AC 權力過大；3）「私下討論」因人而異，并未制度化，可能帶來隱患；4）未嚴格執行「匿名性」。
近期各大機器學習頂會論文投遞數量暴漲，導致論文數量增多與合格論文評審人員數量不足之間的矛盾。ICLR 的評審制度對此采取的措施是「優先遵從領域主席意見」，在匿名評審與領域主席觀點不一致時，允許私下討論。在這一案例中，我們可以清楚地看到私下討論未必都能成功。在之前的 reddit 討論中，一位 ICLR 2019 評審人表示：「是有私下討論的，不過不是必須。作者/評審/主席可以選擇是否公開信息?！?/p>
我們目前對 ICLR 的「私下討論」環節并不了解，由誰發起、討論記錄是否公開或至少提交給 ICLR 程序委員會、討論過程中是否有可能出現「學術欺凌」，這些都是值得關注的問題。
之前曾有多位學術大牛表示：junior 會比較嚴格，因為某些細節不足而打低分，有可能忽視某項工作的真正創造性；而 senior 會比較寬松，看到真正的閃光點。這種情況是會存在的，但遵從某一個人的意見也有可能出現偏差。因此在意見不統一的時候，充分的討論是必要的，而如何保證討論的公平公開，從而保證論文接收決定的公平性，這值得我們思考。
此外，ICLR 官方回復稱」在本案例中沒有證據表明 AC 受匿名問題影響」，但這似乎并不代表」匿名問題」在其他案例中不存在問題。「雙盲評審」卻不能保證嚴格的「雙盲」，這事實上是對「學術不誠實」行為開放的一個秘密通道。
我們期望學術界出現更多創新性研究，期望論文評審制度更加完備，期望學術公平。