不同的神經網絡可以實現給圖像去噪、去水印、消除馬賽克等等功能，但我們能否讓一個模型完成上述所有事？事實證明 AI 確實有這樣的能力。來自 Skoltech、Yandex 和牛津大學的學者們提出了一種可以滿足所有大膽想法的神經網絡。

事情是這樣的：研究人員們讓一個深度卷積網絡去學習復制被破壞的圖像（例如加入噪點的圖像），隨后竟發現這個網絡可以自行先學會如何重建圖像。該研究的論文《Deep Image Prior》已被收錄在 CVPR 2018 大會，而 GitHub 則已有 3800 個 star。

Deep Image Prior 的重要特點是，網絡由始至終僅使用了輸入的，被破壞過的圖像做為訓練，沒有經歷過大多數神經網絡所需要的學習過程即可完成任務。它沒有「看過」任何其它圖像，也沒有看過未受破壞的正常圖像，但最終恢復的效果依然很好。這說明自然圖像的局部規律和自相似性確實很強。

在 GitHub 項目中，作者如下展示了 5 種常見圖像重構的效果。他們表示單個卷積網絡可以完成缺失圖像的修復、痕跡的移除、圖像去噪、超分辨率和去除水印等，可以說該模型在理解圖像先驗信息下顯得無所不能。當然作者表示這個項目的超參數和架構都是可以調整的，它們遠沒有達到最優，所以感興趣的讀者快試試吧。

項目地址：https://github.com/DmitryUlyanov/deep-image-prior

其實上圖中的每一項任務都有很多研究，它們假設模型能從大型真實圖像數據集中學習到圖像的先驗信息，即像素怎樣才能組合成一張「正常」的圖像，這樣學習到通用圖像信息的模型就能用來修補圖像或生成高分辨率圖像了。但是這種觀點正確嗎？該項目的研究論文表示否定，它們只在損壞的「非正?！箞D像上訓練同樣能學習到圖像的「先驗」，注意這種「訓練」僅表示模型在單張損壞圖像上反復迭代。

網友使用 AKB-48 照片進行超分辨率的嘗試。

與傳統觀點相反，該項目的研究論文表示未經任何「學習過程」的卷積圖像生成器架構可以捕捉到大量圖像數據，尤其是解決不同圖像修復問題的圖像數據。在卷積網絡對損壞圖像反復迭代時，它能自動利用圖像的全局統計信息重構丟失的部分。

研究者使用未經訓練的卷積網絡來解決幾種此類問題。研究者未在大量示例圖像數據上訓練卷積網絡，而是直接將生成器網絡應用于單個退化圖像，即有損壞的自然圖像。在此方法中，網絡權重作為修復圖像的參數。權重經過隨機初始化和擬合，以在提供特定退化圖像和任務相關模型時能夠最大化似然度。

本研究展示了，這個非常簡單的方法在標準圖像處理問題（如去噪、圖像修復和超分辨率）中極具競爭力。除了標準圖像修復任務外，該技術還可用于理解深度神經網絡激活函數中的信息。

論文：Deep Image Prior

論文地址：https://sites.skoltech.ru/app/data/uploads/sites/25/2018/04/deep_image_prior.pdf

摘要：深度卷積網絡已經成為圖像生成和修復的常用工具。通常，其優秀性能要歸功于從大量示例圖像中學習逼真圖像先驗的能力。而這篇論文反其道而行之，展示了一種生成器網絡架構，它可以在學習之前先捕捉大量低級圖像數據。本論文展示了隨機初始化神經網絡可在標準逆問題（如去噪、超分辨率和圖像修復）中作為手工先驗知識（handcrafted prior）使用，且性能優越。此外，同樣的先驗知識還可用于反轉深度神經表征以作出判斷，并基于 flash-no flash 輸入對來修復圖像。

該方法應用廣泛，且強調了標準生成器網絡架構捕捉的歸納偏置（inductive bias）。它還彌補了圖像修復兩大流行方法之間的距離：使用深度卷積網絡的基于學習的方法、基于手工圖像先驗知識（如自相似性）的無學習方法。

項目使用

該項目為不同的任務提供了對應的實現文檔，例如 inpainting.ipynb 展示了如何做圖像修復與去水印、super-resolution.ipynb 展示了如何做圖像超分辨率。如下展示了項目的環境配置與安裝，注意其主要使用了 PyTorch 0.4，所以已經更新到 1.0 的讀者可以借助 conda 或其它工具配置一個新環境。

安裝

在執行代碼之前，你需要安裝下列庫：

python = 3.6

pytorch = 0.4

numpy

scipy

matplotlib

scikit-image

jupyter

以上庫均可通過 conda (anaconda) 安裝，如：

conda install jupyter

Docker 鏡像

你也可以使用具備全部依賴項的 Docker 鏡像完成環境的配置，并連接到 Jupyter Notebook。你需要確保安裝了 docker 和 nvidia-docker，然后運行以下命令：

nvidia-docker build -t deep-image-prior .

然后，啟動容器，如下所示：

nvidia-docker run --rm -it --ipc=host -p 8888:8888 deep-image-prior

你會得到一個 URL，使用它可連接至 Jupyter notebook。