近年來，越來越多的研究人員嘗試開發(fā)機器學習技術（例如CNN）來分析藝術品。到目前為止，這些工具主要用于識別創(chuàng)作特定藝術品的藝術家或確定繪畫是真實的還是偽造的。
荷蘭TU Delft的研究人員最近開發(fā)了一種基于卷積神經(jīng)網(wǎng)絡（CNN）的模型，用于重建隨著時間而惡化的圖紙。在發(fā)表于Springer的《機器視覺與應用》中的研究中，他們專門使用該模型重建了Vincent Van Gogh的一些繪圖，這些繪圖由于墨水褪色和變色而多年來被破壞。
進行這項研究的研究者之一揚·范德·盧貝（Jan van der Lubbe）告訴作者：“荷蘭在藝術方面享有國際聲譽，其中包括倫勃朗，蒙德里安和梵高等著名藝術家。” “因此，藝術史研究和如何保護文化遺產(chǎn)的研究在荷蘭起著重要作用。”
圖片提供：Zeng，van der Lubbe和Loog
與先前的研究形成對比，范德魯貝（Van der Lubbe）和他的同事著手研究如何使用機器學習技術對劣化的繪畫進行像素化重構。在藝術保存方面，繪畫和素描的惡化是一個關鍵挑戰(zhàn)，因此可以自動重建殘缺或殘缺藝術品的工具將大大簡化藝術史學家的工作。
代爾夫特理工大學的研究人員團隊對后印象派畫家梵高（Van Gogh）的作品進行了基于CNN的模型的退化畫質(zhì)復制品培訓。實際上，在過去的一個世紀中，梵高的一些水墨畫已經(jīng)大大惡化，藝術史學家經(jīng)常嘗試復制它們。
這些圖形目前無法顯示，并且在幾十年后它們可能會完全退化。考慮到這一點，范德魯貝（Van der Lubbe）和他的同事們希望開發(fā)一種模型，該模型可以自動重建這些珍貴的藝術品，以保護它們并使公眾可以使用。
圖片提供：Zeng，van der Lubbe和Loog。
“我們研究的主要目標之一是通過機器學習方法來預測藝術品在紙上的原始，過去和將來的外觀，這些方法結(jié)合了對所用顏色及其隨時間變色的深入研究結(jié)果，范德魯貝說。“這可能有助于設想例如梵高的一幅畫在創(chuàng)作時的樣子。”
van der Lubbe和他的同事設計的方法將多分辨率圖像分析技術和深層CNN結(jié)合在一起，以像素為單位預測圖形的過去外觀。CNN是受生物神經(jīng)網(wǎng)絡（例如人腦中的神經(jīng)網(wǎng)絡）啟發(fā)的算法，可以通過分析大量數(shù)據(jù)來訓練它們完成特定任務。
van der Lubbe說：“據(jù)我們所知，關于使用機器學習方法進行藝術品的數(shù)字重建的研究很少或很少。” “這是推動我們的研究和使用機器學習來重建藝術品的關鍵思想。從早期的研究中，我們考慮了不同的機器學習算法，卷積神經(jīng)網(wǎng)絡（CNN）方法似乎最有前途。”
在他們的研究中，研究人員專門培訓了CNN，以數(shù)字方式重建紙上褪色的梵高圖紙。該算法在一個數(shù)據(jù)集上進行了訓練，該數(shù)據(jù)集包含上個世紀在不同時間制作的質(zhì)量不同的原始圖紙的復制品。
范德魯貝說：“我們在研究中使用的例子是凡高作品的復制品，KUKA機器人示教器維修，其內(nèi)容和顏色的褪色程度不那么嚴重，因此它們更接近凡高制作的原始作品。” “我們從梵高博物館收藏中獲得了原始圖紙和復制品。”
范德·盧貝（van der Lubbe）和他的同事們提出的方法除了揭示過去的繪畫外觀之外，還可以幫助藝術史學家確定適當?shù)乃囆g品保存和修復策略，以及藝術品保存和展示的有效做法。
圖片提供：Zeng，van der Lubbe和Loog
研究人員通過一系列實驗評估了他們的模型，發(fā)現(xiàn)該模型取得了顯著成果。他們的發(fā)現(xiàn)強調(diào)了使用機器學習對退化的圖像，文檔和藝術品進行預測性重建的可行性。盡管研究人員專門使用他們的模型來重建梵高的繪畫，但也可以將其應用于其他惡化的紙上藝術品或19世紀手稿。
van der Lubbe說：“與迄今為止使用其他方法所獲得的結(jié)果相比，對梵高工程圖進行數(shù)字重建所獲得的結(jié)果更好。” “當然，KUKA機器人維修，梵高只是一個試驗或一個例子。我們的技術也可以從梵高的圖紙擴展到其他藝術家，繪畫和舊文件的圖紙。”
將來，范德·盧貝（van der Lubbe）和他的同事開發(fā)的工具可以幫助藝術史學家對藝術品進行逼真的重建，否則這些藝術品可能會完全退化。在他們最近的研究中，研究人員一次只專注于一幅畫，www.twshmhelmet.com，在有限數(shù)量的復制品上訓練了他們的CNN。但是，該模型還可以用于基于大量復制品來預測原始圖紙的外觀。
另外，該技術當前通過分析視覺信息而起作用。在他們的下一個研究中，研究人員希望調(diào)查分析視覺和化學相關信息（例如，墨水的成分及其降解率）是否可以增強模型的性能。
van der Lubbe說：“在目前的研究中，我們繪制的今日圖紙質(zhì)量有所下降。” “我們認為重建原始圖形也將是一個巨大的挑戰(zhàn)，特別是在原始圖形不可用或已消失的情況下，因此我們只能復制過去的圖形。”