深圳新聞網(wǎng)2025年7月28日訊(記者 葉梅)圖像復原領域長期面臨一個難題:要么追求質量卻耗時漫長,要么追求速度卻犧牲細節(jié)。如何把一張老照片修復得又快又好?
HYPIR大模型修復圖像效果展示。研究團隊供圖
7月28日,中國科學院深圳先進技術研究院數(shù)字所董超研究員團隊發(fā)布了一項名為HYPIR的圖像復原大模型,不僅比現(xiàn)有的圖像復原技術快數(shù)十倍,更在高清分辨率、文字保真、理解能力、用戶控制靈活性等方面展現(xiàn)出了優(yōu)異性能,為圖像復原技術的實際應用提供了更高效的解決方案,更為文化傳承與保護、影視修復等領域帶來新的可能性。
突破傳統(tǒng)技術瓶頸,圖像修復更高效
傳統(tǒng)方法中,基于預訓練擴散模型的復原技術顯著提升了圖像復原效果,但存在計算復雜度高、推理速度慢、訓練資源消耗大以及生成結果可控性不足等問題,成為限制圖像復原技術發(fā)展的瓶頸問題。
HYPIR大模型處理圖片紋理細節(jié)的效果展示。研究團隊供圖
去年,董超團隊提出了智能畫質增強大模型SUPIR,將低質量的圖像恢復到接近原始狀態(tài)的高清圖像,有效修復多種退化類型的圖像。而此次圖像大模型HYPIR作為升級版,舍棄了迭代式的擴散模型訓練,改用單步的對抗生成模型訓練方式,將原有的算法速度提升了數(shù)倍,同時采用更新的文生圖基模型進一步提升算法效果,實現(xiàn)了8K級別的細節(jié)生成,在生成圖像的穩(wěn)定性和可控性方面遠超SUPIR大模型。
HYPIR大模型在高分辨率圖像超分復原方面的效果展示。研究團隊供圖
“以往圖像復原方法中往往包括擴散模型蒸餾、ControlNet適配器或者多步推理過程。而HYPIR則不需要依賴這些步驟,使用方法更加簡單。在訓練和推理速度上較傳統(tǒng)方法提升了一個數(shù)量級以上,且性能更優(yōu)。”董超介紹,HYPIR主要有兩個創(chuàng)新點,一是使用預訓練擴散模型初始化復原網(wǎng)絡;二是從理論角度出發(fā)解釋這一簡單方法背后蘊含的深刻原理。
董超研究員(左)介紹HYPIR大模型
實驗數(shù)據(jù)顯示,在單張顯卡(圖像處理器)上,HYPIR僅需1.7秒即可完成一張1024x1024分辨率圖像的復原。相比現(xiàn)有的圖像復原方法,研究人員提出的HYPIR在復原圖像的質量上性能更優(yōu),且能夠適用于各種尺寸的預訓練擴散模型,為不同應用場景提供了靈活性。
多種性能優(yōu)異,應用前景廣闊
在應用層面,研究人員介紹,HYPIR在圖像高清分辨率、文字保真、理解能力、用戶控制靈活性等方面均展現(xiàn)出了優(yōu)異的性能。
1985年的深圳南頭半島(下圖,攝影:陳宗浩)與4倍超分修復(上圖)后的對比圖
例如,在老照片修復方面,研究人員運用HYPIR修復了國內(nèi)外經(jīng)典電影、電視劇老照片,讓模糊的影像重現(xiàn)清晰的細節(jié),為文化記憶傳承提供了技術支持。在高分辨率圖像修復領域,HYPIR同樣表現(xiàn)出色,因其兼具速度與效果,HYPIR成功攻克了傳統(tǒng)方法在生成8k分辨率圖像時往往面臨速度慢或效果不佳的難題。
在文字保真方面,傳統(tǒng)基于擴散模型的方法常導致復原出的文字模糊或扭曲,缺乏精確性,而HYPIR則能夠使復原出的文字保持高保真度和清晰度,無論是簡單的標識還是復雜的文檔,HYPIR都能精準地還原其原始形態(tài),使圖像中的文字清晰可讀。
值得一提的是,HYPIR還具備了突出的自然語言理解能力,能夠精準捕捉和理解用戶的輸入指令,在圖像復原過程中準確地反映用戶的意圖。此外,用戶可以根據(jù)需求靈活調節(jié)生成與復原的平衡,或精細控制圖像細節(jié)程度,從而獲得符合自身偏好的結果。這種用戶友好的設計使得HYPIR不僅適用于專業(yè)領域,也能滿足普通用戶的需求。
索爾維會議的修復圖前后(上圖修復前,下圖修復后)對比。研究團隊供圖
HYPIR不僅展示了圖像修復技術上的創(chuàng)新性,也體現(xiàn)了對實際應用需求的理解。通過打破傳統(tǒng)思維定式,該技術在文化傳承與保護、影視修復、高分辨率圖像生成等領域提供了切實可行的解決方案,為圖像復原技術的發(fā)展注入了新的活力。
一直以來,董超帶領團隊致力于底層視覺技術研究,在圖像處理領域取得了多個重要突破,并出版了人工智能專著《底層視覺之美》。在他看來,做科研要堅持“三心”,即“初心、良心、愛心”,不僅要保持純粹的好奇心,也要堅守實事求是的底線,更要秉持科技向善的責任?!罢嬲目蒲谐晒鹬厥聦嵳嫦?,經(jīng)得起反復推敲。”董超介紹,目前HYPIR大模型的開源代碼和模型已上傳至GitHub開放使用并已成功部署于明犀科技平臺中(HYPIR主頁https://hypir.xpixel.group),同時與深圳市南山區(qū)檔案館合作對部分館藏照片進行修復,后續(xù)該大模型還將進一步推進產(chǎn)業(yè)化,讓社會公眾親身體驗科技魅力。