以基礎研究引領圖像提取產業市場
醫療影像、無人駕駛、人臉識別……如今隨著智能化時代加速到來,圖像提取日益成為風口浪尖上的技術,而這其中,圖像興趣點特征信息提取及檢測又是重中之重,廣泛應用于醫療檢測、智能制造、農業病蟲害檢測等領域。
2023年9月,浙江某銀行業務單據壓縮工作中,運用了陜西科技大學章為川團隊聯合青島認知人工智能研究院提出的“注意力再注意力”的圖像技術成果,即非線性變換端到端網絡架構來代替線性變換作為圖像和視頻壓縮的主體架構。
據統計,該銀行在浙江省有支行82個、網點約4000個,平均每個支行每天產生的業務流水單據圖片數據量約20GB。總行擬對浙江省82家支行業務流水單據進行統一管理,通過對這些業務單據數據進行壓縮,降低支行到總行的傳輸帶寬投入,以及總行的存儲設備投入。預計,這一技術應用以后,每年將為相關銀行直接節省成本1217萬元。
“由基礎理論構建到產學研轉化應用,圖像提取技術的正在創造不計其數的價值。”章為川說。
基礎研究賦能產業創新
在陜西科技大學,由章為川領銜的圖像計算實驗室團隊由5名教師和15名研究生組成。這支20人的團隊,手中的課題涉及圖像壓縮、醫學圖像分析與處理、興趣點檢測及圖像配準、3D重建,以及相關技術在無人駕駛中的運用等。
盡管團隊組建時間不長,但他們卻在產學研轉化領域迅速出擊。目前,團隊聯合西安捷達測控有限公司提出了一個多尺度特征融合的網絡架構用于陜西省安康市永久性農田的SAR圖像變化檢測方案,相關算法的準確率達80%以上;同時,團隊還聯合西安交通大學第一附屬醫院神經外科,對腦膠質瘤患者術前的腫瘤進行定位及腫瘤級別進行分類,對術后患者生存期預測進行建模。
章為川團隊與西安捷達測控有限公司合作SAR圖像變化檢測項目
這些正在落地的轉化合作都基于圖像局部特征提取設計、局部特征數學解析表達式的構建等科學研究。2023年,已是格里菲斯大學首席研究員的章為川回國加入陜科大,此前他在圖像興趣點檢測領域,以及植物病蟲害檢測及分類、醫學圖像處理、可解釋性深度學習網絡設計領域均做出了一系列原創性成果,并在《IEEE模式分析與機器智能匯刊》、《模式識別》(PR)等國際知名學術期刊發表80余篇論文成果。
回國后,章為川為團隊定下了發展基調:“科學研究不可以總是做跟隨性研究,一定要沉住氣、靜下心,在前沿領域持續開展原始創新。”盡管團隊如今在產學研轉化領域多點開花,但章為川始終認為基礎理論才是產生經濟價值的根基,基礎理論的原始創新研究雖然在短期內無法產生任何經濟效益,甚至有些基礎理論研究看不到在工業生產領域的價值,但必須承認,恰恰是基礎理論研究制約了許多國家的科研和工業現代化的發展。
就拿團隊目前的主要研究方向圖像興趣點檢測來說,這也是章為川很早就關注的方向。而正是因為深耕于基礎理論研究,章為川甚至撼動了長期以來被廣泛寫在計算機視覺和圖像處理教科書中的“共識”。
撼動學界“共識”
所謂興趣點,學者們通常把角點和斑點歸為興趣點,分別用水平和豎直方向的圖像一階導數和二階導數信息來檢測角點和斑點。角點檢測器和斑點檢測器分別以Harris檢測器和SIFT檢測器為代表。目前為止,這兩個算法幾乎成了興趣點檢測器的標準算法,被寫入各種各樣的計算機視覺和圖像處理的教課書中,廣泛運用于圖像配準、3D重建、無人駕駛、人機對話、目標跟蹤、人臉識別等不同的計算機任務中,并且現有基于深度學習網絡的興趣點檢測算法大多也是基于Harris算法和SIFT算法的理論架構而設計的。
早在2013年時,章為川已敏銳地從實驗中發現圖像水平和豎直方向的一階導數和二階導數信息用來檢測角點和斑點的理論架構存在問題。但是Harris算法和SIFT算法構建的兩個基礎理論就如兩座大山,幾十年來一直是興趣點檢測的主流理論架構,難以撼動。
針對內心的疑問,章為川曾試著跟人討論,但對方聽了他說的話之后,直接勸他放棄這個幼稚且不切實際的想法,畢竟只有完整的數學推導并從中總結得到的興趣點特性才能向世人證實這兩個基本理論架構存在重大缺陷。
為建立離散曲率解析表達式,章為川和他的合作者孫長明曾經整整花了5個多月,用了2000多張A4紙去證明長期以來本科高等數學教材中的離散曲率計算公式存在的重大理論缺陷,并提出了新的離散曲率計算公式。“我們要得到的不是近似解,而是閉式解,但很多式子按照常規解題思路無法繼續推導得到,需要用到大量的數學運算技巧,導致運算復雜度非常高。有時候,我們要花一周甚至兩周才能讓離散曲率解析式往前推動一步。”
過程中,章為川面臨的最大問題就是變量繁多,在連續5個多月的數學推導過程中,不可以犯任何的書寫和運算錯誤,面對毅力和耐力的重大考驗,他堅持了下來。之后,文章在《IEEE圖像處理匯刊》順利發表。
2023年8月章為川回國前夕,更成熟的研究成果發表在《IEEE模式分析與機器智能匯刊》。文章中寫道:“盡管文獻中已經有很多關于興趣點檢測的文章,但我們總是有一個疑問:我們是否充分考慮過如何利用灰度變化信息來檢測圖像中的興趣點?我們的主要問題如下:我們是否充分考慮過如何準確地獲取圖像的一階或二階導數信息來檢測興趣點?我們是否充分考慮過角點和斑點之間的特征差異?我們是否充分考慮過如何準確地檢測圖像中的角點和斑點?我們的研究表明,現有的興趣點檢測方法存在兩個主要問題:一是從來沒有人解釋如何準確地從圖像中提取灰度變化信息來檢測興趣點,無論是角點還是斑點;二是從來沒有人從數學解析表達式的角度準確解釋角點和斑點之間的特征差異,以及興趣點的幅度響應、比例因子和濾波方向之間的關系。”
經過多年的持續叩問,章為川和孫長明建立了不同的角點和斑點模型,并利用一階和二階廣義高斯(各向異性/各向同性)方向導數濾波器去推導不同角點和斑點的數學解析表達式,并總結角點和斑點的物理屬性,進而對角點和斑點進行了重新詮釋,如:什么是角點,什么是斑點,角點和斑點的聯系和區別,如何從圖像中提取特征信息用于準確描述角點和斑點,如何從圖像中提取特征信息用于準確檢測角點和斑點,圖像水平和豎直方向的一階導數無法用來準確地描述邊緣和角點的特征差異,圖像多尺度水平和豎直方向的二階導數無法用來準確描述斑點和角點的特征差異及準確檢測斑點等。
基于角點和斑點的數學解析表達式,他們不僅做出了國際領先的原創成果,而且他們的算法在不同圖像仿射變換條件下具有更穩定的檢測性能,且在圖像配準、3D重建、圖像斑塊檢測、血管內的血斑檢測、植物病蟲害檢測等不同的計算機視覺任務中,相關算法性能指標均比現有算法好,提出的理論架構也能更好地指導深度網絡架構的設計用于圖像興趣點檢測。此外,相關方法和成果還獲得牛津大學、悉尼大學、悉尼科技大學、約翰·霍普金斯大學和捷克理工大學等世界一流高校的學者在多篇論文中的多次引用和高度評價。
質疑、獨立、不盲從,章為川相信,要想在如今的時代屹立科技強國之林,唯有秉持這樣的科學精神才能產生原創性的成果,才能發展出獨立自主的科技產品,為祖國建設添磚加瓦,為民族復興鋪路架橋。
章為川團隊