盡管當前的顯著對象檢測（Salient Object Detection, SOD）工作已經取得了重大進展，但當涉及到檢測的顯著區域的完整性時，它們仍不夠完善。團隊在微觀和宏觀層面上定義完整性的概念。具體來說，在微觀層面，模型應突出屬于某個顯著對象的所有部分。同時，在宏觀層面，模型需要發現給定圖像中的所有顯著對象。為了促進SOD的完整性學習，團隊設計了全新的完整性認知網絡（integrity cognition network, ICON），它探索了學習強完整性特征的三個重要成分。1）與更關注特征可辨別性的現有模型不同，團隊引入了一個多樣化的特征聚合（diverse feature aggregation, DFA）組件來聚合具有不同感受野（即卷積核形狀和上下文）的特征，并增加特征多樣性。這種多樣性是挖掘整體顯著對象的基礎。2）基于DFA特征，團隊引入了完整性通道增強（integrity channel enhancement）組件，旨在增強突出整體顯著對象的特征通道，并抑制其他干擾對象。3）在提取增強特征后，采用部分-整體驗證（part-whole verification）方法來判斷部分和整體對象特征是否具有強一致性。這種部分-整體一致性可以進一步提高每個顯著對象微觀層面的完整性。為驗證所設計ICON的有效性，團隊在七個頗具挑戰的基準數據集上進行了全面的實驗。ICON在廣泛的指標方面均優于其他方法。而值得注意的是，在六個數據集上，該ICON的平均假負類率（FNR）相較此前的最佳模型實現了約10%的改進。
宏觀及微觀層面完整性問題的圖示說明。與現有最佳算法相比，團隊的方法可以更好地整體檢測顯著區域。前兩行為圖像和標注的標準結果，藍色區域為EGNet輸出結果，黃色區域為MINet輸出結果，紅色區域為團隊方法的輸出結果。
完整論文：https://ieeexplore.ieee.org/document/9789317
團隊提出了一種用于圖像和視頻實例分割的快速單階段方法，稱為SipMask，它通過執行多個子區域掩碼預測來保留實例空間信息。團隊所提出方法中的主要模塊是一個輕量級空間保留（spatial preservation）模塊，該模塊為邊界框內的子區域生成一組單獨的空間系數，從而能夠更好地描繪空間相鄰實例。為了更好地將掩模預測與目標檢測相關聯，團隊進一步提出了掩模對齊加權損失（mask alignment weighting loss）和特征對齊方案。此外，團隊明確了兩個阻礙單階段實例分割性能的問題，并引入了兩個模塊，包括樣本選擇方案（sample selection scheme）和實例細化模塊（instance refinement module），以解決這兩個問題。團隊在圖像實例分割數據集MS COCO和視頻實例分割數據集YouTube VIS上對方法進行了實驗。在MS COCO test-dev集上，團隊所提出的方法實現了最先進的性能。在實時能力方面，在相似設置、相當的運行速度下，該方法相較YOLACT高出了3.0%（mask AP）。在YouTube VIS驗證集上，團隊的方法也取得了可喜的結果。
一些YOLACT（上）和團隊所提出SipMask（下）的實例分割結果。YOLACT未能準確描繪相鄰實例。為解決這一問題，SipMask引入了一種全新的空間保留（SP）模塊，將掩碼預測分為多個子區域掩碼預測，這可以保留邊界框中的空間信息，并達致改善的掩碼預測。
完整論文：https://ieeexplore.ieee.org/document/9790321
給定退化的圖像，圖像復原旨在恢復丟失的高質量圖像內容。諸多應用領域均需有效的圖像復原，例如計算攝影、監控、自動駕駛汽車和遙感。近年來，圖像復原領域已經取得了重大進展，主要由卷積神經網絡（convolutional neural networks, CNN）主導。廣泛使用的基于CNN的方法通常作用于全分辨率或漸進式低分辨率表征。在全分辨率情況下，空間細節得到保留，但上下文信息不能被精確編碼。在漸進式低分辨率情況下，生成的輸出在語義上是可靠的，但在空間上不夠精確。團隊提出了一種全新架構，以通過整個神經網絡維持空間上精確的高分辨率表征為整體目標，并從低分辨率表征中獲取互補的上下文信息。這一方法的核心是包含幾個關鍵元素的多尺度殘差塊（multi-scale residual block）：（a）用于提取多尺度特征的并行多分辨率卷積流（multi-resolution convolution streams）；（b）跨多分辨率流的信息交換；（c）用于捕捉上下文信息的非局部注意力機制（non-local attention mechanism）；以及（d）基于注意力機制的多尺度特征聚合（multi-scale feature aggregation）。團隊在六個真實圖像基準數據集上進行的大量實驗表明，所提出的方法（MIRNet-v2）在多種圖像處理任務，包括失焦去模糊（defocus deblurring）、圖像去噪（image denoising）、超分辨（super-resolution）和圖像增強（image enhancement）上均達到了行業最高水平。
MIRNet-v2框架學習豐富的特征用以快速圖像復原和增強。
完整論文：https://ieeexplore.ieee.org/document/9756908
團隊發現現有的顯著對象檢測（salient object detection, SOD）數據集存在嚴重的設計偏差——不切實際地假設每張圖像應至少包含一個清晰、整潔的顯著對象。在對現有數據集進行評估時，這種設計偏差導致SOTA SOD模型的性能飽和。然而，這些模型在實際應用場景中還達不到令人滿意的效果。根據分析結果，團隊提出了一個新的高質量數據集并更新了此前的顯著性基準。具體來說，團隊將新數據集稱為雜亂環境下的顯著對象（Salient Objects in Clutter, SOC），包括來自數個常見對象類別的顯著和非顯著對象的圖像。除了對象類別注釋外，每個顯著圖像都附有反映常見場景中常見挑戰的屬性，有助于更深入地了解SOD的問題。此外，基于給定的顯著性編碼器，例如骨干網絡，現有的顯著性模型旨在實現從訓練圖像集到訓練ground-truth集的映射。因此，團隊認為改進數據集可以產生比只關注解碼器設計更高的性能增益?？紤]到這一點，團隊研究了幾種數據集增強策略，包括用以隱式強調顯著邊界的標簽平滑（label smoothing）、使顯著性模型適應各種場景的隨機圖像增擴（random image augmentation），以及作為從小數據集中學習的正則化策略的自監督學習（self-supervised learning）。大量的結果證明了這些技巧的有效性。
?
來自新SOC數據集的示例，包括非顯著（第一行）和顯著對象圖像（第2到4行）。針對顯著對象圖像，團隊提供了實例水平的真實數據圖（不同顏色）、對象屬性（Attr）和類別標簽。
完整論文：https://ieeexplore.ieee.org/document/9755062
在可變形配準中，幾何框架——大形變微分同胚度量映像（large deformation diffeomorphic metric mapping, LDDMM）——激發了諸多用于比較、變形、平均和分析圖元及圖像的技術。在這項工作中，團隊使用深度殘差神經網絡來求解基于歐拉離散化方案（Eulers discretization scheme）的非平穩常微分方程（non-stationary ODE）。其核心思想是將時間相關的速度場（velocity fields）表示為全連接的ReLU神經網絡（building blocks），并通過最小化正則化損失函數得出最優權重。計算最小化形變之間的路徑，即圖元之間的路徑，從而轉變為通過在中間building blocks上進行反向傳播來找到最佳網絡參數。幾何上，在每個時間步驟，ResNet-LDDMM搜索空間劃分為多個多面體的最佳劃分，然后計算最佳速度向量作為在每個多面體上的仿射變換。結果，即使它們很接近，圖元的不同部分，也可以屬于不同的多面體，并因此可以在不同的方向上移動而不消耗太多能量。尤其值得注意的是，團隊展示了其算法如何能夠預測微分同胚變換（diffeomorphic transformations）或更準確地說是bilipshitz變換。
ResNet LDDMM（第三欄）與最佳方法的定性比較。
完整論文：https://ieeexplore.ieee.org/document/9775044
該五項研究之于人工智能技術與產業的深度融合及高效落地有著深遠的意義，進一步夯實了特斯聯作為城域AIoT產業開拓者的研發實力及領導地位。
渝公網安備 50010302002747號