新一代圖像AI ISP技術
2021年12月29日消息，近日，華為海思發布了新一代的越影AI ISP，這是用於物聯網智能終端的新一代智能圖像處理引擎，突破傳統 ISP 圖像處理的極限，將業界畫質標桿推向新的高度。在近日開幕的2021安博會上，華為海思也展示了新一代越影AI ISP的性能。
現在上海海思官方微信也帶來了對於海思新一代 越影 AI ISP 技術的硬核指數的深度解讀：
視覺產業過去十年發展，歷經“看得見”與“看得清”，到當前“ 看得懂”的智能階段。圖像分辨率持續提升，圖像效果不斷優化。但是由於視覺感知的場景非常碎片化，在暗光、逆光、運動等場景下輸出高質量圖像仍然是行業公認的難題。
ISP是對圖像傳感器輸入的原始數據進行圖像處理的首個環節，既是“看得清”的重要保證，也是后續“看得懂”的直接輸入，ISP輸出圖像質量決定着“看得懂”的天花板。ISP涵蓋了數十種圖像信號處理算法。為了適配各種不同的鏡頭和傳感器，需要優化調整成百上千個參數，保證ISP兼備通用性和靈活性。同時ISP中眾多模塊的算法是相互影響的，算法協同需要大量調試工作。這是一個極其復雜的過程，也是一項極具挑戰的任務。面對越來越高的場景復雜度，基於濾波等傳統圖像處理技術在暗光、寬動態等場景下，畫質獲得顯著改進越來越困難。而且隨着參數庫逐漸龐大，調試越發困難，開發周期逐步拉長，畫質提升的投資收益率也越來越低。
近年來，利用AI進行圖像增強逐漸成為行業研究新熱點並取得了顯著的進展，尤其是利用AI對靜態照片的優化已經廣泛應用於高端手機的相機拍照並獲得了不錯的效果。而視覺行業的特點要求能夠對高分辨率、高幀率的視頻，應用AI進行實時調優，對算法、算力的要求更高，特別是要求在端側算力環境下高效實現AI ISP功能，獲得相比傳統ISP更優的效果。
上海海思利用在傳統ISP畫質技術上的長期積累和經驗，以及在端側AI架構和優化上的優勢，在本屆安博會期間發布新一代智能圖像處理引擎 — 越影®AI ISP，將傳統畫質優化經驗與AI技術深度融合，為實時高清視頻的圖像質量帶來質的飛躍，相比海思上一代旗艦ISP在五方面取得顯著進步。
【超感光降噪】基於深度學習的智能降噪，信噪比4倍提升
去噪一直是ISP的重要功能，尤其在視頻感知領域，夜景下的去噪尤其重要。例如在夜晚光照不足街道或園區，各種各樣形態各異的噪聲會出現在記錄的視頻中，嚴重影響畫面清晰度，難以“看得清”，更難以“看得懂”。傳統的NR技術采用多級時域/空域濾波，且濾波器設計融合了多種異構類型，收益已逐漸降低。海思利用神經網絡深度學習海量低照度場景圖片的噪聲和信號的分布特性，訓練出一套智能降噪的算法模型，讓越影®AI ISP能智能區分圖像中的信號和噪聲，實現低照度場景下的智能降噪。根據測試，越影®相比海思上一代旗艦ISP提升明顯，在低照場景下圖像信噪比可提升4倍。
【多光譜融合】采用專用硬件加速，實現0.01Lux低照全彩
低照場景下，RGB傳感器感光能力急劇下降，導致彩色圖像清晰度快速下降，無法同時兼顧圖像細節與色彩，給全天候視頻感知帶來嚴重挑戰。在夜晚交通管理場景下，往往需要在閘口加裝爆閃燈來補充照明，容易造成光污染甚至影響駕駛員的行車安全。而多光譜融合技術通過將可見光與紅外光感知信息進行融合，在不增加光污染的同時，解決低照環境下由於可見光感光能力不足所造成的細節損失的問題，實現圖像色彩與細節的最佳平衡，最終使圖像效果達到0.01Lux暗光全彩，細節紋理豐富。
【超級寬動態】自適應光線復雜變化，動態范圍提升12dB
寬動態技術是逆光場景下提升畫質的重要技術。例如行車進出隧道口時，由於內外光強反差巨大，如何快速跟蹤不斷變化的光線，並准確對目標進行自適應曝光，是對自動和輔助駕駛安全非常重要的技術。超級寬動態技術基於智能識別目標場景，對價值區域進行自適應多重曝光，通過智能算法融合不同曝光時間的長幀、中幀、短幀的圖像數據，使圖像獲得暗、亮區域的完美融合：亮處不過曝、暗部細節不丟失，逆光場景所見清晰，暗光區域色彩飽滿、細節豐富。根據測試，越影®相比海思上一代旗艦ISP，在逆光場景下動態范圍可提升12dB，並且對場景跟蹤更迅速，能夠有效避免圖像畫面瞬間過暗或過曝，在3幀以內即收斂至穩定狀態。
【超級穩像】6軸數字防抖，視頻成像穩定性大幅提升
消費類攝像機會被廣泛應用於運動場景的拍攝，由於在運動中相機的震動會影響最終成像效果，嚴重影響觀看感受。當視覺感知設備被安裝於自動或輔助駕駛汽車中，這樣的抖動造成的圖像模糊甚至可能影響駕駛安全。越影®的超級穩像技術基於IMU 6軸傳感信息智能分析運動姿態，通過精准補償修正動態視頻，有效減少由於外部環境晃動或抖動對視頻成像造成的影響，可大幅提升各種振動環境下的視頻穩定性。
【多維度感知】多感知跨界融合，激發智慧視覺新潛能
視覺是感知信息的主要輸入源，但生產生活對信息的需求是多維度的。越影®支持RGB與雷達、紅外熱成像、3D結構光等多維度感知能力的融合，匹配紅外測溫、智能支付、掃地機器人、雷達視頻一體機等多種產品需求，可廣泛應用於交通管理、金融支付、工業視覺等多種業務場景。這種多維度感知的能力也可被各種行業細分市場所利用，激發更多新品類智能終端的創新。
視覺與AI是新基建眾多領域的關鍵技術，也是智能終端最重要的基礎能力。上海海思以視覺產業為基礎，在端側視覺感知、AI計算領域有深厚的經驗和業界領先的核心能力，堅持投入，不斷創新，為行業伙伴提供最領先的技術與解決方案。海思越影®AI ISP將視覺與AI能力深度融合，將為千行百業智能終端提供更卓越的視覺能力，在城市管理、工業生產、智慧生活、行車安全等諸多方面，為社會和人們創造更多價值。
參考鏈接：