智慧教室是一種借助物聯網、雲計算和人工智能等技術構建起來的新型教室，包括有形的物理空間和無形的數字空間。通過設備間互聯互通實現輔助教學內容呈現、學習資源便利獲取、促進課堂交互，情境感知和環境管理等功能。
新東方AI研究院自研的智慧教室是一種專門面向企業，培訓機構，校園的全方位的解決方案，形成了電腦終端、智能觸控大屏、智能算法、實時反饋系統、后台智能管理等軟硬件結合的智能化教學方式。
一、課堂教學監督
課堂教學監督作為教務管理重要的一環，對提高教師教學質量，促進教評管理，深化教育改革均有重要意義。盡管利用信息化手段改造傳統課堂，很大程度能夠改善教育供給，提高教育質量、突破教與學的時空限制，但同時也對智能教評管理提出了新的挑戰：一是如何在不依賴人力成本情況下，實現課堂教學水平的鑒定；二是如何客觀診斷教與學的效果，促進教學資源的優化整合；三是如何幫助教師認識教學規律，更新教學理念、全面促進素質教育。
基於以上問題分析，新東方AI研究院利用計算機視覺、自然語言處理、智能語音等技術結合具體的課堂場景，開發設計了“智能督課管理系統”解決方案。具體而言，首先業務端根據不同的課堂場景，給出可以量化的評價指標，例如，吐字是否清晰、有無粗俗言語、連續3分鍾坐於課桌等。其中指標分為通用類型和專屬類型，基於不同的應用場景算法可選擇組合使用。算法端，輸入為實時采集的課堂圖片幀，利用視覺檢測和判斷規則給出相應的評分並給到后台統計。輸入為語音信息時，可通過ASR實時監督上課行為，例如不文明詞匯，講課清晰度等。后台終端，把采集得到的信息按照場景和用戶需求加工展示，提供服務。
依托於新東方多年教育行業經驗和豐富的場景數據，有針對性地提出行為指標，並設計一系列通用性強的AI算法，方案在教師形象檢測、師生關系判斷、課堂行為規范及課堂言論評價等方面取得令人欣喜的結果，得到了教師和家長的一致肯定。如上圖所示，算法通過采集得到的圖像判斷給出課堂的實時監測信息列表。詳細的方案用例可參見新東方AI開放平台-教育行業人工智能服務平台OCR題庫錄排試卷批改。
二、課堂智能回放
智能補課回放在還原上課場景的前提下，使用計算機視覺、語音評測技術對授課的焦點做提取裁剪，幫助學生保持課堂集中力。此外，AI切課為智能講解和作業課堂隨練等應用場景提供API接口功能。
普通攝像頭下的課堂回放通常受到攝像頭、幕布、白板、投影儀設備以及光線條件影響，造成拍攝不清晰，極易出現回放虛像、拾音不完整等情況。尤其當課堂內容里有視頻或者動態效果時，更容易圖像失真，無法滿足課堂回放的需求。方案中的板書姿態檢測、教師行為檢測和PPT識別是保證補課清晰度和流暢性的關鍵。其中板書檢測有賴於計算機視覺對教師行為的識別，在識別到特定行為后自動觸發智能處理模塊，即將PPT播放時間點與教師板書行為進行分割、裁剪、聚焦，有效地保障了補課回放的效果。下圖分別展示了普通錄像下補課VS智能補課對比效果，以及有板書行為下的補課視頻。
算法識別可分別獲得課件PPT視頻流和板書視頻流，經后台重新加工合成后能夠保證畫面的清晰度，最大程度還原線上課堂。后端將課程管理系統與新東方蜻蜓補課小程序打通，允許學生在客戶端上觀看原班課程的視頻回放，幫助老師家長檢查學生學習情況。
三、人臉打卡考勤
人臉打卡機是智慧教室/校園場景的配套設備，方案采用了超清RGB攝像頭+紅外活體檢測攝像頭實時采集圖像，適用NPU神經網絡加速芯片，實現毫秒級檢測、特征提取。在考勤的基礎上，同步顯示學員上課教室、時間等，生成考勤記錄，提醒學生課程安排。
隨着新冠疫情的爆發，公共衛生防護程度被提高到空前狀態，為了平衡快速考勤和避免交叉感染，提出了一種基於高級語義特征的戴口罩人臉識別方案。首先根據語義特征提取粗粒度的人臉框區域位置，再利用此人臉框區域內的圖像結合低語義特征去修正識別，節省時間提高准確性。在新東方分校的大量使用中，少年兒童的身份識別率幾乎沒有出過錯，並且因算法和硬件系統都是自研的，整體成本低廉，可以有力地支持普惠教育事業。
四、 支持雙師AI課
雙師AI課堂是有效解決教育資源分配不均，提升教學效果的重要手段，AI賦能雙師課堂更有賴於硬件、技術的規范化。通過優秀師資集中制作標准化AI課件，顯著降低現場輔導教師的師訓成本和教學人力成本，利用AI互動和答題器顯著提升學生的參與感、現場互動學習效果和學生對學習的興趣，牢牢地抓住孩子們的注意力，讓課堂充滿歡聲笑語。基於智慧教室的AI盒子、拾音器、雲台攝像頭等設備實現了課堂中的互動答題、語音評測、隨機選人和手勢答題等教學功能。基於“智能視覺”、“語音識別”、“口語測評”和“OCR文字識別”等智能技術，AI課堂監控能通過不同維度的數據檢測，生成教師和學生的教學及學習路徑，對課堂情況進行量化分析。下面是新東方雙師AI課堂的視頻。詳細的雙師AI課堂解決方案參見鏈接：新東方AI開放平台
五、設備自動巡檢
可靠的自動巡檢方法能夠很大程度減少運維成本，縮短響應時間。利用深度視覺檢測和日志流程管理對大規模智慧教室進行自動設備檢查，是實現自動化、智能化巡檢的可靠方案。（1）攝像頭巡檢。攝像頭位置自動調整是保證督課和錄課的關鍵環節。考慮到課堂場景差異或其他必要情況的發生導致拍攝視角的偏移，攝像頭在初次安裝調試時會根據當前位置智能記錄,此后每天都會根據記憶位置進行自動矯正。（2）邊緣設備管理巡檢。邊緣設備作為智慧教室里的信息獲取和雲端上傳的媒介，由於其規模龐大且相對獨立，在發生故障時如果逐一去定位問題，無疑非常耗時耗力。方案基於端到端的方法，將邊緣設備端的數據同步到服務端，把web開發引入到系統的流程管理中，從而能夠直觀的了解整個系統的運行狀況，還可幫助系統快速問題定位和解決優化瓶頸問題
綜上可見，新東方AI研究院自研的智慧教室有幾大關鍵優勢：
1. 教學管理閉環化：督課-補課-考勤三合一的解決方案，從課前、課中、課后全方位地服務教、學、評的教育管理，實現教師講的優，學生學的好，教務評的准的閉環效果。同時，家長也可以通過APP查看學生學習情況和監督學校的教學質量。基於計算機視覺和智能語音測評的構建，允許智慧教室進一步布置智能硬件及功能擴展。
2. 安裝運維成本低：硬件方面，僅需二個常規攝像頭、采集卡、智能盒子、交換機和拾音器等，每間教室成本顯著低於行業同類產品。算法方面，為了滿足不同的課堂場景，自研的ASR具有較強的自適應性，在保證督課效果的同時極大地節約了運行成本，價格約是智能語音大廠報價的百分之一。利用攝像頭自動巡檢和邊緣設備流程管理，極大地減少了運維成本，非常適用於大規模安裝部署。
3. 可復用性強：攝像頭部署通常可直接用之前的安防攝像頭，僅需算法內部根據位置換算得到新的位置坐標即可。人臉打卡機及智能盒子亦可遷移應用於智能會議室，智能實驗室等場景。
教育賦能，匠心前行，新東方AI研究院自研的智慧教室項目立足教育需求，創新研發，從硬件到算法形成了20多項專利。項目用到的人工智能算法都是新東方自主研發的，並且部分算法已達到了業內領先水平，為推動教育行業交流發展，新東方已把所有教育AI算法開放發布，為中國教育IT基礎設施建設工作做出了新東方應該有的貢獻， 歡迎訪問和使用新東方AI開放平台- https://ai.xdf.cn/