一、建設(shè)背景
隨著信息技術(shù)的不斷發(fā)展，虛擬現(xiàn)實(shí)技術(shù)在教學(xué)中發(fā)揮了越來越重要的作用，在營造教學(xué)環(huán)境、促進(jìn)教學(xué)互動、提升學(xué)生實(shí)踐能力等方面，顯示出巨大的優(yōu)勢。特別是對于實(shí)踐性很強(qiáng)的專業(yè)教學(xué)來說，根據(jù)具體學(xué)科特點(diǎn)，運(yùn)用相關(guān)現(xiàn)實(shí)虛擬技術(shù)和設(shè)備，設(shè)計(jì)科學(xué)的教材、教程和教法，可以大大提高教學(xué)的實(shí)踐性效果。此時(shí)，基于虛擬現(xiàn)實(shí)技術(shù)的課程設(shè)計(jì)及其輔助教學(xué)系統(tǒng)應(yīng)用，成為教學(xué)實(shí)踐的一種嶄新手段和模式。
交互式教學(xué)利用虛擬現(xiàn)實(shí)及人機(jī)互動技術(shù)，模擬設(shè)備產(chǎn)品的裝配、操作過程，以及產(chǎn)品的介紹、使用、維護(hù)等流程，為不同應(yīng)用方向提供基本理論及技術(shù)支持。通過系統(tǒng)教學(xué)，使學(xué)生掌握產(chǎn)品的基本原理，促進(jìn)學(xué)生進(jìn)入深入思考，加深對產(chǎn)品的理解，熟練掌握相關(guān)應(yīng)用技能。通過一系列產(chǎn)品教學(xué)，期望學(xué)生體會到產(chǎn)品的技術(shù)精髓，為以后的產(chǎn)品使用打下堅(jiān)實(shí)基礎(chǔ)。
二、研究內(nèi)容
交互式教學(xué)通過構(gòu)建計(jì)算機(jī)與AR眼鏡結(jié)合的教學(xué)環(huán)境，引入虛擬現(xiàn)實(shí)技術(shù)將各類產(chǎn)品信息和使用維護(hù)保障過程以電子化、信息化技術(shù)進(jìn)行重構(gòu)，著力于提高教學(xué)培訓(xùn)的體驗(yàn)度和交互性。將產(chǎn)品日常的使用維護(hù)、測試等過程進(jìn)行梳理，通過視頻動態(tài)演示、構(gòu)建虛擬場景等手段提高用戶在設(shè)備使用和訓(xùn)練過程中技術(shù)保障的信息獲取體驗(yàn)，縮短學(xué)習(xí)時(shí)間，提高學(xué)習(xí)效率。
基于增強(qiáng)現(xiàn)實(shí)AR的輔助教學(xué)主要包括以下內(nèi)容：
1. 支持學(xué)生學(xué)習(xí)
能夠根據(jù)學(xué)生所在站位和操作點(diǎn)，在智能眼鏡和電腦上通過文字、圖片和語音提示各站位的操作步驟、內(nèi)容、方法、標(biāo)準(zhǔn)及注意事項(xiàng)。
2. 支持教師教學(xué)
能夠在學(xué)生學(xué)習(xí)功能基礎(chǔ)上，實(shí)現(xiàn)教師佩戴智能眼鏡實(shí)裝講解，終端大屏上顯示、播放教師的第一視角、操作動作和語音，以文字、圖片形式自動提示操作路線、方法、標(biāo)準(zhǔn)和注意事項(xiàng)，引導(dǎo)學(xué)生利用電腦跟隨學(xué)習(xí)。
三、平臺簡介
為滿足教學(xué)需求，平臺在技術(shù)結(jié)構(gòu)組成上自下向上分別是標(biāo)準(zhǔn)規(guī)范層、支撐層、數(shù)據(jù)層、服務(wù)層以及應(yīng)用層。
基于增強(qiáng)現(xiàn)實(shí)AR的輔助教學(xué)平臺設(shè)計(jì)架構(gòu)圖
功能組成
針對平臺的結(jié)構(gòu)體系，核心內(nèi)容主要包括目標(biāo)識別檢測、實(shí)時(shí)流媒體、基于AR眼鏡的智能交互。
1. 目標(biāo)識別檢測
目標(biāo)識別檢測，主要是指對教學(xué)產(chǎn)品部位和產(chǎn)品教學(xué)點(diǎn)的識別檢測。識別完成后，根據(jù)識別結(jié)果提示相應(yīng)的位置信息和教學(xué)產(chǎn)品部件的操作流程，并將教學(xué)產(chǎn)品部件的信息和操作流程疊加到終端屏幕和AR眼鏡上，主要包含純文字信息和圖片信息。其中，純文字信息一般是用來提示每一步操作步驟描述；圖片信息則適用于大部分場景，直接給出特定位置帶有特定標(biāo)識的產(chǎn)品部位圖片，方便學(xué)生和教師對比真實(shí)場景和提示圖片，定位教學(xué)產(chǎn)品部件，方便教師和學(xué)生的教學(xué)和學(xué)習(xí)。
目標(biāo)識別檢測模型訓(xùn)練流程
目標(biāo)識別檢測示意圖
2. 實(shí)時(shí)流媒體
實(shí)時(shí)流媒體，是基于AR眼鏡前置攝像頭捕獲的第一視角視頻流，并實(shí)時(shí)轉(zhuǎn)發(fā)到終端屏幕，是教師教學(xué)的重要支撐功能。
教學(xué)視頻同步示意圖
流媒體能夠?qū)⒍嗝襟w文件以數(shù)據(jù)流的形式傳輸于各設(shè)備之間。在傳輸數(shù)據(jù)之前,將視頻、音頻等多媒體文件進(jìn)行編碼壓縮。經(jīng)由流媒體服務(wù)器進(jìn)行轉(zhuǎn)發(fā),最后傳輸?shù)侥繕?biāo)計(jì)算機(jī)。
3. 基于AR眼鏡的智能交互
AR眼鏡的智能交互從頭盔攝像頭獲取特征圖的信息開始，獲取一幀圖像之后開始進(jìn)行像素轉(zhuǎn)換，AR系統(tǒng)會對所獲取的這一幀圖像進(jìn)行特征點(diǎn)提取與描述。在把相應(yīng)的信息提供給應(yīng)用層之前，圖像特征描述信息庫會通過特征識別單元對獲取的特征進(jìn)行特征匹配處理和對象的識別。在此之后，根據(jù)對象坐標(biāo)信息對相機(jī)的外參數(shù)求解得出單應(yīng)性變換矩陣，進(jìn)而獲得轉(zhuǎn)換后的幀和對應(yīng)的對象狀態(tài)數(shù)據(jù)。一方面，將變換矩陣等信息返回到應(yīng)用層用于二維虛擬物體和三維虛擬物體的矩陣轉(zhuǎn)換得到投影圖像；另一方面，與同步傳送回頭盔顯示屏的視頻幀進(jìn)行精準(zhǔn)融合，最后將生成的圖像顯示到頭盔屏幕上，呈現(xiàn)給使用者。
圖 5基于AR操作的示意圖
四、教學(xué)優(yōu)勢
1. 推進(jìn)課程設(shè)計(jì)更加合理化、人性化
基于“實(shí)物+AR增強(qiáng)現(xiàn)實(shí)”的課程設(shè)計(jì)和教學(xué)應(yīng)用，使得課程在設(shè)計(jì)形式上更具人性化，呈現(xiàn)形式更加多樣化，呈現(xiàn)效果更佳。對于教學(xué)環(huán)節(jié)內(nèi)容的落實(shí)、教學(xué)氛圍的改善和教學(xué)效果的提高有明顯的促進(jìn)作用，推進(jìn)了預(yù)期課程設(shè)計(jì)原則及教學(xué)目標(biāo)的實(shí)現(xiàn)。
2. 助力教學(xué)課程設(shè)計(jì)
基于“實(shí)物+AR增強(qiáng)現(xiàn)實(shí)”的課程設(shè)計(jì)，為理論知識與實(shí)踐操作提供了一個(gè)嶄新平臺，對教學(xué)課程的設(shè)計(jì)提供了新思路和手段，為課程研發(fā)者提供了更多趨向于模擬現(xiàn)實(shí)的課程研發(fā)思路和方向。同時(shí)，也為創(chuàng)新型課程研發(fā)提供了更加廣泛的思考與發(fā)展空間。
3. 助力學(xué)習(xí)效率與參與度的提升
在傳統(tǒng)課程設(shè)計(jì)層面，最難以保障的就是實(shí)施環(huán)節(jié)中學(xué)生的學(xué)習(xí)效果。假如理科學(xué)科中知識體系過度枯燥抽象，將會導(dǎo)致學(xué)生學(xué)習(xí)疲勞，影響學(xué)習(xí)效率，影響學(xué)習(xí)效果。但在“實(shí)物+AR增強(qiáng)現(xiàn)實(shí)”教學(xué)模式下，理科學(xué)科的枯燥與抽象程度將會明顯削弱，有效緩解疲勞效應(yīng)，學(xué)生在學(xué)習(xí)效率及參與程度上會有明顯提升。
4. 提高教學(xué)效率和效果
由于某些教學(xué)內(nèi)容受到特定的環(huán)境限制，每次教學(xué)時(shí)最多只能進(jìn)行一個(gè)或幾個(gè)學(xué)生的直接教學(xué)。完成一項(xiàng)教學(xué)內(nèi)容往往需要分多批次進(jìn)行，不僅教師工作量大、教學(xué)時(shí)間長，而且學(xué)生的實(shí)踐性感受也存在很大差異，直接影響了教學(xué)效率和教學(xué)效果。采用“實(shí)物+AR增強(qiáng)現(xiàn)實(shí)”教學(xué)模式后，學(xué)生無須進(jìn)入特定環(huán)境即可以第一視角感受教學(xué)場景，還可以通過語音提示、信息查詢、互動交流等方式在終端設(shè)備上學(xué)習(xí)到相關(guān)設(shè)備的操作步驟、操作方法等內(nèi)容，有效提高了教學(xué)效率和效果。
