人機(jī)交互技術(shù)作為連接人類(lèi)與計(jì)算機(jī)系統(tǒng)的關(guān)鍵橋梁，已從傳統(tǒng)的鍵盤(pán)、鼠標(biāo)等物理設(shè)備交互，逐步向基于多模態(tài)感知、智能決策的自然交互演進(jìn)。隨著人工智能技術(shù)的深度滲透，人機(jī)交互場(chǎng)景不斷拓展至教育、醫(yī)療、遙感監(jiān)測(cè)、安全防護(hù)等領(lǐng)域，對(duì)技術(shù)的精準(zhǔn)性、實(shí)時(shí)性與適應(yīng)性提出了更高要求。本文研究圍繞人工智能+教育、多模態(tài)數(shù)據(jù)融合、復(fù)雜場(chǎng)景表征學(xué)習(xí)、細(xì)粒度行為識(shí)別等核心難題展開(kāi)創(chuàng)新研究，形成了一系列具有國(guó)際影響力的研究成果，先后兩篇文章發(fā)表在人機(jī)交互領(lǐng)域國(guó)際頂級(jí)期刊《Information Fusion》(SCI，中科院一區(qū)，影響因子15.5)，不僅推動(dòng)了人機(jī)交互理論體系的完善，更為智慧醫(yī)療、智能遙感、情感計(jì)算等實(shí)際應(yīng)用提供了關(guān)鍵技術(shù)支撐。

　　一、人機(jī)交互技術(shù)發(fā)展背景及國(guó)際研究新進(jìn)展

　　隨著數(shù)字經(jīng)濟(jì)與智慧城市建設(shè)的加速推進(jìn)，人機(jī)交互技術(shù)面臨著從 “功能驅(qū)動(dòng)” 向 “場(chǎng)景驅(qū)動(dòng)” 的轉(zhuǎn)型需求。一方面，遙感衛(wèi)星、無(wú)人機(jī)、智能傳感器等設(shè)備的普及，產(chǎn)生了海量多模態(tài)數(shù)據(jù)(如衛(wèi)星圖像、熱成像數(shù)據(jù)、生理信號(hào)等)，傳統(tǒng)人機(jī)交互技術(shù)難以高效處理這些數(shù)據(jù)并轉(zhuǎn)化為可交互的智能決策信息；另一方面，用戶(hù)對(duì)交互的自然性、實(shí)時(shí)性與個(gè)性化要求不斷提升，例如在安全監(jiān)控、心理評(píng)估、遙感監(jiān)測(cè)等場(chǎng)景中，需要系統(tǒng)能夠精準(zhǔn)理解人類(lèi)意圖或環(huán)境狀態(tài)，實(shí)現(xiàn) “無(wú)感式” 交互。

　　國(guó)際研究新進(jìn)展是針對(duì)人機(jī)交互技術(shù)的核心痛點(diǎn)展開(kāi)：一是多模態(tài)數(shù)據(jù)的整合與特征提取問(wèn)題，如何從衛(wèi)星圖像的多光譜數(shù)據(jù)、面部微表情的動(dòng)態(tài)序列中提取有效特征，是實(shí)現(xiàn)精準(zhǔn)交互的基礎(chǔ)；二是模型的魯棒性與泛化性問(wèn)題，面對(duì)數(shù)據(jù)標(biāo)注不足、類(lèi)別失衡、環(huán)境干擾等挑戰(zhàn)，傳統(tǒng)算法難以保證交互效果的穩(wěn)定性；三是交互場(chǎng)景的多樣化適配問(wèn)題，不同領(lǐng)域?qū)θ藱C(jī)交互的精度、速度、自適應(yīng)性要求差異較大，需要定制化技術(shù)方案。

　　本研究是在人機(jī)交互相關(guān)技術(shù)領(lǐng)域的新突破，具有重要的理論意義與實(shí)踐價(jià)值。在理論層面，本研究突破了傳統(tǒng)算法在多模態(tài)融合、動(dòng)態(tài)特征建模、空間上下文利用等方面的局限。例如，研究團(tuán)隊(duì)提出的 “卷積視覺(jué)變換器(CvT)+ 條件隨機(jī)場(chǎng)(CRF)+ 跨模態(tài)融合” 框架，首次將對(duì)比學(xué)習(xí)與空間一致性?xún)?yōu)化結(jié)合，解決了衛(wèi)星圖像分類(lèi)中局部特征與全局語(yǔ)義脫節(jié)的問(wèn)題；在面部微表情識(shí)別研究中，改進(jìn)的多模態(tài)集成學(xué)習(xí)(FMEDC-MMEL)方法，通過(guò)融合 LSTM、BiGRU 與 ELM 模型，實(shí)現(xiàn)了對(duì)瞬時(shí)、微弱表情特征的精準(zhǔn)捕捉，為動(dòng)態(tài)序列數(shù)據(jù)的交互分析提供了新范式。在產(chǎn)業(yè)層面，實(shí)現(xiàn)更自然的人機(jī)情感交互，助力消費(fèi)電子、智能醫(yī)療等產(chǎn)業(yè)升級(jí)。

　　二、人機(jī)交互技術(shù)國(guó)際比較研究的價(jià)值與應(yīng)用場(chǎng)景

　　本研究在《基于條件隨機(jī)場(chǎng)和跨模態(tài)融合的對(duì)比視覺(jué)表征學(xué)習(xí)》中提出的 CVT-SimCLR 框架，通過(guò)架構(gòu)、空間優(yōu)化與多模態(tài)融合三大創(chuàng)新體現(xiàn)價(jià)值，架構(gòu)上結(jié)合卷積視覺(jué)變換器(CvT)與對(duì)比學(xué)習(xí)(SimCLR)，借助 CvT 的分層卷積下采樣與深度自注意力機(jī)制，在保持全局語(yǔ)義建模能力的同時(shí)，較傳統(tǒng)視覺(jué)變換器(ViT)減少約 30% 內(nèi)存并提升細(xì)粒度空間特征提取精度，解決了 ViT 計(jì)算成本高、局部特征捕捉能力弱的問(wèn)題；空間優(yōu)化上引入條件隨機(jī)場(chǎng)(CRF)作為后處理模塊，首次將空間上下文一致性約束融入對(duì)比學(xué)習(xí)流程，通過(guò)能量最小化算法修正 CvT 輸出的噪聲預(yù)測(cè)，使衛(wèi)星圖像分類(lèi)的空間連貫性提升 2.63%，在沙漠、停車(chē)場(chǎng)等復(fù)雜場(chǎng)景中誤分類(lèi)像素比例降低至 1.5% 以下；在多模態(tài)融合上提出跨模態(tài)融合(CMF)技術(shù)，整合 RGB、高光譜、激光雷達(dá)等多源數(shù)據(jù)，通過(guò)注意力機(jī)制對(duì)齊不同模態(tài)特征，解決單模態(tài)數(shù)據(jù)受天氣、光照干擾的問(wèn)題，使模型在數(shù)據(jù)缺失場(chǎng)景下的泛化能力提升 1.79%，為多模態(tài)遙感數(shù)據(jù)的人機(jī)交互分析提供新方法。

　　本研究在《一種改進(jìn)的多模態(tài)集成學(xué)習(xí)方法在面部微表情檢測(cè)與分類(lèi)中的應(yīng)用》提出的 FMEDC-MMEL 方法同樣有三方面創(chuàng)新價(jià)值，預(yù)處理采用高斯直方圖均衡化(HE)優(yōu)化圖像對(duì)比度，通過(guò)像素強(qiáng)度重分配針對(duì)微表情 “瞬時(shí)、微弱” 的特點(diǎn)，使面部肌肉細(xì)微變化的可見(jiàn)性提升 30%，為后續(xù)特征提取奠定基礎(chǔ)；特征提取上改進(jìn)的 DenseNet 模型通過(guò)密集連接機(jī)制保留早期細(xì)微特征，結(jié)合隨機(jī)梯度下降(SGD)超參數(shù)優(yōu)化，較傳統(tǒng) DenseNet 模型的特征提取效率提升 25%，且在 CASME-II 等小樣本數(shù)據(jù)集上過(guò)擬合風(fēng)險(xiǎn)降低；分類(lèi)器集成上構(gòu)建 “LSTM+BiGRU+ELM” 集成模型，融合時(shí)序建模與快速學(xué)習(xí)優(yōu)勢(shì)，BiGRU 的雙向上下文感知能力解決單方向 RNN 對(duì)未來(lái)信息利用不足的問(wèn)題，ELM 則通過(guò)快速泛化能力使模型較單一 LSTM 模型推理速度提升 40%，實(shí)現(xiàn) “動(dòng)態(tài)特征捕捉 - 快速分類(lèi) - 精準(zhǔn)預(yù)測(cè)” 的端到端交互分析。

　　這些核心技術(shù)突破在情感交互與安全監(jiān)測(cè)方面，F(xiàn)MEDC-MMEL 微表情識(shí)別技術(shù)可應(yīng)用于人機(jī)情感交互與安全與心理評(píng)估場(chǎng)景，人機(jī)情感交互中在智能座艙、智能家居等場(chǎng)景下，技術(shù)能實(shí)時(shí)捕捉用戶(hù)厭惡、驚訝、愉悅等微表情，并根據(jù)情緒狀態(tài)調(diào)整系統(tǒng)響應(yīng)如調(diào)節(jié)座艙氛圍燈、改變語(yǔ)音助手語(yǔ)調(diào)，實(shí)現(xiàn)更自然的情感化人機(jī)交互，安全與心理評(píng)估中在機(jī)場(chǎng)安檢、司法審訊等場(chǎng)景下，技術(shù)可通過(guò)分析被檢測(cè)者的微表情變化輔助判斷情緒波動(dòng)，且在 SMIC 數(shù)據(jù)集上檢測(cè)準(zhǔn)確率達(dá) 80.43%，為人機(jī)協(xié)同的謊言檢測(cè)、心理狀態(tài)評(píng)估提供支持；同時(shí)，這兩項(xiàng)技術(shù)均具備良好的平臺(tái)集成性，CVT-SimCLR 框架可嵌入 ENVI、ArcGIS 等遙感數(shù)據(jù)處理平臺(tái)，提升多光譜數(shù)據(jù)的自動(dòng)化解讀能力，F(xiàn)MEDC-MMEL 方法可集成至攝像頭、可穿戴設(shè)備等智能終端，通過(guò)將模型參數(shù)壓縮至 50MB 以下等輕量化模型優(yōu)化，實(shí)現(xiàn)實(shí)時(shí)微表情捕捉與分析，為人機(jī)交互終端的智能化升級(jí)提供技術(shù)支撐。

　　三、人機(jī)交互技術(shù)未來(lái)重點(diǎn)研究領(lǐng)域

　　人機(jī)交互技術(shù)研究未來(lái)將聚焦四大重點(diǎn)方向，在低數(shù)據(jù)依賴(lài)與跨場(chǎng)景泛化技術(shù)上，需結(jié)合元學(xué)習(xí)與數(shù)據(jù)增強(qiáng)技術(shù)，如衛(wèi)星圖像分類(lèi)中通過(guò) “元特征遷移” 識(shí)別稀有地物類(lèi)別，微表情識(shí)別中用生成式對(duì)抗網(wǎng)絡(luò)合成多樣化樣本，同時(shí)引入域自適應(yīng)網(wǎng)絡(luò)，設(shè)計(jì)動(dòng)態(tài)分辨率適配模塊讓衛(wèi)星圖像分類(lèi)模型在亞米級(jí)至 20 米分辨率數(shù)據(jù)上保持穩(wěn)定性能，在微表情識(shí)別中加入姿態(tài)、光照魯棒性模塊以降低復(fù)雜場(chǎng)景干擾；在輕量化與實(shí)時(shí)性?xún)?yōu)化方面，可采用知識(shí)蒸餾、量化剪枝等技術(shù)，將 CvT 模型蒸餾為 “輕量級(jí) CvT-Lite”，在保持 95% 準(zhǔn)確率的前提下將參數(shù)規(guī)模壓縮至原模型的 1/5，對(duì) FMEDC-MMEL 模型進(jìn)行 INT8 量化使推理速度提升至 30 幀 / 秒以上，還需聯(lián)合芯片設(shè)計(jì)與算法優(yōu)化開(kāi)發(fā)專(zhuān)用加速硬件，如針對(duì)衛(wèi)星圖像多模態(tài)融合需求設(shè)計(jì)專(zhuān)用 FPGA 加速模塊，針對(duì)微表情識(shí)別時(shí)序特征開(kāi)發(fā)低功耗 RISC-V 處理器，實(shí)現(xiàn) “算法 - 硬件” 協(xié)同降耗；在可解釋性與人機(jī)協(xié)同交互上，要在模型設(shè)計(jì)中融入注意力可視化、特征歸因等可解釋 AI 模塊，如在 CvT 模型中加入 “空間注意力熱力圖” 展示關(guān)鍵關(guān)注區(qū)域，在微表情識(shí)別中通過(guò) “特征貢獻(xiàn)度分析” 說(shuō)明嘴角上揚(yáng)、皺眉等面部動(dòng)作單元對(duì)情緒分類(lèi)結(jié)果的影響，同時(shí)構(gòu)建 “用戶(hù)反饋 - 模型迭代” 的閉環(huán)交互系統(tǒng)，如衛(wèi)星圖像分類(lèi)平臺(tái)允許用戶(hù)修正誤分類(lèi)區(qū)域并通過(guò)在線(xiàn)學(xué)習(xí)更新模型參數(shù)，微表情識(shí)別系統(tǒng)根據(jù)用戶(hù)反饋動(dòng)態(tài)調(diào)整特征權(quán)重；在多場(chǎng)景融合與產(chǎn)業(yè)化落地方面，需推動(dòng)跨領(lǐng)域技術(shù)遷移，將衛(wèi)星圖像分析的多模態(tài)融合技術(shù)用于醫(yī)療影像交互領(lǐng)域解讀 CT、MRI 數(shù)據(jù)，將微表情識(shí)別的動(dòng)態(tài)序列建模技術(shù)應(yīng)用于手語(yǔ)識(shí)別以助力聽(tīng)障人士與健全人的交互，還要制定衛(wèi)星圖像分類(lèi)、微表情識(shí)別等技術(shù)的行業(yè)標(biāo)準(zhǔn)，搭建整合輕量化模型、數(shù)據(jù)集與工具鏈的開(kāi)源人機(jī)交互技術(shù)平臺(tái)，降低產(chǎn)業(yè)應(yīng)用門(mén)檻。

　　四、總結(jié)

　　作者與2023年諾貝爾物理學(xué)獎(jiǎng)獲得者Ferenc Krausz等專(zhuān)家成立了諾獎(jiǎng)人機(jī)交互研究中心后，圍繞 “多模態(tài)數(shù)據(jù)精準(zhǔn)解讀” 與 “動(dòng)態(tài)交互場(chǎng)景適配” 兩大核心目標(biāo)，取得了突破性研究進(jìn)展。在衛(wèi)星圖像分析領(lǐng)域，CVT-SimCLR 框架通過(guò) CvT、對(duì)比學(xué)習(xí)與 CRF 的協(xié)同，實(shí)現(xiàn)了 98.51% 的分類(lèi)準(zhǔn)確率，為遙感數(shù)據(jù)的人機(jī)協(xié)同分析提供了高效方案；在面部微表情識(shí)別領(lǐng)域，F(xiàn)MEDC-MMEL 方法通過(guò)多模型集成與動(dòng)態(tài)特征建模，突破了瞬時(shí)、微弱表情的識(shí)別難題，為人機(jī)情感交互奠定了技術(shù)基礎(chǔ)。這些突破不僅填補(bǔ)了傳統(tǒng)人機(jī)交互技術(shù)在多模態(tài)融合、空間優(yōu)化、動(dòng)態(tài)序列分析等方面的空白，更在智慧城市、災(zāi)害監(jiān)測(cè)、智能安防等領(lǐng)域展現(xiàn)出廣闊應(yīng)用前景。然而，當(dāng)前研究仍面臨數(shù)據(jù)依賴(lài)、計(jì)算成本、可解釋性不足等挑戰(zhàn)，未來(lái)需通過(guò)小樣本學(xué)習(xí)、輕量化優(yōu)化、可解釋 AI 融合等技術(shù)創(chuàng)新，推動(dòng)人機(jī)交互向 “低數(shù)據(jù)依賴(lài)、高實(shí)時(shí)性、強(qiáng)可解釋性” 方向發(fā)展。

　　隨著我國(guó)在人工智能、遙感技術(shù)、智能硬件等領(lǐng)域的持續(xù)投入，人機(jī)交互技術(shù)將進(jìn)一步實(shí)現(xiàn) “理論突破 - 技術(shù)轉(zhuǎn)化 - 產(chǎn)業(yè)落地” 的閉環(huán)，為人工智能+教育、數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展、智慧城市建設(shè)提供核心支撐，同時(shí)助力我國(guó)在全球人機(jī)交互技術(shù)競(jìng)爭(zhēng)中占據(jù)領(lǐng)先地位。

　　【兩篇代表作鏈接】：1.https://www.sciencedirect.com/science/article/pii/S1566253525007237,Zhang Fuli，Liu Yu，et al.Towards facial micro-expression detection and classification using modified multimodal ensemble learning approach[J].Information Fusion,2025,115(000).(SCI Top1 IF=14.8).

　　2.https://www.sciencedirect.com/science/article/abs/pii/S156625352400513X, Zhang Fuli，Ling Zhou，et al.CVT-SimCLR: Contrastive visual representation learning with Conditional Random Fields and cross-modal fusion[J].Information Fusion,2025,103651.(SCI Top1 IF=15.5).

　　作者：張福利，二級(jí)教授，博士研究生導(dǎo)師，湖南信息學(xué)院校長(zhǎng)，民建中央科教委員會(huì)副主任，諾獎(jiǎng)人機(jī)交互研究中心主任。