2024-05-26
深圳夢派科技集團有限公司電子科技大學光電學院校友,香港城市大學于欣格副教授課題組,圍繞人類用電子技術實現嗅覺的夢想,結合了材料、器件、力學熱學理論設計、電子工程和AI模型提出一種無延時的嗅覺反饋界面。
研究背景
嗅覺作為人類古老的進化關鍵生理系統,在我們與周圍環境的互動中發揮著重要作用,包括但不限于檢測環境中的潛在危險、塑造社會行為、平息負面情緒以及喚起埋藏的記憶。盡管嗅覺對人類生活有著巨大的影響,但已經開發出了一些嗅覺生成技術(也稱為嗅覺交互界面),用于在一些潛在應用中進行嗅覺顯示,包括人機交互、教育、娛樂和臨床治療。與觸覺反饋技術發展的廣泛研究工作相比,嗅覺生成技術近年來很少受到關注,導致技術長期停滯。考慮到大型嗅覺發生器在整體尺寸、響應時間和功耗方面的天然缺陷,下一代嗅覺交互界面的發展趨勢是接近可穿戴形式,采用小型化設計,以實現快速嗅覺反饋并產生局部氣味環境。到目前為止,開發的可穿戴嗅覺接口系統主要建立在氣味發生器(OG)陣列上,用于提供多種氣味,其中OG的工作原理從基于壓電的霧化器到有味蠟的可控相變。然而,兩種OG都需要秒級響應時間,導致用戶在實際應用中存在明顯的延遲,其中OG的響應時間被定義為產生或終止氣味的延遲時間。例如,元宇宙作為最重要的嗅覺界面應用領域之一,要求為用戶提供流暢、即時、沉浸式的體驗,無論是人機界面系統還是網絡都要求低延遲。除了OG延遲問題的挑戰之外,仍然存在許多技術困難,包括尺寸小型化、優化功耗以及建立高通道數/密度。例如,現有的氣味產生方法通常需要一整套笨重的設備,提供的氣味有限,并且需要專業的操作,迫使用戶每次都必須去特定的地方體驗嗅覺反饋,這對用戶來說是不友好的。因此,嗅覺交互界面同時表現出亞秒級響應時間、厘米級尺寸、數十個OG陣列和微瓦級低功耗是一項巨大的挑戰。
創新點
香港城市大學于欣格課題組,北京航空航天大學李宇航課題組,中國特種設備檢驗研究院趙召和東京大學Takao Someya課題組聯合報告了一系列用于人工智能驅動的無線嗅覺交互界面的材料、算法、設備、機械、電子和集成策略,這些界面展現了世界紀錄的高響應時間(0.07秒)、OG陣列密度(0.75單位/平方厘米)和無延遲功能。嗅覺陣列中使用的小型化OG以氣流和熱量作為氣味產生因素為工作原理,通過機械執行器控制氣味的釋放,打開/關閉OG上的呼吸孔,同時控制氣味濃度通過調整加熱溫度。先進的人工智能算法與嗅覺界面的結合,使混合現實(MR)應用中的嗅覺界面實現零延遲,從而為正在經歷嗅覺退化的患者提供高效的嗅覺訓練。結果表明,該技術在人機交互、醫療、遠程教育和娛樂等廣泛應用中具有巨大潛力。
文章解析
圖1:嗅覺交互界面的概念。a) 氣味發生器的分解圖,其中包含每個組件的詳細說明。b) OG 的光學圖像和示意圖以及附加的內部視圖。c) OGs控制氣味產生速率的操作方法。d、e)分別在均布式外部壓力和彎曲變形下對金基加熱電極(d)和懸臂梁 PET 薄膜(e)進行力學模擬。f) OG 與最近報道的 OGs 在響應時間、運行 OG 的最低功耗、整體尺寸、穩定性、運行溫度和最大供應氣味數量方面的比較。g)嗅覺交互界面的4種應用示意圖,從基于 MR 的娛樂和教育到用于嗅覺恢復和增強的嗅覺訓練。
圖2:OG 的最佳電學性能。a) OG 的加熱溫度作為運行時間的函數,目標溫度在 35 至 55°C 之間變化。b) 達到目標溫度所需的響應時間,測量的穩定溫度如圖a所示。c) OG 產生的穩定乙醇濃度與 35 至 55°C 加熱溫度的函數關系。這里,誤差條以標準差的形式呈現,并且通過測試 3 個不同的 OG 重復測試 3 次。d、e) OG 產生的穩定乙醇濃度 (d) 作為進入電磁線圈的交流電源頻率的函數以及相應的加熱溫度變化 (e)。f) 穩定的乙醇濃度作為進入電磁線圈的交流功率幅度的函數。這里,誤差條以標準差的形式呈現,并且通過測試 3 個不同的 OG 重復測試 3 次。g) 穩定的乙醇濃度作為交流電源占空比的函數,包括 20%、40%、60% 和 80%。h) 三種不同周圍氣流速率(2.76 m/s、4.12 m/s 和 6.61 m/s)下乙醇濃度隨運行時間的變化。i) 當通過操縱 OG 內部磁鐵的運動來關閉呼吸孔時,周圍氣流為 2.76 m/s 時乙醇濃度的變化。j) 目標溫度為 55°C 時,加熱溫度隨 12 小時運行時間的變化。k, l) OG 上方穩定乙醇濃度的 3D 分布,其中 x = 0 處的詳細 2D 濃度映射在圖 l 中。
圖3:用于實現無延遲 MR 應用的智能嗅覺系統的演示。a) 嗅覺交互界面集成MR系統的示意圖,用于通過預測用戶的運動來為用戶提供無延遲的嗅覺反饋,以實現身臨其境的MR體驗,其中分析的數據包括環境風速、氣溫和壓力、用戶的運動速度和 3D 位置,以及氣味源的 3D 位置。b)集成了嗅覺交互界面的五個典型現實模型的光學圖像。c、d)柔性雙通道控制面板的光學圖像 (c),以及三種電池(500 mAh、900 mAh 和 1500 mAh)的滿負載運行時間 (d)。e) 每個 OG 的占空比變化由 3 通道控制面板控制。f) 具有10 種不同氣味劑的 OG 在滿負荷運行時的氣味產生時間。這里,誤差條以標準差的形式呈現,測試由 3 名志愿者重復進行 3 次。此外,氣味(No.11~32)的運行時間可以在補充圖20中找到。g)商業3D定位系統的光學圖像,該系統集成在氣味源內部,用于實時測量其3D位置。h) 通過標準尺驗證定位系統的測量精度。
圖4:集成嗅覺交互界面的 MR 系統的一種應用。a)整個MR系統的現實和虛擬光學圖像,其中志愿者在四個氣味源周圍行走,隨機欣賞目標釋放的氣味。b) 志愿者在氣味景觀中的探索軌跡和面向的方向。c) 繪制b中所示的OS 1的氣味羽流。d) 從用戶的鼻子到每個氣味源的順風軸的距離。e) 沿志愿者軌跡發送到相應嗅覺交互界面的命令信號的可視化。f) 氣味羽流到志愿者的潛在距離與探索潛力之間的比較。g) 在志愿者探索過程中向相應的嗅覺交互界面發送命令信號,以最小的能量和氣味源消耗實現無延遲的體驗。h) 模擬結果顯示的是命令信號沿著同一志愿者的軌跡發送到相應的先前報告的嗅覺交互界面,其中用到的OG響應時間為 1.4 秒。i) 對于報告的嗅覺界面,從氣味羽流到志愿者的潛在距離與探索潛力之間的模擬結果比較。j) 在志愿者探索過程中,模擬結果顯示的是命令信號沿著同一志愿者的軌跡發送到相應的先前報告的嗅覺交互界面,其中用到的OG響應時間為 70毫秒,以最小的能量和氣味源消耗實現無延遲的體驗。
圖5. 用于嗅覺訓練的可穿戴式 32 通道 OGs 陣列嗅覺交互界面的典型演示。a) 超高通道嗅覺交互界面系統分解圖,由32-OG陣列和相應的柔性控制面板兩部分組成。b) 安裝在人類前臂上的嗅覺交互界面的光學圖像。c,d)未經1小時預訓練,通過可穿戴嗅覺交互界面測試3次的志愿者的32種氣味識別率(c)和相應的反應時間(d)。此處,誤差線顯示為第一個四分位數。e, f) 志愿者經過1小時預訓練,通過可穿戴嗅覺交互界面測試3次的32種氣味識別率(e)和相應的反應時間(f)。此處,誤差線顯示為第一個四分位數。g) 志愿者嗅覺能力的總體結果作為訓練前時間的函數。這里,實線和虛線分別代表c-f中所示的實驗組和對照組的數據。這里,誤差線以標準差的形式呈現,志愿者測試通過測試 25 名不同的志愿者重復了 75 次(每個志愿者 3 次)。h,i)實驗組志愿者在3次嗅覺訓練之前(h)和之后(i)的心理健康得分。
圖6:AI驅動的嗅覺交互界面在嗅覺增強中的一種典型應用。a)采用Recommendation framework,為用戶提供個性化的嗅覺訓練計劃。b) 10名無任何嗅覺障礙的志愿者接受智能高通道嗅覺交互系統實現的7天個性化嗅覺訓練后的嗅覺能力變化。c、d) 10 名志愿者的總體識別率(c) 和訓練時間 (d) 作為嗅覺訓練時間函數的變化。
結論與展望
作者開發了一系列基于高性能OG的人工智能驅動的可穿戴嗅覺交互界面,用于實現無延遲的MR和快速嗅覺恢復應用。作為嗅覺交互界面的核心技術,OG采用電磁閥結構,支持三種控制氣味產生速率的方法,包括將交流電源的主要操作占空比和幅度輸入電磁線圈以快速關閉或打開呼吸孔,以及內部加熱溫度由加熱平臺控制。因此,小型化OG在毫秒級響應時間、毫瓦級功耗、整體尺寸、穩定性和超高氣味供給數量方面表現出遠遠超出報道的技術進步。因此,嗅覺交互界面可以實現低系統延遲時間和超高密度和吞吐量的OG陣列。因此,當嗅覺交互界面與我們自主開發的人工智能算法相結合時,系統能夠分別在MR和嗅覺訓練應用中為用戶提供無延遲的嗅覺反饋和個性化的嗅覺增強計劃。該方法可以在許多影響深遠的應用中形成基于嗅覺的信息通道的起點,包括基于 VR/AR/MR 的元宇宙、在線教育和臨床治療。將嗅覺系統與生理學、神經科學、心理學和材料科學聯系起來的努力將是未來有希望的研究方向。
【通訊作者】
于欣格,香港青年科學院院士,香港城市大學生物醫學工程系副教授、博導,香港數字醫學院副院長,香港心腦血管健康工程研究中心副主任,香港城大-中科院 機器人聯合實驗室副主任。2023年獲評香港RGC Research Fellow。優秀青年科學基金(港澳)、《麻省理工科技評論》創新35人、IEEE納米醫學發明家、MINE青年科學家、日內瓦國際發明展金獎等獎項獲得者。研究方向為新型柔性電子在生物醫療領域以及智能觸覺VR中的應用。《Microsystems & Nanoengineering》《Bio-Design and Manufacturing》《IEEE Open Journal of Nanotechnology》等10余部期刊副主編及編委。斯坦福top 2%高被引學者,在《Nature》、《Nature Materials》、《Nature Biomedical Engineering》、《Nature Machine Intelligence》《Nature Electronics》《Nature Communications》《Science Advances》等期刊發表論文160余篇,申請/授權美國專利40余項。
【參考文獻】
https://www.nature.com/articles/s41467-024-48884-z
夢派集團正在全國招募合作伙伴,歡迎大家來電咨詢。
地址:深圳市寶安區前進二路寶華森國際中心A座3樓
官網:www.yueda009.cn
公眾號:夢派集團
聯系人:
陳艷 Candy 電話:158 1386 1033 郵箱: candychen@menpad.com
陳茂林 Annie 電話:135 1099 2891 郵箱:anniechen@menpad.com
王志勇 William 電話:199 2663 3188 郵箱: williamwang@menpad.com
陳春 Sunny 電話:136 4236 3682 郵箱: sunnychen@menpad.com