“啪嗒啪嗒......”一只電子導(dǎo)盲犬在街上邁著規(guī)律的步伐，拉著牽引繩的“盲人”，在它的帶領(lǐng)下越過沿路障礙，平穩(wěn)地行走著——這是西北工業(yè)大學(xué)李學(xué)龍教授團(tuán)隊(duì)在探索離線具身智能應(yīng)用方面取得的階段性進(jìn)展。

具身智能，即具有物理實(shí)體，能夠通過傳感器和執(zhí)行器與環(huán)境進(jìn)行實(shí)時(shí)互動(dòng)，執(zhí)行相應(yīng)指令或進(jìn)行決策的智能機(jī)器。李學(xué)龍教授團(tuán)隊(duì)將機(jī)器狗搭載離線大模型，應(yīng)用在智能導(dǎo)盲場景，開發(fā)出大模型離線具身智能導(dǎo)盲犬，并實(shí)現(xiàn)了其智能人機(jī)交互、智能乘梯引導(dǎo)、智能過街引導(dǎo)、智能室內(nèi)引導(dǎo)等功能。

李學(xué)龍教授團(tuán)隊(duì)研發(fā)的大模型離線具身智能導(dǎo)盲犬。視頻截圖

記者從西北工業(yè)大學(xué)了解到，這項(xiàng)成果進(jìn)一步展示了使用離線具身智能導(dǎo)盲犬代替?zhèn)鹘y(tǒng)導(dǎo)盲犬的可能性，驗(yàn)證了離線具身智能范式的可行性，使大模型具身智能機(jī)器人可以脫離互聯(lián)網(wǎng)環(huán)境，應(yīng)用在無網(wǎng)或網(wǎng)絡(luò)信號(hào)不佳的工況環(huán)境。同時(shí)，也為視障人士一犬難求的問題提供了新的解決方案。

據(jù)團(tuán)隊(duì)介紹，近年來，隨著機(jī)器人技術(shù)和SLAM導(dǎo)航技術(shù)的快速發(fā)展，針對(duì)電子導(dǎo)盲犬的探索也層出不窮。然而受制于自然語言處理技術(shù)的限制，上一代電子導(dǎo)盲犬仍然欠缺和人類“自由對(duì)話”的能力，也難以為視障人士提供情感陪伴。

大模型及具身智能技術(shù)的出現(xiàn)使電子導(dǎo)盲犬實(shí)現(xiàn)這種高級(jí)能力成為可能。但機(jī)器狗的低算力計(jì)算平臺(tái)難以支撐大模型運(yùn)行所需的海量計(jì)算資源，通常只能通過請(qǐng)求云服務(wù)的“在線具身智能”范式獲得大模型的高級(jí)能力，這嚴(yán)重限制了電子導(dǎo)盲犬的場景應(yīng)用范圍。

為此，李學(xué)龍教授團(tuán)隊(duì)結(jié)合目前最新的大模型量化壓縮和加速推理技術(shù)，成功將大模型部署至機(jī)器狗的低算力計(jì)算平臺(tái)，驗(yàn)證了“離線具身智能”范式的可行性。

目前通過實(shí)驗(yàn)，團(tuán)隊(duì)開發(fā)的離線具身智能導(dǎo)盲犬已能夠與視障人士流暢溝通指令，并帶領(lǐng)其通過馬路、樓梯、電梯等多樣復(fù)雜環(huán)境，驗(yàn)證了離線具身智能導(dǎo)盲犬的智能人機(jī)交互能力、電梯弱網(wǎng)絡(luò)環(huán)境下的智能乘梯引導(dǎo)能力、實(shí)時(shí)性要求較高的智能過街引導(dǎo)能力和智能室內(nèi)引導(dǎo)能力等。

據(jù)了解，研究團(tuán)隊(duì)未來還將進(jìn)一步優(yōu)化具身智能導(dǎo)盲犬技術(shù)方案，與大模型相結(jié)合，探索在線與離線相融合的分布式異構(gòu)具身智能方案，進(jìn)一步拓寬離線具身智能導(dǎo)盲犬及更多智能機(jī)器人平臺(tái)的應(yīng)用場景，有效賦能工業(yè)生產(chǎn)智能化。（視頻由西北工業(yè)大學(xué)提供）

分享讓更多人看到