|
郭磊 |
|
報(bào)告題目： 通過交互進(jìn)行學(xué)習(xí)的具生智能飛行器
個(gè)人簡(jiǎn)介： 電子科技大學(xué)計(jì)算機(jī)學(xué)院教授，博士生導(dǎo)師，主要研究人工智能在空天領(lǐng)域的創(chuàng)新性應(yīng)用。中國(guó)宇航協(xié)會(huì)無人機(jī)分委會(huì)委員，主持多項(xiàng)國(guó)家級(jí)科研項(xiàng)目，參與數(shù)字風(fēng)洞等重點(diǎn)工程項(xiàng)目。
摘要： 構(gòu)建一個(gè)通用的自我糾正系統(tǒng)對(duì)于飛行器從故障中恢復(fù)至關(guān)重要。盡管多模態(tài)大型語言模型（MLLM）的發(fā)展使飛行器具備了對(duì)故障進(jìn)行語義反思的能力，但將這種語義反思轉(zhuǎn)化為“如何糾正”精細(xì)的機(jī)器人動(dòng)作仍是一 項(xiàng)重大挑戰(zhàn)。為了解決這一差距，我們構(gòu)建了交互學(xué)習(xí)框架，該框架利用運(yùn)動(dòng)指令作為橋梁，將高層次的語義反思與低層次的飛行器動(dòng)作糾正相連接。首先采用雙過程運(yùn)動(dòng)調(diào)整機(jī)制與 MLLM 相結(jié)合，將語義反思轉(zhuǎn)化為粗粒度的運(yùn)動(dòng)指令調(diào)整。 為了利用這種運(yùn)動(dòng)指令來指導(dǎo)“如何糾正”精細(xì)的飛行器動(dòng)作，我們提出了一種多任務(wù)運(yùn)動(dòng)條件擴(kuò)散策略，以整合視覺觀察來實(shí)現(xiàn)飛行器動(dòng)作的糾正。通過將這兩種模型相結(jié)合，我們可以將泛化能力的需求從低層次的操作策略轉(zhuǎn)移到由MLLM 驅(qū)動(dòng)的運(yùn)動(dòng)調(diào)整模型上，并促進(jìn)精確、精細(xì)的飛行器動(dòng)作糾正。 |
