文/陳根

雙足機(jī)器人曾是科幻文學(xué)和電影的主題。在非理想地形上，早期雙足機(jī)器人的形象通常是移動(dòng)緩慢且笨拙的。但是隨著科技的發(fā)展，它們開(kāi)始能夠進(jìn)行更快、更有效地移動(dòng)?，F(xiàn)在，有些雙足機(jī)器人已經(jīng)可以適應(yīng)環(huán)境和外部刺激。

雖然雙足機(jī)器人發(fā)展迅速，但是其在建模以及穩(wěn)定性方面依然有很大的進(jìn)步空間。為此，研究人員嘗試通過(guò)強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練雙足機(jī)器人并獲得了成功，這在很大程度地增強(qiáng)了機(jī)器人的魯棒性。

事實(shí)上，在傳統(tǒng)機(jī)器人研究中，往往需要花費(fèi)很多時(shí)間和技巧給機(jī)器人建模，尤其對(duì)于雙足機(jī)器人而言，一旦自身性質(zhì)和周?chē)h(huán)境發(fā)生改變，如電機(jī)壞了、地面摩擦力改變，模型就有可能就會(huì)失效。

此外，對(duì)于雙足式的機(jī)器人系統(tǒng)而言，其非線性非常高，并且由于是高自由度的混合系統(tǒng)，每一次踏步都會(huì)受到地面沖擊力，因此，很難獲得精確模型。

要想做一個(gè)實(shí)時(shí)控制算法，就要使用相對(duì)完整的動(dòng)力學(xué)模型。但是，即便具備好的模型，部署在非常高自由度的非線性系統(tǒng)上，也很難做到較快的實(shí)時(shí)計(jì)算。因此，使用傳統(tǒng)方法時(shí)，很多學(xué)者都會(huì)做出權(quán)衡取舍，比如使用簡(jiǎn)化的模型來(lái)做算法控制。

然而，這樣做的弊端也很明顯：一方面，其無(wú)法完整利用動(dòng)力學(xué)模型，從而不能充分發(fā)揮機(jī)器人系統(tǒng)的靈敏性；另一方面，基于模型的算法，一旦超過(guò)其穩(wěn)定區(qū)域，算法很容易就會(huì)崩潰。所以，使用傳統(tǒng)方法制造出來(lái)的機(jī)器人在穩(wěn)定性方面往往有所欠缺。

針對(duì)于此，研究人員用強(qiáng)化學(xué)習(xí)的方法來(lái)訓(xùn)練機(jī)器人，通過(guò)相對(duì)完整的機(jī)器人動(dòng)力系統(tǒng)，在仿真環(huán)境反復(fù)嘗試后，機(jī)器人獲得大量和環(huán)境交互的數(shù)據(jù)，從而學(xué)會(huì)用穩(wěn)定步態(tài)行走。

研究人員主要使用Python對(duì)機(jī)器人進(jìn)行編程，由于是雙足機(jī)器人，算法控制上會(huì)更難。但用強(qiáng)化學(xué)習(xí)的方法訓(xùn)練，研究出的機(jī)器人步態(tài)算法相比傳統(tǒng)基于模型的算法，性能顯著提升，帶來(lái)的魯棒性也更強(qiáng)。

該機(jī)器人不僅能像人類一樣前后左右地走，還能蹲著走，也能承受意料之外的負(fù)載，更能從強(qiáng)行推動(dòng)造成的失穩(wěn)狀態(tài)中恢復(fù)過(guò)來(lái)。在測(cè)試期間，其右腿的兩個(gè)電機(jī)損壞了，但它仍能調(diào)整其步行策略去適應(yīng)。

魯棒性增強(qiáng)，這也意味著，相比其他機(jī)器人，該機(jī)器人擁有更大的應(yīng)用空間。未來(lái)，在發(fā)生地震時(shí)，其有望能在塌房中做救援工作；或者在快遞業(yè)務(wù)中，可以充當(dāng)快遞員的角色。

目前，相關(guān)論文《雙足機(jī)器人魯棒參數(shù)化運(yùn)動(dòng)控制的強(qiáng)化學(xué)習(xí)》（Reinforcement Learning for Robust Parameterized Locomotion Control of Bipedal Robots），已被機(jī)器人國(guó)際學(xué)術(shù)頂會(huì) ICRA 收錄，將有望促進(jìn)雙足機(jī)器人的進(jìn)一步發(fā)展。