11月3日，智元?jiǎng)?chuàng)新（上海）科技有限公司（簡(jiǎn)稱：智元機(jī)器人）對(duì)外宣布該公司研發(fā)的真機(jī)強(qiáng)化學(xué)習(xí)技術(shù)，首次實(shí)現(xiàn)從學(xué)術(shù)論文階段走向工業(yè)應(yīng)用，目前在與龍旗科技合作的驗(yàn)證產(chǎn)線中成功落地。相關(guān)第三方可驗(yàn)證的實(shí)驗(yàn)數(shù)據(jù)將在后續(xù)部署中公布。

智元展示此次落地的真機(jī)強(qiáng)化學(xué)習(xí)方案 。

真機(jī)強(qiáng)化學(xué)習(xí)（Real-World Reinforcement Learning）技術(shù)是指，讓AI算法直接在真實(shí)物理設(shè)備上進(jìn)行強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練的技術(shù)。簡(jiǎn)單來(lái)說(shuō)，它讓機(jī)器人不只在虛擬仿真環(huán)境里學(xué)會(huì)策略，而是直接在真機(jī)上通過(guò)試錯(cuò)學(xué)習(xí)最優(yōu)行為。

國(guó)外多項(xiàng)學(xué)術(shù)研究顯示，強(qiáng)化學(xué)習(xí)在工業(yè)機(jī)器人中的應(yīng)用具有巨大潛力，但從仿真環(huán)境到真機(jī)再到工業(yè)規(guī)模的穩(wěn)定部署仍面臨較多挑戰(zhàn)，在機(jī)器人研究領(lǐng)域，目前更多的是停留在研究階段，并未大規(guī)模走向工業(yè)產(chǎn)線應(yīng)用。

據(jù)了解，這項(xiàng)真機(jī)強(qiáng)化學(xué)習(xí)技術(shù)，可讓機(jī)器人在真實(shí)產(chǎn)線中自主學(xué)習(xí)、持續(xù)優(yōu)化作業(yè)策略，新技能訓(xùn)練與穩(wěn)定部署僅需數(shù)十分鐘，且性能全程不降級(jí)。在換線、換型或流線調(diào)整時(shí)，該系統(tǒng)只需最小的硬件改動(dòng)和標(biāo)準(zhǔn)化部署流程，即可顯著提升柔性、壓縮部署時(shí)間與成本。

智元機(jī)器人合伙人、首席科學(xué)家羅劍嵐告訴澎湃科技（m.dbgt.com.cn），目前這套方案已進(jìn)入常態(tài)化作業(yè)狀態(tài)，最大的突破點(diǎn)在于其性能真正將AI模型部署在工廠中，實(shí)現(xiàn)100%的準(zhǔn)確率。在聯(lián)調(diào)機(jī)制下，落地工業(yè)產(chǎn)線的故障率已經(jīng)被控制在產(chǎn)線驗(yàn)收范圍內(nèi)。

羅劍嵐稱，工業(yè)產(chǎn)線較為保守，傳統(tǒng)自動(dòng)化設(shè)備在具有不確定性的場(chǎng)景下，難以同時(shí)兼顧高精度、高成功率和通用性，而真機(jī)強(qiáng)化學(xué)習(xí)技術(shù)能更好地解決這一問(wèn)題。真機(jī)強(qiáng)化學(xué)習(xí)技術(shù)約80%將應(yīng)用于集中上下料與柔性換線環(huán)節(jié)。

長(zhǎng)期以來(lái)，精密制造產(chǎn)線面臨剛性瓶頸。傳統(tǒng)機(jī)械臂依賴復(fù)雜夾具設(shè)計(jì)與場(chǎng)地改造，調(diào)試周期長(zhǎng)、換型成本高；“視覺(jué)＋力控”等柔性方案雖有改進(jìn)，卻存在參數(shù)敏感、部署復(fù)雜等問(wèn)題，難以適配消費(fèi)電子行業(yè)高頻產(chǎn)品迭代需求。

相較于傳統(tǒng)方案，真機(jī)強(qiáng)化學(xué)習(xí)技術(shù)具備三大核心優(yōu)勢(shì)：極速部署、超高適配和柔性換型，可在不同工位和產(chǎn)品線上快速遷移與復(fù)用。其訓(xùn)練周期從“數(shù)周”縮短至“數(shù)十分鐘”，效率實(shí)現(xiàn)指數(shù)級(jí)提升；自主克服來(lái)料位置偏差、尺寸公差等擾動(dòng)，在長(zhǎng)周期運(yùn)行中持續(xù)保持工業(yè)級(jí)穩(wěn)定性與100%任務(wù)完成率。

不過(guò)，相較于仿真學(xué)習(xí)，真機(jī)強(qiáng)化學(xué)習(xí)技術(shù)或面臨成本高昂等問(wèn)題。在成本控制方面，羅劍嵐表示，真機(jī)強(qiáng)化學(xué)習(xí)技術(shù)的優(yōu)勢(shì)體現(xiàn)在兩方面：顯性成本方面直接與產(chǎn)能掛鉤，提升了生產(chǎn)效率；隱性成本方面，具有高模塊化、高柔性率特征，在不同工序間切換非常便捷，只需極小程度的硬件調(diào)整。

羅劍嵐強(qiáng)調(diào)，“隨著經(jīng)驗(yàn)的積累，這一系統(tǒng)在新產(chǎn)線上部署會(huì)更快，成本也會(huì)越來(lái)越低?！彼硎荆@是一套可管理、可復(fù)制、可拓展的工具，未來(lái)會(huì)將其打造成通用模板進(jìn)行推廣，像搭樂(lè)高積木一樣，從3C逐步擴(kuò)展到汽車、家電、醫(yī)療等領(lǐng)域。