掃一掃，查看手機(jī)站
8月21日下午，杭州西湖邊，一只靈巧的機(jī)器狗正在北山街穿梭。它不時(shí)停下來打量西湖夏荷，甚至與路過的小朋友打招呼。過往的游客紛紛駐足拍照，好奇發(fā)問：“機(jī)器狗也能獨(dú)自賞西湖？”
事實(shí)上，這只機(jī)器狗并非獨(dú)自行動(dòng)，它的“主人”——操控機(jī)器狗的人員，此時(shí)正在1300多公里外的山西文博會(huì)現(xiàn)場(chǎng)。
8月21日，山西廣播電視臺(tái)×黃河plus×當(dāng)虹科技×云深處科技，聯(lián)合打造了傳媒業(yè)界首次跨越千里的機(jī)器狗視角實(shí)時(shí)直播。通過BlackEye Vision超遠(yuǎn)距離遠(yuǎn)程操控系統(tǒng)，實(shí)現(xiàn)了遠(yuǎn)隔千里的機(jī)器狗視角“云賞西湖”體驗(yàn)，10W觀眾線上觀看，成為機(jī)器人在傳媒文旅方向應(yīng)用的標(biāo)桿案例。
01
千里之外實(shí)時(shí)操控
機(jī)器狗絲滑響應(yīng)指令
山西文博會(huì)太原現(xiàn)場(chǎng)的大屏上，畫面隨機(jī)器狗腳步“移步換景”：近處荷花、遠(yuǎn)處斷橋，還有好奇的小朋友上前打招呼。
“能看斷橋嗎？讓它轉(zhuǎn)個(gè)彎兒?！薄澳芸礄C(jī)器人和小朋友握手嗎？”山西文博會(huì)現(xiàn)場(chǎng)，觀眾熱情地發(fā)問，一旁的操控人員拿著手機(jī)“隔空”操控千里之外的機(jī)器狗進(jìn)行回應(yīng)。
也有山西文博會(huì)現(xiàn)場(chǎng)的觀眾發(fā)出憂慮：隔著1300公里，機(jī)器狗會(huì)不會(huì)因?yàn)榉磻?yīng)不及時(shí)，一不小心掉進(jìn)西湖？
確實(shí)，要讓機(jī)器狗在千里之外依然“聽話”，并不簡單。其中，最難解決的就是“隔空”操控機(jī)器狗中的延遲問題——哪怕只有0.1秒（100ms）的滯后，都可能造成畫面卡頓、指令失效，甚至導(dǎo)致機(jī)器狗因反應(yīng)不及而發(fā)生意外。
“我們把端到端的延遲降低到了80ms以內(nèi)?！碑?dāng)虹科技工作人員解釋說，這比人類神經(jīng)反應(yīng)的極限延遲（約100ms）還要快20ms。正因?yàn)閹缀酢傲阊舆t”，我們才能在山西文博會(huì)現(xiàn)場(chǎng)，實(shí)時(shí)操控千里之外的機(jī)器狗，行走、轉(zhuǎn)身、互動(dòng)，甚至與游客中的小朋友擊掌打招呼。
02
西湖畫面清晰呈現(xiàn)
離不開“視頻超級(jí)壓縮+畫質(zhì)增強(qiáng)”
西湖邊游客如織、水波蕩漾，動(dòng)態(tài)場(chǎng)景非常復(fù)雜；山西文博會(huì)現(xiàn)場(chǎng)更是人山人海。不管是從太原到杭州的指令發(fā)送，還是杭州視頻畫面回傳至山西文博會(huì)現(xiàn)場(chǎng)，都有巨大的帶寬挑戰(zhàn)。如果網(wǎng)絡(luò)不夠好，再美的風(fēng)景也會(huì)因?yàn)榭D影響觀看體驗(yàn)。
但在直播中，機(jī)器狗視角的畫面始終清晰、流暢，即使機(jī)器狗轉(zhuǎn)身、跳動(dòng)拍攝的畫面，也達(dá)到了專業(yè)級(jí)播出要求。
這背后是系統(tǒng)基于當(dāng)虹科技BlackEye多模態(tài)視聽大模型，根據(jù)實(shí)時(shí)的帶寬波動(dòng)，大模型將高清視頻流進(jìn)行10-100倍的超級(jí)壓縮，再通過AI畫質(zhì)增強(qiáng)算法，讓畫質(zhì)更加接近真實(shí)環(huán)境。
03
傳媒文旅應(yīng)用豐富
機(jī)器人也能充當(dāng)“攝像記者”
在此次直播中，千里之外的機(jī)器狗猶如一個(gè)特種機(jī)位，將機(jī)器狗的應(yīng)用場(chǎng)景拓展到了傳媒文旅方向。
當(dāng)虹科技工作人員介紹，由機(jī)器人充當(dāng)“攝像記者”的科幻場(chǎng)景正在走進(jìn)現(xiàn)實(shí)，機(jī)器人可以代替記者來到平時(shí)難以抵達(dá)的地方“采訪”，比如深入火災(zāi)、地震等特殊新聞現(xiàn)場(chǎng)帶回實(shí)時(shí)直播畫面，大大拓展了機(jī)器人在傳媒領(lǐng)域的視界。
尤其是在火災(zāi)、地震等特殊新聞現(xiàn)場(chǎng)，往往已經(jīng)斷網(wǎng)、斷路、斷電，我們所熟知的4G、5G和Wi-Fi網(wǎng)絡(luò)往往已無法提供實(shí)時(shí)通信。此時(shí)，BlackEye Vision會(huì)自動(dòng)切換至衛(wèi)星通信實(shí)現(xiàn)遠(yuǎn)程操控和現(xiàn)場(chǎng)報(bào)道畫面回傳。
同時(shí)，BlackEye Vision還具備強(qiáng)大的多模態(tài)處理能力——視頻、音頻、激光雷達(dá)點(diǎn)云、控制信令、文本信息都能同步傳輸。這意味著后端記者不僅能看到高清影像，還能通過三維空間數(shù)據(jù)感知地形起伏、障礙物距離，獲得接近真實(shí)的“臨場(chǎng)感”，從而更精準(zhǔn)地遙控機(jī)器狗完成特殊新聞現(xiàn)場(chǎng)的報(bào)道任務(wù)。
從應(yīng)急救援到工業(yè)巡檢，從巡邏檢查到媒體報(bào)道，機(jī)器人成為了人體的延伸。那些人類難以抵達(dá)，或需冒生命危險(xiǎn)、付出巨大成本的任務(wù)，都有望通過BlackEye Vision超遠(yuǎn)距離遠(yuǎn)程操控系統(tǒng)來幫我們實(shí)現(xiàn)。
