把實時音視頻裝進智能家居,“真互動”時代來了
我們的生活、工作正在被越來越多的設備連接起來,從家庭中大大小小的智能家居設備,到每天佩戴的智能手表,以及出行工具汽車的智能化、網聯化。與此同時,這些設備也正在通過音頻或視頻的實時互動方式,最終使得人、設備和家庭、工作場景無縫連接起來。
我們的生活、工作正在被越來越多的設備連接起來,從家庭中大大小小的智能家居設備,到每天佩戴的智能手表,以及出行工具汽車的智能化、網聯化。與此同時,這些設備也正在通過音頻或視頻的實時互動方式,最終使得人、設備和家庭、工作場景無縫連接起來。
就在上周末,聲勢浩大的中國家電及消費電子博覽會(AWE)落下帷幕,可以看出,這場家電盛宴中,越來越多的智能家居設備在互動中都需要音視頻技術的支持,并讓用戶擁有酷炫、沉浸式的互動體驗。
多了一塊屏幕的冰箱、有語音交互能力的電視……都預示著擁有“眼睛”和“耳朵”已經成為智能家居設備的硬指標。
作為全球實時互動API平臺開創者和引領者的聲網,同樣看到了這一趨勢。在AWE同期的GTIC 2023全球AIoT智能家居峰會上,聲網IoT負責人侯云憶以《聲網實時互動:開啟智能家居「真互動」時代》為主題進行了演講。
▲聲網IoT負責人侯云憶
那么,智能家居的“真互動”時代到底是什么?在這一背景下,聲網在其中扮演了什么樣的角色?實時互動技術又將為智能家居行業帶來哪些新的變量?我們試圖從聲網的布局中找到這些問題的答案。
一、以人為中心,跨越距離、空間和設備限制
智能家居設備的邊界正在以人為中心不斷向外延伸,而交互屬性更強、用戶感知度更高的實時互動技術正在這之中迸發出旺盛的生命力。
侯云憶說,幾乎每個家庭里都會有三到五個音視頻設備,而這些設備正在從家庭這個物理空間內向外拓展,根據用戶需求連接到更多的應用和終端上。而這些硬件設備也正在被實時互動賦予新的形態、角色和定位。
作為用戶智慧家庭的入口,擁有視頻畫面的智能門鎖已經成為這一行業的標配。這都得益于視頻畫面帶給智能門鎖的新變量,不同的設備通過同一屏幕畫面進行了連接,并且智能門鎖的角色定位已經從簡單的監控、門鈴功能,圍繞著用戶的需求不斷滲透至人們生活的方方面面,如今,這一設備已經與用戶的智能手機、家中的智慧屏、智能汽車的終端設備實現了跨場景、跨設備的互聯互通。
▲華為智能門鎖Pro可以與智能手機、智慧屏相連接(圖源:華為官網)
此外,人們對智能家居設備遠程互動和情感連接的需求正在日益增長。以智能攝像頭為例,除監控這一基本功能外,搭載音視頻技術的智能攝像頭可以化身人們聯系遠程朋友、親屬的工具,其作用已經從簡單的監控安全升級至情感連接和提供陪伴服務。
亞馬遜此前發布的家庭助理機器人Astro,更是通過音視頻為原先冷冰冰的機器人賦予了“機器人家庭管家”的角色。
▲亞馬遜家庭助理機器人Astro支持遠程視頻通話(圖源:亞馬遜)
事實上,實時互動帶來的新變量不止于此,一些屏幕出現在了很多意想不到的場景中。侯云憶稱,在智能教育賽道上,各類搭載屏幕的臺燈、桌子等新設備層出不窮,這些與學生學習息息相關的硬件設備,通過音視頻增加了一鍵連線家長、老師,輔助教學等增值服務,使其在教育場景下成為能輸出高質量內容且有高粘性需求的品類。
可以看出,實時互動技術正在以人為中心,從用戶的不同需求、不同場景出發,拓展硬件設備的形態的同時賦予其連接用戶家庭情感的紐帶。
綜上,這些硬件設備角色的延伸,也預示著兩大趨勢。侯云憶認為,首先,智能硬件設備正在從單品智能向場景智能以及以人為本的終端互聯邁進,其次,能多人多端實時交互的屏幕,正在使得這些設備從工具化身為人與人之間情感連接的角色。
智能硬件角色轉變的背后,是實時音視頻技術的發展。侯云憶認為,早期的智能設備通過P2P技術只能達到即時預覽、能看能聽,而目前這些智能設備之所以能化身以人為中心的情感連接和陪伴,是因為進入了“真互動”時代,聲網為這個行業定義的“真互動”就是全球端到端400ms級別以下的超低延遲,可以在全球任意終端、任意形式、任意規模實現隨時隨地互動無界的交互。
可見,以人為核心的“真互動”時代正在向智能家居滲透,并逐漸成為標配。
基于這樣的思考,聲網的IoT解決方案已經布局了面向智能穿戴、家居和出行領域等共40+的品類設備?;谶@些場景和設備,聲網提供了包括實時音視頻、媒體加速和可靠信令等PaaS服務,幫助這些設備提供遠程實時監控、視頻通話和遠程應急協作等服務和功能。
二、首創全球軟件定義實時網,刷新互動體驗天花板
可以看出,實時互動技術廣泛應用于智能家居設備已經成為必然趨勢,這也在硬件設備廠商之間達成了共識。但其對于硬件設備廠商而言并不是一件容易的事,它們不僅要從頭開始研發,還需要考慮開發難度、部署難度、運維難度以及這背后的成本。
“我們希望設備廠商在硬件不增加成本的情況下,通過聲網的IoT解決方案,在網絡、音頻和視頻幾個方面,能夠突破網絡限制、平臺限制和設備限制做到互聯互通,讓本身的低端設備也可以做到高端體驗,使用戶能獲取高質量互動體驗?!焙钤茟浲嘎?。
作為在實時互動領域的專業玩家,聲網深耕在實時音視頻領域數年,并一直圍繞物聯網設備和場景去不斷優化實時互動用戶體驗。依托于聲網自研的全球軟件定義實時網—SD-RTN,可以讓硬件設備突破網絡限制,即使在弱網的情況下,也能保障80%丟包下音視頻通話流暢。
在面向場景的深度適配上,聲網的智能人居解決方案適配了安卓、鴻蒙、LiteOS、小米VelaOS等主流操作系統,以及為硬件廠商提供了軟硬一體以及官方適配的SDK,如有樂鑫科技、BEKEN等能滿足低功耗音視頻設備場景的品牌,也有英偉達等面向高性能計算的解決方案組合。
此外,智能家居設備的碎片化特征,導致設備形態、種類豐富多樣,想要提升用戶的使用體驗,聲網解決方案需要考慮到更多智能硬件設備的需求。侯云憶稱,聲網目前是整個行業里RTC廠商當中覆蓋平臺以及能夠做到互聯互通終端最全、最多的廠商,其解決方案能覆蓋手機、音箱、小程序、智慧屏等多個終端。
值得一提的是,聲網的解決方案同時支持對接第三方生態,能夠實現主流Amazon Alexa和Google Assistant在海外的協議互通。
“過去硬件本身的性能可能決定了用戶體驗的上限,我們希望幫助伙伴,在不增加硬件和不增加云端算力的情況下,能夠突破硬件使用的上限?!焙钤茟浗榻B,以視頻門鈴或者門鎖的場景為例,當硬件資源不足或者帶寬不夠、網絡差的情況下,畫面的畫質會變差,但通過客戶端的視頻增強方式,基于深度學習的自研超分算法,可以支持1.5倍、2倍、3倍的移動端實時超分,幫助硬件從360P增加到720P,提升畫質清晰度。
不僅如此,聲網的多項音視頻黑科技不斷刷新用戶互動體驗天花板,有專為實時互動打造的自研高清語音引擎, 視頻增強策略、實時美聲算法、AI降噪和回聲消除能力等技術,讓用戶擁有更高保真、更趣味、更高清畫質的音視頻體驗。
在實時互動這條路上,聲網不斷深耕打磨自己的技術,進一步讓音視頻技術賦能于硬件設備上。其和智能家居硬件廠商的角色也正印證了這句俗語:讓專業的人做專業的事。
三、實時互動生態能力凸顯,不斷突破硬件能力邊界
當一個趨勢成為行業共識的時候,參與者的相互碰撞必然會產生新的火花。
聲網去年推出靈隼物聯網云平臺至今已近一年時間,在這個過程中,實時互動與智能家居設備碰撞出的火花也越來越多。
智能家居產業上游,更多的芯片廠商正在將實時互動作為產品規劃標配。侯云憶認為,這也體現了上游廠商對音視頻的重視程度在不斷提高。
此前,芯片和模組原廠很少關注其產品會較多出現在哪些細分場景或哪些硬件設備中,但隨著實時互動技術的成熟,智能家居在其中的參與度越來越高。與此同時,聲網作為軟件提供商與上游玩家進行軟硬件結合的過程中,也開始探索新的使用場景。
一定程度上,這一產業模式也會推動應用端設備的創新與迭代,智能家居玩家會去競爭實時互動領域的差異化能力,例如一些互動性更強的寵物機器人、割草機器人等。當這一技術成為基準后,其在智能家居設備上體現出的能力也更具多樣性。侯云憶補充說,雖然很多品類的布局在他們預期之內,但開發者拓展過程中給了他們很多驚喜。
在這個過程中,聲網的靈隼物聯網云平臺更像撬動實時互動在智能家居領域應用的關鍵樞紐,真正讓這一技術在上中下游之間“開始游動”,使得整個產業鏈開始關注這件事。
而置身其中的參與者聲網的感受也更為深刻。2020年,聲網和小天才合作落地了全球首個RTOS兒童電話手表,成為業內獨家實現RTOS平臺量產實時互動全功能服務的企業。侯云憶透露,聲網解決方案為兒童手表提供了音視頻通話能力,擴展了它的場景,也就是“用軟件去提高兒童手表這類低功耗設備的能力上限” 。
這些經驗的積累,也成為聲網不斷探索新場景,并轉化為自己在智能家居領域積累的技術優勢。
目前,聲網已經和國內智能攝像頭、智能門鈴、智能門鎖等行業的頭部玩家達成合作,在軟件的加持下,讓實時互動技術的優勢更廣泛的體現在智能家居設備中。
面向未來,生成式AI技術強大的內容生成、理解、推理能力也帶給了人機交互更大的想象空間,與此同時,大模型加持下的設備能更懂人、更理解人,那么人對基于此的智能家居設備黏性也一定會被提高。侯云憶認為,前沿技術的加持下未來可穿戴設備、家庭機器人等設備的需求將會爆發,這一趨勢對于這其中實時互動能力的建設等都會有巨大的推動作用。
結語:實時互動正在與智能家居擦出火花
各類前沿技術的出現與快速發展正在賦予智能家居新的想象空間,同時,實時互動技術的出現為智能家居玩家帶來更多擁有差異化競爭優勢的可能性。不過,這離不開以聲網為代表的專業玩家的技術支撐。
當下,我們已經看到實時互動在智能家居設備之中的必要性,被賦予“眼睛”和“耳朵”的硬件設備正頻繁出現在我們的生活中,硬件設備承載的信息密度正在不斷提升,并且視頻、音頻、圖片等多模態信息的大量輸入輸出。
正如侯云憶所說,聲網的愿景是希望實時互動可以像水和空氣一樣無處不在。實時互動技術未來可能讓智能家居設備的形態、用戶體驗等方面都產生質的飛躍。
轉自智東西