原標(biāo)題：Facebook演示最新手部交互成果：交叉遮擋下的精確手勢判斷

（映維網(wǎng) 2020年12月28日）手部追蹤是FRL Research旨在提升技術(shù)交互親民度的研究課題之一。從VR頭顯到AR眼鏡，團隊正在構(gòu)建下一個能夠讓更多人受益的計算平臺。手部追蹤技術(shù)提供了最為熟悉自然的人機交互方式：裸手交互，從而為更多的人打開了沉浸式計算的大門。

有關(guān)注映維網(wǎng)分享的小伙伴應(yīng)該知道，F(xiàn)acebook迄今為止已經(jīng)展示了一系列的研究進展。今天映維網(wǎng)要再向大家介紹FRL Research在SIGGRAPH Asia大會分享的一篇手部追蹤論文。

名為“Constraining Dense Hand Surface Tracking with Elasticity”的論文主要介紹了一種基于彈性約束的密集手部曲面追蹤技術(shù)。

我們?nèi)祟愅ㄟ^雙手執(zhí)行的一系列動作都涉及自接觸和自遮擋，如握手、握拳，或者在思考時的交叉手指。這樣的用例說明了通過自接觸和自遮擋來實現(xiàn)手部追蹤的重要性。

但是，現(xiàn)有的追蹤方法方法并不是為了處理普通手勢所表現(xiàn)出的有限自接觸和自遮擋而設(shè)計。通過擴展基于視覺的追蹤和基于物理的動畫的最新進展，F(xiàn)RL Research提出了一個能夠通過高度自接觸和自遮擋手勢來追蹤高保真手部變形的算法（適用于單手和雙手）。

通過將基于視覺的追蹤算法與基于物理的可變形模型相結(jié)合，研究人員獲得了一種對普遍存在的自交互和常見手勢所表現(xiàn)出的大量自遮擋具有魯棒性的算法，從而允許追蹤雙手交互和高挑戰(zhàn)度的人手配置。

Facebook認為不僅要在手勢清晰易明的情況下實現(xiàn)手部追蹤，同時要在存在遮擋的情況下精確地判斷手勢。

延伸閱讀：Facebook論文詳細分享Oculus Quest手部追蹤技術(shù)細節(jié)

另一團隊提出的Megatrack方案主要是通過一個虛擬手部骨骼模型來解決所述問題。但在實踐中，這一過程尚不完美，特別是由于所使用的虛擬模型不能捕捉皮膚和肌肉的柔韌性和變形性。

由于手部的變形受物理定律約束，所以名為“Constraining Dense Hand Surface Tracking with Elasticity的論文提出了一種彈性3D模型。與Megatrack這樣的骨骼模型不同，基于彈性約束的3D模型可以在攝像頭無法覆蓋的地方模擬變形。

具體地說，團隊利用一個彈性體積變形模型和一個碰撞響應(yīng)模型來約束基于視覺的追蹤算法的求解空間，正則化整個手部幾何結(jié)構(gòu)和變形閉合區(qū)域。其余可見區(qū)域則根據(jù)多視角攝像頭的視覺數(shù)據(jù)進行追蹤。

為了通過變形物理模型來約束基于視覺的追蹤方法，研究人員應(yīng)用了手部的兩種表示：模板表面網(wǎng)格和體積四面體網(wǎng)格。給定一個初始化模板網(wǎng)格，所述的追蹤方案可以利用曲面網(wǎng)格的頂點最小化光度誤差和幾何誤差，同時使用彈性變形能量和四面體網(wǎng)格定義的穿透避免項對整個手部幾何體進行正則化。

為了實現(xiàn)表示之間的通信，團隊在優(yōu)化過程中添加了耦合項，并采用了一種在視覺項最小化和物理項凍結(jié)最小化之間進行交替的優(yōu)化方法。這種交替過程允許研究人員使用最先進的優(yōu)化技術(shù)進行基于視覺的追蹤和基于物理的仿真，從而有效地最小化總能量。

FRL Research表示，所述方法能夠追蹤存在大量自接觸和自遮擋的手勢。

相關(guān)論文：Constraining Dense Hand Surface Tracking with Elasticity

簡單來說，基于彈性約束的3D手部模型提供了接近真實手部彈性的物理特性。手部的可見區(qū)域由攝像頭捕捉追蹤。當(dāng)遮擋發(fā)生時，追蹤系統(tǒng)則會從基于彈性約束的3D手部模型導(dǎo)出變形和碰撞。通過兩者的整合，系統(tǒng)可以追蹤一系列存在自接觸和自遮擋的手勢情況。

當(dāng)然，所述方案需要124個攝像頭、一個Intel E5-2698和一個Nvidia Tesla V100。所以它暫時應(yīng)該無法用于Facebooks的VR/AR頭顯。另外，團隊承認，即便是這樣先進的硬件，誤差錯誤都會時不時地出現(xiàn)。

然而，相關(guān)研究、吸取的經(jīng)驗教訓(xùn)和追蹤數(shù)據(jù)可以在將來用于改進基于KI的模型，如Megatrack。

除了虛擬現(xiàn)實和虛擬現(xiàn)實，研究者們同時認為所述系統(tǒng)在電影CG、社會科學(xué)或醫(yī)學(xué)中的肢體語言研究、身體康復(fù)方面存在進一步的應(yīng)用。

原文鏈接：https://news.nweon.com/81813