(映維網(wǎng) 2020年04月07日)今天的電子設(shè)備為用戶(hù)提供了眾多與周?chē)�世界交互的方式。例如，用�?hù)可以使用鍵盤(pán)、鼠標(biāo)、觸碰屏、觸碰筆和操縱搖桿等與電子設(shè)備進(jìn)行交互。

隨著混合現(xiàn)實(shí)技術(shù)的興起，用戶(hù)往往會(huì)通過(guò)額外的方式提供輸入。作為一個(gè)例子，用戶(hù)可以觸碰真實(shí)對(duì)象并以混合現(xiàn)實(shí)的方式與之進(jìn)行交互。但是，真實(shí)對(duì)象交互通常不包括用于檢測(cè)用戶(hù)觸碰的觸碰傳感器。

作為說(shuō)明，用戶(hù)經(jīng)常與數(shù)字信息交互的一種方式是通過(guò)觸碰屏界面。觸碰屏界面允許用戶(hù)使用手指、觸碰筆或其他方式與顯示表面進(jìn)行交互。觸碰傳感器可以識(shí)別觸碰區(qū)域并向用戶(hù)提供響應(yīng)。

針對(duì)這種情況，蘋(píng)果為混合現(xiàn)實(shí)提出了名為“Imu For Touch Detection”的專(zhuān)利申請(qǐng)，并描述了諸如手表或指環(huán)的可穿戴設(shè)備。

值得一提的是，蘋(píng)果早前曾提出過(guò)多份用于AR/VR的指環(huán)式設(shè)備發(fā)明，如“Finger-mounted device with sensors and haptics”。

專(zhuān)利主要描述了用于對(duì)物理表面進(jìn)行觸碰的系統(tǒng)。總的來(lái)說(shuō)，蘋(píng)果介紹了一種使用慣性測(cè)量單元(IMU)識(shí)別用戶(hù)何時(shí)在物理環(huán)境中觸碰表面的技術(shù)，以及一種提供相關(guān)響應(yīng)技術(shù)。

根據(jù)一個(gè)或多個(gè)實(shí)施例，諸如手表或指環(huán)這樣的可穿戴式設(shè)備可由與物理環(huán)境交互的用戶(hù)佩戴。所述可穿戴設(shè)備可包括IMU。IMU可用于跟蹤力、加速度或聲學(xué)信號(hào)。

在一個(gè)或多個(gè)實(shí)施例中，可穿戴設(shè)備可由用戶(hù)在物理環(huán)境中佩戴。特別地，可穿戴設(shè)備可穿戴于手臂、手腕或手指。在一個(gè)或多個(gè)實(shí)施例中，可根據(jù)來(lái)自IMU的傳感器數(shù)據(jù)確定觸碰事件。例如，檢測(cè)到的力可以指示觸碰事件。觸碰事件可以指示觸碰對(duì)象和表面之間的接觸。表面可以是實(shí)際環(huán)境中的對(duì)象的一部分，或者可以是用戶(hù)的另一部分，如手或手指。

為了響應(yīng)于檢測(cè)到觸碰事件，可以獲得觸碰事件的觸碰圖像。所述觸碰圖像包括觸碰對(duì)象和被觸碰表面。觸碰圖像可以由第二設(shè)備捕獲。所述觸碰圖像可以是RGB圖像或深度圖像。根據(jù)觸碰圖像，可以確定被觸碰表面，并且可以根據(jù)被觸碰表面向用戶(hù)提供響應(yīng)。

在一個(gè)或多個(gè)實(shí)施例中，可利用觸碰圖像生成或細(xì)化觸碰對(duì)象的模型。具體而言，由第二設(shè)備捕獲的圖像可以不捕獲觸碰對(duì)象與表面接觸的部分。但在一個(gè)或多個(gè)實(shí)施例中，關(guān)于觸碰對(duì)象在觸碰點(diǎn)的幾何形狀數(shù)據(jù)可以根據(jù)觸碰圖像的深度信息進(jìn)行確定。例如，深度圖像可以從觸碰點(diǎn)被觸碰對(duì)象遮擋住的角度來(lái)獲取。例如，從用戶(hù)的角度來(lái)看，觸碰表面的指尖可以被手遮擋住。

可根據(jù)來(lái)自觸碰圖像和觸碰檢測(cè)的綜合數(shù)據(jù)，生成或完善觸碰對(duì)象的模型，如手指、手或手臂。例如，即使手指的觸碰部分被遮擋，系統(tǒng)都可以根據(jù)手指所觸碰表面的相對(duì)位置，以及觸碰圖像中手指的可見(jiàn)部分的深度信息來(lái)確定手指的特定長(zhǎng)度。觸碰圖像可以作為參考圖像來(lái)確定手指和表面之間的接觸狀態(tài)。例如，可以通過(guò)比較參考圖像和當(dāng)前捕獲的圖像來(lái)確定釋放運(yùn)動(dòng)，即手指遠(yuǎn)離表面。

在一個(gè)或多個(gè)實(shí)施例中，可利用觸碰圖像來(lái)確定觸碰的假陽(yáng)性。例如，IMU可以根據(jù)特定的力來(lái)檢測(cè)觸碰，但力可以與觸碰無(wú)關(guān)。作為一個(gè)例子，力可以與手臂或手腕的抽搐有關(guān)。相應(yīng)地，在一個(gè)或多個(gè)實(shí)施例中，第二設(shè)備可在檢測(cè)到觸碰事件時(shí)捕獲觸碰圖像，并根據(jù)觸碰圖像確定觸碰事件是不是真正的觸碰事件。例如，在檢測(cè)到觸碰事件時(shí)，如果所捕獲的圖像顯示觸碰對(duì)象不在表面附近，則可以確定檢測(cè)到的觸碰事件是假陽(yáng)性觸碰事件。基于深度學(xué)習(xí)的方法可以用來(lái)將真實(shí)的觸碰事件與其他非觸碰事件進(jìn)行分類(lèi)。分類(lèi)可以基于IMU數(shù)據(jù)進(jìn)行分類(lèi)。深度學(xué)習(xí)網(wǎng)絡(luò)可以是LSTM(長(zhǎng)短期記憶)、RNNN(循環(huán)神經(jīng)網(wǎng)絡(luò))或任何時(shí)間相關(guān)的網(wǎng)絡(luò)。