背景技術(shù)：

1、隨著新的系統(tǒng)和傳感器變得可用于捕獲高分辨率三維(3d)數(shù)據(jù)，出現(xiàn)了傳輸動(dòng)態(tài)點(diǎn)云序列的大數(shù)據(jù)大小的挑戰(zhàn)。例如，發(fā)布一個(gè)人的完整3d外觀所需的數(shù)據(jù)吞吐量的測(cè)試已經(jīng)揭示了限制高分辨率數(shù)據(jù)捕獲和發(fā)布的實(shí)用性的若干網(wǎng)絡(luò)瓶頸。

技術(shù)實(shí)現(xiàn)思路

1、根據(jù)一些實(shí)施例，一種在服務(wù)器處執(zhí)行的方法包括：向客戶端發(fā)送第一點(diǎn)云，其中所述第一點(diǎn)云對(duì)應(yīng)于參考點(diǎn)云；接收第二點(diǎn)云；以及從所述參考點(diǎn)云分層地確定所述第二點(diǎn)云中的變化，其中分層地確定所述變化包括：識(shí)別所述第二點(diǎn)云中的已從所述參考點(diǎn)云變化的第一區(qū)域；優(yōu)先化排序(prioritizing)所述第一區(qū)域；以及對(duì)于具有最高優(yōu)先級(jí)的第一區(qū)域，確定是否存在對(duì)從所述參考點(diǎn)云的第一變化進(jìn)行近似(approximate)的第一剛性3d變換；響應(yīng)于確定存在所述第一剛性3d變換，確定對(duì)從所述參考點(diǎn)云的所述第一變化進(jìn)行近似的所述第一剛性3d變換；以及響應(yīng)于確定不存在所述第一剛性3d變換，進(jìn)一步確定要用于修改所述參考點(diǎn)云的第一點(diǎn)，其中所述第一點(diǎn)表示所述第一變化。

2、根據(jù)一些實(shí)施例，一種在服務(wù)器處執(zhí)行的方法包括：向客戶端發(fā)送第一點(diǎn)云，其中所述第一點(diǎn)云對(duì)應(yīng)于參考點(diǎn)云；接收第二點(diǎn)云；以及從所述參考點(diǎn)云分層地確定所述第二點(diǎn)云中的變化，其中分層地確定所述變化包括：識(shí)別所述第二點(diǎn)云中的已從所述參考點(diǎn)云變化的第一區(qū)域；優(yōu)先化排序所述第一區(qū)域；以及對(duì)于具有最高優(yōu)先級(jí)的第一區(qū)域，確定對(duì)從所述參考點(diǎn)云的第一變化進(jìn)行近似的第一剛性3d變換，并且如果不能確定所述第一剛性3d變換，則進(jìn)一步確定要用于修改所述參考點(diǎn)云的第一點(diǎn)，其中所述第一點(diǎn)表示所述第一變化。

3、在一些實(shí)施例中，用于修改所述參考點(diǎn)云的所述第一點(diǎn)包括以下至少一者：(i)要從參考點(diǎn)云移除的點(diǎn)或(ii)添加到所述參考點(diǎn)云的點(diǎn)。在一些實(shí)施例中，識(shí)別所述第一區(qū)域包括將所述第二點(diǎn)云與所述參考點(diǎn)云進(jìn)行比較以識(shí)別所述第二點(diǎn)云中的偏離所述參考點(diǎn)云的區(qū)域。在一些實(shí)施例中，對(duì)所述第一區(qū)域進(jìn)行優(yōu)先化排序包括：至少部分基于所述客戶端的當(dāng)前視點(diǎn)，向所述第一區(qū)域中的每一個(gè)區(qū)域指派相應(yīng)的第一優(yōu)先級(jí)。在一些實(shí)施例中，將所述相應(yīng)的第一優(yōu)先級(jí)指派給所述第一區(qū)域中的每一個(gè)區(qū)域包括使用主要區(qū)域的大小、所述第一區(qū)域與所述參考點(diǎn)云的偏離量以及所述第一區(qū)域與所述客戶端的所述當(dāng)前視點(diǎn)的距離來(lái)確定所述相應(yīng)的第一優(yōu)先級(jí)。此外，在一些實(shí)施例中，確定所述第一剛性3d變換是否存在包括確定是否已經(jīng)找到所述參考點(diǎn)云和所述第二點(diǎn)云之間的形狀對(duì)應(yīng)(correspondence)。

4、在一些實(shí)施例中，該方法還包括：從所述客戶端接收所述當(dāng)前視點(diǎn)。在一些實(shí)施例中，該方法還包括存儲(chǔ)所述參考點(diǎn)云，并且如果已經(jīng)確定了所述第一3d剛性變換，則通過(guò)向所述參考點(diǎn)云應(yīng)用所述第一剛性3d變換來(lái)更新在所述服務(wù)器處存儲(chǔ)的所述參考點(diǎn)云。在一些實(shí)施例中，該方法還包括向客戶端發(fā)送關(guān)于具有最高優(yōu)先級(jí)的第一區(qū)域的指示和3d變換以在客戶端處更新所述參考點(diǎn)云。在一些實(shí)施例中，所述關(guān)于具有最高優(yōu)先級(jí)的第一主要區(qū)域的指示包括包圍體坐標(biāo)。

5、在一些實(shí)施例中，該方法還包括存儲(chǔ)所述參考點(diǎn)云，并且如果已經(jīng)確定了所述第一點(diǎn)，則通過(guò)利用所述第一點(diǎn)修改所述參考點(diǎn)云來(lái)更新存儲(chǔ)在所述服務(wù)器處的所述參考點(diǎn)云。在一些實(shí)施例中，該方法還包括向客戶端發(fā)送關(guān)于所述第一點(diǎn)的指示以在客戶端處更新所述參考點(diǎn)云。

6、在一些實(shí)施例中，分層地確定所述變化還包括：識(shí)別具有所述最高優(yōu)先級(jí)的所述第一區(qū)域內(nèi)的一個(gè)或多個(gè)第一子區(qū)域，對(duì)所述第一子區(qū)域進(jìn)行優(yōu)先化排序，并將經(jīng)優(yōu)先化排序的第一子區(qū)域添加到剩余的經(jīng)優(yōu)先化排序的第一區(qū)域。在一些實(shí)施例中，該方法還包括，對(duì)于在剩余的優(yōu)先化排序的第一區(qū)域和所述優(yōu)先化排序的第一子區(qū)域當(dāng)中具有次高優(yōu)先級(jí)的區(qū)域，確定(i)對(duì)從所述更新的參考點(diǎn)云的第二變化進(jìn)行近似的第二剛性3d變換或(ii)要被用來(lái)修改所述更新的參考點(diǎn)云的第二點(diǎn)，其中所述第二點(diǎn)表示所述第二變化。就這一點(diǎn)而言，在一些實(shí)施例中，該方法還包括與客戶端協(xié)商一處理預(yù)算，其中該處理預(yù)算提供可用于點(diǎn)云更新的至少時(shí)間量和帶寬，并且其中僅當(dāng)所述處理預(yù)算可用時(shí)才執(zhí)行確定用于具有次高優(yōu)先級(jí)的區(qū)域的第二剛性3d變換或第二點(diǎn)。

7、在一些實(shí)施例中，識(shí)別所述一個(gè)或多個(gè)第一子區(qū)域包括：將所述第二點(diǎn)云與所述更新的參考點(diǎn)云進(jìn)行比較，以識(shí)別偏離所述更新的參考點(diǎn)云的較細(xì)粒度區(qū)域。在一些實(shí)施例中，對(duì)所述第一子區(qū)域進(jìn)行優(yōu)先化排序包括向每個(gè)所述第一子區(qū)域指派相應(yīng)的第二優(yōu)先級(jí)。在一些實(shí)施例中，該方法包括與客戶端協(xié)商處理預(yù)算，其中該處理預(yù)算至少提供可用于點(diǎn)云更新的時(shí)間量和帶寬。

8、在一些實(shí)施例中，所述參考點(diǎn)云或所述第二點(diǎn)云中的至少一者包括傳感器數(shù)據(jù)。在一些實(shí)施例中，從存儲(chǔ)介質(zhì)接收所述參考點(diǎn)云和所述第二點(diǎn)云作為點(diǎn)云數(shù)據(jù)的預(yù)捕獲動(dòng)態(tài)序列。此外，在一些實(shí)施例中，該方法還包括與多個(gè)客戶端通信，并且針對(duì)多個(gè)客戶端中的每一者執(zhí)行該方法。

9、根據(jù)一些實(shí)施例，一種在服務(wù)器處執(zhí)行的方法包括：向客戶端發(fā)送初始點(diǎn)云；以及從所述初始點(diǎn)云分層地確定當(dāng)前點(diǎn)云中的變化，其中分層地確定所述變化包括：識(shí)別所述當(dāng)前點(diǎn)云中的主要變化區(qū)域；使用第一主要變化區(qū)域來(lái)確定是否存在對(duì)從所述初始點(diǎn)云的第一變化進(jìn)行近似的第一剛性3d變換；響應(yīng)于確定存在所述第一剛性3d變換，確定對(duì)從所述初始點(diǎn)云的所述第一變化進(jìn)行近似的所述第一剛性3d變換；響應(yīng)于確定所述第一剛性3d變換不存在，進(jìn)一步確定要用于修改所述初始點(diǎn)云的第一點(diǎn)，其中所述第一點(diǎn)表示所述第一變化；識(shí)別所述主要變化區(qū)域內(nèi)的一個(gè)或多個(gè)較細(xì)粒度的殘余變化區(qū)域；使用所述一個(gè)或多個(gè)較細(xì)粒度的殘余變化區(qū)域和剩余的主要變化區(qū)域來(lái)確定是否存在對(duì)從所述初始點(diǎn)云的第二變化進(jìn)行近似的第二剛性3d變換；響應(yīng)于確定存在所述第二剛性3d變換，確定對(duì)從所述初始點(diǎn)云的所述第二變化進(jìn)行近似的所述第二剛性3d變換；以及響應(yīng)于確定不存在所述第二剛性3d變換，進(jìn)一步確定要用于進(jìn)一步修改所述初始點(diǎn)云的第二點(diǎn)，其中所述第二點(diǎn)表示所述第二變化。

10、根據(jù)一些實(shí)施例，一種在服務(wù)器處執(zhí)行的傳輸時(shí)變點(diǎn)云數(shù)據(jù)的方法包括：向客戶端發(fā)送初始點(diǎn)云；以及從初始點(diǎn)云分層地確定當(dāng)前點(diǎn)云中的變化，其中分層地確定所述變化包括：識(shí)別所述當(dāng)前點(diǎn)云中的主要變化區(qū)域；使用第一主要變化區(qū)域來(lái)確定對(duì)從所述初始點(diǎn)云的第一變化進(jìn)行近似的第一剛性3d變換，并且如果不能確定所述第一剛性3d變換，則進(jìn)一步確定要用于修改所述初始點(diǎn)云的第一點(diǎn)，其中所述第一點(diǎn)表示所述第一變化；識(shí)別所述主要變化區(qū)域內(nèi)的一個(gè)或多個(gè)較細(xì)粒度的殘余變化區(qū)域；以及使用所述一個(gè)或多個(gè)較細(xì)粒度的殘余變化區(qū)域和剩余的主要變化區(qū)域來(lái)確定對(duì)從所述初始點(diǎn)云的第二變化進(jìn)行近似的第二剛性3d變換，并且如果不能確定所述第二剛性3d變換，則進(jìn)一步確定要用于進(jìn)一步修改所述初始點(diǎn)云的第二點(diǎn)，其中所述第二點(diǎn)表示所述第二變化。

11、在一些實(shí)施例中，針對(duì)所述一個(gè)或多個(gè)較細(xì)粒度的殘余變化區(qū)域之一，確定所述第二剛性3d變換。在一些實(shí)施例中，針對(duì)所述剩余主要變化區(qū)域中的一個(gè)區(qū)域，確定所述第二剛性3d變換。在一些實(shí)施例中，針對(duì)所述剩余主要變化區(qū)域中的一個(gè)區(qū)域，確定所述第二剛性3d變換。此外，在一些實(shí)施例中，所述方法還包括向所述客戶端傳輸以下至少一者：(i)所述第一剛性3d變換和指示第一變化區(qū)域的第一包圍體坐標(biāo)、(ii)所述第二剛性3d變換和指示第二變化區(qū)域的第二包圍體坐標(biāo)、(iii)所述第一點(diǎn)、以及(iv)所述第二點(diǎn)。

12、根據(jù)一些實(shí)施例，一種在服務(wù)器處執(zhí)行的方法包括：接收第一3d數(shù)據(jù)作為初始點(diǎn)云；響應(yīng)于來(lái)自所述客戶端的對(duì)點(diǎn)云數(shù)據(jù)流式傳輸?shù)恼?qǐng)求，將所述初始點(diǎn)云傳輸?shù)剿隹蛻舳?，并且將所述初始點(diǎn)云存儲(chǔ)為參考點(diǎn)云；以及對(duì)于每個(gè)當(dāng)前點(diǎn)云，迭代地執(zhí)行包括以下步驟的過(guò)程：接收第二3d數(shù)據(jù)作為所述當(dāng)前點(diǎn)云；接收第二3d數(shù)據(jù)作為所述當(dāng)前點(diǎn)云；相對(duì)于所述參考點(diǎn)云執(zhí)行對(duì)所述當(dāng)前點(diǎn)云的分層檢查，這其中包括：識(shí)別偏離所述參考點(diǎn)云的區(qū)域；將所述偏離區(qū)域分離為第一聚類；通過(guò)計(jì)算指示所述第一聚類的每一聚類的重要性的相應(yīng)第一分?jǐn)?shù)來(lái)對(duì)所述第一聚類進(jìn)行優(yōu)先化排序，每個(gè)第一分?jǐn)?shù)至少部分地基于所述客戶端的當(dāng)前視點(diǎn)來(lái)計(jì)算；以及對(duì)于具有最高優(yōu)先級(jí)的第一聚類，確定是否存在對(duì)從所述參考點(diǎn)云的第一偏離進(jìn)行近似的變換；如果存在所述變換，則將所述變換應(yīng)用于所存儲(chǔ)的參考點(diǎn)云以更新所述參考點(diǎn)云，并且將關(guān)于所述第一聚類中的區(qū)域的指示和所述變換發(fā)送到所述客戶端；如果不存在，則對(duì)所述存儲(chǔ)的參考點(diǎn)云進(jìn)行增加點(diǎn)和移除點(diǎn)中的至少一種操作以更新所述參考點(diǎn)云，并將所述點(diǎn)發(fā)送到所述客戶端。

13、在一些實(shí)施例中，相對(duì)于所述參考點(diǎn)云執(zhí)行對(duì)所述當(dāng)前點(diǎn)云的分層檢查還包括：在處理具有所述最高優(yōu)先級(jí)的所述第一聚類之后，識(shí)別所述第一聚類內(nèi)的仍然偏離所述更新的參考點(diǎn)云的子區(qū)域；將所述偏離子區(qū)域分離成第二聚類；通過(guò)計(jì)算指示所述第二聚類中的每一聚類的重要性的相應(yīng)第二分?jǐn)?shù)來(lái)對(duì)所述第二聚類進(jìn)行優(yōu)先化排序，每個(gè)第二分?jǐn)?shù)至少部分地基于所述客戶端的所述當(dāng)前視點(diǎn)來(lái)計(jì)算；將所述經(jīng)優(yōu)先化排序的第二聚類添加到所述經(jīng)優(yōu)先化排序的第一聚類的其余聚類，并且對(duì)于具有次高優(yōu)先級(jí)的下一聚類，確定是否存在對(duì)從所述經(jīng)更新的參考點(diǎn)云的第二偏離進(jìn)行近似的另一變換；如果存在所述另一變換，則將所述另一變換應(yīng)用于所述更新存儲(chǔ)的更新參考點(diǎn)云以進(jìn)一步更新所述參考點(diǎn)云，并且將關(guān)于所述處理的第一聚類中的子區(qū)域的另一指示和所述另一變換發(fā)送到所述客戶端；以及如果不存在所述另一變換，則執(zhí)行從所述更新的參考點(diǎn)云添加附加點(diǎn)或移除附加點(diǎn)中的至少一個(gè)操作以更新所述參考點(diǎn)云，并且將所述附加點(diǎn)傳輸?shù)剿隹蛻舳恕?/p>

14、在一些實(shí)施例中，在接收到來(lái)自所述客戶端的請(qǐng)求時(shí)或者當(dāng)所述服務(wù)器和所述客戶端之間協(xié)商的處理預(yù)算不再可用于進(jìn)一步處理時(shí)，終止所述過(guò)程。

15、其它實(shí)施例包括被配置成執(zhí)行本文描述的方法的系統(tǒng)和服務(wù)器(例如，其具有處理器和存儲(chǔ)供該處理器執(zhí)行的多個(gè)指令的非瞬態(tài)計(jì)算機(jī)可讀介質(zhì))。在一些實(shí)施例中，所述系統(tǒng)還包括至少一個(gè)3d傳感器。