某些示例實(shí)施例涉及一種電子設(shè)備，并且例如涉及一種用于視頻的傾斜校正的方法和/或電子設(shè)備。

背景技術(shù)：

1、用戶在捕獲圖像/視頻時(shí)有意地或無(wú)意地改變相機(jī)遠(yuǎn)離參考平面（例如，水平面）的方向（orientation），這導(dǎo)致圖像/視頻中的傾斜。有意地在圖像/視頻中創(chuàng)建傾斜（例如，有意傾斜）的一個(gè)目標(biāo)是改善圖像/視頻的美觀性。然而，圖像/視頻中的傾斜（例如，無(wú)意傾斜）可歸因于使用相機(jī)時(shí)的人為錯(cuò)誤，這是不期望的。此外，由人為錯(cuò)誤引起的圖像/視頻中的無(wú)意傾斜大大降低了圖像/視頻的美觀性。

2、圖1（a）和1（b）示出了圖像中的傾斜。如（11）中所示，具有間距（pitch）的圖像與現(xiàn)有的基于啟發(fā)法的方法混淆，現(xiàn)有的基于啟發(fā)法的方法通過(guò)在對(duì)象級(jí)別上理解視覺(jué)資料（visuals）并且由于圖像中存在聚集的豎直/水平線而較差地檢測(cè)圖像中的傾斜。此外，現(xiàn)有方法不能有效地區(qū)分圖像/視頻中的有意傾斜和無(wú)意傾斜。如（12）所示，現(xiàn)有的基于啟發(fā)法的方法也無(wú)法理解虛構(gòu)的水平和垂直參考，并且檢測(cè)圖像中的傾斜，其中正交性是圖像中僅由幾個(gè)元素共享的屬性。如（13）所示，圖像前景中的對(duì)象對(duì)圖像具有更高的重要性。在某些其他圖像中，圖像背景中的對(duì)象可能對(duì)圖像具有更高的重要性。在現(xiàn)有的基于啟發(fā)法的方法中，忽略了通過(guò)理解圖像中的重要對(duì)象來(lái)應(yīng)用傾斜校正。

3、用戶可以手動(dòng)校正圖像中的傾斜，如（15，16）所示，其中（14）是地面實(shí)況圖像。手動(dòng)固定圖像中的這種傾斜是麻煩且耗時(shí)的。通常，用戶手動(dòng)旋轉(zhuǎn)和/或裁剪圖像幀以校正圖像幀中的傾斜，這導(dǎo)致圖像幀的數(shù)據(jù)損失，如（16）所示。替代地，用戶只能手動(dòng)旋轉(zhuǎn)圖像幀以校正圖像幀中的傾斜，從而限制數(shù)據(jù)損失。但是，如（15）所示，由于旋轉(zhuǎn)圖像幀而在圖像幀的四個(gè)角上形成黑色斑塊（或黑色填充）?？紤]，視頻的每個(gè)圖像幀中的傾斜將是不同的。因此，在手動(dòng)校正傾斜時(shí)，視頻的圖像幀上的旋轉(zhuǎn)和/或裁剪也將是不均勻的，這導(dǎo)致視頻中的放大/縮小抖動(dòng)，這給用戶帶來(lái)不平穩(wěn)的觀看體驗(yàn)并降低視頻的美觀性。因此，期望提供一種用于校正圖像/視頻中的無(wú)意傾斜的有用解決方案。

技術(shù)實(shí)現(xiàn)思路

1、技術(shù)解決方案

2、某些示例實(shí)施例提供了一種用于視頻的傾斜校正的方法和/或電子設(shè)備。電子設(shè)備可以針對(duì)每個(gè)場(chǎng)景跨度使傾斜角盡可能接近0°，而不會(huì)在傾斜校正期間在視頻中產(chǎn)生放大/縮小抖動(dòng)，這改善了視頻美觀性。

3、某些示例實(shí)施例可以通過(guò)考慮對(duì)象的相對(duì)空間定位、對(duì)象的相關(guān)性以及對(duì)象之間的相對(duì)關(guān)系來(lái)執(zhí)行傾斜校正。

4、某些示例實(shí)施例可以使用自注意力模型來(lái)準(zhǔn)確地預(yù)測(cè)圖像幀中的傾斜角。

5、某些示例實(shí)施例可以通過(guò)在傾斜校正期間形成的黑色斑塊上應(yīng)用外部填充并對(duì)圖像幀進(jìn)行中心裁剪來(lái)最小化或減少像素和數(shù)據(jù)損失，保持圖像幀的均勻分辨率并在傾斜校正之后保持圖像幀之間的平滑過(guò)渡。

6、因此，本文中的某些示例實(shí)施例可以提供一種用于由電子設(shè)備對(duì)視頻進(jìn)行傾斜校正的方法。該方法可以包括由電子設(shè)備接收對(duì)視頻的用戶選擇。該方法可以包括由電子設(shè)備識(shí)別表示視頻中的場(chǎng)景的視頻的圖像幀序列。所述方法可包括由所述電子設(shè)備確定所述圖像幀序列中的每個(gè)圖像幀中的傾斜度。該方法可以包括由電子設(shè)備通過(guò)使用訓(xùn)練的人工智能（ai）模型分析每個(gè)圖像幀中的傾斜度來(lái)確定圖像幀序列中的傾斜原因是否是無(wú)意的。所述方法可以包括由所述電子設(shè)備基于所述傾斜原因是無(wú)意的而對(duì)所述圖像幀序列執(zhí)行所述傾斜校正。

7、在示例實(shí)施例中，由電子設(shè)備通過(guò)使用訓(xùn)練的ai模型分析每個(gè)圖像幀中的傾斜度來(lái)確定圖像幀序列中的傾斜原因是否是無(wú)意的可以包括：由電子設(shè)備使用訓(xùn)練的ai模型確定每個(gè)圖像幀中的傾斜度是否滿足（例如，或“對(duì)應(yīng)于”或“適合”或“滿足”）閾值條件；以及由電子設(shè)備基于每個(gè)圖像幀中的傾斜度滿足閾值條件來(lái)確定圖像幀序列中的傾斜原因是無(wú)意的。

8、在示例實(shí)施例中，由電子設(shè)備對(duì)圖像幀序列執(zhí)行傾斜校正可以包括：由電子設(shè)備估計(jì)每個(gè)圖像幀的傾斜角以用于每個(gè)圖像幀處的最大/大傾斜校正；由所述電子設(shè)備確定每個(gè)圖像幀的傾斜角偏差，其中所述圖像幀序列中的圖像幀的傾斜角偏差是所述圖像幀的傾斜角與所述圖像幀和所述圖像幀序列中的相鄰圖像幀的傾斜角的平均值之間的差的絕對(duì)值；由所述電子設(shè)備基于所述傾斜角偏差和所述傾斜角來(lái)估計(jì)每個(gè)圖像幀中的像素偏移和損失和在每個(gè)圖像幀上要裁剪的區(qū)域；由所述電子設(shè)備基于所述像素偏移和損失來(lái)確定每個(gè)圖像幀所需的目標(biāo)傾斜校正；由所述電子設(shè)備對(duì)所確定的每個(gè)圖像幀的區(qū)域應(yīng)用所述目標(biāo)傾斜校正，以及裁剪和外部填充（out-painting）中的至少一個(gè)；由所述電子設(shè)備拼接每個(gè)傾斜校正圖像幀以重建所述場(chǎng)景；以及由所述電子設(shè)備通過(guò)順序地接合拼接的圖像幀來(lái)生成視頻。

9、在示例實(shí)施例中，由電子設(shè)備估計(jì)每個(gè)圖像幀的傾斜角以用于每個(gè)圖像幀處的最大/大傾斜校正可以包括：由電子設(shè)備使用訓(xùn)練的自注意力模型來(lái)預(yù)測(cè)每個(gè)圖像幀的可能傾斜角的范圍；以及由電子設(shè)備通過(guò)確定具有零或更大值的標(biāo)準(zhǔn)偏差的預(yù)測(cè)傾斜角的加權(quán)平均值來(lái)確定傾斜角。

10、在示例實(shí)施例中，可以通過(guò)由電子設(shè)備基于訓(xùn)練圖像幀中的對(duì)象的相對(duì)位置、對(duì)象的相關(guān)性和對(duì)象之間的關(guān)系確定訓(xùn)練圖像幀的可能傾斜角的范圍來(lái)訓(xùn)練自注意力模型以用于傾斜角預(yù)測(cè)；由所述電子設(shè)備使用所述可能傾斜角的范圍來(lái)生成訓(xùn)練數(shù)據(jù)；由所述電子設(shè)備通過(guò)對(duì)所述訓(xùn)練數(shù)據(jù)執(zhí)行多標(biāo)簽訓(xùn)練來(lái)生成具有分布概率的輸出向量；以及由電子設(shè)備使用用于傾斜角預(yù)測(cè)的s形激活，利用輸出向量訓(xùn)練自注意力模型。

11、在示例實(shí)施例中，由電子設(shè)備基于傾斜角偏差和傾斜角來(lái)估計(jì)每個(gè)圖像幀中的像素偏移和損失和在每個(gè)圖像幀上要裁剪的區(qū)域可以包括：由電子設(shè)備基于每個(gè)圖像幀的傾斜角來(lái)識(shí)別圖像幀序列的?。ɡ?，最?。﹥A斜角；由所述電子設(shè)備基于每個(gè)圖像幀的所述傾斜角偏差確定所述圖像幀序列的平均傾斜角偏差；由電子設(shè)備確定小（例如，最小）傾斜角是否大于平均傾斜角偏差；由電子設(shè)備執(zhí)行以下中的至少一個(gè)：將平均傾斜角偏差設(shè)置為?。ɡ?，最?。﹥A斜角，并且基于?。ɡ纾钚。﹥A斜角大于平均傾斜角偏差來(lái)估計(jì)用于校正每個(gè)圖像幀的傾斜的角度，并且基于?。ɡ纾钚。﹥A斜角不大于平均傾斜角偏差來(lái)估計(jì)用于校正每個(gè)圖像幀的傾斜的角度；以及由電子設(shè)備基于平均傾斜角偏差來(lái)確定在每個(gè)圖像幀上要裁剪的區(qū)域，其中目標(biāo)傾斜校正具有最小或減小的像素偏移和損失。

12、在示例實(shí)施例中，估計(jì)用于校正每個(gè)圖像幀的傾斜的角度可以包括：由電子設(shè)備確定圖像幀序列中的圖像幀的傾斜角是否是等于零、小于或等于平均傾斜角偏差以及大于平均傾斜角偏差中的一個(gè)；以及由電子設(shè)備執(zhí)行以下各項(xiàng)中的至少一項(xiàng)：基于圖像幀的傾斜角等于零來(lái)估計(jì)用于校正圖像幀的傾斜的角度為零，基于圖像幀的傾斜角小于或等于平均傾斜角偏差來(lái)估計(jì)用于校正圖像幀的傾斜的角度為傾斜角，以及基于所述圖像幀的所述傾斜角大于所述平均傾斜角偏差，估計(jì)用于校正圖像幀的傾斜的角度為平均傾斜角偏差。

13、在示例實(shí)施例中，由電子設(shè)備基于傾斜角偏差和傾斜角來(lái)估計(jì)每個(gè)圖像幀中的像素偏移和損失和在每個(gè)圖像幀上要裁剪的區(qū)域可以包括：由電子設(shè)備基于每個(gè)圖像幀的傾斜角來(lái)識(shí)別圖像幀序列的最大/大傾斜角；由所述電子設(shè)備基于每個(gè)圖像幀的所述傾斜角偏差確定所述圖像幀序列的所述平均傾斜角偏差；由所述電子設(shè)備確定所述圖像幀序列中的圖像幀的所述傾斜角是否為等于零和小于或等于所述最大/大傾斜角中的一者；由電子設(shè)備執(zhí)行以下之一：基于圖像幀的傾斜角等于零來(lái)估計(jì)用于校正圖像幀的傾斜的角度為零，以及基于圖像幀的傾斜角小于或等于最大/大傾斜角來(lái)估計(jì)用于校正圖像幀的傾斜的角度為傾斜角；以及由電子設(shè)備基于平均傾斜角偏差來(lái)確定在每個(gè)圖像幀上要裁剪的區(qū)域，其中目標(biāo)傾斜校正具有最大/大的像素偏移和損失。

14、在示例實(shí)施例中，由電子設(shè)備基于像素偏移和損失來(lái)確定每個(gè)圖像幀所需的目標(biāo)傾斜校正可以包括：由電子設(shè)備基于像素偏移和損失來(lái)確定圖像幀序列的最大/大傾斜角和平均傾斜角偏差是否滿足閾值條件；以及由電子設(shè)備執(zhí)行以下之一：基于圖像幀序列的最大/大傾斜角和平均傾斜角偏差滿足閾值條件，執(zhí)行具有最大/大像素偏移和損失的目標(biāo)傾斜校正，以及基于圖像幀序列的最大/大傾斜角和平均傾斜角偏差不滿足閾值條件，執(zhí)行具有最小或減小的像素偏移和損失的目標(biāo)傾斜校正。

15、在示例實(shí)施例中，由電子設(shè)備對(duì)每個(gè)圖像幀的所確定的區(qū)域上的每個(gè)圖像幀應(yīng)用目標(biāo)傾斜校正和裁剪可以包括：由電子設(shè)備基于估計(jì)的角度旋轉(zhuǎn)每個(gè)圖像幀以校正圖像幀的傾斜，以及由電子設(shè)備基于平均傾斜角偏差裁剪每個(gè)圖像幀上的所確定的區(qū)域。

16、在示例實(shí)施例中，由電子設(shè)備對(duì)每個(gè)圖像幀的所確定的區(qū)域應(yīng)用裁剪和外部填充中的至少一個(gè)可以包括：由電子設(shè)備確定在每個(gè)圖像幀上要裁剪的區(qū)域是否滿足閾值條件；以及由電子設(shè)備執(zhí)行以下中的至少一個(gè)：基于每個(gè)圖像上要裁剪的區(qū)域不滿足閾值條件來(lái)裁剪圖像幀序列，以及基于每個(gè)圖像上要裁剪的區(qū)域滿足閾值條件來(lái)裁剪和外部填充圖像幀序列。

17、因此，某些示例實(shí)施例可以提供用于視頻的傾斜校正的電子設(shè)備。電子設(shè)備可以包括傾斜校正控制器、存儲(chǔ)器、處理器，其中傾斜校正控制器可以直接或間接地耦合到存儲(chǔ)器和處理器。傾斜校正控制器可以被配置用于接收視頻的用戶選擇。傾斜校正控制器可以被配置用于識(shí)別表示視頻中的場(chǎng)景的視頻的圖像幀序列。傾斜校正控制器可以被配置用于確定圖像幀序列的每個(gè)圖像幀中的傾斜度。傾斜校正控制器可以被配置為通過(guò)使用訓(xùn)練的ai模型分析每個(gè)圖像幀中的傾斜度來(lái)確定圖像幀序列中的傾斜原因是否是無(wú)意的。傾斜校正控制器可以被配置用于基于傾斜原因是無(wú)意的而對(duì)圖像幀序列執(zhí)行傾斜校正。

18、當(dāng)結(jié)合以下描述和附圖考慮時(shí)，將更好地領(lǐng)會(huì)和理解本文的實(shí)施例的這些和其他方面。然而，應(yīng)當(dāng)理解，以下描述雖然指示了優(yōu)選實(shí)施例及其許多具體細(xì)節(jié)，但是通過(guò)說(shuō)明而非限制的方式給出。可以在實(shí)施例的范圍內(nèi)進(jìn)行許多改變和修改，并且本文的實(shí)施例包括所有這樣的修改。