两个人的电影免费视频_国产精品久久久久久久久成人_97视频在线观看播放_久久这里只有精品777_亚洲熟女少妇二三区_4438x8成人网亚洲av_内谢国产内射夫妻免费视频_人妻精品久久久久中国字幕

用于自適應(yīng)全景圖像生成的系統(tǒng)及方法與流程

文檔序號(hào):12290157閱讀:366來(lái)源:國(guó)知局
用于自適應(yīng)全景圖像生成的系統(tǒng)及方法與流程

.本公開(kāi)涉及單透鏡式全景數(shù)據(jù)采集,并且更具體地但不排他地涉及用于自適應(yīng)全景圖像生成的系統(tǒng)及方法。



背景技術(shù):

.許多數(shù)碼相機(jī)與智能手機(jī)裝置目前均已配備全景圖像捕捉模式,但是利用這些模式拍攝時(shí)仍需手動(dòng)旋轉(zhuǎn)所述裝置。此外,用戶只能夠在圖像捕捉速度及相機(jī)級(jí)別狀態(tài)處于嚴(yán)格參數(shù)之內(nèi)時(shí)操作才能生成高品質(zhì)圖像。

.在全景圖像采集期間,所述相機(jī)需要旋轉(zhuǎn)一整圈并且在多個(gè)圖像捕捉位置捕捉一系列重疊的圖像。然后,這些圖像被拼接在一起以形成單個(gè)連續(xù)的全景圖像。取決于拼接在一起的圖像的內(nèi)容以及序列圖像的重疊量,要找到所述圖像的合適的拼接位置可能比較困難。

.一種解決方案是拍攝許多圖像并且使圖像之間具有較大重疊,但是這會(huì)導(dǎo)致不合要求地較慢的圖像捕捉和處理。因此,本領(lǐng)域需要實(shí)現(xiàn)全景圖像的動(dòng)態(tài)圖像捕捉,所述動(dòng)態(tài)圖像捕捉會(huì)使圖像捕捉及處理時(shí)間最小化,同時(shí)還會(huì)使連續(xù)圖像的拼接品質(zhì)最大化。

.鑒于上述內(nèi)容,為了努力克服常規(guī)全景成像系統(tǒng)和方法的上述障礙和缺陷,有必要提供一種用于自適應(yīng)全景圖像生成的改進(jìn)的成像系統(tǒng)及方法。



技術(shù)實(shí)現(xiàn)要素:

.一方面包括一種圖像生成系統(tǒng),所述系統(tǒng)包括成像裝置,所述成像裝置用于在多個(gè)圖像捕捉位置處捕捉數(shù)字圖像,以及處理器,所述處理器可操作地與所述成像裝置耦合,所述處理器用于:針對(duì)第一圖像與第二圖像的重疊部分中的多個(gè)拼接位置確定拼接位置品質(zhì)度量,其中所述第一圖像是在第一圖像捕捉位置捕捉的,并且其中所述第二圖像是在第二圖像捕捉位置捕捉的。

.在一個(gè)實(shí)施例中,所述處理器還用于基于所述第一圖像和第二圖像的多個(gè)拼接位置的確定的拼接位置品質(zhì)度量來(lái)選擇第一拼接位置,并且在所選擇的第一拼接位置處將所述第一圖像與第二圖像拼接在一起以生成第一全景圖像。在另一個(gè)實(shí)施例中,所述處理器還用于基于第一選擇的第一拼接位置的拼接位置品質(zhì)度量來(lái)確定第三圖像捕捉位置。

.在另一實(shí)施例中,選擇第一拼接位置包括將重疊部分劃分為多個(gè)小部分;計(jì)算每個(gè)小部分的差平方的聯(lián)合總和;選擇所述小部分中具有最小聯(lián)合總和的一個(gè)小部分;以及從所選擇的小部分中選擇具有最小組合像素與梯度最小差平方總和的拼接位置,其中最小差平方和用于選擇所述拼接位置。

.仍然在另一實(shí)施例中,控制器用于生成控制指令以及發(fā)送所述控制指令到一個(gè)放置所述成像裝置的移動(dòng)平臺(tái)的移動(dòng)控制器,并且所述移動(dòng)控制器使用所述控制指令來(lái)將所述成像裝置從第一圖像捕捉位置移動(dòng)至第二圖像捕捉位置,或從第二圖像捕捉位置移動(dòng)至第三圖像捕捉位置。

.在另一個(gè)實(shí)施例中,所述處理器還用于識(shí)別所述第一圖像與第二圖像的所述重疊部分。另一實(shí)施例包括控制模塊,所述控制模塊用于將所述成像裝置從所述第一圖像捕捉位置移動(dòng)至所述第二圖像捕捉位置并且從所述第二圖像捕捉位置移動(dòng)至所述第三圖像捕捉位置。

.仍然在另一實(shí)施例中,所述控制器用于使所述成像裝置繞預(yù)定軸旋轉(zhuǎn),所述預(yù)定軸是所述第一圖像捕捉位置、第二圖像捕捉位置和第三圖像捕捉位置的中心。在一個(gè)實(shí)施例中,所述控制器用于使所述成像裝置沿著圓的圓周移動(dòng)。在另一個(gè)實(shí)施例中,所述成像裝置定位在云臺(tái)上。

.在另一實(shí)施例中,所述系統(tǒng)定位在移動(dòng)平臺(tái)上。仍然在另一實(shí)施例中,所述移動(dòng)平臺(tái)包括飛行器。在又另一個(gè)實(shí)施例中,所述系統(tǒng)用于向用戶裝置無(wú)線地傳送生成的全景圖像。

.在一個(gè)實(shí)施例中,所述處理器進(jìn)一步用于:接收在所述第三圖像捕捉位置處捕捉的第三圖像;識(shí)別第一全景圖像和所述第三圖像的重疊部分;針對(duì)第一全景圖像和第三圖像的重疊部分中的多個(gè)拼接位置確定拼接位置品質(zhì)度量;基于所述第一全景圖像和第三圖像的多個(gè)拼接位置的確定的拼接位置品質(zhì)度量來(lái)選擇第二拼接位置;在第二選擇的拼接位置處將所述第一全景圖像和第三圖像拼接在一起以生成第二全景圖像;以及基于用于生成第二全景圖像的所述選擇的拼接位置的拼接位置品質(zhì)度量來(lái)確定第四圖像捕捉位置。

.在另一個(gè)實(shí)施例中,所述拼接位置是垂直線。在另一實(shí)施例中,F(xiàn)AST算法用于所述第一圖像和第二圖像中的角點(diǎn)檢測(cè)以識(shí)別一個(gè)或多個(gè)特殊的特征點(diǎn)。仍然在另一實(shí)施例中,BRIEF算法用于識(shí)別所述第一圖像和第二圖像的特征描述子。

.在一個(gè)實(shí)施例中,所述第一圖像和第二圖像的識(shí)別的描述子之間的漢明距離用于識(shí)別所述第一圖像與第二圖像的所述重疊部分。在另一個(gè)實(shí)施例中,基于組合最小像素與梯度最小差平方總和的計(jì)算來(lái)選擇拼接位置。在另一實(shí)施例中,所述成像裝置包括紅綠藍(lán)(RGB)感測(cè)相機(jī)。仍然在另一實(shí)施例中,所述處理器進(jìn)一步用于確定第一選擇的拼接位置的所述拼接位置品質(zhì)度量是大于還是小于閾值。

.在一個(gè)實(shí)施例中,所述閾值包括值范圍。在另一個(gè)實(shí)施例中,所述閾值是單一值。在另一實(shí)施例中,所述第一圖像捕捉位置與第二圖像捕捉位置之間的距離通過(guò)默認(rèn)角度來(lái)限定,其中所述第二圖像捕捉位置與第三圖像捕捉位置之間的角度通過(guò)第二角度來(lái)限定,并且其中確定所述第三圖像捕捉位置包括確定所述第二角度。

.在一個(gè)實(shí)施例中,如果所述第一選擇的拼接位置的品質(zhì)度量小于所述閾值,那么為第二角度選擇大于默認(rèn)角度的角度。在另一個(gè)實(shí)施例中,如果所述第一選擇的拼接位置的品質(zhì)度量大于所述閾值,那么為第二角度選擇小于所述默認(rèn)角度的角度。在另一實(shí)施例中,如果所述第一選擇的拼接位置的品質(zhì)度量既不大于所述閾值也不小于所述閾值,那么為第二角度選擇等于所述默認(rèn)角度的角度。

.另一方面包括一種用于自適應(yīng)全景圖像生成的方法,所述方法包括針對(duì)在第一圖像捕捉位置處捕捉的第一圖像與在第二圖像捕捉位置處捕捉的第二圖像的重疊部分中的多個(gè)拼接位置確定拼接位置品質(zhì)度量。

.在一個(gè)實(shí)施例中,所述方法還包括基于所述第一圖像和第二圖像的多個(gè)拼接位置的確定的拼接位置品質(zhì)度量來(lái)選擇第一拼接位置,并且在所選擇的第一拼接位置處將所述第一圖像與第二圖像拼接在一起以生成第一全景圖像。另一個(gè)實(shí)施例包括基于第一選擇的拼接位置的拼接位置品質(zhì)度量來(lái)確定第三圖像捕捉位置。另一實(shí)施例包括通過(guò)基于第一選擇的拼接位置的拼接位置品質(zhì)度量確定第三圖像拼接位置來(lái)生成全景圖像。

.在另一個(gè)實(shí)施例中,所述方法還包括識(shí)別在第一圖像捕捉位置處捕捉的第一圖像與在第二圖像捕捉位置處捕捉的第二圖像的重疊部分。在另一實(shí)施例中,所述方法還包括通過(guò)成像裝置獲得在所述第一圖像捕捉位置處捕捉的第一圖像。

.仍然在另一實(shí)施例中,所述方法還包括將所述成像裝置移動(dòng)至所述第二圖像捕捉位置;以及通過(guò)所述成像裝置獲得在所述第二圖像捕捉位置處捕捉的所述第二圖像。

.在一個(gè)實(shí)施例中,所述方法還包括將所述成像裝置移動(dòng)至所述第三圖像捕捉位置。在另一個(gè)實(shí)施例中,所述方法包括生成控制指令以及將所述控制指令發(fā)送至放置有所述成像裝置的移動(dòng)平臺(tái)的移動(dòng)控制器,其中所述移動(dòng)控制器使用所述控制指令來(lái)將所述成像裝置從所述第一圖像捕捉位置移動(dòng)至所述第二圖像捕捉位置,或從所述第二圖像捕捉位置移動(dòng)至所述第三圖像捕捉位置。

.在另一個(gè)實(shí)施例中,將所述成像裝置移動(dòng)至所述第二圖像捕捉位置包括使所述成像裝置繞軸旋轉(zhuǎn)。在另一實(shí)施例中,將所述成像裝置移動(dòng)至所述第二圖像捕捉位置包括使所述成像裝置繞圓的圓周移動(dòng)。仍然在另一實(shí)施例中,將所述成像裝置移動(dòng)至所述第二圖像捕捉位置包括在云臺(tái)上移動(dòng)所述成像裝置。

.在一個(gè)實(shí)施例中,將所述成像裝置移動(dòng)至所述第二圖像捕捉位置包括移動(dòng)一個(gè)移動(dòng)平臺(tái)。在另一個(gè)實(shí)施例中,移動(dòng)平臺(tái)包括飛行器。仍然在另一實(shí)施例中,所述方法還包括向用戶裝置無(wú)線地傳送生成的全景圖像。

.在一個(gè)實(shí)施例中,所述方法還包括通過(guò)所述成像裝置獲得在第三圖像捕捉位置處捕捉的第三圖像;識(shí)別所述第一全景圖像和第三圖像的重疊部分;針對(duì)第一全景圖像和第三圖像的重疊部分中的多個(gè)拼接位置確定拼接位置品質(zhì)度量;基于所述第一全景圖像和第三圖像的多個(gè)拼接位置的確定的拼接位置品質(zhì)度量來(lái)選擇第二拼接位置;在第二選擇的拼接位置處將所述全景圖像和第三圖像拼接在一起以生成第二全景圖像;以及基于用于生成第二全景圖像的所述選擇的拼接位置的所述拼接位置品質(zhì)度量來(lái)確定第四圖像捕捉位置。

.在另一個(gè)實(shí)施例中,所述拼接位置是垂直線。在另一實(shí)施例中,所述方法還包括將FAST算法用于所述第一圖像和第二圖像中的角點(diǎn)檢測(cè)以識(shí)別一個(gè)或多個(gè)特殊的特征點(diǎn)。仍然在另一實(shí)施例中,所述方法還包括使用BRIEF算法來(lái)識(shí)別所述第一圖像和第二圖像的特征描述子。

.在一個(gè)實(shí)施例中,所述方法還包括使用所述第一圖像和第二圖像的識(shí)別的描述子之間的漢明距離來(lái)識(shí)別所述第一圖像與第二圖像的所述重疊部分。在另一個(gè)實(shí)施例中,所述方法還包括基于組合最小像素與梯度最小差平方總和的計(jì)算來(lái)選擇所述第一拼接位置。在另一實(shí)施例中,所述成像裝置包括RGB相機(jī)。

.在一個(gè)實(shí)施例中,所述方法還包括確定所述第一選擇的拼接位置的所述拼接位置品質(zhì)度量是大于還是小于閾值。在另一個(gè)實(shí)施例中,所述閾值包括值范圍。在另一實(shí)施例中,所述閾值是單一值。

.在一個(gè)實(shí)施例中,所述第一圖像捕捉位置與第二圖像捕捉位置之間的距離通過(guò)默認(rèn)角度來(lái)限定;其中所述第二圖像捕捉位置與第三圖像捕捉位置之間的角度通過(guò)第二角度來(lái)限定,并且其中確定所述第三圖像捕捉位置包括確定所述第二角度。

.在另一個(gè)實(shí)施例中,所述方法還包括如果所述第一選擇的拼接位置的品質(zhì)度量小于所述閾值,那么為第二角度選擇大于所述默認(rèn)角度的角度。在另一實(shí)施例中,所述方法還包括如果所述第一選擇的拼接位置的品質(zhì)度量大于所述閾值,那么為第二角度選擇小于所述默認(rèn)角度的角度。仍然在另一實(shí)施例中,所述方法還包括如果所述第一選擇的拼接位置的品質(zhì)度量既不大于所述閾值也不小于所述閾值,那么為第二角度選擇等于所述默認(rèn)角度的角度。

.另一方面包括處理器,所述處理器用于針對(duì)第一圖像與第二圖像的重疊部分中的多個(gè)拼接位置確定拼接位置品質(zhì)度量,其中所述第一圖像是在第一圖像捕捉位置處捕捉的,并且其中所述第二圖像是在第二圖像捕捉位置處捕捉的。

.在一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于基于所述第一圖像和第二圖像的多個(gè)拼接位置的確定的拼接位置品質(zhì)度量來(lái)選擇第一拼接位置,并且在所選擇的第一拼接位置處將所述第一圖像與第二圖像拼接在一起以生成第一全景圖像。

.在另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于基于第一選擇的拼接位置的拼接位置品質(zhì)度量來(lái)確定第三圖像捕捉位置。在另一實(shí)施例中,所述處理器進(jìn)一步地用于通過(guò)基于第一選擇的拼接位置的拼接位置品質(zhì)度量確定第三圖像捕捉位置來(lái)生成全景圖像。

.在一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于將所述重疊部分劃分為多個(gè)小部分;計(jì)算每個(gè)小部分的差平方的聯(lián)合總和;選擇所述小部分中具有最小聯(lián)合總和的一個(gè)小部分;以及從所選擇的小部分中選擇具有組合最小像素與梯度最小差平方總和的拼接位置,其中最小差平方和用于選擇所述拼接位置。

.在另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于識(shí)別在第一圖像捕捉位置處捕捉的第一圖像與在第二圖像捕捉位置處捕捉的第二圖像的重疊部分。

.在另一實(shí)施例中,所述處理器進(jìn)一步地用于通過(guò)所述成像裝置獲得在第一圖像捕捉位置處捕捉的所述第一圖像。仍然在另一實(shí)施例中,所述處理器進(jìn)一步的用于將所述成像裝置移動(dòng)至第二圖像捕捉位置,并且通過(guò)所述成像裝置獲得在所述第二圖像捕捉位置處捕捉的第二圖像。在又另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于將所述成像裝置移動(dòng)至第三圖像捕捉位置。

.在一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于生成控制指令以及將所述控制指令發(fā)送至一個(gè)放置所述成像裝置的移動(dòng)平臺(tái)的移動(dòng)控制器,其中所述移動(dòng)控制器使用所述控制指令來(lái)將所述成像裝置從第一圖像捕捉位置移動(dòng)至第二圖像捕捉位置,或從第二圖像捕捉位置移動(dòng)至第三圖像捕捉位置。

.在另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于通過(guò)使所述成像裝置繞軸旋轉(zhuǎn)來(lái)將所述成像裝置移動(dòng)至第二圖像捕捉位置。在另一實(shí)施例中,所述處理器進(jìn)一步地用于通過(guò)使所述成像裝置繞圓的圓周移動(dòng)來(lái)將所述成像裝置移動(dòng)至第二圖像捕捉位置。

.在另一實(shí)施例中,所述處理器進(jìn)一步地用于通過(guò)在云臺(tái)上移動(dòng)成像裝置來(lái)將所述成像裝置移動(dòng)至所述第二圖像捕捉位置。仍然在另一實(shí)施例中,所述處理器進(jìn)一步地用于通過(guò)移動(dòng)一個(gè)移動(dòng)平臺(tái)來(lái)將所述成像裝置移動(dòng)至所述第二圖像捕捉位置。

.在一個(gè)實(shí)施例中,所述移動(dòng)平臺(tái)包括飛行器。在另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于向用戶裝置無(wú)線地傳送生成的全景圖像。在另一實(shí)施例中,所述處理器進(jìn)一步地用于通過(guò)所述成像裝置獲得在第三圖像捕捉位置處捕捉的第三圖像;識(shí)別第一全景圖像和第三圖像的重疊部分;針對(duì)第一全景圖像和第三圖像的重疊部分中的多個(gè)拼接位置確定拼接位置品質(zhì)度量;基于第一全景圖像和第三圖像的多個(gè)拼接位置的確定的拼接位置品質(zhì)度量來(lái)選擇第二拼接位置;在第二選擇的拼接位置處將所述全景圖像和第三圖像拼接在一起以生成第二全景圖像;以及基于用于生成第二全景圖像的所述選擇的拼接位置的所述拼接位置品質(zhì)度量來(lái)確定第四圖像捕捉位置。

.在一個(gè)實(shí)施例中,所述拼接位置是垂直線。在另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于將FAST算法用于所述第一圖像和第二圖像中的角點(diǎn)檢測(cè)以識(shí)別一個(gè)或多個(gè)特殊的特征點(diǎn)。在另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于使用BRIEF算法來(lái)識(shí)別所述第一圖像和第二圖像的特征描述子。

.在另一實(shí)施例中,所述處理器進(jìn)一步地用于使用所述第一圖像和第二圖像的識(shí)別的描述子之間的漢明距離來(lái)識(shí)別所述第一圖像與第二圖像的所述重疊部分。在又另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于基于組合最小像素與梯度最小差平方總和的計(jì)算來(lái)選擇所述第一拼接位置。

.在一個(gè)實(shí)施例中,所述成像裝置包括RGB相機(jī)。在另一個(gè)實(shí)施例中,所述處理器進(jìn)一步地用于確定所述第一選擇的拼接位置的拼接位置品質(zhì)度量是大于還是小于閾值。在另一實(shí)施例中,所述閾值包括值范圍。仍然在另一實(shí)施例中,所述閾值是單一值。

.在一個(gè)實(shí)施例中,所述第一圖像捕捉位置與第二圖像捕捉位置之間的距離通過(guò)默認(rèn)角度來(lái)限定,其中所述第二圖像捕捉位置與第三圖像捕捉位置之間的角度通過(guò)第二角度來(lái)限定,并且其中確定所述第三圖像捕捉位置包括確定所述第二角度。

.在另一個(gè)實(shí)施例中,所述處理器進(jìn)一步用于在所述第一選擇的拼接位置的品質(zhì)度量小于所述閾值的情況下為第二角度選擇大于所述默認(rèn)角度的角度。在另一實(shí)施例中,所述處理器進(jìn)一步用于在所述第一選擇的拼接位置的品質(zhì)度量大于所述閾值的情況下為第二角度選擇小于所述默認(rèn)角度的角度。在另一實(shí)施例中,所述處理器進(jìn)一步用于在所述第一選擇的拼接位置的品質(zhì)度量既不大于所述閾值也不小于所述閾值的情況下為第二角度選擇等于所述默認(rèn)角度的角度。

.一方面包括一種設(shè)備,所述設(shè)備包括圖像傳感器以及根據(jù)上述任一個(gè)實(shí)施例的處理器。

.另一方面包括用于自適應(yīng)全景圖像生成的計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品編碼在一個(gè)或多個(gè)機(jī)器可讀存儲(chǔ)介質(zhì)上并且包括用于執(zhí)行上述方法的指令。另一方面包括計(jì)算機(jī)程序產(chǎn)品,其中上述自適應(yīng)全景圖像生成方法被提供為存儲(chǔ)于非暫時(shí)性存儲(chǔ)介質(zhì)上的一系列指令。

.仍然另一方面包括用于自適應(yīng)全景圖像生成的計(jì)算機(jī)程序產(chǎn)品,所述計(jì)算機(jī)程序產(chǎn)品編碼在非暫時(shí)性機(jī)器可讀存儲(chǔ)介質(zhì)上并且包括:用于通過(guò)計(jì)算機(jī)識(shí)別在第一圖像捕捉位置處捕捉的第一圖像與在第二圖像捕捉位置處捕捉的第二圖像的重疊部分的指令;用于通過(guò)計(jì)算機(jī)針對(duì)所述第一圖像與第二圖像的重疊部分中的多個(gè)拼接位置確定拼接位置品質(zhì)度量的指令;用于通過(guò)計(jì)算機(jī)基于第一圖像和第二圖像的多個(gè)拼接位置的確定的拼接位置品質(zhì)度量來(lái)選擇第一拼接位置的指令;用于通過(guò)計(jì)算機(jī)在所選擇的第一拼接位置處將第一圖像與第二圖像拼接在一起以生成第一全景圖像的指令;以及用于通過(guò)計(jì)算機(jī)基于第一選擇的拼接位置的拼接位置品質(zhì)度量來(lái)確定第三圖像捕捉位置的指令。

附圖說(shuō)明

.圖1是示出包括飛行器的全景成像系統(tǒng)的實(shí)施例的示例性網(wǎng)絡(luò)圖。

.圖2是示出圖1的飛行器的實(shí)施例的示例性方框圖。

.圖3是示出生成和發(fā)送全景圖像的方法的實(shí)施例的示意性流程圖。

.圖4是與定位在圖1的飛行器上的成像裝置相關(guān)聯(lián)的軸的示意性圖示。

.圖5示出了圖1的飛行器依照由多個(gè)圖像捕捉位置限定的圖像捕捉順序進(jìn)行的移動(dòng)。

.圖6示出了圖1的飛行器依照由多個(gè)圖像捕捉位置限定的另一個(gè)圖像捕捉順序進(jìn)行的移動(dòng)。

.圖7是示出生成全景圖像的方法的實(shí)施例的示例性流程圖。

.圖8示出了用于最后生成全景圖像的示例性第一圖像和第二圖像。

.圖9示出了圖8的示例性第一圖像與第二圖像的重疊部分以及所述重疊部分之內(nèi)的選擇的拼接位置。

.圖10示出了通過(guò)將圖8的示例性第一圖像與第二圖像拼接在一起而生成的示例性全景圖像。

.圖11示出了示例性風(fēng)景圖的圖像以及對(duì)應(yīng)于所述圖像之上和/或之內(nèi)的潛在垂直線拼接位置的多個(gè)拼接品質(zhì)度量的曲線圖。

.圖12示出了通過(guò)數(shù)軸上的值范圍限定的閾值。

.圖13示出了通過(guò)數(shù)軸上的單一值限定的閾值。

.圖14示出了根據(jù)實(shí)施例的自適應(yīng)全景圖像生成的方法的實(shí)施例。

.應(yīng)當(dāng)注意,附圖并未按比例繪制,并且為了說(shuō)明目的,在所有附圖中,具有相似結(jié)構(gòu)或功能的元件通常由相似的參考號(hào)表示。還應(yīng)當(dāng)注意,附圖僅僅旨在方便描述優(yōu)選實(shí)施例。附圖并未說(shuō)明所描述的實(shí)施例的每個(gè)方面并且不限制本公開(kāi)的范圍。

具體實(shí)施方式

.由于目前可用的全景成像系統(tǒng)及方法無(wú)法在不犧牲品質(zhì)的情況下通過(guò)最大化速度來(lái)優(yōu)化圖像捕捉,提供用于自適應(yīng)生成全景圖像的成像系統(tǒng)可以證明是希望的并且為廣泛范圍的成像應(yīng)用諸如航拍提供了基礎(chǔ)。根據(jù)本文所揭示的一個(gè)實(shí)施例,通過(guò)如圖1所示的全景成像系統(tǒng)100可以實(shí)現(xiàn)這樣的結(jié)果。

.轉(zhuǎn)到圖1,全景成像系統(tǒng)100被示出為包括通過(guò)網(wǎng)絡(luò)130可操作地連接的飛行器110和用戶裝置120。所述飛行器110被描繪成四旋翼飛行器;然而,任何合適類(lèi)型的飛行器都可以用于另外的實(shí)施例中,包括旋翼式飛行器、飛機(jī)、噴氣機(jī)、氣球、滑翔機(jī)等。此外,飛行器110可以是任何合適的大小,包括大的和小的飛行器。另外,在另外的實(shí)施例中,本文所述的系統(tǒng)和方法可以應(yīng)用于任何常規(guī)類(lèi)型的移動(dòng)平臺(tái),諸如非飛行器式移動(dòng)平臺(tái)和/或可以應(yīng)用于任何合適類(lèi)型的成像系統(tǒng),包括數(shù)碼相機(jī)、智能手機(jī)、頭戴式計(jì)算機(jī)、游戲裝置、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)等。

.所述飛行器110被描繪成包括成像裝置111,所述成像裝置111在不同實(shí)施例中可以是任何類(lèi)型合適的數(shù)字RGB相機(jī)等。在一些實(shí)施例中,成像裝置111可以是攝影機(jī)、智能手機(jī)、網(wǎng)絡(luò)攝像頭、三維相機(jī)、紅外相機(jī)等。所述成像裝置111可以可去除地耦合至所述飛行器110或可以至少部分地與所述飛行器110整合在一起。

.圖2是飛行器110的示例性實(shí)施例的方框圖,所述飛行器110被示出包括成像裝置111、處理模塊112、存儲(chǔ)器113以及控制模塊114。如本文更詳細(xì)所論述,部件111、112、113和114可以適當(dāng)?shù)赜糜趫?zhí)行生成和發(fā)送全景圖像的不同的方法。在一些實(shí)施例中,所述全景成像系統(tǒng)100可以包括多個(gè)飛行器110。

.返回圖1,所述用戶裝置120被描繪成智能手機(jī),但在另外的實(shí)施例中,所述用戶裝置120可以是任何合適的裝置,包括膝上型計(jì)算機(jī)、頭戴式計(jì)算機(jī)、平板計(jì)算機(jī)、游戲裝置等。在一些實(shí)施例中,所述全景成像系統(tǒng)100可以包括多個(gè)用戶裝置120,或者可以不包括所述用戶裝置120。

.在不同的實(shí)施例中,所述網(wǎng)絡(luò)130可以包括任何合適的有線或無(wú)線網(wǎng)絡(luò),包括WiFi網(wǎng)絡(luò)、藍(lán)牙網(wǎng)絡(luò)、局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、蜂窩網(wǎng)絡(luò)、短消息服務(wù)(SMS)網(wǎng)絡(luò)、衛(wèi)星網(wǎng)絡(luò)、因特網(wǎng)等。如本文更詳細(xì)所論述,所述飛行器110可用于從多個(gè)圖像生成全景圖像并且將所生成的全景圖像傳送給用戶裝置120,所述用戶裝置120可以用于顯示所述全景圖像。

.圖3是示出用于生成和發(fā)送全景圖像的方法200的實(shí)施例的示意性流程圖。所述方法200開(kāi)始于方框210,在其中接收到全景圖像采集指令;以及子方法方框400,在其中生成全景圖像。在方框230中,向用戶裝置120發(fā)送所生成的全景圖像。例如,在一個(gè)實(shí)施例中,所述用戶裝置120可以向飛行器110發(fā)送圖像采集指令,并且所述飛行器110可以如本文進(jìn)一步詳細(xì)所論述生成全景圖像。所生成的全景圖像可以從所述飛行器110發(fā)送至所述用戶裝置120,在其中可以顯示、處理或另外以任何希望的方式使用所述全景圖像。

.在不同的實(shí)施例中,可以從所述用戶裝置120接收全景圖像采集指令,但在另外的實(shí)施例中,可以從所述飛行器110接收所述全景圖像采集指令。例如,所述飛行器110可以基于計(jì)時(shí)器或基于某種標(biāo)準(zhǔn)來(lái)生成這種指令,所述標(biāo)準(zhǔn)包括識(shí)別的物體、環(huán)境條件等。在用戶裝置120發(fā)送全景圖像采集指令的實(shí)施例中,可以向同一個(gè)用戶裝置120和/或一個(gè)或多個(gè)其他用戶裝置120發(fā)送所生成的全景圖像。

.在不同的實(shí)施例中,所述飛行器110可操作來(lái)通過(guò)在所述成像裝置111的旋轉(zhuǎn)或其他移動(dòng)期間捕捉一系列圖像并將所捕捉的圖像拼接在一起以形成全景圖像來(lái)生成全景圖像。例如,參考圖4,所述成像裝置111可以在所述成像裝置111繞Y軸旋轉(zhuǎn)時(shí)捕捉多個(gè)圖像。在一些實(shí)施例中,可能希望將旋轉(zhuǎn)或移動(dòng)基本上限制于單一軸以生成旋轉(zhuǎn)期間捕捉的均勻性增強(qiáng)的圖像。例如,如果圖像是如圖4所示通過(guò)繞著Y軸旋轉(zhuǎn)來(lái)捕捉的,那么可以抑制所述成像裝置111繞其他軸諸如X軸等的移動(dòng)。

.所述成像裝置111的旋轉(zhuǎn)可以通過(guò)所述飛行器110整體的旋轉(zhuǎn)和/或通過(guò)所述飛行器110的特定部分的旋轉(zhuǎn)來(lái)進(jìn)行。例如,所述成像裝置111可以定位在云臺(tái)205、軸、或其他裝置上,它們可以獨(dú)立于所述飛行器110的任何運(yùn)動(dòng)來(lái)使所述成像裝置111移動(dòng)、轉(zhuǎn)動(dòng)或旋轉(zhuǎn)。旋轉(zhuǎn)和/或旋轉(zhuǎn)增量可以包括任何合適的旋轉(zhuǎn)量,包括1°、2°、3°、4°、5°、45°、90°、180°、270°、360°、450°、540°、720°、3600°等。此外,捕捉圖像的旋轉(zhuǎn)可以沿著任何預(yù)先選擇的軸(例如,X軸)進(jìn)行,或所述成像裝置111的旋轉(zhuǎn)、移動(dòng)或平移可以沿著不統(tǒng)一的路徑進(jìn)行。

.例如,如圖5所描畫(huà),所述飛行器110可以繞圈旋轉(zhuǎn)并且在不同的圖像捕捉位置305捕捉多個(gè)圖像。換言之,所述成像裝置111可以在第一圖像捕捉位置305A拍攝圖像,并且所述飛行器110可以旋轉(zhuǎn)θ1A的量到達(dá)第二圖像捕捉位置305B,在所述位置上,通過(guò)所述成像裝置111捕捉第二圖像。所述飛行器110可以旋轉(zhuǎn)θ2A的量到達(dá)第三圖像捕捉位置305C,在所述位置上,通過(guò)所述成像裝置111捕捉第三圖像。

.另外地和/或可替代地,如圖6所示,所述飛行器110可以沿著圓的圓周以基本上呈圓形的飛行模式310移動(dòng),并且在基本上垂直于圓形飛行模式310的切線的圖像捕捉位置305處捕捉圖像。換言之,所述成像裝置111可以在第一圖像捕捉位置305C拍攝圖像,并且所述飛行器110可以沿著圓形飛行模式310移動(dòng)θ1B的量到達(dá)第二圖像捕捉位置305D,在所述位置上,通過(guò)所述成像裝置111捕捉第二圖像。所述飛行器110可以沿著圓形飛行模式310移動(dòng)θ2B的量到達(dá)第三圖像捕捉位置305E,在所述位置上,通過(guò)所述成像裝置111捕捉第三圖像。

.在不同的實(shí)施例中,相鄰圖像捕捉位置305之間的旋轉(zhuǎn)角度θ可以是一致的和/或不一致的,并且圖像捕捉位置305和旋轉(zhuǎn)角度θ可以如本文更詳細(xì)所描述通過(guò)識(shí)別全景圖像的希望的圖像拼接位置以及拼接成全景圖像的圖像的希望的重疊來(lái)確定。另外地,盡管圖5和圖6示出了圓形的圖像捕捉飛行模式,但是任何其他合適的飛行模式也可以用于捕捉多個(gè)圖像,包括矩形、橢圓形、直線形或不規(guī)那么的形狀。另外地,飛行模式可以在高度上變化并且不必要限制于單一平面。

.圖7是示出用于生成全景圖像的方法400的實(shí)施例的示例性流程圖。所述方法400開(kāi)始于方框405,在其中變量N設(shè)置為1。在方框410中,捕捉圖像N,并且在方框415,所述成像裝置111移動(dòng)至下一個(gè)圖像捕捉位置305。例如,移動(dòng)可以包括如圖5和/或圖6所示和上文參考圖5和/或圖6更詳細(xì)所描述呈圓形模式的旋轉(zhuǎn)和/或移動(dòng)。

.在方框420中,捕捉圖像N+1,并且在方框425中,識(shí)別希望的圖像拼接位置。在方框430中,將圖像N+1拼接到當(dāng)前的全景圖像中。例如,在N最初為1的情況下,所捕捉的第一圖像為圖像1,并且捕捉的下一個(gè)圖像為圖像2。圖像1是基礎(chǔ)全景圖像,因此圖像1和2一起拼接成全景圖像。圖8-10中示出了這種拼接。

.所述方法400繼續(xù)到判決方框435,在其中就圖像捕捉是否完成進(jìn)行確定。如果是,那么在方框499中,最終完成所述全景圖像。然而,如果圖像捕捉?jīng)]有完成,那么在方框440中如本文更詳細(xì)地論述確定下一個(gè)圖像捕捉位置。在方框445中,將變量N設(shè)置為N+1并且所述方法400循環(huán)回到方框415。

.圖8描畫(huà)了均包括山脈501的第一圖像505和第二圖像510。在這個(gè)示例中,通過(guò)成像裝置111(如圖1所示)在第一圖像捕捉位置305(如圖5和圖6所示)捕捉所述第一圖像505,并且所述成像裝置111移動(dòng)或旋轉(zhuǎn)至在上面捕捉第二圖像510的第二圖像捕捉位置305。明顯給出的是,所述第一圖像505和第二圖像510包括重疊部分515,以及相應(yīng)圖像中如圖9所描畫(huà)的不重疊的部分516、517??紤]到所述圖像505、510具有重疊部分,可以將所述圖像拼接到一起以形成如圖10所描畫(huà)的連續(xù)的全景圖像530。

.為了將圖像505、510拼接在一起,可以識(shí)別所述重疊部分515,并且可以將基本上冗余的重疊部分中的一部分去除和/或組合。例如,參考圖9,可以識(shí)別和/或確定位于重疊部分515內(nèi)的拼接位置520。在一些實(shí)施例中,可以去除所述第二圖像510中位于拼接線520左側(cè)的部分,并且可以去除所述第一圖像505中位于所述拼接線520右側(cè)的部分,以生成連續(xù)的全景圖像530。換言之,通過(guò)將所述第一圖像505和第二圖像510的剩余部分在所述拼接線520處進(jìn)行組合可以生成全景圖像530。在不同的實(shí)施例中,可以圍繞拼接線520進(jìn)行任何合適的圖像拼接。例如,可以將所述第一圖像505和第二圖像510接近所述拼接線的部分進(jìn)行平均、組合或以其他方式合并以形成單一圖像。在另外的實(shí)施例中,可以沿著不垂直于所述圖像的長(zhǎng)度的線或沿著合適的曲線拼接圖像。

.在不同的實(shí)施例中,可能希望在發(fā)生任何拼接誤差時(shí)圖像的拼接將最不明顯的位置處選擇拼接線520。例如,參考圖11,在包括多個(gè)建筑物611A、611B、611C、611D、天空615以及植被613的圖像610中,可能希望在高度不規(guī)那么和/或高度統(tǒng)一的但不包括帶有重復(fù)的圖案或直線的區(qū)域(在所述區(qū)域內(nèi),拼接誤差將更為明顯)的區(qū)域內(nèi)選擇拼接位置。

.在不同的實(shí)施例中,可以為給定圖像分析拼接位置的范圍,并且可以基于這種分析來(lái)選擇一個(gè)或多個(gè)希望的拼接位置。例如,圖11描畫(huà)了拼接位置分析數(shù)據(jù)620的曲線圖,其中,所述位置分析數(shù)據(jù)620的每一個(gè)點(diǎn)對(duì)應(yīng)于與所述點(diǎn)一致的潛在垂直拼接點(diǎn)。所述位置分析數(shù)據(jù)620對(duì)應(yīng)于所述圖像610在邊界630A、630B內(nèi)的一部分。

.所述位置分析數(shù)據(jù)620在這個(gè)示例中包括對(duì)應(yīng)于拼接可能不太希望的區(qū)域的波峰以及拼接可能更為希望的波谷。例如,拼接位置631、632與位置分析數(shù)據(jù)620中相應(yīng)的波谷對(duì)應(yīng)并且還對(duì)應(yīng)于延伸穿過(guò)建筑物611A的陰影612、植被613和天空615的垂直剖面。位置分析數(shù)據(jù)620中對(duì)應(yīng)的波谷指示相較于其他周?chē)钠唇游恢茫@些拼接位置631、632將是更為希望的預(yù)期的拼接位置。在這個(gè)示例中,延伸穿過(guò)建筑物611A的陰影612、植被613和天空615的拼接位置可能是希望的,因?yàn)槠唇诱`差會(huì)被建筑物611A的陰影612、植被613和天空615中的每一個(gè)所掩蓋。換言之,由于植被613的隨機(jī)性質(zhì)、陰影612的均勻的深顏色和不規(guī)那么的形狀并且由于天空615的相對(duì)一致性,所述拼接誤差不會(huì)太明顯。

.在另一個(gè)示例中,相較于相鄰的拼接位置,拼接位置633還對(duì)應(yīng)于位置分析數(shù)據(jù)620中的波谷。在此,拼接位置633介于建筑物611D與建筑物611B之間并且主要延伸穿過(guò)所述圖像610中被天空615和植被613占據(jù)的一部分。由于拼接誤差會(huì)被植被613和天空615中的每一個(gè)掩蓋,延伸穿過(guò)植被613和天空615的拼接位置可能是希望的。然而,如果拼接位置包括建筑物611D、611B的一部分,那么拼接誤差會(huì)更為明顯。換言之,由于植被613的隨機(jī)性質(zhì)并且由于天空615的相對(duì)一致性,所述拼接誤差不會(huì)太明顯。另一方面,由于對(duì)于觀察者來(lái)說(shuō),損壞的圖案與斷線有可能會(huì)更為明顯,因此建筑物611D、611B的圖案化性質(zhì)以及建筑物611D、611B的直線更有可能會(huì)使拼接誤差更為明顯。

.類(lèi)似地,所述圖像610的部分614中介于拼接位置634與635之間的拼接位置也對(duì)應(yīng)于位置分析數(shù)據(jù)620中的波谷。在此,拼接位置614介于建筑物611B與建筑物611C之間并且主要延伸穿過(guò)圖像610中被天空615和植被613占據(jù)的一部分。因?yàn)槠唇诱`差會(huì)被植被613和天空615中的每一個(gè)掩蓋,延伸穿過(guò)植被613和天空615的拼接位置可能是希望的,然而,如果拼接位置包括建筑物611B、611C的一部分,那么拼接誤差會(huì)更為明顯。換言之,由于植被613的隨機(jī)性質(zhì)并且由于所述天空615的相對(duì)一致性,所述拼接誤差不會(huì)太明顯。另一方面,由于對(duì)于觀察者來(lái)說(shuō),損壞的圖案與斷線有可能會(huì)更為明顯,因此建筑物611B、611C的圖案化性質(zhì)以及建筑物611B、611C的直線更有可能會(huì)使拼接誤差更為明顯。

.基于任何合適的標(biāo)準(zhǔn),可以對(duì)拼接位置分級(jí),包括周?chē)鷧^(qū)域的隨機(jī)性(例如,顏色和/或紋理)、周?chē)鷧^(qū)域的均勻性(例如,顏色和/或紋理)、圖案的存在、一致的線或曲線的存在等。可以在拼接位置分析之前對(duì)圖像進(jìn)行預(yù)處理,包括將圖像轉(zhuǎn)換為二進(jìn)制、修改所述圖像的顏色(例如,轉(zhuǎn)換為L(zhǎng)*a*b色彩空間)、膨脹和/或腐蝕、開(kāi)操作和/或閉操作、一個(gè)或多個(gè)紋理濾波器的應(yīng)用、去模糊、對(duì)象識(shí)別、特征檢測(cè)、圖像分割、邊緣檢測(cè)、形態(tài)學(xué)算子的應(yīng)用、閾值分割、對(duì)比度和/或亮度的修改、直方圖均衡化、幾何變換的應(yīng)用等。

.在一個(gè)實(shí)施例中,將第一圖像與第二圖像(例如,圖8與圖9的圖像505、510)拼接可以包括自動(dòng)地剪切所述第二圖像以匹配所述第一圖像,所述第一圖像可以是先前組合過(guò)的圖像或者不為圖像的組合的初始圖像。加速分割檢測(cè)特征算法(FAST算法)可以用于圖像中的角點(diǎn)檢測(cè)以識(shí)別一個(gè)或多個(gè)特殊的特征點(diǎn)。二進(jìn)制穩(wěn)健基元獨(dú)立特征算法(BRIEF算法)可以用于識(shí)別圖像的特征描述子。兩個(gè)圖像的所識(shí)別的描述子之間的漢明距離可以用于識(shí)別第一圖像與第二圖像的重疊區(qū)域。

.可以各種合適的方法識(shí)別最優(yōu)拼接線、位置或列。一種合適的方法包括組合最小像素與梯度最小差平方總和計(jì)算。例如,假設(shè)兩個(gè)圖像之間重疊的區(qū)域中的像素為P1i,j與P2i,j??梢允褂盟髫悹査阕臃謩e確定兩個(gè)圖像的重疊區(qū)域的梯度G1i,j與G2i,j的幅值,確定如下:

.Gx=P*Hx

.Gy=P*Hy

.G=√(Gx2+Gy2)

.其中:

.

.所述重疊區(qū)域的聯(lián)合像素與梯度的差平方可以如下計(jì)算:

.SDi,j=(P1i,j–P2i,j)2+α(G1i,j–G2i,j)2

.其中,α是加權(quán)因子。

.在此,在現(xiàn)實(shí)世界中還會(huì)考慮許多其他狀況。例如,考慮到水平線或曲線的存在,SD函數(shù)可以作出如下改變:

.如果G>TH(固定閾值)并且

.那么SDi,

.其中,

.而且通過(guò)添加更多對(duì)應(yīng)的方程式,所述SD函數(shù)任選地可以包括更多狀況。

.所述重疊區(qū)域的每一列的差平方和可以如下計(jì)算:

.SSDj=∑iSDi,j

.在一些實(shí)施例中,可以選擇具有最小或最低差平方和(SSD)的拼接列作為最優(yōu)拼接列(即,min(SSDj))。

.然而,在另外的實(shí)施例中,也可以使用一個(gè)區(qū)域內(nèi)的最小差平方的聯(lián)合總和來(lái)選擇拼接位置。例如,首先通過(guò)將所述重疊區(qū)域劃分為n個(gè)小部分(例如,每一個(gè)小部分可以具有10列,等等),并且之后分別計(jì)算每一個(gè)小部分的SSD的聯(lián)合總和:

.

.然后可以選擇具有最小總和(min(SSSDk))的區(qū)域作為最優(yōu)拼接區(qū)域,其中這個(gè)選擇區(qū)域中最小的列將會(huì)被選為拼接列。

.因此,在一些實(shí)施例中,SSSD(取代SSD)考慮了沿著垂直軸以水平梯度為中心的梯度之間的總差異。為了避免拼接縫或拼接誤差出現(xiàn)在這種水平線和邊緣上,這可能是希望的。由于如果拼接縫或拼接誤差位于一個(gè)不具有或具有較少水平線和/或邊緣的位置,那么對(duì)于觀察者來(lái)說(shuō)所述拼接縫或拼接誤差不會(huì)太明顯,因此避免拼接縫或拼接誤差出現(xiàn)在這種水平線和邊緣上可能是希望的。

.識(shí)別的SSD、SSSD等的最小值(例如,min(SSDj)或min(SSSDk))可以與一個(gè)閾值相比較并且用于確定所述飛行器110在捕捉后續(xù)圖像時(shí)的轉(zhuǎn)動(dòng)速率或轉(zhuǎn)動(dòng)角度。如果最小的誤差值小于這個(gè)閾值,那么可以增加所述飛行器的轉(zhuǎn)動(dòng)速率或角度。然而,如果所述最小的誤差值大于這個(gè)閾值,那么可以減少所述飛行器的轉(zhuǎn)動(dòng)速率或角度。

.如圖12和圖13分別所描畫(huà),可以通過(guò)第一值702與第二值703之間的值范圍來(lái)限定閾值703,其中第一組值701低于閾值范圍703并且第二組值705高于閾值范圍703??商娲?,閾值707可以是單一值,其中值范圍706低于閾值707并且值范圍708高于閾值707。閾值或閾值范圍可以根據(jù)經(jīng)驗(yàn)確定和限定,并且可以基于希望的圖像品質(zhì)來(lái)改變。

.使用min(SSDj)、min(SSSDk)等作為反饋用以確定旋轉(zhuǎn)速率或角度可能是希望的,因?yàn)檫@可以提高由如本文所述的旋轉(zhuǎn)的飛行器110(圖1所示)生成的全景圖像的品質(zhì)。

.例如,參考圖5、圖6、圖8、圖9和圖10,圖像重疊515的大小取決于所述飛行器110在連續(xù)的圖像捕捉位置305之間移動(dòng)或旋轉(zhuǎn)的量。如果飛行器110旋轉(zhuǎn)或以其他方式移動(dòng)一小段距離,那么所述重疊515會(huì)大于所述飛行器110旋轉(zhuǎn)或以其他方式移動(dòng)一大段距離情況下出現(xiàn)的重疊。相較于重疊部分較小的情況,較大的重疊部分515為拼接位置提供更多的選擇,并且因此可以增加找到較小min(SSDj)、min(SSSDk)等的機(jī)會(huì)。

.盡可能快地生成全景圖像但不犧牲圖像品質(zhì)可能是希望的。另外地,在廣泛范圍的視覺(jué)環(huán)境中盡可能快地生成高品質(zhì)全景圖像也可能是希望的。在一些視覺(jué)環(huán)境中,可能更為容易找到提供希望的全景圖像品質(zhì)的拼接位置,并且因此大的圖像重疊515可能就不是必要的。因此,所捕捉的圖像之間的較大角度(以及因此較小的圖像重疊515)可能是合適的,這可以加速生成全景圖像的過(guò)程。

.在其他視覺(jué)環(huán)境中,可能更難以找到提供希望的全景圖像品質(zhì)的拼接位置,并且因此大的圖像重疊515可能是有必要的以提供合適數(shù)目的拼接位置的選擇。因此,所捕捉的圖像之間的較小角度(以及因此較大的圖像重疊515)可能是合適的,這會(huì)放慢生成全景圖像的過(guò)程,但會(huì)提高所得的全景圖像的品質(zhì)。

.另外地,由于視覺(jué)環(huán)境在捕捉圖像時(shí)可能會(huì)大幅度地改變,因此,在生成全景圖像的同時(shí)可能有必要增加和/或減少所述旋轉(zhuǎn)角度以便于使速度最大化而不用犧牲所得的全景圖像的品質(zhì)。

.圖14描畫(huà)了根據(jù)一個(gè)實(shí)施例使用拼接位置品質(zhì)反饋來(lái)生成全景圖像的方法800。所述方法800開(kāi)始于805,在其中變量N設(shè)置為1,并且旋轉(zhuǎn)角度設(shè)置為默認(rèn)值。例如,參考圖5和圖6,旋轉(zhuǎn)角度可以是指諸如θ的角度,包括θ1A、θ2A、θ1B、θ2B等。換言之,旋轉(zhuǎn)角度可以是指所述飛行器110和/或成像裝置111在連續(xù)的圖像捕捉事件之間移動(dòng)或旋轉(zhuǎn)的角度。一個(gè)或多個(gè)默認(rèn)值可以根據(jù)經(jīng)驗(yàn)確定并且可以基于所希望的速度和/或全景圖像品質(zhì)設(shè)置來(lái)設(shè)置。例如,如果用戶希望盡快地捕捉全景圖像而不太關(guān)心所述全景圖像的品質(zhì),那么與用于使全景圖像品質(zhì)最大化而不顧圖像捕捉速度的默認(rèn)角度設(shè)置相比較,所述默認(rèn)設(shè)置可以是較大的角度θ。

.在方框810中,捕捉圖像N(即,圖像1),所述圖像N是全景圖像的第一圖像或基礎(chǔ)圖像。在方框815處,成像裝置111(和/或飛行器110)旋轉(zhuǎn)所設(shè)置的角度。例如,所述旋轉(zhuǎn)角度可以是在805處限定的默認(rèn)值,或者可以是如本文所描述的較大值或較小值。在820處,捕捉圖像N+1。例如,在捕捉基礎(chǔ)圖像1之后,所捕捉的下一個(gè)圖像將是圖像2。在方框825處,將圖像N+1拼接到既有的全景圖像中。例如,如果存在基礎(chǔ)全景圖像1,那么將圖像1和圖像2拼接在一起以生成全景圖像。然而,如果已經(jīng)有多個(gè)圖像拼接在一起,那么如本文所述,將圖像N+1拼接到這個(gè)全景圖像中以使全景進(jìn)一步擴(kuò)展。例如,如果圖像1和圖像2已經(jīng)拼接在一起形成全景圖像,那么會(huì)將圖像N+1(即,圖像3)與包括圖像1和圖像2的全景圖像拼接在一起。

.在判決方框830處,就所述全景圖像是否完成進(jìn)行確定。例如,在不同的實(shí)施例中,獲得全景圖像的指令可以包括飛行器110和/或成像裝置111的總旋轉(zhuǎn)(例如,180°、270°、360°等)。在這種實(shí)施例中,關(guān)于所述全景圖像是否完成的確定可以包括相較于所限定的總旋轉(zhuǎn),從第一捕捉圖像確定當(dāng)前的總旋轉(zhuǎn)。

.如果確定所述全景圖像已完成,那么所述方法800繼續(xù)到方框899,在其中最終完成所述全景圖像。然而,如果確定所述全景圖像并未完成,那么所述方法800繼續(xù)到方框835,在其中將拼接位置品質(zhì)度量與閾值進(jìn)行比較。例如,如本文所述,第一圖像與第二圖像的拼接可以包括對(duì)min(SSDj)、min(SSSDk)或所選擇的拼接位置的品質(zhì)的其他度量的識(shí)別。如本文所述,這個(gè)閾值可以是基于全景圖像的希望的圖像品質(zhì)的值。

.在判決方框840中,就當(dāng)前品質(zhì)度量值是否大于閾值范圍或閾值(參見(jiàn),例如,圖12和圖13)進(jìn)行確定。如果當(dāng)前品質(zhì)度量值大于所述閾值范圍或閾值,那么在方框845中,減少旋轉(zhuǎn)角度設(shè)置。然而,如果所述當(dāng)前品質(zhì)度量值不大于所述閾值范圍或閾值,那么在判決方框850中,就所述當(dāng)前品質(zhì)度量值是否小于所述閾值范圍或閾值進(jìn)行確定。如果所述當(dāng)前品質(zhì)度量值小于所述閾值范圍或閾值,那么在方框855中,增加旋轉(zhuǎn)角度設(shè)置。然而,如果所述當(dāng)前品質(zhì)度量值不小于所述閾值范圍或閾值,那么在方框860中,維持所述旋轉(zhuǎn)角度設(shè)置(即,不改變)。

.如果增加、減少或維持旋轉(zhuǎn)角度設(shè)置,那么所述方法800繼續(xù)到方框865,在其中將所述變量N設(shè)置為N+1。換言之,N的值增加1。然后所述方法800循環(huán)回到方框815,在其中成像裝置111和/或飛行器110旋轉(zhuǎn)或移動(dòng)所設(shè)置的角度。

.因此,所述方法800可以提供用于在成像裝置111和/或飛行器110的移動(dòng)或旋轉(zhuǎn)模式的順序位置上捕捉一系列圖像。所述圖像在從一個(gè)位置移動(dòng)至另一個(gè)位置的同時(shí)拼接在一起以形成全景圖像。所述旋轉(zhuǎn)模式的每一個(gè)連續(xù)位置可以是基于與圖像拼接在一起相關(guān)的數(shù)據(jù)來(lái)實(shí)時(shí)地確定。如本文所述,在連續(xù)的圖像捕捉位置之間移動(dòng)的角度或量可以是基于最近的圖像拼接列的品質(zhì)。然而,在另外的實(shí)施例中,連續(xù)的圖像捕捉位置之間移動(dòng)的角度或量可以是基于所得的全景圖像的分析、一個(gè)或多個(gè)捕捉到的圖像的分析、環(huán)境條件的分析等。

.所描述的實(shí)施例可容許各種修改和替代形式,并且其特定示例已通過(guò)舉例在附圖中示出并在本文中進(jìn)行了詳細(xì)描述。然而,應(yīng)當(dāng)理解的是,所描述的實(shí)施例并不限制于所揭示的特殊形式或方法,恰恰相反,本公開(kāi)覆蓋所有修改、等效形式和替代方案。另外地,本文所述的任何步驟或動(dòng)作可以在不存在用戶交互的情況下自動(dòng)地執(zhí)行,或者可以在存在用戶交互或指令的情況下或基于用戶交互或指令來(lái)執(zhí)行。

當(dāng)前第1頁(yè)1 2 3 
網(wǎng)友詢問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
新余市| 延安市| 炉霍县| 洛宁县| 黔江区| 呼和浩特市| 河源市| 宝坻区| 四会市| 密云县| 扎兰屯市| 云龙县| 瓦房店市| 北海市| 五峰| 霍州市| 鄄城县| 青神县| 凤翔县| 旅游| 南和县| 招远市| 汝南县| 乐昌市| 平塘县| 宜君县| 遵化市| 平谷区| 富平县| 余干县| 宁安市| 罗甸县| 忻城县| 洛阳市| 连江县| 新巴尔虎右旗| 岳池县| 乌兰浩特市| 河曲县| 林西县| 伊吾县|