專利名稱:發(fā)信號通知用于特技模式視頻表示的視頻樣本的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及經(jīng)編碼視頻數(shù)據(jù)的輸送。
背景技術(shù):
數(shù)字視頻能力可并入到廣泛范圍的裝置中,包括數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、數(shù)碼相機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電電話、視頻電話會議裝置等。數(shù)字視頻裝置實(shí)施視頻壓縮技術(shù)(例如,由MPEG-2、MPEG-4、ITU-T H.263或ITU-T H.264/MPEG-4第10部分高級視頻譯碼(AVC)所定義的標(biāo)準(zhǔn)以及這些標(biāo)準(zhǔn)的擴(kuò)展中所描述的視頻壓縮技術(shù)),以較有效地發(fā)射和接收數(shù)字視頻信息。視頻壓縮技術(shù)執(zhí)行空間預(yù)測和/或時(shí)間預(yù)測,以減少或移除視頻序列中所固有的冗余。對于基于塊的視頻譯碼來說,可將視頻幀或切片分割為多個(gè)宏塊。可進(jìn)一步分割每一宏塊。使用相對于相鄰宏塊的空間預(yù)測來編碼經(jīng)幀內(nèi)譯碼(I)幀或切片中的宏塊。經(jīng)幀間譯碼(P或B)幀或切片中的宏塊可使用相對于同一幀或切片中的相鄰宏塊的空間預(yù)測或相對于其它參考幀的時(shí)間預(yù)測。一直在努力開發(fā)出基于H.264/AVC的新視頻譯碼標(biāo)準(zhǔn)。一個(gè)此類標(biāo)準(zhǔn)為可縮放視頻譯碼(SVC)標(biāo)準(zhǔn),其為H.264/AVC的可縮放擴(kuò)展。另一標(biāo)準(zhǔn)為多視圖視頻譯碼(MVC)標(biāo)準(zhǔn),其已變成H.264/AVC的多視圖擴(kuò)展。AVC標(biāo)準(zhǔn)的版本描述于JVT-AD007的“對ITU-T Rec.H.264 | IS0/IEC14496-10高級視頻譯碼的編者修正草案-為ITU-TSG16AAP 同意做準(zhǔn)備(以綜合形式)(Editors’draft revision to ITU-T Rec.Η.264 | ISO/IEC14496-10Advanced Video Coding-1n preparation for ITU-T SG16AAP Consent(inintegrated form) ”(2009年2月在瑞士日內(nèi)瓦舉辦的第30屆JVT會議)中,此文獻(xiàn)可從http://wftp3.1tu.1nt/av-arch/jvt-site/2009_01_Geneva/JVT-AD007.zip 獲得,其將SVC與MVC綜合在AVC規(guī)范中。
發(fā)明內(nèi)容
本發(fā)明描述與使用串流協(xié)議(例如超文本傳送協(xié)議(HTTP)串流)輸送媒體數(shù)據(jù)相關(guān)的技術(shù)。明確地說,本發(fā)明的技術(shù)針對于發(fā)信號通知媒體內(nèi)容中的隨機(jī)存取點(diǎn)(RAP)的特性。隨機(jī)存取點(diǎn)大體上對應(yīng)于解碼器可開始在不參考較早數(shù)據(jù)(例如,在時(shí)間上在所述隨機(jī)存取點(diǎn)之前的經(jīng)編碼單元)的情況下恰當(dāng)?shù)亟獯a視頻表示所在的點(diǎn)。也就是說,隨機(jī)存取點(diǎn)可包含獨(dú)立可解碼單元,例如,視頻數(shù)據(jù)的經(jīng)幀內(nèi)譯碼幀或切片。串流(例如,HTTP串流)大體上涉及將數(shù)據(jù)從源裝置傳送到目的地裝置。根據(jù)本發(fā)明的技術(shù),除了瞬時(shí)解碼刷新(IDR)幀之外,源裝置還可發(fā)信號通知開放解碼刷新(ODR)幀的特性。通過發(fā)信號通知這些特性,目的地裝置可產(chǎn)生在ODR幀處開始重放視頻數(shù)據(jù)流中所含有的視頻表示的請求。以此方式,目的地裝置的用戶可請求開始或跳轉(zhuǎn)到所述視頻表示的特定時(shí)間位置,且目的地裝置可請求串流視頻表示的含有最靠近所請求的時(shí)間位置的IDR或ODR圖片的一部分。因此,并非限于在IDR圖片處起始視頻表示的重放和/或串流,根據(jù)本發(fā)明的技術(shù)的目的地裝置可在IDR或ODR處起始流,這可減小帶寬消耗且/或?qū)崿F(xiàn)較頻繁的隨機(jī)存取點(diǎn)和/或視頻切換點(diǎn),以便改進(jìn)用戶的觀看體驗(yàn)。本發(fā)明還提供用于發(fā)信號通知經(jīng)幀內(nèi)譯碼圖片的特性的技術(shù),使得目的地裝置可在特技模式中檢索并呈現(xiàn)經(jīng)幀內(nèi)譯碼圖片。特技模式大體上對應(yīng)于高速重放模式,例如快進(jìn)或倒退。在此類模式中,目的地裝置可僅重放視頻表示中的可用幀的子集。因此,目的地裝置僅需要檢索將在特技模式中播放的幀。因此,根據(jù)本發(fā)明的技術(shù),目的地裝置可基于發(fā)信號通知的特性來產(chǎn)生針對經(jīng)幀內(nèi)譯碼幀的請求,這可減小帶寬消耗且在使用網(wǎng)絡(luò)串流協(xié)議傳送媒體時(shí)允許特技模式重放。舉例來說,本文中描述一種方法。所述方法包括在客戶端裝置處從服務(wù)器裝置接收媒體分段的開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)幀的指示,其中所述媒體分段的按解碼次序在所述ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼,且其中所述媒體分段的按顯示次序在所述ODR RAP幀之后的每一幀可在不依賴于按顯示次序在所述ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。所述方法進(jìn)一步包括由所述客戶端裝置向所述服務(wù)器裝置發(fā)送檢索以含有所述所指示的ODR RAP幀的所述媒體分段開始的媒體數(shù)據(jù)流的請求。根據(jù)另一實(shí)例,本文中描述一種裝置。所述裝置包括用于從服務(wù)器裝置接收媒體分段的開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)幀的指示的裝置,其中所述媒體分段的按解碼次序在所述ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼,且其中所述媒體分段的按顯示次序在所述ODR RAP幀之后的每一幀可在不依賴于按顯示次序在所述ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。所述裝置進(jìn)一步包括用于向所述服務(wù)器裝置發(fā)送檢索以所述所指示的ODR RAP幀開始的媒體數(shù)據(jù)流的請求的裝置。根據(jù)另一實(shí)例,本文中描述一種計(jì)算機(jī)可讀存儲媒體。所述存儲媒體包括在執(zhí)行時(shí)致使客戶端計(jì)算裝置的處理器進(jìn)行以下操作的指令:在客戶端裝置處從服務(wù)器裝置接收媒體分段的開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)幀的指示,其中所述媒體分段的按解碼次序在所述ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼,且其中所述媒體分段的按顯示次序在所述ODR RAP幀之后的每一幀可在不依賴于按顯示次序在所述ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。所述指令進(jìn)一步致使所述客戶端計(jì)算裝置由所述客戶端裝置向所述服務(wù)器裝置發(fā)送檢索以含有所述所指示的ODR RAP幀的所述媒體分段開始的媒體數(shù)據(jù)流的請求。根據(jù)另一實(shí)例,本文中描述一種包括一個(gè)或一個(gè)以上處理器的裝置。所述一個(gè)或一個(gè)以上處理器經(jīng)配置以接收媒體分段的開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)幀的指示,其中所述媒體分段的按解碼次序在所述ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼,且其中所述媒體分段的按顯示次序在所述ODR RAP幀之后的每一幀可在不依賴于按顯示次序在所述ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。所述一個(gè)或一個(gè)以上處理器進(jìn)一步經(jīng)配置以向服務(wù)器裝置發(fā)送檢索以含有所述所指示的ODR RAP幀的所述媒體分段開始的媒體數(shù)據(jù)流的請求。根據(jù)另一實(shí)例,本文中描述一種方法。所述方法包括接收媒體分段的包含開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)幀的經(jīng)編碼視頻幀序列,其中所述媒體分段的按解碼次序在所述ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼,且其中所述媒體分段的按顯示次序在所述ODR RAP幀之后的每一幀可在不依賴于按顯示次序在所述ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。所述方法進(jìn)一步包括產(chǎn)生所述ODR RAP在所述經(jīng)編碼視頻幀序列內(nèi)的位置的指示。所述方法進(jìn)一步包括輸出所述指示。根據(jù)另一實(shí)例,本文中描述一種裝置。所述裝置包括用于接收媒體分段的包含開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)幀的經(jīng)編碼視頻幀序列的裝置,其中所述媒體分段的按解碼次序在所述ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼,且其中所述媒體分段的按顯示次序在所述ODR RAP幀之后的每一幀可在不依賴于按顯示次序在所述ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。所述裝置進(jìn)一步包括用于產(chǎn)生所述ODR RAP在所述經(jīng)編碼視頻幀序列內(nèi)的位置的指示的裝置。所述裝置進(jìn)一步包括用于輸出所述指示的裝置。根據(jù)另一實(shí)例,本文中描述一種計(jì)算機(jī)可讀存儲媒體。所述計(jì)算機(jī)可讀存儲媒體包括在執(zhí)行時(shí)致使源裝置的一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令:接收媒體分段的包含開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)幀的經(jīng)編碼視頻幀序列,其中所述媒體分段的按解碼次序在所述ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼,且其中所述媒體分段的按顯示次序在所述ODR RAP幀之后的每一幀可在不依賴于按顯示次序在所述ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。所述指令進(jìn)一步致使所述源裝置產(chǎn)生所述ODR RAP在所述經(jīng)編碼視頻幀序列內(nèi)的位置的指示。所述指令進(jìn)一步致使所述源裝置輸出所述指示。根據(jù)另一實(shí)例,本文中描述一種包括一個(gè)或一個(gè)以上處理器的裝置。所述一個(gè)或一個(gè)以上處理器經(jīng)配置以接收媒體分段的包含開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)幀的經(jīng)編碼視頻幀序列,其中所述媒體分段的按解碼次序在所述ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼,且其中所述媒體分段的按顯示次序在所述ODR RAP幀之后的每一幀可在不依賴于按顯示次序在所述ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。所述一個(gè)或一個(gè)以上處理器進(jìn)一步經(jīng)配置以產(chǎn)生所述ODR RAP在所述經(jīng)編碼視頻幀序列內(nèi)的位置的指示。所述一個(gè)或一個(gè)以上處理器進(jìn)一步經(jīng)配置以輸出所述指示。根據(jù)另一實(shí)例,本文中描述一種方法。所述方法包括在客戶端裝置處從服務(wù)器裝置接收表示經(jīng)配置以按第一重放速度顯示的視頻呈現(xiàn)的媒體分段內(nèi)的至少一個(gè)字節(jié)范圍的指示,其中至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi)。所述方法進(jìn)一步包括由所述客戶端裝置向所述服務(wù)器裝置發(fā)送檢索所述至少一個(gè)字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求。所述方法進(jìn)一步包括使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來按高于所述第一重放速度的第二重放速度呈現(xiàn)所述視頻表示的包括所述至少一個(gè)I幀的聞速版本。根據(jù)另一實(shí)例,本文中描述一種裝置。所述裝置包括用于在客戶端裝置處從服務(wù)器裝置接收表示經(jīng)配置以按第一重放速度顯示的視頻呈現(xiàn)的媒體分段內(nèi)的至少一個(gè)字節(jié)范圍的指示的裝置,其中至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi)。所述裝置進(jìn)一步包括用于由所述客戶端裝置向所述服務(wù)器裝置發(fā)送檢索所述至少一個(gè)字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求的裝置。所述裝置進(jìn)一步包括用于使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來按高于所述第一重放速度的第二重放速度呈現(xiàn)所述視頻表示的包括所述至少一個(gè)I幀的高速版本的裝置。根據(jù)另一實(shí)例,本文中描述一種計(jì)算機(jī)可讀存儲媒體。所述計(jì)算機(jī)可讀存儲媒體存儲經(jīng)配置以致使計(jì)算裝置進(jìn)行以下操作的指令:在客戶端裝置處從服務(wù)器裝置接收表示經(jīng)配置以按第一重放速度顯示的視頻呈現(xiàn)的媒體分段內(nèi)的至少一個(gè)字節(jié)范圍的指示,其中至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi)。所述指令進(jìn)一步經(jīng)配置以致使所述計(jì)算裝置由所述客戶端裝置向所述服務(wù)器裝置發(fā)送檢索所述至少一個(gè)字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求。所述指令進(jìn)一步經(jīng)配置以致使所述計(jì)算裝置使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來按高于所述第一重放速度的第二重放速度呈現(xiàn)所述視頻表示的包括所述至少一個(gè)I幀的高速版本。根據(jù)另一實(shí)例,本文中描述一種裝置。所述裝置包括至少一個(gè)處理器。所述至少一個(gè)處理器經(jīng)配置以接收表示經(jīng)配置以按第一重放速度顯示的視頻呈現(xiàn)的媒體分段內(nèi)的至少一個(gè)字節(jié)范圍的指示,其中至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi)。所述至少一個(gè)處理器進(jìn)一步經(jīng)配置以向服務(wù)器裝置發(fā)送檢索所述至少一個(gè)字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求。所述至少一個(gè)處理器進(jìn)一步經(jīng)配置以使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來按高于所述第一重放速度的第二重放速度呈現(xiàn)所述視頻表示的包括所述至少一個(gè)I幀的高速版本。根據(jù)另一實(shí)例,本文中描述一種方法。所述方法包括接收包含至少一個(gè)經(jīng)幀間譯碼幀(I幀)的經(jīng)編碼視頻幀序列。所述方法進(jìn)一步包括產(chǎn)生所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的指示,其中至少一個(gè)I幀出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi)。所述方法進(jìn)一步包括輸出所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示。根據(jù)另一實(shí)例,本文中描述一種裝置。所述裝置包括用于接收包含至少一個(gè)經(jīng)幀間譯碼幀(I幀)的經(jīng)編碼視頻幀序列的裝置。所述裝置進(jìn)一步包括用于產(chǎn)生所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的指示的裝置,其中至少一個(gè)I幀出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi)。所述裝置進(jìn)一步包括用于輸出所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示的裝置。根據(jù)另一實(shí)例,本文中描述一種計(jì)算機(jī)可讀存儲媒體。所述計(jì)算機(jī)可讀存儲媒體存儲經(jīng)配置以致使計(jì)算裝置進(jìn)行以下操作的指令:接收包含至少一個(gè)I幀的經(jīng)編碼視頻幀序列。所述指令進(jìn)一步致使所述計(jì)算裝置產(chǎn)生字節(jié)范圍的指示,其中至少一個(gè)I幀出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi)。所述指令進(jìn)一步致使所述計(jì)算裝置輸出所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示。根據(jù)另一實(shí)例,本文中描述一種裝置。所述裝置包括一個(gè)或一個(gè)以上處理器。所述一個(gè)或一個(gè)以上處理器經(jīng)配置以接收包含至少一個(gè)I幀的經(jīng)編碼視頻幀序列。所述一個(gè)或一個(gè)以上處理器進(jìn)一步經(jīng)配置以產(chǎn)生所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的指示,其中至少一個(gè)I幀出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi)。所述一個(gè)或一個(gè)以上處理器進(jìn)一步經(jīng)配置以輸出所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示?!獋€(gè)或一個(gè)以上實(shí)例的細(xì)節(jié)陳述于附圖和以下描述中。其它特征、目標(biāo)和優(yōu)點(diǎn)將從所述描述和圖式以及從權(quán)利要求書顯而易見。
圖1為說明其中音頻/視頻(A / V)源裝置將音頻和視頻數(shù)據(jù)輸送到A / V目的地裝置的實(shí)例系統(tǒng)的框圖。圖2為說明符合本發(fā)明的技術(shù)的視頻片段的一個(gè)實(shí)例的概念圖。圖3為說明符合本發(fā)明的技術(shù)的視頻片段的一個(gè)實(shí)例的概念圖。圖4為說明符合本發(fā)明的技術(shù)的分段文件的一個(gè)實(shí)例的框圖。圖5為說明符合本發(fā)明的技術(shù)的電影呈現(xiàn)的一個(gè)實(shí)例的框圖。圖6為說明符合本發(fā)明的技術(shù)的段索引盒的一個(gè)實(shí)例的框圖。圖7為說明符合本發(fā)明的技術(shù)的操作客戶端裝置以接收開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)的指示的方法的一個(gè)實(shí)例的流程圖。圖8為說明符合本發(fā)明的技術(shù)的操作源裝置以提供ODR RAP的指示的方法的一個(gè)實(shí)例的流程圖。圖9為說明符合本發(fā)明的技術(shù)的操作客戶端裝置以接收經(jīng)幀內(nèi)譯碼幀(I幀)的字節(jié)范圍的指示的方法的一個(gè)實(shí)例的流程圖。圖10為說明符合本發(fā)明的技術(shù)的操作源裝置以提供經(jīng)幀內(nèi)譯碼幀(I幀)的字節(jié)范圍的指示的方法的一個(gè)實(shí)例的流程圖。圖11為說明符合本發(fā)明的技術(shù)的可由相應(yīng)的HTTP客戶端和服務(wù)器裝置執(zhí)行的步驟的一個(gè)實(shí)例的流程圖。圖12為說明符合本發(fā)明的技術(shù)的可由相應(yīng)的HTTP客戶端和服務(wù)器裝置執(zhí)行的步驟的一個(gè)實(shí)例的流程圖。
具體實(shí)施例方式本發(fā)明的技術(shù)大體上針對于支持使用串流協(xié)議(例如超文本傳送協(xié)議(HTTP)串流)的視頻數(shù)據(jù)輸送。一般來說,在本發(fā)明中對HTTP的參考可包括對HTTP串流的參考。本發(fā)明參考視頻表示的兩個(gè)特定類型的隨機(jī)存取點(diǎn)(RAP)。明確地說,本發(fā)明描述瞬時(shí)解碼刷新(IDR) RAP和開放解碼刷新(ODR) RAP。IDR存取點(diǎn)為閉合GOP的可獨(dú)立解碼的幀內(nèi)幀。閉合GOP為視頻表示的幀分組,所述幀分組不包括依靠按解碼或呈現(xiàn)次序在所述GOP之前的幀來可正確解碼的任何幀。開放GOP為其中按顯示(輸出)次序在所述GOP的初始可獨(dú)立解碼的幀(I幀)之前但按解碼次序在所述I幀之后的圖片可能不可正確解碼的G0P。舉例來說,開放GOP可包括至少部分依靠在所述開放GOP外部的至少一個(gè)幀的內(nèi)容的一個(gè)或一個(gè)以上幀。在開放GOP的一些實(shí)例中,開放GOP的I幀可用作用于開始視頻表示的重放的隨機(jī)存取點(diǎn)。舉例來說,如果按顯示次序在初始I幀之后的所有幀可被正確解碼,那么所述I幀可用作RAP。此RAP可被稱為ODR RAP。視頻表不的巾貞可被布置為一個(gè)或一個(gè)以上GOP。所述一個(gè)或一個(gè)以上GOP可被布置為一個(gè)或一個(gè)以上視頻片段。所述一個(gè)或一個(gè)以上片段可被布置為一個(gè)或一個(gè)以上段。在一些實(shí)例中,多個(gè)段可形成視頻表示。串流服務(wù)(例如HTTP串流服務(wù))可允許客戶端裝置做出從服務(wù)器裝置檢索一個(gè)或一個(gè)以上G0P、片段、段或整個(gè)視頻表示的HTTP請求。服務(wù)器裝置可含有媒體內(nèi)容的多個(gè)表示。在一個(gè)實(shí)例中,此請求可包括HTTP獲取請求。HTTP獲取請求可通過指定視頻表示的一個(gè)或一個(gè)以上媒體分段(例如,G0P、片段、段或視頻表示等級媒體文件)的統(tǒng)一資源定位符(URL)來提供對存儲在服務(wù)器裝置上的內(nèi)容的客戶端裝置存取。在一些實(shí)例中,HTTP獲取請求可指定媒體文件內(nèi)的字節(jié)范圍而非請求整個(gè)媒體文件。此HTTP獲取請求可被稱為部分獲取請求。如本文中所描述,短語“媒體分段”指代任何文件,片段、段或視頻表示等級媒體分段,其可根據(jù)例如HTTP獲取或部分獲取請求等串流協(xié)議請求來檢索。在一些實(shí)例中,本文中所描述的各種形式的媒體內(nèi)容可以一個(gè)或一個(gè)以上媒體分段的形式存儲在服務(wù)器中。在一些實(shí)例中,服務(wù)器裝置可經(jīng)配置以提供信令信息以促進(jìn)HTTP串流服務(wù)。根據(jù)本發(fā)明的一個(gè)方面,服務(wù)器裝置可發(fā)信號通知視頻表示的媒體分段(例如,片段、段、表示特定媒體分段)的開放解碼刷新(ODR)隨機(jī)存取點(diǎn)(RAP)。根據(jù)本發(fā)明的技術(shù),客戶端裝置可向服務(wù)器裝置遞送針對基于ODR RAP的發(fā)信號通知來串流媒體數(shù)據(jù)的請求。通過發(fā)信號通知視頻表示的ODR RAP,客戶端裝置可從視頻表示的較多時(shí)間位置當(dāng)中進(jìn)行選擇以用于開始串流、解碼和/或重放視頻表示。在一些實(shí)例中,在片段或段中未含有IDR的情況下,源裝置可發(fā)信號通知媒體分段是否含有ODR RAP。因此,如果在所要時(shí)間位置附近沒有包括IDR RAP的媒體分段可用,那么視頻表示的重放可在與包括ODR RAP的媒體分段(例如,視頻表示的片段或段,或整個(gè)視頻表示)相關(guān)聯(lián)的時(shí)間位置處開始。明確地說,源裝置可發(fā)信號通知與媒體分段的ODR RAP的字節(jié)偏移。媒體分段可為可使用視頻片段所特有的統(tǒng)一資源定位符(URL)或統(tǒng)一資源名稱(URN)來獨(dú)立尋址的。在一個(gè)實(shí)例中,通過發(fā)信號通知與視頻片段中的ODR RAP的字節(jié)偏移,客戶端裝置可構(gòu)造獲取請求,所述獲取請求包含在ODR RAP處開始且在媒體分段的末端處結(jié)束的字節(jié)范圍。根據(jù)本發(fā)明的另一方面,服務(wù)器裝置可發(fā)信號通知視頻表示的至少一個(gè)I幀的字節(jié)范圍??蛻舳搜b置可將基于發(fā)信號通知的字節(jié)范圍來檢索所述至少一個(gè)I幀的請求遞送到服務(wù)器裝置,且使用所檢索的I幀來提供視頻內(nèi)容的包括所述至少一個(gè)I幀的高速版本。視頻內(nèi)容的高速版本可支持視頻表示的特技模式,例如快進(jìn)或快退。通過直接發(fā)信號通知視頻呈現(xiàn)的至少一個(gè)I幀的字節(jié)范圍,可在不請求I幀所屬的完整視頻表示的情況下或在不請求視頻表示的專門針對高速重放創(chuàng)建的替代版本的情況下提供高速版本。此外,這些技術(shù)允許提供視頻表示的高速版本,同時(shí)最小化可被串流、解碼和/或重放的數(shù)據(jù)的量。根據(jù)本發(fā)明的此方面,服務(wù)器裝置可發(fā)信號通知表示媒體內(nèi)容的一個(gè)或一個(gè)以上媒體分段內(nèi)的一個(gè)或一個(gè)以上字節(jié)范圍的指示。至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)可出現(xiàn)在所述一個(gè)或一個(gè)以上發(fā)信號通知的字節(jié)范圍中的每一者內(nèi)??蛻舳搜b置可基于所述一個(gè)或一個(gè)以上字節(jié)范圍的發(fā)信號通知的指示來提交檢索所述字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求(例如,HTTP獲取或部分獲取請求)??蛻舳搜b置可連續(xù)呈現(xiàn)與所述一個(gè)或一個(gè)以上發(fā)信號通知的字節(jié)范圍中的至少一者一起出現(xiàn)的在時(shí)間上由至少一個(gè)經(jīng)幀內(nèi)譯碼幀分開的兩個(gè)或兩個(gè)以上I幀,以相對高速地呈現(xiàn)所述視頻呈現(xiàn)。此表示可視為媒體內(nèi)容的高速版本。第三代合作伙伴計(jì)劃(3GPP)為電信協(xié)會群組之間的合作,以在國際電信聯(lián)盟(ITU)的國際移動電信-2000項(xiàng)目的范圍內(nèi)做出全球適用的第三代(3G)移動電話系統(tǒng)規(guī)范。3GPP規(guī)范是基于演進(jìn)型全球移動通信系統(tǒng)(GSM)規(guī)范。3GPP標(biāo)準(zhǔn)化涵蓋無線電、核心網(wǎng)絡(luò)和服務(wù)架構(gòu)。在一些實(shí)例中,本發(fā)明的技術(shù)在本文中使用與3GPP協(xié)議規(guī)范一致的實(shí)例和術(shù)語來描述。僅出于示范性目的來提供這些實(shí)例和術(shù)語,還預(yù)期用于串流視頻數(shù)據(jù)的其它協(xié)議規(guī)范且所述其它協(xié)議規(guī)范與本發(fā)明一致。在根據(jù)HTTP串流的一些實(shí)例中,分段文件可被布置為多個(gè)不同表示,所述表示各自對應(yīng)于特定節(jié)目(例如,電影、電視節(jié)目或其它視頻節(jié)目)。3GPP文件可各自對應(yīng)于節(jié)目和/或節(jié)目的呈現(xiàn)的段或片段的這些不同表示。視頻表示(例如,3GPP文件)可布置為多個(gè)電影片段。電影片段可各自包括視頻表示的多個(gè)幀或圖片。3GPP視頻表示的片段可為可使用HTTP獲取或部分獲取請求來個(gè)別地檢索,所述HTTP獲取或部分獲取請求可提及3GPP文件的統(tǒng)一資源定位符(URL)或統(tǒng)一資源名稱(URN)。HTTP客戶端可在重放期間改變表示,例如當(dāng)網(wǎng)絡(luò)條件改變時(shí)或當(dāng)檢測到用戶控制輸入時(shí)。舉例來說,當(dāng)大量帶寬可用時(shí),客戶端可檢索相對較高質(zhì)量的呈現(xiàn)的3GPP文件,而當(dāng)較少量帶寬可用時(shí),客戶端可檢索相對較低質(zhì)量的呈現(xiàn)的3GPP文件。類似地,用戶可指示視頻質(zhì)量的所要改變。用戶還可指示客戶端針對視頻表示的重放進(jìn)行暫停、停止、查找(例如,快進(jìn)、倒退)或掃描(指示所要起始點(diǎn))??赡苄枰狧TTP服務(wù)器提供針對一個(gè)或一個(gè)以上電影呈現(xiàn)可用的信息子集以允許HTTP客戶端選擇不同表示或表示部分來進(jìn)行串流。此信息可被稱為標(biāo)頭信息。標(biāo)頭信息可特定針對于節(jié)目、特定針對于節(jié)目的表示或所述表示的一部分,或特定針對于表示的電影片段或段。在根據(jù)3GPP的一個(gè)實(shí)例中,標(biāo)頭信息可包含在媒體呈現(xiàn)描述(MPD)文件中。MPD文件可發(fā)信號通知視頻數(shù)據(jù)的多個(gè)表示的特性元素,例如位速率、幀速率、分辨率、交錯或漸進(jìn)掃描類型、編碼類型(例如,MPEG-1、MPEG-2、H.263、MPEG-4/H.264或任何其它視頻編解碼器)、存取點(diǎn)或其它特性。電影片段可包括多個(gè)圖片群組(GOP)。GOP可包括或可不包括用于開始解碼和/或重放的隨機(jī)存取點(diǎn)(RAP)。本發(fā)明描述用于在HTTP串流應(yīng)用的上下文中發(fā)信號通知ODR存取點(diǎn)的技術(shù)。本發(fā)明的技術(shù)可提供一個(gè)或一個(gè)以上優(yōu)點(diǎn)。舉例來說,與提供發(fā)信號通知IDR存取點(diǎn)的已知技術(shù)相比,除IDR存取點(diǎn)之外還發(fā)信號通知ODR存取點(diǎn)可通過提供用于根據(jù)HTTP串流起始流的較細(xì)控制粒度來允許改進(jìn)掃描或查找功能性。本發(fā)明的技術(shù)還可在串流包括用于解碼的高水平幀間內(nèi)容依賴性的較復(fù)雜視頻節(jié)目時(shí)提供優(yōu)點(diǎn),因?yàn)榭商峁┹^多存取點(diǎn),進(jìn)而改進(jìn)用于HTTP串流的掃描和/或查找功能性。本發(fā)明的技術(shù)可提供另外優(yōu)點(diǎn),因?yàn)橥ㄟ^在分段文件的標(biāo)頭信息中發(fā)信號通知一個(gè)或一個(gè)以上ODR存取點(diǎn),客戶端裝置可請求在ODR存取點(diǎn)自身或包括所述ODR存取點(diǎn)的開放GOP處開始的媒體數(shù)據(jù)流,進(jìn)而在選擇用于串流/解碼/重放由分段文件表示的視頻的起始點(diǎn)時(shí)提供較細(xì)粒度。這些技術(shù)還可通過減少待針對視頻表示的重放而串流的數(shù)據(jù)的量來優(yōu)于現(xiàn)有技術(shù)。在一些實(shí)例中,本發(fā)明的技術(shù)提供在分段文件的標(biāo)頭信息中發(fā)信號通知ODR存取點(diǎn)和/或其它信息。在一個(gè)實(shí)例中,可在電影表示或段的段索引盒(SIDX)中發(fā)信號通知ODR存取點(diǎn)。分段文件可根據(jù)ISO基礎(chǔ)媒體文件格式或任何其它分段文件類型來格式化,包括ISO基礎(chǔ)媒體文件格式的擴(kuò)展,例如可縮放視頻譯碼(SVC)、高級視頻譯碼(AVC)和/或多視圖視頻譯碼(MVC)等。本發(fā)明的技術(shù)可進(jìn)一步提供用于發(fā)信號通知與掃描和/或查找功能性相關(guān)的其它信息,所述功能性在下文中進(jìn)一步詳細(xì)描述。本發(fā)明的技術(shù)進(jìn)一步提供用于由HTTP服務(wù)器裝置發(fā)信號通知一個(gè)或一個(gè)以上經(jīng)幀內(nèi)譯碼幀(I幀)的字節(jié)范圍以用于掃描功能性的目的。舉例來說,目的地裝置可顯示視頻表示的高速版本以用于快進(jìn)或倒退的目的,所述快進(jìn)或倒退還被稱為用于視頻呈現(xiàn)的特技模式。根據(jù)這些技術(shù),客戶端裝置可基于發(fā)信號通知I幀字節(jié)范圍而僅請求和/或解碼視頻表示的發(fā)信號通知的I幀而不管呈現(xiàn)視頻表示的高速版本不需要的其它幀。舉例來說,客戶端裝置可專門請求(例如,通過一個(gè)或一個(gè)以上HTTP部分獲取請求)出現(xiàn)在發(fā)信號通知的字節(jié)范圍內(nèi)的一個(gè)或一個(gè)以上I幀??蛻舳搜b置可連續(xù)呈現(xiàn)所檢索的媒體數(shù)據(jù)的兩個(gè)或兩個(gè)以上I幀以相對高速地呈現(xiàn)所述視頻內(nèi)容。所述兩個(gè)或兩個(gè)以上I幀可在時(shí)間上由至少一個(gè)經(jīng)幀間譯碼幀(例如,B或P幀)分開。通過僅檢索、解碼并顯示所述發(fā)信號通知的I幀,客戶端裝置可向用戶提供視頻表示的高速版本以用于快進(jìn)或倒退操作的目的。在一些實(shí)例中,發(fā)信號通知的I幀可包括IDR和/或ODR存取點(diǎn)。視頻表示的I幀的字節(jié)范圍可在各種譯碼單元(例如,媒體分段)的標(biāo)頭信息中發(fā)信號通知。舉例來說,源裝置可在媒體呈現(xiàn)的視頻等級(例如,在Mro文件內(nèi))、表示等級、段等級、片段等級或其它等級的標(biāo)頭信息處發(fā)信號通知I幀的字節(jié)范圍。這些技術(shù)可提供一個(gè)或一個(gè)以上優(yōu)點(diǎn)。舉例來說,目的地裝置可在串流協(xié)議(例如HTTP串流)的上下文中在不創(chuàng)建、存儲和/或發(fā)射視頻表示的高速版本的情況下執(zhí)行視頻表示的高速重放。另外,這些技術(shù)可為有利的,因?yàn)榭蛻舳搜b置可基于發(fā)信號通知的I幀來向用戶呈現(xiàn)快進(jìn)和快退重放中的任一者或兩者。圖1為說明其中音頻/視頻(A/V)源裝置20將音頻和視頻數(shù)據(jù)輸送到A/V目的地裝置40的實(shí)例系統(tǒng)10的框圖。A/V源裝置20還可稱為“源視頻裝置”。圖1的系統(tǒng)10可對應(yīng)于視頻電話會議系統(tǒng)、服務(wù)器/客戶端系統(tǒng)、廣播器/接收器系統(tǒng)或其中將視頻數(shù)據(jù)從源裝置(例如A/V源裝置20)發(fā)送到目的地裝置(例如A/V目的地裝置40)的任何其它系統(tǒng)。A/V目的地裝置40還可稱為“目的地視頻裝置”或“客戶端裝置”。在一些實(shí)例中,A/V源裝置20和A/V目的地裝置40可執(zhí)行雙向信息交換。也就是說,A/V源裝置20和A/V目的地裝置40可能夠編碼和解碼(以及發(fā)射和接收)音頻和視頻數(shù)據(jù)。在一些實(shí)例中,音頻編碼器26可包含語音編碼器,其還稱為聲碼器。在圖1的實(shí)例中,A/V源裝置20包含音頻源22和視頻源24。舉例來說,音頻源22可包含麥克風(fēng),所述麥克風(fēng)產(chǎn)生表示待由音頻編碼器26編碼的所俘獲的音頻數(shù)據(jù)的電信號。或者,音頻源22可包含存儲先前所記錄的音頻數(shù)據(jù)的存儲媒體、例如計(jì)算機(jī)化合成器等音頻數(shù)據(jù)產(chǎn)生器或任何其它音頻數(shù)據(jù)源。視頻源24可包含:攝像機(jī),其產(chǎn)生待由視頻編碼器28編碼的視頻數(shù)據(jù);經(jīng)編碼有先前所記錄的視頻數(shù)據(jù)的存儲媒體;視頻數(shù)據(jù)產(chǎn)生單元;或任何其它視頻數(shù)據(jù)源。原始音頻和視頻數(shù)據(jù)可包含模擬或數(shù)字?jǐn)?shù)據(jù)。模擬數(shù)據(jù)可在由音頻編碼器26和/或視頻編碼器28編碼之前進(jìn)行數(shù)字化。音頻源22可在說話參與者正在說話時(shí)從所述說話參與者獲得音頻數(shù)據(jù),且視頻源24可同時(shí)獲得所述說話參與者的視頻數(shù)據(jù)。在其它實(shí)例中,音頻源22可包含包括所存儲的音頻數(shù)據(jù)的計(jì)算機(jī)可讀存儲媒體,且視頻源24可包含包括所存儲的視頻數(shù)據(jù)的計(jì)算機(jī)可讀存儲媒體。以此方式,本發(fā)明中所描述的技術(shù)可應(yīng)用于實(shí)況、串流、實(shí)時(shí)音頻和視頻數(shù)據(jù)或所存檔的、預(yù)先記錄的音頻和視頻數(shù)據(jù)。對應(yīng)于視頻幀的音頻幀大體上為含有與在視頻幀內(nèi)所含有的由視頻源24所俘獲的視頻數(shù)據(jù)同時(shí)發(fā)生的由音頻源22所俘獲的音頻數(shù)據(jù)的音頻幀。舉例來說,當(dāng)說話參與者大體上通過說話而產(chǎn)生音頻數(shù)據(jù)時(shí),音頻源22俘獲音頻數(shù)據(jù),且視頻源24同時(shí)(即,在音頻源22正俘獲音頻數(shù)據(jù)的同時(shí))俘獲說話參與者的視頻數(shù)據(jù)。因此,音頻幀可在時(shí)間上對應(yīng)于一個(gè)或一個(gè)以上特定視頻幀。因而,音頻幀對應(yīng)于視頻幀大體上對應(yīng)于同時(shí)俘獲到音頻數(shù)據(jù)和視頻數(shù)據(jù)且音頻幀和視頻幀分別包含同時(shí)俘獲到的音頻數(shù)據(jù)和視頻數(shù)據(jù)的情形。在一些實(shí)例中,音頻編碼器26可將表示記錄每一經(jīng)編碼音頻幀的音頻數(shù)據(jù)所在的時(shí)間的時(shí)戳編碼于所述經(jīng)編碼音頻幀中,且類似地,視頻編碼器28可將表示記錄每一經(jīng)編碼視頻幀的視頻數(shù)據(jù)所在的時(shí)間的時(shí)戳編碼于所述經(jīng)編碼視頻幀中。在這些實(shí)例中,音頻幀對應(yīng)于視頻幀可包含音頻幀包含時(shí)戳且視頻幀包含相同時(shí)戳。A/V源裝置20可包括內(nèi)部時(shí)鐘,音頻編碼器26和/或視頻編碼器28可從所述內(nèi)部時(shí)鐘產(chǎn)生時(shí)戳,或音頻源22和視頻源24可使用所述內(nèi)部時(shí)鐘來使音頻和視頻數(shù)據(jù)分別與時(shí)戳相關(guān)聯(lián)。在一些實(shí)例中,音頻源22可將對應(yīng)于記錄音頻數(shù)據(jù)所在的時(shí)間的數(shù)據(jù)發(fā)送到音頻編碼器26,且視頻源24可將對應(yīng)于記錄視頻數(shù)據(jù)所在的時(shí)間的數(shù)據(jù)發(fā)送到視頻編碼器
28。在一些實(shí)例中,音頻編碼器26可將序列識別符編碼于經(jīng)編碼音頻數(shù)據(jù)中以指示經(jīng)編碼音頻數(shù)據(jù)的相對時(shí)間排序但不必指示記錄音頻數(shù)據(jù)所在的絕對時(shí)間,且類似地,視頻編碼器28還可使用序列識別符來指示經(jīng)編碼視頻數(shù)據(jù)的相對時(shí)間排序。類似地,在一些實(shí)例中,序列識別符可經(jīng)映射或以其它方式與時(shí)戳相關(guān)。本發(fā)明的技術(shù)大體上是針對于經(jīng)編碼多媒體(例如,音頻和視頻)數(shù)據(jù)的輸送,以及所輸送的多媒體數(shù)據(jù)的接收及后續(xù)解譯和解碼。本發(fā)明的技術(shù)可應(yīng)用于各種標(biāo)準(zhǔn)和擴(kuò)展的視頻數(shù)據(jù)(例如可縮放視頻譯碼(SVC)、高級視頻譯碼(AVC)、ISO基礎(chǔ)媒體文件格式或多視圖視頻譯碼(MVC)數(shù)據(jù)或其它視頻數(shù)據(jù))的輸送。在一些實(shí)例中,視頻源24可將場景的多個(gè)視圖提供到視頻編碼器28。在一些實(shí)例中,視頻數(shù)據(jù)的多個(gè)視圖可適用于產(chǎn)生待由三維顯示器(例如立體或裸眼式立體三維顯示器)使用的三維視頻數(shù)據(jù)。A/V源裝置20可向A/V目的地裝置40提供“服務(wù)”。服務(wù)可大體上對應(yīng)于MVC數(shù)據(jù)的可用視圖的子集。舉例來說,多視圖視頻數(shù)據(jù)可為可用于八個(gè)視圖,其經(jīng)排序?yàn)榱愕狡?。一個(gè)服務(wù)可對應(yīng)于具有兩個(gè)視圖的立體視頻,而另一服務(wù)可對應(yīng)于四個(gè)視圖,且又一服務(wù)可對應(yīng)于所有八個(gè)視圖。一般來說,服務(wù)對應(yīng)于所述可用視圖的任何組合(即,任何子集)。服務(wù)還可對應(yīng)于可用視圖以及音頻數(shù)據(jù)的組合。數(shù)據(jù)(無論是音頻還是視頻)的每一個(gè)別流被稱作基本流?;玖鳛楣?jié)目的單個(gè)經(jīng)數(shù)字譯碼(可能經(jīng)壓縮)的分量。舉例來說,所述節(jié)目的經(jīng)譯碼視頻或音頻部分可為基本流?;玖骺稍诙嗦窂?fù)用為節(jié)目流或輸送流之前轉(zhuǎn)換成包化基本流(PES)。在同一節(jié)目內(nèi),使用流ID來區(qū)分屬于一個(gè)基本流的PES包與屬于另一基本流的PES包?;玖鞯臄?shù)據(jù)的基本單元為包化基本流(PES)包。因此,MVC視頻數(shù)據(jù)的每一視圖對應(yīng)于相應(yīng)基本流。類似地,音頻數(shù)據(jù)對應(yīng)于一個(gè)或一個(gè)以上相應(yīng)基本流。在圖1的實(shí)例中,包封單元30接收來自視頻編碼器28的包含視頻數(shù)據(jù)的基本流和來自音頻編碼器26的包含音頻數(shù)據(jù)的基本流。在一些實(shí)例中,視頻編碼器28和音頻編碼器26可各自包括用于從經(jīng)編碼數(shù)據(jù)形成PES包的包化器。在其它實(shí)例中,視頻編碼器28和音頻編碼器26可各自與用于從經(jīng)編碼數(shù)據(jù)形成PES包的相應(yīng)包化器介接。在另外其它實(shí)例中,包封單元30可包括用于從經(jīng)編碼音頻和視頻數(shù)據(jù)形成PES包的包化器。如本發(fā)明中所使用的“節(jié)目”可包含音頻數(shù)據(jù)與視頻數(shù)據(jù)的組合,例如音頻基本流和通過A/V源裝置20的服務(wù)傳遞的可用視圖的子集。每一 PES包包括streamjd,其識別所述PES包所屬的基本流。包封單元30可將基本流組合為構(gòu)成節(jié)目流或輸送流。節(jié)目流和輸送流為以不同應(yīng)用為目標(biāo)的兩個(gè)替代性多路復(fù)用。一般來說,節(jié)目流包括用于一個(gè)節(jié)目的數(shù)據(jù),而輸送流可包括用于一個(gè)或一個(gè)以上節(jié)目的數(shù)據(jù)。包封單元30可基于正提供的服務(wù)、所述流將被傳遞到其中的媒體、待發(fā)送的多個(gè)節(jié)目或其它考慮因素來編碼節(jié)目流或輸送流中的任一者或兩者。舉例來說,當(dāng)視頻數(shù)據(jù)將被編碼在存儲媒體中時(shí),包封單元30可能較有可能形成節(jié)目流,而當(dāng)視頻數(shù)據(jù)將經(jīng)由網(wǎng)絡(luò)串流、廣播或作為視頻電話的一部分被發(fā)送時(shí),包封單元30可能較有可能使用輸送流。包封單元30從音頻編碼器26和視頻編碼器28接收用于節(jié)目的基本流的PES包且從所述PES包中形成對應(yīng)的網(wǎng)絡(luò)抽象層(NAL)單元。在H.264/AVC(高級視頻譯碼)的實(shí)例中,經(jīng)譯碼視頻段被組織成NAL單元,其提供“網(wǎng)絡(luò)友好的”視頻表示尋址應(yīng)用,例如視頻電話、存儲、廣播或串流。NAL單元可被分類為視頻譯碼層(VCL) NAL單元和非VCL NAL單元。VCL單元含有核心壓縮引擎且可包含塊、宏塊和/或切片等級。其它NAL單元為非VCLNAL單元。在自身有效負(fù)載中包括視頻數(shù)據(jù)的NAL單元可包含各種粒度等級的視頻數(shù)據(jù)。舉例來說,NAL單元可包含視頻數(shù)據(jù)塊、宏塊、多個(gè)宏塊、視頻數(shù)據(jù)切片或整個(gè)視頻數(shù)據(jù)幀?!銇碚f,存取單元可包含用于表示視頻數(shù)據(jù)幀以及對應(yīng)于所述幀的音頻數(shù)據(jù)(當(dāng)此音頻數(shù)據(jù)為可用時(shí))的一個(gè)或一個(gè)以上NAL單元。存取單元大體上包括一個(gè)輸出時(shí)間實(shí)例的所有NAL單元,例如,一個(gè)時(shí)間實(shí)例的所有音頻和視頻數(shù)據(jù)。在對應(yīng)于H.264/AVC的實(shí)例中,存取單元可包含一個(gè)時(shí)間實(shí)例中的經(jīng)譯碼圖片,其可被呈現(xiàn)為主要經(jīng)譯碼圖片。因此,存取單元可包含共同時(shí)間實(shí)例的所有視頻幀,例如對應(yīng)于時(shí)間X的所有視圖分量。包封單元30可將NAL單元組合為遵照ISO基礎(chǔ)媒體文件格式或其衍生物(例如,SVC、AVC、MVC*3GPP)的視頻文件的軌道,且將所述視頻文件傳遞到輸出接口 32。舉例來說,輸出接口 32可包含發(fā)射器、收發(fā)器、用于將數(shù)據(jù)寫入到計(jì)算機(jī)可讀媒體的裝置(例如光盤驅(qū)動器、磁性媒體驅(qū)動器(例如,軟盤驅(qū)動器))、通用串行總線(USB)端口、網(wǎng)絡(luò)接口或其它輸出接口。輸出接口 32將NAL單元或存取單元輸出到計(jì)算機(jī)可讀媒體(例如,信道34),舉例來說,例如傳輸信號或載波等瞬態(tài)媒體或者例如磁性媒體、光學(xué)媒體、存儲器或快閃驅(qū)動器等計(jì)算機(jī)可讀存儲媒體。輸入接口 36從計(jì)算機(jī)可讀媒體(例如,信道34)檢索數(shù)據(jù)。舉例來說,輸入接口36可包含光盤驅(qū)動器、磁性媒體驅(qū)動器、USB端口、接收器、收發(fā)器或其它計(jì)算機(jī)可讀媒體接口。輸入接口 36可將NAL單元或存取單元提供到解包封單元38。解包封單元38可將輸送流或節(jié)目流多路分用為構(gòu)成PES流,解包化PES流以檢索經(jīng)編碼數(shù)據(jù),且將經(jīng)編碼數(shù)據(jù)發(fā)送到音頻解碼器46或視頻解碼器48,這取決于所述經(jīng)編碼數(shù)據(jù)是音頻流還是視頻流的一部分,例如由所述流的PES包標(biāo)頭指示。解包封單元38可最初選擇所接收的視頻文件中所包括的軌道中的一者,且接著僅將選定軌道的數(shù)據(jù)和由選定軌道的析取字提及的其它軌道的數(shù)據(jù)傳遞到視頻解碼器48,從而丟棄選定軌道的析取字未提及的其它軌道的數(shù)據(jù)。音頻解碼器46解碼經(jīng)編碼音頻數(shù)據(jù)且將經(jīng)解碼音頻數(shù)據(jù)發(fā)送到音頻輸出42,而視頻解碼器48解碼經(jīng)編碼視頻數(shù)據(jù)且將經(jīng)解碼視頻數(shù)據(jù)(其可包括流的多個(gè)視圖)發(fā)送到視頻輸出44。視頻輸出44可包含使用場景的多個(gè)視圖的顯示器,例如,同時(shí)呈現(xiàn)場景的每一視圖的立體或裸眼式立體顯示器。如同多數(shù)視頻譯碼標(biāo)準(zhǔn)一樣,H.264/AVC定義無錯誤位流的語法、語義和解碼過程,其中的任一者遵照某一簡檔或等級。H.264/AVC不指定編碼器,但編碼器的任務(wù)是保證所產(chǎn)生的位流對于解碼器來說為符合標(biāo)準(zhǔn)的。在視頻譯碼標(biāo)準(zhǔn)的上下文中,“簡檔”對應(yīng)于算法、特征或工具和施加到算法、特征或工具的約束的子集。如由H.264標(biāo)準(zhǔn)所定義,例如,“簡檔”為由H.264標(biāo)準(zhǔn)指定的整個(gè)位流語法的子集?!暗燃墶睂?yīng)于解碼器資源消耗的限制,例如與圖片的分辨率、位速率和宏塊(MB)處理速率有關(guān)的解碼器存儲器和計(jì)算。舉例來說,H.264標(biāo)準(zhǔn)認(rèn)識到,在由給定簡檔的語法強(qiáng)加的邊界內(nèi),仍有可能需要編碼器和解碼器的性能的大變化,此取決于位流中的語法元素所采取的值(例如,經(jīng)解碼圖片的指定大小)。H.264標(biāo)準(zhǔn)進(jìn)一步認(rèn)識到,在許多應(yīng)用中,實(shí)施能夠處理特定簡檔內(nèi)的語法的所有假設(shè)使用的解碼器既不實(shí)用也不經(jīng)濟(jì)。因此,H.264標(biāo)準(zhǔn)將“等級”定義為強(qiáng)加于位流中的語法元素的值的約束的指定集合。這些約束可為對各值的簡單限制。或者,這些約束可采取對各值的算術(shù)組合(例如,圖片寬度乘以圖片高度乘以每秒經(jīng)解碼的圖片的數(shù)目)的約束的形式。H.264標(biāo)準(zhǔn)進(jìn)一步提供,個(gè)別實(shí)施方案可針對每一所支持簡檔支持不同等級。遵照簡檔的解碼器通常支持所述簡檔中定義的所有特征。舉例來說,作為譯碼特征,B圖片譯碼在H.264/AVC的基線簡檔中未受到支持,但在H.264/AVC的其它簡檔中受到支持。遵照等級的解碼器應(yīng)能夠解碼不需要超出所述等級中定義的限制的資源的任何位流。簡檔和等級的定義可有助于可解譯性。舉例來說,在視頻發(fā)射期間,可針對整個(gè)發(fā)射會話來協(xié)商一對簡檔和等級定義并實(shí)現(xiàn)一致。更具體來說,在H.264/AVC中,等級可定義(例如)對以下各者的限制:需要加以處理的宏塊的數(shù)目、經(jīng)解碼圖片緩沖器(DPB)大小、經(jīng)譯碼圖片緩沖器(CPB)大小、垂直運(yùn)動向量范圍、每兩個(gè)連續(xù)MB的運(yùn)動向量的最大數(shù)目,以及B塊是否可具有少于8X8個(gè)像素的子宏塊分區(qū)。以此方式,解碼器可確定所述解碼器是否能夠適當(dāng)?shù)亟獯a所述位流。參數(shù)集大體上含有在序列參數(shù)集(SPS)中的序列層標(biāo)頭信息和在圖片參數(shù)集(PPS)中的偶爾改變的圖片層標(biāo)頭信息。就參數(shù)集而論,無需針對每一序列或圖片來重復(fù)此偶爾改變的信息;因此,可改進(jìn)譯碼效率。此外,參數(shù)集的使用可實(shí)現(xiàn)標(biāo)頭信息的帶外發(fā)射,從而避免為實(shí)現(xiàn)錯誤恢復(fù)而進(jìn)行冗余發(fā)射的需要。在帶外發(fā)射中,參數(shù)集NAL單元可在與其它NAL單元不同的信道上發(fā)射。
補(bǔ)充增強(qiáng)信息(SEI)消息可含有并非為解碼來自VCL NAL單元的經(jīng)譯碼圖片樣本所必需的信息。SEI消息可含于非VCL NAL單元中,如上文所描述。在一些實(shí)例中,SEI消息為標(biāo)準(zhǔn)規(guī)范(例如,H.264)的定標(biāo)準(zhǔn)部分,且對于符合標(biāo)準(zhǔn)的解碼器的實(shí)施方案來說并非總是必選的。在一些實(shí)例中,SEI消息可輔助與解碼、顯示、錯誤恢復(fù)和其它目的有關(guān)的過程。在一些實(shí)例中,SEI消息可為序列等級(例如,多個(gè)連續(xù)圖片/幀)消息。在其它實(shí)例中,SEI消息可特定針對于視頻數(shù)據(jù)的一個(gè)或一個(gè)以上圖片/幀。在H.264/AVC和其它視頻標(biāo)準(zhǔn)中,可能存在作為開放GOP的按解碼次序的第一圖片的經(jīng)幀內(nèi)譯碼圖片。開放GOP為其中按輸出次序的在初始幀內(nèi)圖片之前的圖片可能不可正確解碼的圖片群組。H.264/AVC解碼器可辨識開始開放GOP的幀內(nèi)圖片且開始解碼隨后圖片。應(yīng)注意,此幀內(nèi)圖片可與恢復(fù)點(diǎn)SEI相關(guān)聯(lián)。在一些實(shí)例中,開始開放GOP的幀在本文中稱為開放解碼刷新(ODR)幀。閉合GOP為其中所有圖片均可正確解碼的圖片群組。在
H.264/AVC中,閉合GOP可從IDR存取單元開始。圖2為說明包括圖片群組(G0P)210的視頻片段201的一個(gè)實(shí)例的概念圖。可將GOP描述為視頻序列的順序(按呈現(xiàn)次序)幀的分組。視頻片段可包括任何數(shù)目的與G0P210 類似的 GOP。圖2的實(shí)例描繪視頻片段201的一部分。視頻片段包括多個(gè)幀220A到220K。片段201可包含一個(gè)或一個(gè)以上圖片群組(GOP),例如G0P210??蓪⑺鲆粋€(gè)或一個(gè)以上G0P210描述為視頻表示的幀的分組。圖2中所說明的G0P210為閉合GOP的實(shí)例。也就是說,幀220B到2201中的每一者可在不參考在G0P210外部的幀(例如,幀220A、220J和220K)的情況下進(jìn)行解碼。如圖2中所示,幀220A在G0P210的幀220B到2201之前(按呈現(xiàn)次序)。幀220J到220K在G0P210的幀220B到2201之后(按呈現(xiàn)次序)。幀220A和220J到220K可為片段201的另一 GOP的一部分。幀220A到220K的呈現(xiàn)次序可不同于所述幀的解碼次序。舉例來說,GOP可包括1、B或P幀的任何組合。經(jīng)幀內(nèi)譯碼幀(I幀)為可獨(dú)立解碼的那些幀,意味著為了解碼I幀,解碼器不需要依賴于其它幀的內(nèi)容。在圖2的實(shí)例中,幀220A和2201為I幀的實(shí)例。P幀可在一個(gè)方向上相對于一個(gè)或一個(gè)以上幀進(jìn)行幀間譯碼。在圖2的實(shí)例中,幀220B、220C和220E為P幀的實(shí)例。B幀可在兩個(gè)方向上相對于一個(gè)或一個(gè)以上幀進(jìn)行幀間譯碼。在圖2的實(shí)例中,幀220D、220F、220G和220H為B幀的實(shí)例。如上文所論述,根據(jù)圖2的實(shí)例,幀220A到220K的解碼次序可不同于所述幀的呈現(xiàn)次序。舉例來說,當(dāng)解碼幀220B到2201時(shí),可首先解碼幀2201 (I幀)。如箭頭222E所指示,幀220E依賴于幀2201的內(nèi)容來被正確解碼。因而,可在解碼幀2201之后解碼幀220E。如箭頭222C指示,幀220C可依賴于幀220E的內(nèi)容來被正確解碼。如箭頭222G指示,幀220G可依賴于幀220E和幀2201兩者的內(nèi)容來被正確解碼。因而,在一些實(shí)例中,幀220C和220G的解碼可發(fā)生在解碼幀2201和220E之后。幀220B、220D、220F和220H各自分別依賴于幀220C、220E、220G和2201中的一者或一者以上的內(nèi)容,且因此可在幀220C、220E、220G和2201已經(jīng)被解碼之后解碼。如上文所描述,瞬時(shí)解碼刷新(IDR)存取點(diǎn)可被描述為閉合G0P(例如,圖2中的G0P210)的存取點(diǎn)。僅包括可在不依賴于GOP的外部的幀的內(nèi)容的情況下正確解碼的幀的GOP可被視為閉合G0P210。圖2描繪IDR存取點(diǎn)的兩個(gè)實(shí)例。如圖2實(shí)例中展示,幀220A不依賴于任何其它幀的內(nèi)容來可正確解碼,即,幀220A不包括指示對另一幀的依賴的任何箭頭。幀220A自身可被視為G0P,因?yàn)樵趲?20A之前沒有幀。因而,幀220A可被視為IDR存取點(diǎn),因?yàn)閹?20A為不依賴于在GOP (僅由幀220A組成)外部的任何幀的內(nèi)容來被正確解碼的GOP的存取點(diǎn)。幀2201也可被視為閉合G0P210的IDR存取點(diǎn)。如圖2實(shí)例中展示,幀2201為可在不依賴于G0P210的任何其它幀(例如,幀220B到220H)的內(nèi)容的情況下獨(dú)立解碼的I幀。雖然幀220B到220H中的每一者依賴于G0P210內(nèi)的其它幀的內(nèi)容來被正確解碼,如上文所描述,但幀220B到220H均不依賴于在G0P210的外部的任何幀的內(nèi)容。因而,G0P210可被視為包括IDR存取點(diǎn)(S卩,幀2201)的閉合G0P。圖3為說明包括包含開放解碼刷新(ODR)存取點(diǎn)的開放G0P310的視頻片段的至少一部分的一個(gè)實(shí)例的概念圖。類似于圖2的實(shí)例,幀320A為I幀和IDR存取點(diǎn)。也類似于圖2的實(shí)例,巾貞3201為對應(yīng)于隨機(jī)存取點(diǎn)的I巾貞。然而,圖3實(shí)例不同于圖2實(shí)例,在于G0P310的按顯示次序在I幀3201之前的幀依賴于幀320A的內(nèi)容以便為可正確解碼的。舉例來說,如方向箭頭指示,幀320B、320C和320E中的每一者直接依賴于幀320A的內(nèi)容。幀320D和320F到320H各自間接依賴于幀320A的內(nèi)容,因?yàn)楦髯灾辽俨糠忠蕾囉趲?20B、320C和320E中的一者或一者以上的內(nèi)容來被正確解碼。然而,如圖3中還描繪,按顯示次序在I幀3201之后的幀320J和320K可在不依賴于在I幀3201之前的任何幀的情況下被正確解碼。因此,I幀3201可用作ODR RAP。本發(fā)明針對于用于在串流視頻的上下文中改進(jìn)隨機(jī)存取功能性的技術(shù)。本發(fā)明的技術(shù)提供用于發(fā)信號通知ODR存取點(diǎn)和各種其它信息以用于開始HTTP串流、解碼和/或重放視頻呈現(xiàn)。舉例來說,客戶端裝置可從服務(wù)器裝置接收視頻表示的第一 GOP的ODR存取點(diǎn)的指示。第一 GOP的至少一個(gè)幀的編碼信息指示媒體分段的按解碼次序在ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼。媒體分段的按顯示次序在ODR RAP幀之后的每一幀可在不依賴于按顯示次序在ODR RAP之前的幀的內(nèi)容的情況下被正確解碼??蛻舳搜b置可向服務(wù)器裝置發(fā)送檢索以所指示的ODR RAP開始的媒體數(shù)據(jù)流的請求(例如,獲取或部分獲取請求)??蛻舳搜b置可接著在ODR RAP處開始解碼/重放媒體數(shù)據(jù)。明確地說,源裝置可發(fā)信號通知與視頻片段的ODR RAP的字節(jié)偏移。視頻片段可為可使用所述視頻片段所特有的統(tǒng)一資源定位符(URL)或統(tǒng)一資源名稱(URN)來獨(dú)立尋址。在一個(gè)實(shí)例中,通過發(fā)信號通知與視頻片段中的ODR RAP的字節(jié)偏移,客戶端裝置可構(gòu)造部分獲取請求,其包含在ODR RAP處開始且在視頻片段的末端處結(jié)束的字節(jié)范圍。作為另一實(shí)例,服務(wù)器裝置可接收經(jīng)編碼視頻幀序列。所述經(jīng)編碼視頻幀序列的分段文件包括至少一個(gè)ODR RAP。媒體分段的按解碼次序在ODR RAP幀之后的至少一個(gè)幀可能不被正確解碼。媒體分段的按顯示次序在ODR RAP幀之后的每一幀可在不依賴于按顯示次序在ODR RAP之前的幀的內(nèi)容的情況下被正確解碼。服務(wù)器裝置可產(chǎn)生ODR RAP的位置的指示。服務(wù)器裝置可將至少一個(gè)指示輸出到客戶端裝置(例如,在視頻文件、呈現(xiàn)或視頻呈現(xiàn)的片段的標(biāo)頭信息中)??蛻舳丝苫谒鲋辽僖粋€(gè)指示來請求視頻呈現(xiàn)的段或段的一部分的串流。作為另一實(shí)例,客戶端裝置可接收視頻片段或呈現(xiàn)的至少一個(gè)I幀的字節(jié)范圍的至少一個(gè)指示??蛻舳搜b置可基于所述指示來向服務(wù)器裝置發(fā)送檢索所述I幀的請求??蛻舳搜b置可使用所述至少一個(gè)所檢索的I幀來呈現(xiàn)視頻呈現(xiàn)或片段的包括所述I幀的高速版本。所述I幀可為或可不為IDR或ODR存取點(diǎn),如上文所描述??身憫?yīng)于客戶端接收針對快進(jìn)或倒退操作的用戶請求來呈現(xiàn)視頻呈現(xiàn)的高速版本。圖4為說明節(jié)目430的一個(gè)實(shí)例的框圖。節(jié)目430可為視頻(例如,電影、電視節(jié)目或其它移動圖片呈現(xiàn))的數(shù)字表示。節(jié)目430可存儲在一個(gè)或一個(gè)以上計(jì)算裝置上或可由一個(gè)或一個(gè)以上計(jì)算裝置存取,所述計(jì)算裝置經(jīng)配置以作為用于HTTP串流的服務(wù)器來操作。根據(jù)圖4的實(shí)例,節(jié)目430包括多個(gè)表示440A到440C以及媒體呈現(xiàn)描述(MPD) 432。所述多個(gè)表示440A到440C可包括多個(gè)電影片段442。所述多個(gè)片段442可按重放次序來布置且表示視頻的各種時(shí)間(即,在時(shí)間上)部分。雖然圖4中未描繪,但電影表示440A到440C的一個(gè)或一個(gè)以上片段442可布置為一個(gè)或一個(gè)以上電影段。段可包括一組連續(xù)電影片段,其可根據(jù)單個(gè)URL來請求。舉例來說,段可為小文件,其可含有視頻和音頻。作為另一實(shí)例,段可對應(yīng)于一個(gè)電影片段,其可自身含有單個(gè)視頻軌道片段和單個(gè)音頻軌道片段。作為又一實(shí)例,段可對應(yīng)于若干電影片段,其任一者可具有一個(gè)視頻片段和一個(gè)音頻片段,且電影片段可在解碼時(shí)間上連續(xù)。雖然圖4中未描繪,但所述用于根據(jù)HTTP串流發(fā)信號通知視頻重放的表示的信息的技術(shù)可適用于媒體節(jié)目的任何標(biāo)頭信息,例如分段文件(例如,電影表示、電影段、電影片段)的標(biāo)頭信肩、OMPD432可被視為節(jié)目430的標(biāo)頭信息。MPD432可包括描述一個(gè)或一個(gè)以上表示440A到440C的信息??蛻舳搜b置可檢索MPD432以便選擇表示440A到440C中的一者或一者以上的全部或一部分用于串流重放。表示440還可包括片段標(biāo)頭443。片段標(biāo)頭443可包括特定針對于表示440A到440C的特定片段442的信息。如同MPD432,片段標(biāo)頭443可為可由HTTP客戶端裝置存取,例如,以用于選擇一個(gè)或一個(gè)以上表示440A到440C的一個(gè)或一個(gè)以上片段442。表不的片段442可包括或可不包括IDR或ODR存取點(diǎn)。對于一些表不,片段442可僅包括單個(gè)IDR存取點(diǎn)。可在節(jié)目430的標(biāo)頭信息(例如,圖4的MPD432)中或在節(jié)目430的一個(gè)或一個(gè)以上片段442的標(biāo)頭信息443中發(fā)信號通知一個(gè)或一個(gè)以上IDR存取點(diǎn)。本發(fā)明的一個(gè)方面針對于在MPD432、片段標(biāo)頭443或節(jié)目430的其它標(biāo)頭信息中的一者或一者以上中發(fā)信號通知ODR存取點(diǎn)。因此,HTTP客戶端可被提供用于開始節(jié)目430的串流、解碼和/或重放的增大數(shù)目的時(shí)間選項(xiàng)。在一些實(shí)例中,電影可為兩個(gè)小時(shí)或更長。表示所述電影的節(jié)目430或表示可包括多個(gè)按時(shí)間布置(按重放時(shí)間次序)的電影片段,其可表示整個(gè)呈現(xiàn)的相對較短部分。舉例來說,每一電影片段可表示若干秒或?yàn)槿舾煞昼婇L。根據(jù)HTTP串流,客戶端裝置可請求在所述電影的特定時(shí)間點(diǎn)處重放分段文件。為了這樣做,客戶端裝置可向提供所述表示的服務(wù)器提交獲取或部分獲取請求。HTTP獲取請求可針對于特定URL或URN,以便檢索與URL或URN相關(guān)聯(lián)的整個(gè)文件。HTTP部分獲取也針對于URL或URN,但進(jìn)一步指定所述文件的字節(jié)范圍來檢索。
根據(jù)本發(fā)明的技術(shù),電影表示440的一些片段442可包括發(fā)信號通知特定片段是否包括IDR存取點(diǎn)的標(biāo)頭信息。在一些情況下,如果電影片段僅包括IDR作為電影片段的第一幀,那么客戶端裝置可不得不在視頻片段的開始或其它特定時(shí)間位置處開始重放。一些電影片段可不包括IDR存取點(diǎn),且僅包括一個(gè)或一個(gè)以上ODR存取點(diǎn)。在一些實(shí)例中,客戶端裝置可不能夠在視頻片段中的任何點(diǎn)處開始重放。視頻片段可表示若干秒或甚至數(shù)分鐘的視頻數(shù)據(jù)。因此,假如僅發(fā)信號通知IDR存取點(diǎn),那么客戶端可被提供用于開始重放的有限選項(xiàng)。舉例來說,可能需要用戶觀看視頻呈現(xiàn)的已經(jīng)觀看過的部分來返回到所述呈現(xiàn)的特定時(shí)間點(diǎn),例如,如果所述用戶停止重放且接著在后續(xù)觀看期間請求從特定時(shí)間位置恢復(fù)重放的話。作為另一實(shí)例,客戶端裝置可需要下載視頻呈現(xiàn)的比在用戶所請求的時(shí)間位置或客戶端裝置起始的時(shí)間位置(例如,其中客戶端裝置已請求節(jié)目的替代表示,例如其中帶寬條件已經(jīng)改變)處開始解碼/重放所需要的幀多的幀。此外,一些視頻片段可不包括IDR存取點(diǎn)。通過在分段文件、視頻表示或視頻片段的標(biāo)頭信息中發(fā)信號通知ODR存取點(diǎn),可改進(jìn)用于HTTP視頻串流的掃描和查找功能性。舉例來說,在用于HTTP串流的已知技術(shù)可僅在較小數(shù)目的片段和/或片段內(nèi)的位置處提供串流/解碼/重放開始的情況下,本發(fā)明的技術(shù)可提供用于重放的增大數(shù)目的隨機(jī)存取點(diǎn)。本發(fā)明的技術(shù)還可適用于包括大量GOP間解碼依賴性的視頻表示。本發(fā)明的其它方面提供用于發(fā)信號通知分段文件或呈現(xiàn)的I幀的字節(jié)范圍以用于電影表示的高速重放(例如,快進(jìn)、倒退)的目的。根據(jù)這些方面,可向客戶端裝置發(fā)信號通知電影呈現(xiàn)的一個(gè)或一個(gè)以上I幀的字節(jié)范圍,使得客戶端裝置可請求、接收和/或解碼電影表示的I巾貞以用于高速地顯示視頻表示(例如,通過僅顯示視頻表示的I巾貞或可用I幀的子集)的目的。本發(fā)明的技術(shù)可應(yīng)用于遵照ISO基礎(chǔ)媒體文件格式、可縮放視頻譯碼(SVC)文件格式、高級視頻譯碼(AVC)文件格式、第三代合作伙伴計(jì)劃(3GPP)文件格式和/或多視圖視頻譯碼(MVC)文件格式中的任一者的視頻文件。所述ISO基礎(chǔ)媒體文件格式經(jīng)設(shè)計(jì)以含有呈靈活、可擴(kuò)展的格式的用于呈現(xiàn)的時(shí)控媒體信息,所述靈活、可擴(kuò)展的格式促進(jìn)媒體的互換、管理、編輯和呈現(xiàn)。ISO基礎(chǔ)媒體文件格式(IS0/IEC14496-12:2004)在MPEG-4第12部分中指定,MPEG-4第12部分定義基于時(shí)間的媒體文件的一般結(jié)構(gòu)。ISO基本媒體文件格式用作所述系列中的例如以下各項(xiàng)的其它文件格式的基礎(chǔ):經(jīng)定義以支持H.264/MPEG-4AVC視頻壓縮的AVC文件格式(IS0/IEC14496-15)、3GPP文件格式、SVC文件格式和MVC文件格式。3GPP文件格式和MVC文件格式為AVC文件格式的擴(kuò)展。ISO基礎(chǔ)媒體文件格式含有用于媒體數(shù)據(jù)的時(shí)控序列(例如,音頻視覺表示)的時(shí)序、結(jié)構(gòu)和媒體信息。所述文件結(jié)構(gòu)可為面向?qū)ο蟮???蓸O其簡單地將文件分解成基本對象,且對象的結(jié)構(gòu)由其類型暗示。遵照ISO基礎(chǔ)媒體文件格式的文件被形成為一連串對象,稱作“盒”。呈ISO基礎(chǔ)媒體文件格式的數(shù)據(jù)含于盒中,且所述文件內(nèi)沒有其它數(shù)據(jù)。此包括特定文件格式所需的任何初始簽名?!昂小睘橥ㄟ^唯一類型識別符和長度定義的面向?qū)ο蟮臉?gòu)建塊。通常,呈現(xiàn)含于一個(gè)文件中,且媒體呈現(xiàn)為自含式的。電影容器(電影盒)含有媒體的元數(shù)據(jù),且視頻和音頻幀含于媒體數(shù)據(jù)容器中且可在其它文件中。
呈現(xiàn)(運(yùn)動序列)可含于若干文件中。時(shí)序和成幀(位置和大小)信息可包括在遵照ISO基礎(chǔ)媒體文件格式的文件中,而輔助文件可基本上使用任何格式。此呈現(xiàn)可在含有所述呈現(xiàn)的系統(tǒng)的“本地”,或可經(jīng)由網(wǎng)絡(luò)或其它流傳遞機(jī)制來提供。所述文件可具有邏輯結(jié)構(gòu)、時(shí)間結(jié)構(gòu)和物理結(jié)構(gòu),且這些結(jié)構(gòu)不需要耦合。文件的邏輯結(jié)構(gòu)可為電影的,所述電影又含有一組時(shí)間并行的軌道。文件的時(shí)間結(jié)構(gòu)可使得軌道含有按時(shí)間的樣本的序列,且那些序列通過任選的編輯列表而映射到整個(gè)電影的時(shí)間線中。文件的物理結(jié)構(gòu)可將邏輯、時(shí)間和結(jié)構(gòu)分解所需的數(shù)據(jù)與媒體數(shù)據(jù)樣本自身分開。此結(jié)構(gòu)信息可集中于電影盒中,可能在時(shí)間上由電影片段盒擴(kuò)展。所述電影盒可評注樣本的邏輯和時(shí)序關(guān)系,且還可含有到其所處位置的指針。那些指針可指向同一文件或另一文件(例如,通過URL參考)。每一媒體流可含于專門用于那個(gè)媒體類型(音頻、視頻等)的軌道中,且可進(jìn)一步通過樣本條目來參數(shù)化。所述樣本條目可含有確切媒體類型(解碼所述流所需的解碼器的類型)的“名稱”和那個(gè)所需解碼器的任何參數(shù)化。所述名稱還可采取四字符碼(例如,“moov”或“trak”)的形式。存在不僅用于MPEG-4媒體而且用于使用此文件格式系列的其它組織所使用的媒體類型的經(jīng)定義的樣本條目格式。對元數(shù)據(jù)的支持大體上采取兩種形式。首先,可將時(shí)控元數(shù)據(jù)存儲于適當(dāng)軌道中,在需要時(shí)與其所描述的媒體數(shù)據(jù)同步。其次,可存在對附接到電影或個(gè)別軌道的非時(shí)控元數(shù)據(jù)的一般支持。結(jié)構(gòu)支持為一般的,且如在媒體數(shù)據(jù)中,允許元數(shù)據(jù)資源存儲于所述文件中的別處或存儲于另一文件中。另外,可為這些資源指定名稱且可保護(hù)這些資源。如上文所論述,ISO基礎(chǔ)媒體文件格式擴(kuò)展的一個(gè)實(shí)例為AVC文件形式。根據(jù)AVC文件格式創(chuàng)建的分段文件可包括作為參數(shù)集的NAL單元,所述參數(shù)集包括序列參數(shù)集(SPS)和圖片參數(shù)集(PPS)。參數(shù)集可與視頻的基本流相關(guān)聯(lián),所述基本流可包括在一個(gè)或一個(gè)以上視頻軌道中。在一些實(shí)例中,參數(shù)集可在與視頻的基本流不同的軌道(參數(shù)集軌道)中。參數(shù)集軌道可為含有作為SPS和/或PPS NAL單元的樣本的參數(shù)集基本流。SPS和PPS NAL單元可包括一個(gè)或一個(gè)以上SEI消息,所述SEI消息包括不為解碼來自VCL NAL單元的經(jīng)譯碼圖片樣本所必要的信息。包括SEI消息的NAL單元的位置不受限制,只要任何SEI消息存在于解碼時(shí)間在使用所述SEI消息的任何圖片之前的樣本中。如上文還論述,ISO文件格式擴(kuò)展的其它實(shí)例包括SVC和MVC文件格式。SVC和MVC還可被視為上文所描述的AVC文件格式的擴(kuò)展。根據(jù)SVC和MVC格式,視頻的多個(gè)層/視圖可包含在單個(gè)視頻軌道或多個(gè)視頻軌道中。SVC和MVC文件格式規(guī)范可提供使得能夠在以各種組織呈現(xiàn)層/視圖時(shí)構(gòu)造操作點(diǎn)的工具。漸進(jìn)式下載是用以描述通常使用HTTP協(xié)議的數(shù)字媒體分段從服務(wù)器到客戶端的傳送的術(shù)語。當(dāng)由計(jì)算機(jī)起始時(shí),消費(fèi)者可在下載完成之前開始媒體的重放。串流媒體與漸進(jìn)式下載之間的差別在于,正存取數(shù)字媒體的最終用戶裝置如何接收并存儲數(shù)字媒體數(shù)據(jù)。能夠進(jìn)行漸進(jìn)式下載重放的媒體播放器依賴于位于文件的標(biāo)頭中的元數(shù)據(jù)為完整的以及在從網(wǎng)絡(luò)服務(wù)器下載數(shù)字媒體文件時(shí)對其進(jìn)行本地緩沖。在指定量的數(shù)據(jù)變得可為本地重放裝置所用時(shí),所述媒體將開始播放。此指定量的緩沖可由編碼器設(shè)定中的內(nèi)容的制作者嵌入到文件中,且可通過媒體播放器所強(qiáng)加的額外緩沖器設(shè)定來加強(qiáng)。使用HTTP進(jìn)行視頻串流具有一些優(yōu)點(diǎn),且基于HTTP的視頻串流服務(wù)正變得風(fēng)行。HTTP串流的一些優(yōu)點(diǎn)包括可使用現(xiàn)有因特網(wǎng)組件和協(xié)議,使得不需要做出新的努力來開發(fā)用于經(jīng)由網(wǎng)絡(luò)輸送視頻數(shù)據(jù)的新技術(shù)。其它輸送協(xié)議(例如,RTP有效負(fù)載格式)需要中間網(wǎng)絡(luò)裝置(例如,中間盒)知曉媒體格式和信令上下文。而且,HTTP串流可為客戶端驅(qū)動的,這避免許多控制問題。舉例來說,為了利用所有特征來獲得最佳性能,服務(wù)器可跟蹤尚未得到應(yīng)答的包的大小和內(nèi)容。服務(wù)器還可分析文件結(jié)構(gòu)并重構(gòu)客戶端緩沖器的狀態(tài)以做出RD最佳切換/精簡決策。另外,可滿足對位流變化的約束以便遵從所協(xié)商的簡檔。HTTP在實(shí)施HTTP1.1的網(wǎng)絡(luò)服務(wù)器處可能不需要新的硬件或軟件實(shí)施方案。HTTP串流還可提供TCP友好性和防火墻穿越。本發(fā)明的技術(shù)可改進(jìn)視頻數(shù)據(jù)的HTTP串流以克服與帶寬有關(guān)的問題,例如通過提供位速率調(diào)適。視頻壓縮標(biāo)準(zhǔn)(例如,ITU-TH.261、H.262、H.263、MPEG-U MPEG-2 和 H.264/MPEG-4第10部分)利用運(yùn)動補(bǔ)償時(shí)間預(yù)測來減少時(shí)間冗余。編碼器使用來自一些先前經(jīng)編碼圖片(本文中還稱作幀)的運(yùn)動補(bǔ)償預(yù)測以根據(jù)運(yùn)動向量來預(yù)測當(dāng)前經(jīng)譯碼圖片。在典型視頻譯碼中,存在三種主要圖片類型。所述三種主要圖片類型為經(jīng)幀內(nèi)譯碼圖片(“I圖片”或“I幀”)、預(yù)測圖片(“P圖片”或“P幀”)和雙向預(yù)測圖片(“B圖片”或“B幀”)。P圖片的塊可經(jīng)幀內(nèi)譯碼或參考一個(gè)其它圖片來預(yù)測。在B圖片中,塊可從一個(gè)或兩個(gè)參考圖片來預(yù)測,或可經(jīng)幀內(nèi)譯碼。這些參考圖片可在時(shí)間次序上位于當(dāng)前圖片之前或之后。3GPP文件格式(3GPP)為ISO媒體基礎(chǔ)文件格式的擴(kuò)展的另一實(shí)例。3GPP為由第三代合作伙伴計(jì)劃(3GPP)針對3G UMTS多媒體服務(wù)界定的多媒體容器格式。其通常在3G移動電話和其它具有3G功能的裝置上使用,但還可在一些2G和4G電話和各種其它裝置上起作用。3GPP文件格式是基于ISO基礎(chǔ)媒體文件格式。最近的3GP在3GPP TS26.244 “透明的端到端包交換串流服務(wù)(PSS) ;3GPP文件格式(3GP) (Transparent end-to-end packetswitched streaming service (PSS) ; 3GPP file format (3GP)) ”中指定。3GPP 文件格式如同MPEG-4第2部分或H.263或MPEG-4第10部分(AVC/H.264)存儲視頻流。3GPP允許以ISO基礎(chǔ)媒體文件格式(MPEG-4第12部分)使用AMR和H.263編解碼器,因?yàn)?GPP指定在ISO基礎(chǔ)媒體文件格式中使用樣本條目和模板字段以及界定編解碼器所參考的新盒。對于以3GP文件存儲MPEG-4媒體特定信息,3GP規(guī)范參考MP4和AVC文件格式,所述MP4和AVC文件格式也基于ISO基礎(chǔ)媒體文件格式。MP4和AVC文件格式規(guī)范描述以ISO基礎(chǔ)媒體文件格式使用MPEG-4內(nèi)容。3GPP文件格式可支持HTTP串流。在一些實(shí)例中,3GPP文件格式可包括媒體呈現(xiàn)描述MPD (例如,如圖4中所說明的MPD432)。MPD可包括不同替代表示(例如,具有不同質(zhì)量的視頻服務(wù))的描述,且所述描述可包括(例如)代碼、簡檔和等級信息。MH)可不為包括視頻數(shù)據(jù)的3GPP文件的一部分。圖5為描繪用于視頻節(jié)目的表示540 (例如,以上圖4中說明的表示440A到440C中的一者)的一個(gè)實(shí)例的框圖。圖5的實(shí)例描繪根據(jù)3GPP文件格式的表示540。僅出于解釋本發(fā)明的技術(shù)的目的來提供圖5的表示540,且其既定為非限制性的。本發(fā)明的技術(shù)可應(yīng)用于視頻數(shù)據(jù)的任何數(shù)字表示,而不管本文中是否明確地提及。如圖5中展示,表示540包括電影盒(mooV) 544、段索引盒(sidx) 570和一個(gè)或一個(gè)以上電影片段(moof)546。為了易于說明,在圖5實(shí)例中僅描繪一個(gè)電影片段546。典型的電影表不540可包括多個(gè)電影片段546,如圖4中描繪。
電影盒544可包括特定針對于表示540的各種信息。舉例來說,電影盒544可指示例如用于串流所述電影表示的所要位速率等信息。電影盒544可代替地或另外地包括特定針對于片段546的信息的一個(gè)或一個(gè)以上指示。舉例來說,電影盒544可包括指示表示中所含有的多個(gè)片段546的信息、對應(yīng)于一個(gè)或一個(gè)以上片段546的開始和/或結(jié)束的重放時(shí)間和/或表不540的片段546的位范圍的一個(gè)或一個(gè)以上指不。表示540可進(jìn)一步包括一個(gè)或一個(gè)以上段索引盒570。段索引盒570可在表示540的一個(gè)或一個(gè)以上片段546之前。在一些實(shí)例中,段索引盒570可在表示540的每一片段546之前(例如,見圖4)。在其它實(shí)例中,段索引盒570可在表示的每一片段之前,其中多個(gè)片段被布置為一個(gè)電影段。段索引盒570可經(jīng)配置以發(fā)信號通知與用于片段546的隨機(jī)存取功能性相關(guān)的信息。舉例來說,根據(jù)已知實(shí)施方案,段索引盒570可指示片段546的IDR存取點(diǎn)。段索引盒570可進(jìn)一步指示包括IDR存取點(diǎn)的片段(參考片段)的字節(jié)偏移(參考偏移)。段索引盒570可進(jìn)一步指示參考片段的第一樣本的時(shí)序信息(參考增量時(shí)間)。段索引盒可進(jìn)一步指示當(dāng)前電影片段(例如,在段索引盒570之后的片段)是否包括隨機(jī)存取點(diǎn)(含有RAP)。段索引盒570可進(jìn)一步指示電影片段546的第一樣本與電影片段546的第一隨機(jī)存取點(diǎn)之間的時(shí)序差異。以下偽碼為根據(jù)一些技術(shù)的可用以實(shí)施段索引盒570的代碼的一個(gè)實(shí)例。以下偽碼描述可用于段索引盒數(shù)據(jù)結(jié)構(gòu)的一些變量。這些變量大體上對應(yīng)于上文所描述的類似命名的變量。aligned(8) class SegmentlndexBox extends FuliBoxCsidx1, version, 0) { unsigned int(32) reference_track_ID: unsigned int( 16) track_count; unsigned int( 16) reference—count; for (i=l; i<= track count; i++)
{
unsigned int(32) track—ID; if (version==0)
unsigned int(32) decode time;
} else {
unsigned int(64) decode_time;
}
}
for(i=l; i <= reference—count; i++)
{
bit ( I)reference_type;
unsigned int(3 I) reference_offset.; unsigned int(32) relerence_delta_time; bit(l)c o nta i n srap;
unsigned im(31) RAP_deita_time;
}
}電影表示540的段索引盒570的一些實(shí)施方案可遭受各種缺點(diǎn)。舉例來說,段索引盒570的一些實(shí)施方案僅經(jīng)配置以發(fā)信號通知用于視頻片段546的IDR存取點(diǎn)。此外,在一些情況下,電影片段546可以作為IDR隨機(jī)存取點(diǎn)的幀來開始。在這些情況下,段索引盒570的實(shí)施方案不發(fā)信號通知第一幀為IDR存取點(diǎn)。而是,仍發(fā)信號通知片段的第一樣本與信號的第一隨機(jī)存取點(diǎn)之間的差的時(shí)序信息(例如,參考增量時(shí)間)。這可為不合需要的,因?yàn)槎嗡饕?70可能在一些情況下遞送不需要的信息。段索引盒570的一些實(shí)施方案可進(jìn)一步為不合需要的,因?yàn)橄鄬τ陔娪捌蔚拈_始(第一幀)來呈現(xiàn)IDR RAP的信號字節(jié)偏移。因而,在一些情況下,片段546的所有幀可需要由客戶端裝置下載,即使在IDR RAP出現(xiàn)在視頻片段546的第一幀之后的某時(shí)間處的情況下也是如此,但在IDR RAP 之前的樣本可不進(jìn)行解碼用于重放,因此浪費(fèi)了網(wǎng)絡(luò)連接的有價(jià)值的帶寬。
本發(fā)明針對于經(jīng)改進(jìn)的用于發(fā)信號通知視頻呈現(xiàn)(例如,視頻表示的視頻片段)的ODR RAP和/或與用于視頻表示的掃描和/或查找功能性相關(guān)的其它信息的技術(shù)。本發(fā)明進(jìn)一步針對于發(fā)信號通知視頻片段或視頻表示的I幀的字節(jié)范圍。發(fā)信號通知的字節(jié)范圍可由客戶端裝置使用來請求一個(gè)或一個(gè)以上發(fā)信號通知的I幀以便提供視頻呈現(xiàn)的高速版本以用于快進(jìn)或倒退操作的目的。出于解釋的目的,將本發(fā)明的技術(shù)描述為其應(yīng)用于根據(jù)3GPP文件格式的視頻表示的段索引盒570。所屬領(lǐng)域的技術(shù)人員將認(rèn)識到,本發(fā)明的技術(shù)適用于用于重放的移動圖片的數(shù)字表示的任何其它格式。此外,按照在特定針對于分段文件的一個(gè)或一個(gè)以上片段的標(biāo)頭信息中發(fā)信號通知ODR存取點(diǎn)、其它信息和/或I幀的字節(jié)范圍來描述本發(fā)明的技術(shù)。所屬領(lǐng)域的技術(shù)人員將認(rèn)識到,如本文中所描述的標(biāo)頭信息可在分段文件的其它等級處(例如在大體針對整個(gè)電影表示的MH)文件(分段文件等級)中、在特定針對于特定表示的標(biāo)頭信息中或在特定針對于電影表示的特定段的標(biāo)頭信息中)發(fā)信號通知ODR存取點(diǎn)、I幀字節(jié)范圍或其它信息。圖6為說明符合本發(fā)明的技術(shù)的可通過電影呈現(xiàn)(例如,圖5中說明的呈現(xiàn)540)的段索引盒670發(fā)信號通知的各種信息的框圖。段索引盒670可為經(jīng)配置以存儲與一個(gè)或一個(gè)以上分段文件相關(guān)的信息的數(shù)據(jù)結(jié)構(gòu)。在一些實(shí)例中,段索引盒670可包括圖6中所說明的信息的子集,或可包括圖6中說明的所有信息。下文呈現(xiàn)符合本發(fā)明的技術(shù)的可用以實(shí)施段索引盒670的偽碼的一個(gè)實(shí)例: aligned!8) class SegmentlndexBox extends FuliBoxCsidx', version, 0) {unsigned int(32) reference track ID;
權(quán)利要求
1.一種方法,其包含:在客戶端裝置處從服務(wù)器裝置接收表示經(jīng)配置以按第一重放速度顯示的視頻呈現(xiàn)的媒體分段內(nèi)的至少一個(gè)字節(jié)范圍的指示,其中至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi);由所述客戶端裝置向所述服務(wù)器裝置發(fā)送檢索所述至少一個(gè)字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求;以及使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來按高于所述第一重放速度的第二重放速度呈現(xiàn)所述視頻表示的包括所述至少一個(gè)I幀的高速版本。
2.根據(jù)權(quán)利要求1所述的方法,其中所述檢索媒體數(shù)據(jù)的請求包含僅檢索出現(xiàn)在所述媒體分段內(nèi)的所述至少一個(gè)字節(jié)范圍內(nèi)的I幀的請求。
3.根據(jù)權(quán)利要求1所述的方法,其中使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來呈現(xiàn)視頻呈現(xiàn)的包括所述至少一個(gè)I幀的高速版本包含:連續(xù)呈現(xiàn)所述所檢索的媒體數(shù)據(jù)的兩個(gè)或兩個(gè)以上I幀,其中所述兩個(gè)或兩個(gè)以上I幀在時(shí)間上由至少一個(gè)經(jīng)幀間譯碼幀分開。
4.根據(jù)權(quán)利要求1所述的方法,其中使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來呈現(xiàn)視頻呈現(xiàn)的包括所述至少一個(gè)I幀的高速版本包含呈現(xiàn)所述視頻呈現(xiàn)的快進(jìn)或快退版本。
5.根據(jù)權(quán)利要求1所述的方法,其中接收所述至少一個(gè)字節(jié)范圍的所述指示包含接收從所述媒體分段的第一字節(jié)到所述媒體分段的第一I幀的最后字節(jié)的字節(jié)范圍的指示。
6.根據(jù)權(quán)利要求1所述的方法,其中接收所述至少一個(gè)字節(jié)范圍的所述指示包括接收最大字節(jié)偏移,其中所述最大字節(jié)偏移指示多個(gè)媒體分段包括至少一個(gè)I幀所在的字節(jié)范圍。
7.根據(jù)權(quán)利要求1所述的方法,其中所述請求為檢索所述媒體分段內(nèi)的由所述至少一個(gè)字節(jié)范圍指示的流的包括字節(jié)范圍的指示的超文本傳送協(xié)議HTTP獲取請求。
8.一種裝置,其包含:用于在客戶端裝置處從服務(wù)器裝置接收表示經(jīng)配置以按第一重放速度顯示的視頻呈現(xiàn)的媒體分段內(nèi)的至少一個(gè)字節(jié)范圍的指示的裝置,其中至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi);用于由所述客戶端裝置向所述服務(wù)器裝置發(fā)送檢索所述至少一個(gè)字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求的裝置;以及用于使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來按高于所述第一重放速度的第二重放速度呈現(xiàn)所述視頻表示的包括所述至少一個(gè)I幀的高速版本的裝置。
9.根據(jù)權(quán)利要求8所述的裝置,其中所述檢索媒體數(shù)據(jù)的請求包含僅檢索出現(xiàn)在所述媒體分段內(nèi)的所述至少一個(gè)字節(jié)范圍內(nèi)的I幀的請求。
10.根據(jù)權(quán)利要求8所述的裝置,其中所述用于使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來呈現(xiàn)視頻呈現(xiàn)的高速版本的裝置連續(xù)呈現(xiàn)所述所檢索的媒體數(shù)據(jù)的兩個(gè)或兩個(gè)以上I幀,其中所述兩個(gè)或兩個(gè)以上I幀在時(shí)間上由至少一個(gè)經(jīng)幀間譯碼幀分開。
11.根據(jù)權(quán)利要求8所述的裝置,其中所述用于使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來呈現(xiàn)視頻呈現(xiàn)的高速版本的裝置呈現(xiàn)所述視頻呈現(xiàn)的快進(jìn)或快退版本。
12.根據(jù)權(quán)利要求8所述的裝置,其中所述用于接收所述至少一個(gè)字節(jié)范圍的所述指示的裝置接收從所述媒體分段的第一字節(jié)到所述媒體分段的第一I幀的最后字節(jié)的字節(jié)范圍的指示。
13.根據(jù)權(quán)利要求8所述的裝置,其中所述用于接收所述至少一個(gè)字節(jié)范圍的所述指示的裝置接收最大字節(jié)偏移,其中所述最大字節(jié)偏移指示多個(gè)媒體分段包括至少一個(gè)I幀所在的字節(jié)范圍。
14.根據(jù)權(quán)利要求8所述的裝置,其中所述請求為檢索所述媒體分段內(nèi)的由所述至少一個(gè)字節(jié)范圍指示的流的包括字節(jié)范圍的指示的超文本傳送協(xié)議HTTP獲取請求。
15.一種計(jì)算機(jī)可讀存儲媒體,其存儲經(jīng)配置以致使計(jì)算裝置進(jìn)行以下操作的指令:在客戶端裝置處從服務(wù)器裝置接收表示經(jīng)配置以按第一重放速度顯示的視頻呈現(xiàn)的媒體分段內(nèi)的至少一個(gè)字節(jié)范圍的指示,其中至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi);由所述客戶端裝置向所述服務(wù)器裝置發(fā)送檢索所述至少一個(gè)字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求;以及使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來按高于所述第一重放速度的第二重放速度呈現(xiàn)所述視頻表示的包括所述至少一個(gè)I幀的高速版本。
16.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)可讀存儲媒體,其中所述指令致使所述計(jì)算裝置:請求僅檢索出現(xiàn)在所述媒體分段內(nèi)的所述至少一個(gè)字節(jié)范圍內(nèi)的I幀。
17.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)可讀存儲媒體,其中所述指令致使所述計(jì)算裝置:通過連續(xù)呈現(xiàn)所述所檢索的媒體數(shù)據(jù)的兩個(gè)或兩個(gè)以上I幀來呈現(xiàn)視頻呈現(xiàn)的包括所述至少一個(gè)I幀的高速版本,其中所述兩個(gè)或兩個(gè)以上I幀在時(shí)間上由至少一個(gè)經(jīng)幀間譯碼幀分開。
18.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)可讀存儲媒體,其中所述指令致使所述計(jì)算裝置:使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來呈現(xiàn)所述視頻呈現(xiàn)的快進(jìn)或快退版本。
19.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)可讀存儲媒體,其中所述至少一個(gè)字節(jié)范圍的所述指示包含從所述媒體分段的第一字節(jié)到所述媒體分段的第一I幀的最后字節(jié)的字節(jié)范圍的指示。
20.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)可讀存儲媒體,其中所述至少一個(gè)字節(jié)范圍的所述指示包含最大字節(jié)偏移,其中所述最大字節(jié)偏移指示多個(gè)媒體分段包括至少一個(gè)I幀所在的字節(jié)范圍。
21.根據(jù)權(quán)利要求14所述的計(jì)算機(jī)可讀存儲媒體,其中所述請求為檢索所述媒體分段內(nèi)的由所述至少一個(gè)字節(jié)范圍指示的流的包括字節(jié)范圍的指示的超文本傳送協(xié)議HTTP獲取請求。
22.—種裝置,其包含:至少一個(gè)處理器,其經(jīng)配置以:接收表示經(jīng)配置以按第一重放速度顯示的視頻呈現(xiàn)的媒體分段內(nèi)的至少一個(gè)字節(jié)范圍的指示,其中至少一個(gè)經(jīng)幀內(nèi)譯碼幀(I幀)出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi); 向所述服務(wù)器裝置發(fā)送檢索所述至少一個(gè)字節(jié)范圍內(nèi)的媒體數(shù)據(jù)的請求;以及 使用所述至少一個(gè)字節(jié)范圍內(nèi)的所述所檢索的媒體數(shù)據(jù)來按高于所述第一重放速度的第二重放速度呈現(xiàn)所述視頻表示的包括所述至少一個(gè)I幀的高速版本。
23.根據(jù)權(quán)利要求22所述的裝置,其中所述檢索媒體數(shù)據(jù)的請求包含僅檢索出現(xiàn)在所述媒體分段內(nèi)的所述至少一個(gè)字節(jié)范圍內(nèi)的I幀的請求。
24.根據(jù)權(quán)利要求22所述的裝置,其中所述至少一個(gè)處理器經(jīng)配置以使用所述至少一個(gè)所接收的I幀來通過連續(xù)呈現(xiàn)所述所檢索的媒體數(shù)據(jù)的兩個(gè)或兩個(gè)以上I幀來呈現(xiàn)視頻呈現(xiàn)的包括所述至少一個(gè)I幀的高速版本,其中所述兩個(gè)或兩個(gè)以上I幀在時(shí)間上由至少一個(gè)經(jīng)幀間譯碼幀分開。
25.根據(jù)權(quán)利要求22所述的裝置,其中所述至少一個(gè)處理器經(jīng)配置以使用所述至少一個(gè)所接收的I幀來呈現(xiàn)所述視頻表示的快進(jìn)或倒退版本。
26.根據(jù)權(quán)利要求22所述的裝置,其中所述至少一個(gè)字節(jié)范圍的所述指示包含從所述媒體分段的第一字節(jié)到所述媒體分段的第一I幀的最后字節(jié)的字節(jié)范圍的指示。
27.根據(jù)權(quán)利要求22所述的裝置,其中所述至少一個(gè)字節(jié)范圍的所述指示包含最大字節(jié)偏移,其中所述最大字節(jié)偏移指示多個(gè)媒體分段包括至少一個(gè)I幀所在的字節(jié)范圍。
28.根據(jù)權(quán)利要求22所述的裝置,其中所述請求為檢索所述媒體分段內(nèi)的由所述至少一個(gè)字節(jié)范圍指示的流的包括字節(jié)范圍的指示的超文本傳送協(xié)議HTTP獲取請求。
29.—種方法,其包含: 接收包含至少一個(gè)經(jīng)幀間譯碼幀(I幀)的經(jīng)編碼視頻幀序列; 產(chǎn)生所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的指示,其中至少一個(gè)I幀出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi);以及 輸出所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示。
30.根據(jù)權(quán)利要求29所述的方法,其進(jìn)一步包含: 接收檢索所述經(jīng)編碼視頻幀序列的由所述字節(jié)范圍指示的一部分的請求;以及 響應(yīng)于所述請求而輸出所述經(jīng)編碼視頻幀序列的由所述字節(jié)范圍指示的所述部分。
31.根據(jù)權(quán)利要求30所述的方法,其中所述請求包含檢索所述經(jīng)編碼視頻幀序列內(nèi)的所述字節(jié)范圍的幀的包括所述字節(jié)范圍的指示的超文本傳送協(xié)議HTTP獲取請求。
32.根據(jù)權(quán)利要求29所述的方法,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示指示所述經(jīng)編碼視頻巾貞序列的僅一個(gè)或一個(gè)以上I巾貞的字節(jié)范圍。
33.根據(jù)權(quán)利要求32所述的方法,其進(jìn)一步包含: 接收檢索所述經(jīng)編碼視頻幀序列的由所述字節(jié)范圍指示的一部分的請求;以及響應(yīng)于所述請求而輸出所述經(jīng)編碼視頻幀序列的由所述字節(jié)范圍指示的僅所述一個(gè)或一個(gè)以上I幀。
34.根據(jù)權(quán)利要求29所述的方法,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示包含從媒體分段的第一字節(jié)到所述媒體分段的第一I幀的最后字節(jié)的字節(jié)范圍。
35.根據(jù)權(quán)利要求29所述的方法,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示包含最大字節(jié)偏移,其中所述最大字節(jié)偏移指示多個(gè)媒體分段包括至少一個(gè)I幀所在的字節(jié)范圍。
36.一種裝置,其包含: 用于接收包含至少一個(gè)經(jīng)幀間譯碼幀(I幀)的經(jīng)編碼視頻幀序列的裝置; 用于產(chǎn)生所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的指示的裝置,其中至少一個(gè)I幀出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi);以及 用于輸出所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示的裝置。
37.根據(jù)權(quán)利要求36所述的裝置,其進(jìn)一步包含: 用于接收檢索所述經(jīng)編碼視頻幀序列的由所述字節(jié)范圍指示的一部分的請求的裝置;以及 用于響應(yīng)于所述請求而輸出所述經(jīng)編碼視頻幀序列的由所述字節(jié)范圍指示的所述部分的裝置。
38.根據(jù)權(quán)利要求37所述的裝置,其中所述請求包含檢索所述經(jīng)編碼視頻幀序列內(nèi)的所述字節(jié)范圍的幀的包括所述字節(jié)范圍的指示的超文本傳送協(xié)議HTTP獲取請求。
39.根據(jù)權(quán)利要求36所述的裝置,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示指示所述經(jīng)編碼視頻巾貞序列的僅一個(gè)或一個(gè)以上I巾貞的字節(jié)范圍。
40.根據(jù)權(quán)利要求39所述的裝置,其進(jìn)一步包含: 用于接收檢索所述經(jīng)編碼視頻幀序列的由所述字節(jié)范圍指示的一部分的請求的裝置; 以及 用于響應(yīng)于所述請求而輸出所述經(jīng)編碼視頻幀序列的由所述字節(jié)范圍指示的僅所述一個(gè)或一個(gè)以上I幀的裝置。
41.根據(jù)權(quán)利要求39所述的裝置,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示包含從媒體分段的第一字節(jié)到所述媒體分段的第一I幀的最后字節(jié)的字節(jié)范圍。
42.根據(jù)權(quán)利要求39所述的裝置,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示包含最大字節(jié)偏移,其中所述最大字節(jié)偏移指示多個(gè)媒體分段包括至少一個(gè)I幀所在的字節(jié)范圍。
43.一種計(jì)算機(jī)可讀存儲媒體,其存儲經(jīng)配置以致使計(jì)算裝置進(jìn)行以下操作的指令: 接收包含至少一個(gè)I幀的經(jīng)編碼視頻幀序列; 產(chǎn)生字節(jié)范圍的指示,其中至少一個(gè)I幀出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi);以及輸出所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示。
44.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀存儲媒體,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示指示所述經(jīng)編碼視頻巾貞序列的僅一個(gè)或一個(gè)以上I巾貞的字節(jié)范圍。
45.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀存儲媒體,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示包含從媒體分段的第一字節(jié)到所述媒體分段的第一I幀的最后字節(jié)的字節(jié)范圍。
46.根據(jù)權(quán)利要求43所述的計(jì)算機(jī)可讀存儲媒體,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示包含最大字節(jié)偏移,其中所述最大字節(jié)偏移指示多個(gè)媒體分段包括至少一個(gè)I幀所在的字節(jié)范圍。
47.一種裝置,其包含: 一個(gè)或一個(gè)以上處理器,其經(jīng)配置以: 接收包含至少一個(gè)I幀的經(jīng)編碼視頻幀序列;產(chǎn)生所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的指示,其中至少一個(gè)I幀出現(xiàn)在所述至少一個(gè)字節(jié)范圍內(nèi);以及 輸出所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示。
48.根據(jù)權(quán)利要求47所述的計(jì)算機(jī)可讀存儲媒體,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示指示所述經(jīng)編碼視頻巾貞序列的僅一個(gè)或一個(gè)以上I巾貞的字節(jié)范圍。
49.根據(jù)權(quán)利要求47所述的計(jì)算機(jī)可讀存儲媒體,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示包含從媒體分段的第一字節(jié)到所述媒體分段的第一I幀的最后字節(jié)的字節(jié)范圍。
50.根據(jù)權(quán)利要求47所述的計(jì)算機(jī)可讀存儲媒體,其中所述經(jīng)編碼視頻幀序列內(nèi)的字節(jié)范圍的所述指示包含最大字節(jié)偏移,其中所述最大字節(jié)偏移指示多個(gè)媒體分段包括至少一個(gè)I幀所在的字節(jié) 范圍。
全文摘要
本發(fā)明描述與媒體數(shù)據(jù)的HTTP串流相關(guān)的技術(shù)。根據(jù)這些技術(shù),服務(wù)器裝置可發(fā)信號通知視頻片段的至少一個(gè)可幀內(nèi)解碼幀(I幀)的字節(jié)范圍。根據(jù)本發(fā)明的所述技術(shù),客戶端裝置可將基于所述發(fā)信號通知的字節(jié)范圍來檢索所述至少一個(gè)I幀的請求遞送到服務(wù)器裝置,且使用所述所檢索的I幀來提供視頻呈現(xiàn)的包括所述至少一個(gè)I幀的高速版本。視頻呈現(xiàn)的高速版本可為所述視頻呈現(xiàn)的特技模式,例如所述視頻呈現(xiàn)的快進(jìn)或快退版本。
文檔編號H04N7/50GK103081488SQ201180040188
公開日2013年5月1日 申請日期2011年6月29日 優(yōu)先權(quán)日2010年6月29日
發(fā)明者陳英, 馬爾塔·卡切維奇 申請人:高通股份有限公司