本發(fā)明涉及用于測試視頻傳輸系統(tǒng)的方法。本發(fā)明還涉及用于測試視頻傳輸系統(tǒng)的裝置。本發(fā)明進一步涉及用于測試視頻傳輸系統(tǒng)的計算機程序產(chǎn)品。
背景技術:
已經(jīng)開發(fā)了用于在不打開設備或將任何測量裝備連接到設備的情況下測試具有顯示器的設備的裝置和方法。此類裝置可以利用圖像傳感器捕獲顯示器的幀。然后分析捕獲的幀信息以確定視頻回放的質量。在一些方法中,將顯示器的某區(qū)域用于顯示幀指示符。幀指示符例如是方格,其被每隔一幀示出為白方格并且每隔一幀示出為黑方格。因此,可以不時地對該區(qū)域進行成像,其中可以基于變化的黑方格和白方格的頻率來檢測幀速率。然而,此類系統(tǒng)僅能夠測試接收設備,而不能測試從發(fā)送設備到接收設備的傳輸路徑。
因此,存在找到可以較可靠地執(zhí)行視頻捕獲、傳輸和/或接收質量測量的改進的方法、系統(tǒng)和裝置的需要。該方法還應該使得能夠使用非常簡單的測試裝備。
在該上下文中,術語幀是要由顯示器示出的以矩陣形式的視覺信息的一個集合。幀可以是視頻內容的一部分,即幀序列中的一幀、圖片等。術語掉幀或遺漏幀意味著幀序列中的由于捕獲、傳輸、接收和/或顯示中的錯誤而沒有被顯示器顯示的幀。掉幀的原因可能是例如捕獲設備不足夠快、傳輸路徑不具有足夠的帶寬或容易出錯、接收設備或顯示器的輸入緩沖區(qū)已滿、控制顯示器的設備被其他同時的任務占用等。在本申請中也可以將幀稱為圖像。
技術實現(xiàn)要素:
本發(fā)明的一個目的是提供用于測試視頻傳輸系統(tǒng)及視頻傳輸系統(tǒng)的裝置的改進的方法和裝置。在該上下文中,測試視頻傳輸系統(tǒng)意味著例如測試視頻捕獲設備、傳輸系統(tǒng)、接收設備和/或用于回放視頻的顯示器的性能。
根據(jù)第一方面,提供了一種用于測試的方法,所述方法包括:
生成通過掃過某顏色范圍其顏色變化的光信號;
由第一光學傳感器不時地捕獲光信號以根據(jù)被捕獲的光信號生成幀;
由第一通信設備傳輸幀以被第二通信設備接收;
由第二通信設備接收所傳輸?shù)膸械囊粋€或多個;
將接收到的幀提供給第二通信設備的顯示器以在顯示器上重建幀;
由第二光學傳感器不時地獲得由顯示器顯示的幀的顏色信息;
比較連續(xù)的被重建的幀的顏色信息以確定以下中的一個或多個:
第一光學傳感器的兩個連續(xù)幀的捕獲速率中的偏差;
在由第一光學傳感器捕獲幀和由顯示器顯示所述幀之間的延遲;
由顯示器顯示的兩個連續(xù)幀的顯示速率中的偏差;
幀的丟失。
根據(jù)第二方面,提供了一種用于測試的系統(tǒng),所述系統(tǒng)包括:
光信號生成設備,其被適配成生成通過掃過某顏色范圍其顏色變化的光信號;
第一光學傳感器,其被適配成不時地捕獲光信號以根據(jù)被捕獲的光信號生成幀;
第一通信設備,其被適配成傳輸幀以被第二通信設備接收;
第二通信設備,其包括用于接收所傳輸?shù)膸械囊粋€或多個的接收機和用以在顯示器上重建接收到的幀的顯示器;
其中系統(tǒng)進一步包括:
第二光學傳感器,其被適配成不時地獲得由顯示器顯示的幀的顏色信息;
用于將連續(xù)的被重建的幀的顏色信息進行比較以確定以下中的一個或多個的部件:
第一光學傳感器的兩個連續(xù)幀的捕獲速率中的偏差;
在由第一光學傳感器捕獲幀和由顯示器顯示所述幀之間的延遲;
由顯示器顯示的兩個連續(xù)幀的顯示速率中的偏差;
幀的丟失。
根據(jù)第三方面,提供了一種用于測試的裝置,所述裝置包括:
光學傳感器,其被適配成獲得由通信設備的顯示器顯示的幀的顏色信息,所述幀攜帶基于由捕獲設備捕獲的可變顏色的光信號形成的信息;以及
用于比較由通信設備重建和顯示的連續(xù)幀的顏色信息以確定以下中的一個或多個的部件:
由顯示器顯示的兩個連續(xù)幀的捕獲速率中的偏差;
在捕獲由顯示器顯示的幀和顯示所述幀之間的延遲;
由顯示器顯示的兩個連續(xù)幀的顯示速率中的偏差;
幀的丟失。
根據(jù)第四方面,提供了一種用于測試的計算機程序產(chǎn)品,所述計算機程序產(chǎn)品包括一個或多個指令的一個或多個序列,其在被一個或多個處理器執(zhí)行時使得裝置或系統(tǒng)至少執(zhí)行以下:
獲得由通信設備的顯示器顯示的幀的顏色信息,所述幀攜帶基于由捕獲設備捕獲的可變顏色的光信號形成的信息;以及
比較由通信設備重建和顯示的連續(xù)幀的顏色信息來確定以下中的一個或多個:
由顯示器顯示的兩個連續(xù)幀的捕獲速率中的偏差;
在捕獲由顯示器顯示的幀和顯示所述幀之間的延遲;
由顯示器顯示的兩個連續(xù)幀的顯示速率中的偏差;
幀的丟失。
在從屬權利要求中定義了一些有利實施例。
通過本發(fā)明可以實現(xiàn)一些優(yōu)點。例如,示例裝備可以允許測量相機(camera)和顯示器性能兩者。因此可以檢測一些常見的時間誤差,諸如不均勻的相機捕獲屬性,即不均勻的每秒幀數(shù)(fps),其諸如例如由行為不當?shù)淖詣悠毓馑惴ㄒ?。這些誤差可能顯露為測量中的幀捕獲間隔中的大變化。還可以檢測傳輸中的掉幀,其諸如由缺少帶寬引起。這可能顯示為是正常的兩倍長的捕獲間隔。此外,可以檢測不均勻的顯示速率(以每秒幀數(shù)為單位),其諸如由不足的處理器性能引起。這可能顯露為幀顯示間隔中的大變化。
根據(jù)實施例,可以在視頻等待時間和音頻同步測量中利用音頻信息。例如,可以在發(fā)送音頻標記的同時切換顏色循環(huán)方向。通過在幀改變檢測器中使用相位角差的絕對值,其不被方向改變影響。然后可以確定顏色循環(huán)何時已經(jīng)倒轉并測量檢測到的方向改變與接收到的音頻蜂鳴聲之間的時間差。該時間差可以揭示音頻信號和視頻信號之間的同步差(又名唇同步)。該布置還可以使得測量所謂的會話等待時間(又名口到耳等待時間或端到端等待時間)也成為可能,所述會話等待時間描述從傳輸音頻(和視頻)信息到在接收端處重建音頻(和視頻)信息所花費的時間。
附圖說明
在下文中,將參考附圖更詳細地描述本發(fā)明,在所述附圖中:
圖1a是根據(jù)示例實施例的測量裝備的概念圖;
圖1b是根據(jù)另一示例實施例的測量裝備的概念圖;
圖2a圖示了根據(jù)實施例的如灰度圖像的色調的示例;
圖2b圖示了作為示例的關于由光信號生成設備生成的色調的幀捕獲的一些時刻;
圖2c圖示了作為示例的根據(jù)實施例的用以生成色調的三個不同顏色的強度的波形;
圖3a和3b示出了在兩個設備之間使用視頻通話的測量結果的示例;
圖4a和4b示出了在兩個設備之間使用視頻通話的測量結果的另一示例;
圖5a將根據(jù)示例實施例的控制設備描繪為簡化框圖;
圖5b將根據(jù)示例實施例的測量設備描繪為簡化框圖;
圖6圖示了根據(jù)實施例的用于獲得幀捕獲和顯示信息的裝置的一些功能塊;
圖7a描繪了根據(jù)實施例的經(jīng)標準化的顏色數(shù)據(jù)和穩(wěn)定值,如其在時域中顯現(xiàn)的那樣;
圖7b示出了與圖7a相同的數(shù)據(jù),但是繪制了來自多個循環(huán)的點并移除了時間分量;
圖7c描繪了經(jīng)標準化的顏色數(shù)據(jù)和穩(wěn)定值,如其在時域中顯現(xiàn)的那樣,其中一些校準點被選擇作為代表點;以及
圖7d描繪了根據(jù)實施例的使用循環(huán)中的最近代表點及其兩個鄰居對樣本的處理。
具體實施方式
在下文中,將描述一些示例實施例。圖1a圖示了根據(jù)示例實施例的測量裝備的示例并且圖5b是根據(jù)本發(fā)明的示例實施例的裝置8的簡化框圖。該裝備包括控制設備1,所述控制設備1被適配成控制光信號生成設備2生成連續(xù)地變化的光信號。該裝備可以進一步包括捕獲設備3,所述捕獲設備3被適配成從由光信號生成設備2生成的光信號捕獲幀。捕獲設備3可以包括第一通信設備4,或者第一通信設備4可以與捕獲設備3分離。第一通信設備4被適配成從捕獲設備3接收幀信息并將幀信息傳輸?shù)酵ㄐ磐ǖ?。通信通道5可以是能夠將幀信息從第一通信設備4傳輸?shù)降诙ㄐ旁O備6的任何種類的通信系統(tǒng)。第二通信設備6被適配成接收由第一通信設備4經(jīng)由通信通道5傳輸?shù)膸畔?。第二通信設備6還可以被適配成將接收到的幀信息提供給顯示器7或顯示器7可以是(未示出的)單獨設備的部分。根據(jù)圖1a的示例的測量裝備還包括能夠測量和分析由顯示器7示出的幀信息的測量設備8。第一通信設備4和第二通信設備6也可以被分別稱為傳輸設備4和接收設備6。
在下文中,更詳細地描述圖1a的測量裝備的操作。在不限制本發(fā)明的范圍的情況下,假定捕獲設備3和第一通信設備4是同一裝置的部分。在不限制本發(fā)明的范圍的情況下,進一步假定顯示器7是第二通信設備6的一部分。
控制設備1向光信號生成設備2生成變化的信號以生成根據(jù)預定方式改變顏色的光信號。作為示例,顏色的色調在測試期間連續(xù)地改變,使得某顏色范圍在一個序列期間被光信號生成設備2掃過。該序列可以重復許多次。作為示例,顏色可以遵循rgb顏色模型(紅-綠-藍)的所謂的色調-飽和度-亮度(hsl)或者色調-飽和度-值(hsv)表示。根據(jù)這些表示,可以通過0°和360°之間的角值呈現(xiàn)不同的顏色。在這些表示中,值0°和360°意味著純紅色。為了根據(jù)rbg顏色模型產(chǎn)生不同的顏色,光信號生成設備2能夠產(chǎn)生三個不同的光信號,即紅、綠和藍,并且單獨地改變這些光信號的強度。因此,為了產(chǎn)生具有全強度的紅色,僅生成紅光,為了產(chǎn)生具有全強度的綠色,僅生成綠光,并且為了產(chǎn)生具有全強度的藍色,僅生成藍光??梢酝ㄟ^相應地調整紅光、綠光和藍光的亮度來生成其他顏色。圖2a圖示了如灰度圖像的此類色調的示例?;疑牟煌顪\圖示了色調的不同顏色。
在實際實現(xiàn)中,線性地產(chǎn)生色調使得每個可能數(shù)量的不同顏色將被生成可能不是可能的。然而,生成色調的顏色使得色調的某數(shù)量的不同顏色將被生成可能是足夠的。例如,可以將360°范圍劃分成360個步長(step),其中每個接連的顏色可以與前一顏色相差1°,或者可以將360°范圍劃分成60個步長,其中每個接連的顏色可以與前一顏色相差6°,等等。換言之,光信號生成設備2可以生成使得每個接連的顏色與前一顏色相差大約一度的色調,其中可以由光信號生成設備2在一個序列期間一次一個地生成360個不同的顏色。在每兩個連續(xù)的顏色相差大約6°的另一示例中,顏色的一個序列將包括60個不同顏色。在本申請中,由捕獲設備3捕獲的該光學顏色信息也被稱為標記。
根據(jù)實施例,光信號生成設備2生成光信號,其中三個顏色紅、綠和藍的強度以使得三個顏色中的每個的最大(和最小)強度的相位角具有大約120°相位差的方式根據(jù)正弦波改變。例如,藍色的相位滯后于紅色的相位大約120°,并且綠色的相位滯后于藍色的相位大約120°。圖2c圖示了根據(jù)實施例的用以生成色調的這三個不同顏色的強度的波形。紅色分量的波形用標簽20指示,藍色分量的波形用標簽22指示,并且綠色分量的波形用標簽24指示。
捕獲設備3可能能夠具有固定的捕獲速率,或者它可能能夠例如根據(jù)可能的捕獲速率的集合來設置捕獲速率。作為示例,捕獲速率可以是10fps(每秒幀數(shù))、20fps、24fps、25fps、50fps或60fps。捕獲速率可以被認為是預期捕獲速率。
可以將由捕獲設備3捕獲的幀提供給捕獲設備3中的應用,其中裝備還可以測量應用的圖像處理能力。應用可以例如是視頻通話應用、視頻會議應用、通過lte的視頻應用、wifi端到端應用、多媒體消息傳送應用等。
在下文中,將更詳細地描述圖1a的裝備的操作。由控制設備1生成的變化的信號可以例如經(jīng)由電纜11耦合到光信號生成設備2?;谠撔盘?,光信號生成設備2生成改變其顏色使得整個色調將在一個序列期間被掃過的光信號。一個序列,其也可以被稱為一個顏色循環(huán),可以持續(xù)若干秒,諸如1s、2s、3s,或者可以短于一秒或長于3s。根據(jù)實施例,一個序列的長度使得該序列中的一個顏色的呈現(xiàn)時間短于捕獲設備3的捕獲速率。這可以確保由捕獲設備3捕獲的兩個接連的幀將具有來自光信號生成設備2的不同顏色。作為非限制性示例,捕獲設備3的捕獲速率是20fps,其中光信號生成設備2應該比每秒20次更快地改變顏色。如果將由光信號生成設備2產(chǎn)生的色調分成360個不同的顏色,則那將意味著序列的長度將小于18秒(=360/20)。然而,設置序列的長度短于18秒使得光信號生成設備2在捕獲設備3的捕獲速率內不止一次改變其顏色可以是有利的。
當捕獲設備3捕獲由光信號生成設備2產(chǎn)生的圖像時,捕獲設備3可以在其曝光時間上對顏色值求平均。該曝光時間可以是0和幀間隔之間的任何值。光信號生成設備2可能不知道曝光時間,并且曝光時間可能不可控。因此,不管在什么點處捕獲顏色值,它們都應該是可解碼的。圖2c還圖示了作為開始時刻23和停止時刻24的曝光時間,其中捕獲設備3可以為三個顏色中的每個產(chǎn)生平均強度值。在圖2c中,這些被圖示為虛線:25代表紅色,26代表藍色,并且27代表綠色。
上面描述的基于正弦波的色調的生成可以提供一些優(yōu)點。例如,在短間隔上對顏色值求平均可以給出接近于在間隔的中間處的瞬時值的值,并且至少一個顏色通道可以在任何時間足夠迅速地改變。然而,這里應該注意,三相正弦波循環(huán)不是僅有的可能的波形,而可以是指定和生成最簡單中的一個。
在顯示器側,幀改變的檢測可以依賴于接連的幀之間的顏色差。顏色改變應大到足以可檢測,但同時可能期望使得全顏色循環(huán)的長度最大化。較大的顏色循環(huán)長度可以允許以單一目標速度測量較大范圍的相機幀速率。
圖2b圖示了作為示例的一些時刻,捕獲設備3在所述一些時刻從由光信號生成設備2生成的光捕獲幀。在圖2b中用參考號碼tn、tn+1、tn+2、tn+3來標注這些時刻中的一些。
可以將捕獲設備3定位成使得捕獲設備3的捕獲元件(諸如(未示出的)相機)指向光信號生成設備2,使得捕獲元件可以捕獲關于由光信號生成設備2生成的光信號的圖像,然后可以將其轉換成要傳輸?shù)膸?/p>
第一通信設備4將被捕獲的幀(由圖像捕獲設備3捕獲的幀或由應用處理的幀)傳輸?shù)絺鬏斖ǖ?,所述傳輸通道5將它們轉發(fā)到第二通信設備6以由顯示器7顯示。由捕獲設備3捕獲并隨后由顯示器7示出的幀包括在某位置處的光信號(色調的視覺信息),或者整個幀可以示出同一顏色。測量設備8具有光學傳感器8.6(例如,相機、ccd傳感器、cmos傳感器等),其能夠基于顏色信號產(chǎn)生例如rbg信息。在理想系統(tǒng)中,當由信號生成設備2生成的顏色信號連續(xù)地經(jīng)過色調(從0°到360°)時,光學傳感器8.6也應該識別相同序列并產(chǎn)生相應的電信號。然而,在實際系統(tǒng)中,可能存在一些誤差源,其可能輕微地影響光信號的再現(xiàn)的準確度。這些種類的誤差在系統(tǒng)的操作期間可能不大大改變,其中實際測量應該不被此類誤差影響,因為裝備的目的不是測量系統(tǒng)能夠多么準確地產(chǎn)生光信號的顏色,而是使用光信號作為幀改變的指示符。
在將被捕獲的幀足夠快地遞送到接收端使得可以以某速率(其可以被認為是預期顯示速率)顯示接收到的幀的情況下,與正確的顯示速率的偏差可以揭示接收設備6和/或顯示器7可能不能足夠快地再現(xiàn)幀以維持預期顯示速率。
可以例如如下確定顯示速率中的偏差。由測量設備8捕獲由顯示器7顯示的視覺信息直到已經(jīng)檢測到視覺信息的顏色中的改變。然后,可以檢測改變的時刻。該信息可以指示一幀的顯示時間??梢岳^續(xù)捕獲由顯示器7顯示的視覺信息直到已經(jīng)檢測到視覺信息的顏色中的另一改變。也可以檢測該另一改變的時刻。另一改變的時刻可以指示另一幀的顯示時間。因此,使用第二幀的顯示時間和第一幀的顯示時間之間的差,可以計算出實際顯示速率。可以基于實際顯示速率和預期顯示速率之間的差來確定顯示速率的偏差。
可以例如通過使用光纖9將由顯示器7顯示的信息或其部分傳送到測量設備8。因此,光纖9的一端可以被定位在顯示器7的表面附近或上,在將示出色調的位置處。根據(jù)實施例,整個顯示器7可以示出色調,其中光纖9的一端可以被幾乎定位在顯示器7上的任何位置處。
光纖9的另一端耦合到可以經(jīng)由其將光信號轉發(fā)到光學傳感器8.6的光纖插座8.7。
測量設備8可以測量和分析由顯示器7示出的幀信息。測量設備8可以檢測顏色標識符或整個屏幕的顏色何時改變并且使用該信息作為對由顯示器示出的幀的改變的指示。因此,測量設備8還可以使用定時信息來確定幀改變的時刻。定時信息然后可以用于確定在幀的改變中是否存在變化。這些變化可以指示幀傳輸系統(tǒng)的一些部分不能一直在正確的時刻提供連續(xù)幀。
顏色標識符的顏色信息可以用于確定幀的捕獲速率中的可能偏差。這可以例如以使得測量設備8知道顏色的預定序列和光信號生成設備2產(chǎn)生的光信號的步調的方式來執(zhí)行。作為示例,讓我們假定預期捕獲速率是10fps(=100ms)且由光信號生成設備2生成的顏色改變的步調是20ms,并且360個不同的顏色被生成,這將意味著360°范圍被分成360個步長,其中每個接連的顏色應該與前一顏色相差1°。因此,兩個連續(xù)地捕獲的幀的顏色應該彼此相差大約5°。如果接收到的連續(xù)幀的顏色不同于預期的顏色,則可以假定實際捕獲速率不同于預期值。因此,比較不同幀的經(jīng)測量的顏色可以揭示捕獲設備3的實際捕獲速率。在圖2b中,通過線cn、cn+1、cn+2、cn+3指示關于色調的實際捕獲時刻的一些示例。
連續(xù)接收的幀的顏色信息還可以用于確定是否已經(jīng)接收到每個被捕獲的幀。如果掉了一個或多個幀,則兩個連續(xù)接收的幀的顏色信息比預期相差得多。上面描述的示例和圖2b的捕獲時刻可以被用作闡明這一點的示例。例如,如果在時刻tn和tn+3捕獲的幀已經(jīng)被成功地接收且由顯示器7顯示,但是在時刻tn+1和tn+2捕獲的幀尚未被接收到,則在時刻tn捕獲的幀和在時刻tn+3捕獲的幀的顏色相差大約15°。因此,因為其被假定僅相差大約5°,所以可以推斷在系統(tǒng)的一些部分中掉了兩個幀。
根據(jù)實施例,光學傳感器8.6可以例如針對每個顏色產(chǎn)生指示被捕獲的圖像中的顏色的強度的信號。在理想情況下,光學傳感器8.6將生成三個不同的信號,當使用正弦波時每個信號遵循圖2c的顏色信號的波形。如果在每個坐標軸對應于一個特定顏色的三維坐標系中描繪這三個波形,則當被繪制在這三個維度上時,三相正弦在理想情況下將形成橢圓。然而,由于失真、非線性和其他可能的因素,由光學傳感器8.6產(chǎn)生的信號可能不正確地對應于由光信號生成設備2生成的信號,其中顯示器顏色響應可能使該橢圓既在形狀上又在沿曲線的點的密度上失真。
圖6圖示了根據(jù)實施例的用于獲得幀捕獲和顯示信息的裝置的一些功能塊。顯示在顯示器上的信息的亮度可能例如由于背光的亮度中的改變而變化。因此,可以對由光學傳感器8.6產(chǎn)生的信號進行濾波(圖6中的塊601)以減少亮度變化的影響。此外,顏色數(shù)據(jù)602可以進一步被標準化,使得最小值和最大值位于某范圍內和/或被縮放(塊603)。濾波/標準化的輸出可以是例如以某采樣率(例如1khz或另一適當值)的三個顏色值的流604。這些顏色值可以被轉換成角值,使得它們位于完整的圓——即0°-360°(0-2π弧度)內。
如上面提及的那樣,系統(tǒng)可能具有非線性和其他不準確源,其中可能期望校準系統(tǒng)以消除或至少減少此類不準確的影響。為了校準目的,系統(tǒng)可以使用許多測量結果來計算出實際色環(huán)在測量端處如何顯現(xiàn)。測量結果可以是在三維坐標系中(在xyz顏色域中)表示的顏色值。圖7a描繪了由顏色轉變檢測器605給出的經(jīng)標準化的顏色數(shù)據(jù)(線)和穩(wěn)定值(圓點),如其在時域中顯現(xiàn)的那樣??梢曰趶念伾D變檢測器605接收的穩(wěn)定顏色值606來執(zhí)行顏色循環(huán)定向607。這些值及其時間戳可以直接對應于顯示器側的幀。顏色循環(huán)定向塊的功能是獲得顏色值并根據(jù)它們來計算相位角。
顏色數(shù)據(jù)可以首先被觀察為三維點的無序集合。為了校準的目的,可以丟棄幀的所有時間和順序信息。該步驟依賴于顏色值沿著循環(huán)的均勻分布。圖7b示出了與圖7a相同的數(shù)據(jù),但是繪制了來自多個循環(huán)的點并且移除了時間分量。現(xiàn)在,顏色循環(huán)的失真的橢圓形狀變得顯然。校準的一個目的是定義函數(shù)f:r3→[0……2π],其將顏色值映射到沿著循環(huán)的相位角,即對循環(huán)進行定向。
可以如下實現(xiàn)循環(huán)定向。沿著循環(huán)以規(guī)則的間隔拾取點,并且例如通過使用和求解所謂的旅行推銷員問題來獲得近似循環(huán)的多邊形。還可以計算接近于每個多邊形點的校準點的密度,并且可以選取角值使得相位角與在循環(huán)的每個點處的密度成比例地增加。為了保持任務可行,可以定義循環(huán)的代表點的可管理數(shù)量。在實踐中,多達24個點可以是可行的,作為表示準確度和所要求的校準時間之間的折衷。
因為已經(jīng)將顏色數(shù)據(jù)標準化到三維坐標系的每個軸上的標稱范圍,所以當已經(jīng)將顏色值標準化在范圍-1000-1000內時,可以假定循環(huán)的周長近似是2πr=2π1000≈6000。將其均勻地除以代表點的所選數(shù)量(在該示例中是24),可以獲得它們之間的平均距離,其在該示例中是250。對于每個傳入的校準點,算法可以定位最接近的已經(jīng)存在的代表點。如果距離大于計算出的平均距離(250),則添加校準點本身作為新的代表點。否則,將校準點賦值給舊的代表點,并且通過小因子來調整點的位置。這樣,代表點表示在附近的點的平均。在圖7c中,代表點被圖示為較大的圓點,并且其他校準點被圖示為較小的圓點。
作為收集代表點的部分,可以保留落在每個代表點附近的校準樣本的數(shù)量的計數(shù)。這給出了對點密度的估計。如果相位角的均勻分布被假定,則其給出了在該代表點附近的相位角的導數(shù)。
通過從0開始來合計點密度,并將結束值標準化成2π≈6.28,針對每個代表點可以獲得兩個相位角值:當循環(huán)進入該點附近時的角,以及當循環(huán)離開附近時的角。每個代表點的結束角等于下一個點的開始角。針對要處理的每個樣本p,可以獲得在循環(huán)中的最近代表點rp2及其兩個鄰居rp1、rp3,其中可以在段rp1、rp2和rp2、rp3上的中途計算出中間點m1、m2(圖7d)。這些中間點m1、m2對應于代表點rp2的開始相位角和結束相位角。
輸入點p的相位角α被計算為兩個中途點m1和m2與它們相應的角α1和α2之間的線性插值:
幀改變檢測器609將加時間戳的相位角當做輸入并輸出幀顯示長度和捕獲長度(例如以微秒為單位)。計算顯示時間可以基于顏色轉變檢測器已經(jīng)定位的幀改變點。
為了計算捕獲時間,幀檢測器609可以記錄每個時間增量的平均相位角增量,即顏色循環(huán)的近似rad_per_s值。根據(jù)實施例,可能定義了可能的顏色循環(huán)速率的集合,并且?guī)瑱z測器609可能知道這些值。因此,可以將所獲得的平均顏色循環(huán)速率四舍五入到最近的已知循環(huán)速率值??梢詫⒉东@長度計算為phase_angle_delta/rad_per_s并且為了進一步處理而從幀改變檢測器609輸出610。
根據(jù)實施例,圖1a的布置還可以可適用于確定系統(tǒng)的等待時間。然而,控制設備1和測量設備8可能需要被同步,使得測量設備8能夠推斷由光信號生成設備2產(chǎn)生的光信號的相位。這可以被實現(xiàn)成例如使得控制設備1和測量設備8二者都能夠訪問時間基準資源,使得兩個設備都知道掛鐘時間。例如,控制設備1和測量設備8二者都可能能夠從諸如gps(全球定位系統(tǒng))之類的的衛(wèi)星定位系統(tǒng)接收星歷信號,其中可以基于星歷信號獲得世界時間信息(日期和一天中的時間)。另一選項是經(jīng)由互聯(lián)網(wǎng)連接到提供世界時間信息的服務(例如連接到網(wǎng)絡時間協(xié)議服務)。如果測量設備8還具有光信號生成設備2生成色調的某顏色(例如,對應于0°的顏色)的時間的信息,則測量設備8可能能夠推斷出它應該在顯示器7上檢測到包含該特定顏色的幀的時刻。在測量設備8實際上檢測到此類幀的時刻與預期時刻之間的差揭示了捕獲設備3和顯示器7之間的等待時間(延遲)。然而,這里應該注意,如果等待時間長于顏色序列的長度,則所謂的混疊效應可能干擾等待時間確定。這是由于如下事實:如果系統(tǒng)將幀從傳輸端遞送到接收端花費的時間比光信號生成設備掃過的全色調花費的時間更長,則顯示器7不在前一顏色序列周期期間顯示被捕獲的幀直到下一個顏色序列周期已經(jīng)在傳輸端處開始。這可以通過以下示例來闡明。讓我們假定光信號生成設備2在時間t0產(chǎn)生對應于0°的顏色且顏色序列的一個周期可能花費10s。因此,10秒后將再次產(chǎn)生相同的顏色。如果傳輸和顯示幀花費多于10秒,比如說12秒,則測量設備8可以推斷出傳輸幀僅花費2秒,這在該示例中明顯是不正確的。因此,在沒有除世界時間信息之外的任何其他同步的情況下,可以檢測到的最大等待時間可能不長于顏色序列的一個周期。
為了測量視頻等待時間和音頻同步,可以將時間標記合并到顏色波形。一個示例解決方案是在發(fā)送音頻標記的同時切換顏色循環(huán)方向。通過在幀改變檢測器中使用相位角差的絕對值,其不被方向改變影響??梢岳缑?秒、每10秒或使用另一適當?shù)拈g隔來執(zhí)行方向切換。測量設備8然后可以確定顏色循環(huán)何時已經(jīng)倒轉,并測量檢測到的方向改變與接收到的音頻蜂鳴聲之間的時間差。該時間差揭示了音頻信號和視頻信號之間的同步差(又名唇同步)。該布置使得測量所謂的會話等待時間(又名口到耳等待時間或端到端等待時間)也成為可能,所述會話等待時間描述了從傳輸音頻(和可能傳輸視頻)信息到在接收端處重建音頻(和可能重建視頻)信息所花費的時間。過長的等待時間可能使得會話過于困難。
現(xiàn)在提供圖1a的裝備的一些部分的一些非限制性示例。捕獲設備3和第一通信設備4可以是例如具有相機的移動電話或個人計算機的部分。移動電話和/或個人計算機可能能夠運行視頻通話應用,其接收由相機捕獲的幀并將該幀發(fā)送到通信通道。通信通道5可以包括無線網(wǎng)絡(例如wlan)、移動電話網(wǎng)絡(例如gsm、gprs、lte)、互聯(lián)網(wǎng)等。第二通信設備6也可以是具有相機的移動電話或個人計算機的部分。
根據(jù)實施例,不需要分離的控制設備1和測量設備8,而是可以將它們組合使得同一設備控制光信號生成設備2并在顯示器7上執(zhí)行涉及被重建的幀的任務。圖1b描繪了此類布置的示例。換言之,測量設備8控制光信號生成設備2生成連續(xù)地變化的光信號,并從光學傳感器獲得關于光信號的信息。因此,測量設備8可以存儲關于某光信號被生成的時刻的信息。測量設備8可以進一步存儲關于相應的光信號被顯示器7重建的時刻的信息。這些時刻之間的差指示捕獲、傳輸、接收和重建光信號所花費的延遲。這可以指示通信通道5的等待時間,盡管時間差可能不直接揭示等待時間但可以包括由圖像捕獲設備3、第一通信設備4、第二通信設備6和顯示器7引起的延遲。因此,該布置可能能夠檢測長于顏色序列的一個周期的等待時間,因為混疊效應可以被消除。
在該實施例中,測量設備8、光信號生成設備2、捕獲設備3、第一通信設備4、第二通信設備6和顯示器7可以位于彼此附近,例如在同一房間內,使得測量設備8能夠訪問光信號生成設備2和顯示器7。第一通信設備4和第二通信設備6可以與相同的通信網(wǎng)絡進行通信,或者與不同的網(wǎng)絡進行通信,但以使得可以在第一通信設備4和第二通信設備6之間形成數(shù)據(jù)傳輸連接的方式。
另一方面,控制設備1和測量設備8可以是分離的設備,但是它們位于彼此附近使得控制設備1可以向測量設備8指示光信號生成設備2的實際相位。因此,該布置可能能夠檢測長于顏色序列的一個周期的等待時間,因為混疊效應可以被消除。
圖3a和3b示出了在兩個設備之間使用視頻通話的測量結果的示例。在圖3a中,將相機時間對顯示時間描繪為圖。線圖示了顏色指示器的檢測到的色調角,并且圓點圖示了檢測到的幀改變。在圖3b中,x軸指示幀號并且y軸指示幀的顯示時間。在該示例中,使用10fps幀速率建立通話,其中圖像捕獲設備3(即傳輸移動電話的相機)以相機的本機幀速率捕獲幀并且視頻通話應用挑選幀以產(chǎn)生10fps幀速率??梢钥闯觯跈z測到的幀號16和17之間存在較長的延遲。這可能是由于在傳輸或顯示幀號17中的長延遲。
圖4a和4b示出了在兩個設備之間使用視頻通話的測量結果的另一示例。在圖4a中,將相機時間對顯示時間描繪為圖。線圖示了顏色指示器的檢測到的色調角,并且圓點圖示了檢測到的幀改變。在圖4b中,x軸指示幀號并且y軸指示幀的顯示時間。在該示例中,使用8fps幀速率建立通話,其中圖像捕獲設備3(即傳輸移動電話的相機)以相機的本機幀速率捕獲幀并且視頻通話應用挑選幀以產(chǎn)生8fps幀速率??梢钥闯?,幀顯示間隔的平均值是相當恒定的。這一點的一個原因可能是較慢的幀速率,其中系統(tǒng)可以有更多的時間用于處理每個幀。
根據(jù)實施例,在測試過程中也可以使用音頻信號。例如,控制設備1生成可以在必要時由放大器1.11放大并且例如經(jīng)由電纜12耦合到揚聲器13的音頻信號。如果控制器1.1(圖5a)不能產(chǎn)生模擬信號而產(chǎn)生表示音頻信號的數(shù)字信號,則由控制器生成的數(shù)字信號可能需要通過數(shù)字到模擬轉換器1.12轉換成模擬信號。揚聲器可以例如位于與光信號生成設備相同的殼中,或者它可以在如圖1a和1b中圖示的分離的殼中。第一通信設備4的麥克風捕獲音頻信號,其中第一通信設備4將它們傳輸?shù)酵ㄐ啪W(wǎng)絡5以遞送到第二通信設備6。第二通信設備6也接收音頻信號,并可以通過(未示出的)揚聲器生成相應的可聽信號。然而,音頻信號可以被經(jīng)由第二通信設備6的(未示出的)音頻連接器捕獲為電信號,并例如經(jīng)由電纜10耦合到測量設備8以用于分析。在分析之前將接收到的模擬音頻信號轉換成數(shù)字形式可能是必要的。這可以例如通過模擬到數(shù)字轉換器8.10(adc)來執(zhí)行。
可以例如以使得控制設備1與顏色序列同步地生成音頻信號的方式來執(zhí)行基于音頻信號的分析。例如,每當顏色序列前進了6°,可以生成具有某頻率的音調。測量設備8然后可以利用該信息來確定音頻信號是否與視頻幀同步。
圖5a將根據(jù)示例實施例的控制設備1的一些細節(jié)描繪為簡化框圖。設備1包括被適配成控制控制設備1的操作中的至少一些的控制器1.1。還可能存在用于存儲用于控制控制器1.1的操作的數(shù)據(jù)和/或計算機代碼的存儲器1.2??刂破?.1可以是諸如cpu(中央處理單元)或能夠執(zhí)行計算機代碼的另一種裝置之類的處理器。設備還可以具有用戶接口1.3(ui),其可以包括顯示器1.4和鍵盤1.5或一些控制鍵。設備進一步包括向光信號生成設備2提供電信號的顏色控制輸出端1.6。這些電信號可以是數(shù)字信號或模擬信號。作為示例,電信號包括某數(shù)量的位,其向光信號生成設備2指示要由三個不同顏色的led(發(fā)光二極管)生成的光的強度。因此,第一組8位可以指示紅色的強度,第二組8位可以指示綠色的強度,并且第三組8位可以指示藍色的強度。在該選項中,信號生成設備2可能需要轉換器以將數(shù)字信號轉換成用于led的適當?shù)哪M信號。
根據(jù)實施例,控制設備1將三個模擬信號輸出到光信號生成設備2,其中每個輸出可以耦合到信號生成設備2的一個led。在該實施例中,由控制器1.1生成的數(shù)字顏色信息可以通過模擬/數(shù)字轉換器1.9(dac)轉換成模擬信號。
可能存在濾波器1.10,其可以在模擬信號被輸出到信號生成設備2之前使其平滑。
控制設備1可以進一步包括通信部件1.7以與諸如移動通信網(wǎng)絡、無線lan和/或互聯(lián)網(wǎng)之類的通信網(wǎng)絡進行通信。
根據(jù)實施例,代替通信部件1.7或者除了通信部件1.7之外,控制設備1可以包括衛(wèi)星定位接收機1.8,其被適配成從衛(wèi)星定位系統(tǒng)接收信號以例如為了同步目的而檢索時間基準。
圖5b將根據(jù)示例實施例的測量設備8的一些細節(jié)描繪為簡化框圖。設備8包括被適配成控制測量設備8的操作中的至少一些的控制器8.1。還可能存在用于存儲用于控制控制器8.1的操作的數(shù)據(jù)和/或計算機代碼的存儲器8.2??刂破?.1可以是諸如cpu(中央處理單元)或能夠執(zhí)行計算機代碼的另一類裝置之類的處理器。設備還可以具有用戶接口8.3,其可以包括顯示器8.4和鍵盤8.5或一些控制鍵。設備進一步包括光學傳感器8.6,其將光信號轉換成數(shù)字形式并將這些數(shù)字信號提供給控制器8.1用于分析目的。換言之,光學傳感器8.6起光/電轉換器的作用。光學傳感器8.6優(yōu)選地能夠生成能夠指示檢測到的光信號的顏色和強度的此類數(shù)字信號。例如,光學傳感器8.6可以產(chǎn)生三個不同的數(shù)字信號,其中第一信號指示檢測到的光信號的紅色分量的亮度,第二信號指示檢測到的光信號的綠色分量的亮度,并且第三信號指示檢測到的光信號的藍色分量的亮度。因此,這三個信號的組合可以揭示色調中的顏色的角值。然而,還可能存在將光信號轉換成顏色表示的角的其他方式。
根據(jù)實施例,測量設備8可以包括用于可以經(jīng)由其從顯示器7拾取光信號并且將所述光信號饋送到光學傳感器8.6的光纖10的連接器。
測量設備8可以進一步包括通信部件8.7以與諸如移動通信網(wǎng)絡、無線lan和/或互聯(lián)網(wǎng)之類的通信網(wǎng)絡進行通信。
根據(jù)實施例,代替通信部件8.7或除了通信部件8.7之外,測量設備8還可以包括衛(wèi)星定位接收機8.8,其被適配成從衛(wèi)星定位系統(tǒng)接收信號以例如為了同步目的而檢索時間基準。
如上面提及的那樣,同一裝置可能能夠執(zhí)行控制設備1和測量設備8二者的操作,其中一些電路也可能對于兩個操作而言是共同的。作為示例,一個控制器可能能夠執(zhí)行涉及色調生成和涉及所顯示的顏色識別的任務。
上面描述的測量系統(tǒng)可以用于測試許多種系統(tǒng)和應用及其端到端性能。一些非限制性示例是視頻通話、視頻會議、通過lte的視頻、wifi、多媒體消息傳送、ip相機系統(tǒng)等。這里要提及的一些其他應用是用于車輛的不同種類的相機系統(tǒng),諸如轎車、移動的工作機器、公共汽車、卡車等中的后備相機和其他相機。測量系統(tǒng)可以用于測量從相機到顯示器的等待時間和/或幀捕獲/顯示速率等。
根據(jù)實施例,測量系統(tǒng)還可以用于基于由諸如數(shù)碼相機、移動電話等的移動設備捕獲和存儲的視頻來分析唇同步和/或幀捕獲/顯示速率。當設備離線時,該種測試和分析也是可能的。
應該注意,根據(jù)示例實施例,如果在兩端處使用類似的裝置,則測試布置也可以用于以相反的方式執(zhí)行類似的測試。換言之,存在要由設備8控制的另一光信號生成設備2,其中第二通信設備6可以從光信號捕獲幀并將其傳輸?shù)降谝煌ㄐ旁O備4,并且設備1執(zhí)行與圖1a的布置中的測量設備8的測量操作類似的測量操作。
本發(fā)明不限于上面描述的實施例,而是可以在所附權利要求書的范圍內被修改。