用于提高在裝置之間共享屏幕的體驗質(zhì)量的方法和設(shè)備的制作方法
【專利摘要】本發(fā)明公開了一種用于提高在裝置之間共享屏幕的體驗質(zhì)量的方法和設(shè)備。一種提高與第二裝置共享第一裝置的屏幕的第一裝置的體驗質(zhì)量（QoE）的方法，所述方法包括：檢測當(dāng)前顯示在屏幕上的內(nèi)容的類別；基于檢測到的內(nèi)容的類別來確定QoE策略；基于確定的QoE策略對屏幕的屏幕圖像進(jìn)行編碼；將編碼的屏幕圖像發(fā)送到第二裝置。這樣，當(dāng)在多個裝置之間共享屏幕時，可以實現(xiàn)針對每個內(nèi)容類別的最佳QoE。
【專利說明】用于提高在裝置之間共享屏幕的體驗質(zhì)量的方法和設(shè)備
[0001]本申請要求于2013年3月25日提交到美國專利商標(biāo)局的第61/804，804號美國專利申請的優(yōu)先權(quán)，以及2013年4月9日提交到韓國知識產(chǎn)權(quán)局的第10-2013-0038843號韓國專利申請的優(yōu)先權(quán)，其公開通過引用完整地包含于此。

【技術(shù)領(lǐng)域】
[0002]與示例性實施例一致的方法和設(shè)備涉及通過網(wǎng)絡(luò)在多個裝置之間共享屏幕數(shù)據(jù)。

【背景技術(shù)】
[0003]當(dāng)多個裝置共享屏幕時，鑒于網(wǎng)絡(luò)的狀態(tài)而確定用于共享屏幕的流的比特率。如果網(wǎng)絡(luò)為空載(unloaded)，則可傳輸具有高比特率的流，如果網(wǎng)絡(luò)被加載(loaded)或者擁擠，則可傳輸具有低比特率的流。
[0004]然而，由于現(xiàn)有技術(shù)中的以上方法只考慮網(wǎng)絡(luò)的狀態(tài)，因此共享屏幕的屏幕圖像可被中斷或可被降低分辨率。


【發(fā)明內(nèi)容】

[0005]示例性實施例解決了至少以上問題和/或缺點及上面沒有討論的其他缺點。此夕卜，示例性實施例不需要克服上述缺點，示例性實施例可不克服上述任何問題。
[0006]一個或更多個實施例提供了一種鑒于當(dāng)前顯示在多個屏幕之間共享的屏幕上的內(nèi)容的類別，在發(fā)送屏幕數(shù)據(jù)時能夠提高體驗質(zhì)量(QoE)的方法和設(shè)備。
[0007]根據(jù)示例性實施例的一方面，提供了一種提高與第二裝置共享第一裝置的屏幕的第一裝置的體驗質(zhì)量(QoE)的方法，所述方法包括:檢測當(dāng)前顯示在屏幕上的內(nèi)容的類別；基于檢測到的內(nèi)容的類別來確定QoE策略；基于確定的QoE策略對屏幕的屏幕圖像進(jìn)行編碼；將編碼的屏幕圖像發(fā)送到第二裝置。
[0008]可通過使用基于確定的QoE策略調(diào)整的幀率和分辨率來執(zhí)行所述編碼。
[0009]QoE策略可響應(yīng)于具有大量運(yùn)動的內(nèi)容將幀率調(diào)整為高。
[0010]檢測到的內(nèi)容的類別可以是圖形內(nèi)容、真實圖像內(nèi)容和文本內(nèi)容之中的至少一個?？苫诋?dāng)前執(zhí)行的應(yīng)用的名稱來執(zhí)行所述檢測。
[0011]確定的步驟可包括:響應(yīng)于當(dāng)前正顯示在屏幕上的多種內(nèi)容類別，基于針對多種內(nèi)容類別預(yù)先設(shè)置的優(yōu)先級來選擇與具有最高優(yōu)先級的內(nèi)容類別對應(yīng)的Q0E策略。
[0012]編碼的步驟可包括:基于用于在第一裝置和第二裝置之間共享屏幕的網(wǎng)絡(luò)狀態(tài)來確定允許的比特率；基于確定的比特率來調(diào)整用來對屏幕的屏幕圖像編碼的幀率和分辨率。
[0013]根據(jù)另一示例性實施例的一方面，提供了一種發(fā)送裝置，包括:存儲器，被配置為存儲至少一個程序；處理器，被配置為通過執(zhí)行至少一個程序來使發(fā)送裝置能夠與接收裝置共享發(fā)送裝置的屏幕，并提高體驗質(zhì)量(QoE)，其中，所述至少一個程序執(zhí)行如下方法，包括:檢測當(dāng)前顯示在屏幕上的內(nèi)容的類別；基于檢測的內(nèi)容的類別來確定QoE策略；基于確定的QoE策略來對屏幕的屏幕圖像進(jìn)行編碼；將編碼的屏幕圖像發(fā)送到接收裝置。
[0014]可通過使用基于確定的QoE策略調(diào)整的幀率和分辨率來執(zhí)行所述編碼。
[0015]QoE策略可響應(yīng)于具有大量運(yùn)動的內(nèi)容將幀率調(diào)整為高。
[0016]檢測到的內(nèi)容的類別可以是圖形內(nèi)容、真實圖像內(nèi)容和文本內(nèi)容之中的至少一個?？苫诋?dāng)前執(zhí)行的應(yīng)用的名稱來執(zhí)行所述檢測。
[0017]確定的步驟可包括:響應(yīng)于當(dāng)前正顯示在屏幕上的多種內(nèi)容類別，基于針對多種內(nèi)容類別預(yù)先設(shè)置的優(yōu)先級來選擇與具有最高優(yōu)先級的內(nèi)容類別對應(yīng)的QoE策略。
[0018]編碼的步驟可包括:基于用于在發(fā)送裝置和接收裝置之間共享屏幕的網(wǎng)絡(luò)狀態(tài)來確定允許的比特率；基于確定的比特率來調(diào)整用來對屏幕的屏幕圖像編碼的幀率和分辨率。
[0019]根據(jù)另一示例性實施例的一方面，提供了一種在其上已實現(xiàn)用于執(zhí)行提高第一裝置的QoE的方法的計算機(jī)程序的計算機(jī)可讀記錄介質(zhì)。
[0020]根據(jù)另一示例性實施例的一方面，提供了一種發(fā)送裝置，包括:顯示器，被配置為顯示屏幕圖像；控制器，被配置為確定用于共享屏幕圖像的網(wǎng)絡(luò)狀態(tài)，確定與當(dāng)前顯示的屏幕圖像的內(nèi)容對應(yīng)的QoE策略，基于確定的QoE策略和確定的網(wǎng)絡(luò)狀態(tài)來確定幀率和幀分辨率，根據(jù)確定的幀率和確定的幀分辨率來對屏幕圖像進(jìn)行編碼，使用網(wǎng)絡(luò)將編碼的屏幕圖像發(fā)送到接收裝置。
[0021]控制器還可被配置為通過確定屏幕圖像的內(nèi)容的類別來確定QoE策略。
[0022]控制器還可被配置為通過確定屏幕圖像的內(nèi)容的運(yùn)動量來確定QoE策略。
[0023]控制器還可被配置為通過確定用于發(fā)送編碼的圖像的最大比特率來確定網(wǎng)絡(luò)狀態(tài)。
[0024]根據(jù)另一示例性實施例的一方面，提供了一種當(dāng)在發(fā)送裝置和接收裝置之間共享屏幕時提高體驗質(zhì)量(QoE)的方法，所述方法包括:確定用于共享屏幕的網(wǎng)絡(luò)狀態(tài)；確定與當(dāng)前顯示在發(fā)送裝置的屏幕上的圖像的內(nèi)容對應(yīng)的QoE策略；基于確定的QoE策略和確定的網(wǎng)絡(luò)狀態(tài)來確定幀率和幀分辨率；根據(jù)確定的幀率和確定的幀分辨率來對圖像進(jìn)行編碼；使用網(wǎng)絡(luò)將編碼碼的屏幕圖像發(fā)送到接收裝置。
[0025]確定QoE策略的步驟可包括:確定屏幕圖像的內(nèi)容的類別。
[0026]確定QoE策略的步驟還可包括:確定屏幕圖像的內(nèi)容的運(yùn)動量。
[0027]確定網(wǎng)絡(luò)狀態(tài)的步驟可包括:確定用于發(fā)送編碼的圖像的最大比特率。
[0028]根據(jù)另一示例性實施例的一方面，提供了一種在其上已實現(xiàn)由用于執(zhí)行在共享屏幕時提高QoE的方法的計算機(jī)可執(zhí)行的程序的非暫時性計算機(jī)可讀記錄介質(zhì)。

【專利附圖】

【附圖說明】
[0029]通過結(jié)合附圖對特定示例性實施例進(jìn)行的以下描述，以上和/或其他方面將會變得清楚和更易于理解，其中:
[0030]圖1是用于描述根據(jù)示例性實施例的在多個裝置之間共享屏幕的概念圖；
[0031]圖2是根據(jù)示例性實施例的基于內(nèi)容的類別來提高體驗質(zhì)量(QoE)的方法的流程圖；
[0032]圖3A和圖3B是根據(jù)示例性實施例的分別應(yīng)用了 QoE策略的圖形內(nèi)容和文本內(nèi)容的示圖；
[0033]圖4A和圖4B是根據(jù)示例性實施例的應(yīng)用了 QoE策略的實時圖像內(nèi)容的示圖；
[0034]圖5是根據(jù)示例性實施例的檢測內(nèi)容的類別的方法的流程圖；
[0035]圖6是示出根據(jù)示例性實施例的基于內(nèi)容的類別的QoE策略的表格；
[0036]圖7示出根據(jù)示例性實施例的存在多個內(nèi)容類別的屏幕；
[0037]圖8是根據(jù)示例性實施例的通過分析網(wǎng)絡(luò)的狀態(tài)來提高QoE的方法的流程圖；
[0038]圖9是根據(jù)示例性實施例的基于內(nèi)容類別和網(wǎng)絡(luò)狀態(tài)來提高QoE的方法的流程圖；
[0039]圖1OA和圖1OB是根據(jù)另一示例性實施例的應(yīng)用了 QoE策略的圖形內(nèi)容和文本內(nèi)容的示圖；
[0040]圖1lA和圖1lB是根據(jù)另一示例性實施例的應(yīng)用了 QoE策略的實時圖像內(nèi)容的示圖；
[0041]圖12和圖13是根據(jù)示例性實施例的用于提高在多個裝置之間共享的屏幕的QoE的裝置的框圖。

【具體實施方式】
[0042]現(xiàn)在將參照附圖對特定示例性實施例進(jìn)行更詳細(xì)的描述。
[0043]在以下描述中，即使在不同的附圖中，相同的標(biāo)號始終表示相同的元件。提供在描述中所定義的內(nèi)容(諸如，詳細(xì)構(gòu)造和元件)以幫助對示例性實施例的全面的理解。因此，顯然，在沒有這些具體定義的內(nèi)容的情況下，可實施這些示例性實施例。此外，由于公知的功能或構(gòu)造會在不必要的細(xì)節(jié)上使示例性實施例不清楚，因此沒有對公知的功能或構(gòu)造進(jìn)行詳細(xì)描述。
[0044]圖1是用于描述根據(jù)示例性實施例的在多個裝置之間共享屏幕的概念圖。在以下描述中，發(fā)送裝置102是指用于發(fā)送共享的屏幕的屏幕圖像的裝置，接收裝置106是指用于接收屏幕圖像的裝置。例如，裝置可被實施為例如個人計算機(jī)(PO、智能電話和平板PC。
[0045]發(fā)送裝置102通過網(wǎng)絡(luò)將當(dāng)前顯示在發(fā)送裝置102的屏幕上的屏幕圖像104發(fā)送到接收裝置106。例如，如果在發(fā)送裝置102中正在執(zhí)行圖庫應(yīng)用，則照片的列表可當(dāng)前被顯示為發(fā)送裝置102的屏幕圖像104。如果屏幕被共享，則發(fā)送裝置102可捕獲屏幕圖像104，并通過網(wǎng)絡(luò)將屏幕圖像104發(fā)送到接收裝置106。
[0046]如果接收裝置106接收捕獲的屏幕圖像104，則接收裝置106可顯示與顯示在發(fā)送裝置102上的屏幕圖像104相同的屏幕圖像108，從而共享相同的屏幕。
[0047]當(dāng)發(fā)送裝置102發(fā)送屏幕圖像104時，由于用于發(fā)送屏幕圖像104的允許的比特率是基于網(wǎng)絡(luò)的狀態(tài)而確定的，因此需要考慮網(wǎng)絡(luò)的狀態(tài)。然而，除了網(wǎng)絡(luò)的狀態(tài)之外，還需要考慮體驗質(zhì)量(QoE)。QoE是指當(dāng)服務(wù)用戶在共享屏幕上查看應(yīng)用或服務(wù)時服務(wù)用戶的總體體驗或者容忍度。
[0048]例如，對于地圖應(yīng)用的情況，當(dāng)執(zhí)行地圖應(yīng)用時，屏幕圖像通常沒有運(yùn)動或者有基于滾動的簡單運(yùn)動。另一方面，地圖應(yīng)用優(yōu)先考慮可讀性。因此，當(dāng)用于執(zhí)行地圖應(yīng)用的屏幕被共享時，如果允許的比特率是通過分析網(wǎng)絡(luò)的狀態(tài)而確定的，則與幀率相比，分辨率(例如，幀分辨率)在確定的允許的比特率范圍內(nèi)被設(shè)置為高。
[0049]即使在網(wǎng)絡(luò)的狀態(tài)相同且因此而確定相同的允許的比特率時，如果應(yīng)用具有大量的運(yùn)動(例如，游戲應(yīng)用)，則與分辨率相比，幀率在確定的允許的比特率范圍內(nèi)被設(shè)置為聞。
[0050]換句話說，即使當(dāng)允許的比特率相同時，由于所需的分辨率和幀率的水平基于應(yīng)用的特性而變化，因此QoE需要通過基于每個應(yīng)用的特性適當(dāng)調(diào)整分辨率和幀率來保持在最佳狀態(tài)。換句話說，允許的比特率的帶寬基于每個應(yīng)用的特性而被分配在幀分辨率和幀率之間。
[0051]圖2是根據(jù)示例性實施例的基于內(nèi)容的類別來提高QoE的方法的流程圖。由發(fā)送裝置102來執(zhí)行當(dāng)在多個裝置之間共享屏幕時的QoE的提高。
[0052]在操作202中，發(fā)送裝置102檢測當(dāng)屏幕被共享時將被發(fā)送到接收裝置的屏幕圖像的內(nèi)容的類別。
[0053]內(nèi)容的類別可被分類為圖形內(nèi)容、實時圖像內(nèi)容或者文本內(nèi)容。此外，屏幕圖像中的運(yùn)動量還可以是用于對內(nèi)容的類別進(jìn)行分類的條件。換句話說，圖形內(nèi)容可以基于屏幕圖像的運(yùn)動量是高還是低而進(jìn)一步被分類。然而，內(nèi)容的類別不限于此。以下，將參照圖3A至圖4B更詳細(xì)地描述內(nèi)容的類別。
[0054]圖3A和圖3B是根據(jù)示例性實施例的應(yīng)用了 QoE策略的圖形內(nèi)容和文本內(nèi)容的示圖。
[0055]參照圖3A和圖3B，作為圖形內(nèi)容和文本內(nèi)容的示例分別示出游戲應(yīng)用和網(wǎng)頁正被執(zhí)行的發(fā)送裝置102的屏幕。
[0056]參照圖3A，與圖形內(nèi)容對應(yīng)的應(yīng)用的示例包括游戲應(yīng)用。由于游戲應(yīng)用具有大量的運(yùn)動，因此為了使QoE保持在最佳狀態(tài)，幀率可被確定為高。
[0057]即使對于內(nèi)容(例如，圖形內(nèi)容)的相同類別的情況，QoE策略可根據(jù)運(yùn)動量而不同。例如，在內(nèi)容的類別具有大量的運(yùn)動的情況下，與具有相對較少的運(yùn)動的內(nèi)容的類別相t匕，幀率可被確定為相對高于分辨率。當(dāng)內(nèi)容具有大量運(yùn)動時，由于用戶相對難以識別圖像質(zhì)量劣化，因此根據(jù)示例性實施例的發(fā)送裝置102可在基于網(wǎng)絡(luò)狀態(tài)而確定的允許的比特率的范圍內(nèi)將幀率確定為相對高于分辨率。
[0058]例如，如果主屏幕在發(fā)送裝置102正被執(zhí)行，則如同游戲應(yīng)用，在主屏幕上顯示為圖標(biāo)的項的每一項與圖形內(nèi)容對應(yīng)。然而，主屏幕的屏幕圖像通常沒有運(yùn)動或者有非常簡單的運(yùn)動。因此，與在執(zhí)行游戲應(yīng)用時相比，在執(zhí)行主屏幕時，發(fā)送裝置102可將幀率確定為相對較低，并將分辨率確定為相對較高。
[0059]圖3B示出文本內(nèi)容的示例。參照圖3B，文本內(nèi)容的示例包括網(wǎng)頁。對于網(wǎng)頁的情況，運(yùn)動量低于其他內(nèi)容類別，可讀性變得重要。因此，在網(wǎng)頁正被執(zhí)行時，發(fā)送裝置102可優(yōu)先考慮分辨率，并在基于網(wǎng)絡(luò)狀態(tài)而確定的允許的比特率的范圍內(nèi)將分辨率確定為相對高于幀率。
[0060]文本內(nèi)容的另一示例包括電子郵件應(yīng)用。由于可讀性再次成為電子郵件應(yīng)用的重要因素，因此在電子郵件應(yīng)用正被執(zhí)行時，發(fā)送裝置102可將分辨率確定為相對高于幀率。
[0061]圖4A和圖4B是根據(jù)示例性實施例的應(yīng)用QoE策略的真實圖像內(nèi)容的示圖。
[0062]參照圖4A和圖4B，作為真實圖像內(nèi)容的示例示出正執(zhí)行相機(jī)應(yīng)用和圖庫應(yīng)用的發(fā)送裝置102的屏幕。
[0063]圖4A示出正在執(zhí)行相機(jī)應(yīng)用的發(fā)送裝置102的屏幕。相機(jī)應(yīng)用捕獲運(yùn)動圖像或者靜止圖像，因此在屏幕圖像中具有大量的運(yùn)動。另一方面，圖4B中示出的圖庫應(yīng)用不具有大量運(yùn)動。因此，相機(jī)應(yīng)用的幀率被確定為高于圖庫應(yīng)用的幀率。
[0064]以供參考，真實圖像內(nèi)容的分辨率通常被設(shè)置為高于圖形內(nèi)容的分辨率。此外，真實圖像內(nèi)容的分辨率被設(shè)置為與文本內(nèi)容的分辨率相比較低。
[0065]可基于應(yīng)用的名稱來檢測當(dāng)前顯示在屏幕上的內(nèi)容的類別。這里，應(yīng)用的名稱可以是指能夠識別基于操作系統(tǒng)(OS)的應(yīng)用的各種類型的識別信息。
[0066]現(xiàn)在參照圖5對通過使用應(yīng)用的名稱來檢測內(nèi)容的類別的方法進(jìn)行描述。
[0067]參照圖5，命令502被輸入以檢測當(dāng)前在裝置中正被執(zhí)行的應(yīng)用。如果命令502被輸入，則檢查應(yīng)用的名稱。然而，在檢查期間用于檢測被執(zhí)行的應(yīng)用的信息不限于應(yīng)用的名稱。
[0068]例如，用于檢測應(yīng)用的信息可將頭信息包括在比特流中。具體地講，裝置的程序中的每個應(yīng)用的唯一頭信息被預(yù)先設(shè)置在存儲器中，與通過解析共享屏幕的屏幕圖像的比特流獲得的頭信息匹配的信息在存儲器中被找到。找到的應(yīng)用可被確定為當(dāng)前顯示在屏幕上的應(yīng)用。
[0069]為了防止應(yīng)用的非法拷貝，還可通過使用插入到每一幀的水印信息來檢測應(yīng)用。當(dāng)使用水印信息時，如果每個應(yīng)用的唯一水印信息被預(yù)先設(shè)置，則可通過搜索與水印信息匹配的應(yīng)用來檢測當(dāng)前顯示在屏幕上的應(yīng)用。
[0070]如果檢查到當(dāng)前執(zhí)行的應(yīng)用，則輸入用于檢測與應(yīng)用對應(yīng)的內(nèi)容的類別的命令504。由于應(yīng)用的類型被映射到內(nèi)容的類別的列表被存儲在存儲器中，因此如果檢查到當(dāng)前執(zhí)行的應(yīng)用，則可在列表上找到與當(dāng)前執(zhí)行的應(yīng)用對應(yīng)的內(nèi)容的類別。
[0071]將應(yīng)用的類型映射到內(nèi)容的類別的方法可基于例如圖像類型(諸如，圖形圖像或真實圖像)或者針對每個應(yīng)用的運(yùn)動量。
[0072]可通過使用文本檢測算法來確定當(dāng)前顯示在屏幕上的內(nèi)容的類別是否為文本內(nèi)容。文本檢測算法不局限于任何特定的算法并且可以使用各種文本檢測算法。
[0073]可基于編解碼器是否被使用來確定當(dāng)前顯示在屏幕上的內(nèi)容的類別是否為真實圖像內(nèi)容。例如，如果通過MOX檢查到視頻解碼器被使用并且因此真實視頻圖像當(dāng)前被顯示在屏幕上，則當(dāng)前被顯示在屏幕上的內(nèi)容的類別可被檢測為真實圖像內(nèi)容。
[0074]還可以通過使用當(dāng)前顯示在屏幕上的內(nèi)容的運(yùn)動矢量來檢測內(nèi)容的類別。范圍被設(shè)置，然后基于設(shè)置的范圍來映射內(nèi)容的類別。如果當(dāng)前顯示在屏幕上的內(nèi)容的運(yùn)動矢量與設(shè)置的范圍對應(yīng)，則被映射到設(shè)置的范圍的內(nèi)容的類別可被檢測為當(dāng)前顯示在屏幕上的內(nèi)容的類別。
[0075]可通過使用運(yùn)動矢量之和與文本檢測算法一起來檢測內(nèi)容的類別?？赏ㄟ^使用文本檢測算法來獲得屏幕上的文本的比例信息，然后可以基于分辨率來對基于運(yùn)動矢量之和的內(nèi)容的類別進(jìn)一步進(jìn)行分類。
[0076]更詳細(xì)地講，如果屏幕上的文本的比例小于之前設(shè)置的特定值，則分辨率的權(quán)重(weight)減小。否則，如果文本的比例等于或大于特定的值，則分辨率的權(quán)重增加。正因如此，用于確定分辨率的權(quán)重可被不同地設(shè)置。
[0077]在操作204中，發(fā)送裝置基于檢測到的內(nèi)容的類別來確定QoE策略。如果當(dāng)前允許的比特率是通過分析網(wǎng)絡(luò)狀態(tài)而確定的，則QoE策略用于基于在允許的比特率范圍內(nèi)的內(nèi)容的類別來調(diào)整分辨率和幀率。下面將參照圖6來對通過分析網(wǎng)絡(luò)的狀態(tài)來確定允許的比特率的方法進(jìn)行描述。
[0078]在操作206中，發(fā)送裝置基于確定的QoE策略來對當(dāng)前顯示在屏幕上的屏幕圖像進(jìn)行編碼。例如，如果游戲應(yīng)用當(dāng)前被顯示在屏幕上，則由于游戲應(yīng)用是圖形內(nèi)容并且具有大量的運(yùn)動，因此用戶不太會識別出圖像質(zhì)量劣化，幀率被設(shè)置為高。
[0079]在操作208中，發(fā)送裝置將編碼的屏幕圖像發(fā)送到接收裝置?？纱嬖谝粋€或更多個接收裝置。
[0080]圖6是示出根據(jù)示例性實施例的基于內(nèi)容的類別的QoE策略的表格。
[0081]如果當(dāng)前顯示在屏幕上的內(nèi)容的類別為圖形內(nèi)容或者真實圖像內(nèi)容，則分辨率可以是VGA或者QVGA，幀率可在每秒5幀(fps)和30fps之間不定地改變。否則，如果當(dāng)前顯示在屏幕上的內(nèi)容的類別為文本內(nèi)容，則分辨率可以是HD或者VGA，幀率可在Ifps和15fps之間不定地改變。
[0082]針對具有大量運(yùn)動因此具有少量的圖像質(zhì)量劣化的圖形內(nèi)容,幀率可被設(shè)置為最高，針對具有作為優(yōu)先考慮的因素的可讀性的文本內(nèi)容，分辨率可被設(shè)置為最高。這里，幀率和分辨率的設(shè)置不限于此。
[0083]例如，當(dāng)網(wǎng)絡(luò)的狀態(tài)被分析且流的允許的比特率為每秒100千比特(kbps)時，如果當(dāng)前顯示在屏幕上的內(nèi)容的類別為圖形內(nèi)容，則幀率可被設(shè)置為15fps。如果內(nèi)容的類別為真實圖像內(nèi)容，則幀率可被設(shè)置為1fps。如果內(nèi)容的類別為文本內(nèi)容，則幀率可被設(shè)置為 Ifps0
[0084]由于允許的比特率基于網(wǎng)絡(luò)的狀態(tài)而變化，因此幀率和分辨率還基于變化的比特率而變化。例如，如果允許的比特率增加，則可針對內(nèi)容的每個類別而不同地設(shè)置基于增加的允許的比特率的增加幀率的比例。
[0085]更詳細(xì)地講，針對圖形內(nèi)容，增加幀率Ifps所需的比特率可被設(shè)置為lOfps，針對真實圖像，增加幀率Ifps所需的比特率可被設(shè)置為15kpbs，針對文本內(nèi)容，增加幀率Ifps所需的比特率可被設(shè)置為30kpbs。
[0086]例如，假設(shè)，當(dāng)流的允許比特率是10kbps時，圖形內(nèi)容的幀率為15fps，真實圖像內(nèi)容的幀率為lOfps，文本內(nèi)容的幀率是lfps。如果允許的比特率基于變化的網(wǎng)絡(luò)狀態(tài)而增加到280kbps，則圖形內(nèi)容的幀率增加到33fps，真實圖像內(nèi)容的幀率增加到26fps，文本內(nèi)容的幀率增加到7fps。
[0087]可以基于運(yùn)動量來對當(dāng)前顯示在屏幕上的內(nèi)容的類別進(jìn)行進(jìn)一步分類。例如，圖形內(nèi)容還可以被分類為具有少量運(yùn)動的圖形內(nèi)容或者具有大量運(yùn)動的圖形內(nèi)容。此外，真實圖像內(nèi)容還可以被分類為具有少量運(yùn)動的真實圖像內(nèi)容或者具有大量運(yùn)動的真實圖像內(nèi)容。文本內(nèi)容不具有運(yùn)動或者具有非常少量的運(yùn)動，因此不會基于運(yùn)動量來進(jìn)一步分類。
[0088]由于QoE策略是基于內(nèi)容的類別，因此，與真實圖像內(nèi)容或者文本內(nèi)容相比，具有少量運(yùn)動的圖形內(nèi)容(GRAPHIC_SMALLM0T1N)可被設(shè)置為高幀率和低分辨率。與具有少量運(yùn)動的圖形內(nèi)容對應(yīng)的應(yīng)用的示例包括裝置的主屏幕。
[0089]由于具有大量運(yùn)動的內(nèi)容的圖像質(zhì)量劣化不會容易地被用戶識別，因此，與分辨率相比，具有大量運(yùn)動的圖形內(nèi)容(GRAPHIC_LARGEM0T10N)可保持在高幀率。與具有大量運(yùn)動的圖形內(nèi)容對應(yīng)的示例包括游戲應(yīng)用。
[0090]與具有少量運(yùn)動的真實圖像內(nèi)容(REAL_SMALLM0T10N)對應(yīng)的應(yīng)用的示例包括圖庫應(yīng)用。具有少量運(yùn)動的內(nèi)容通常不具有運(yùn)動或者具有簡單的運(yùn)動，因此與幀率相比，可被設(shè)置為具有高分辨率。
[0091]由于具有大量運(yùn)動的內(nèi)容的圖像質(zhì)量劣化可能不容易地被用戶識別，因此，與分辨率相比，具有大量運(yùn)動的真實圖像內(nèi)容(REAL_LARGEM0T10N)可被設(shè)置為具有高幀率。在這種情況下，與圖形內(nèi)容的分辨率相比，該分辨率通常被設(shè)置為高。
[0092]文本內(nèi)容(TEXT_SMALLM0T10N)優(yōu)先考慮可讀性，因此與幀率相比，文本內(nèi)容可被設(shè)置為具有高分辨率。與文本內(nèi)容對應(yīng)的應(yīng)用的示例包括電子郵件應(yīng)用、網(wǎng)頁和地圖應(yīng)用。
[0093]圖7示出根據(jù)示例性實施例的存在多個內(nèi)容類別的屏幕。如果在屏幕上存在多個內(nèi)容類別，則可以確定與具有針對圖形內(nèi)容、真實圖像內(nèi)容和文本內(nèi)容預(yù)先設(shè)置的優(yōu)先級之中的最高優(yōu)先級的內(nèi)容的類別對應(yīng)的QoE策略。
[0094]例如，參照圖7，區(qū)域A702對應(yīng)于真實圖像內(nèi)容，區(qū)域B704對應(yīng)于文本內(nèi)容，區(qū)域C706對應(yīng)于圖形內(nèi)容。如果以真實圖像內(nèi)容、圖形內(nèi)容和文本內(nèi)容的順序給出預(yù)先設(shè)置的優(yōu)先級，則適于真實圖像內(nèi)容的QoE策略被確定，然后基于確定的QoE策略來調(diào)整用于對當(dāng)前顯示在屏幕上的屏幕圖像進(jìn)行編碼的參數(shù)。
[0095]如果在屏幕上存在多個內(nèi)容類別，則可根據(jù)存在于屏幕上的每個內(nèi)容類別的比例來確定QoE策略。例如，參照圖7，由于在屏幕上與圖形內(nèi)容對應(yīng)的區(qū)域C706的比例為最高，因此適于圖形內(nèi)容的QoE策略被確定，然后基于確定的QoE策略來調(diào)整用于對當(dāng)前顯示在屏幕上的屏幕圖像進(jìn)行編碼的參數(shù)。
[0096]在多個內(nèi)容類別存在時用于確定QoE策略的條件不局限于預(yù)先設(shè)置的優(yōu)先級和在屏幕上的每個內(nèi)容類別的比例。
[0097]圖8是根據(jù)示例性實施例的通過分析網(wǎng)絡(luò)的狀態(tài)來提高QoE的方法的流程圖。
[0098]在操作802中，發(fā)送裝置分析用于在多個裝置之間共享屏幕的網(wǎng)絡(luò)的狀態(tài)。例如，實時傳輸控制協(xié)議(RTCP)用于分析網(wǎng)絡(luò)的狀態(tài)。RTCP基于通過將周期性控制數(shù)據(jù)包傳輸?shù)酵ㄟ^網(wǎng)絡(luò)參與流的發(fā)送和接收的裝置獲得的數(shù)據(jù)來監(jiān)視網(wǎng)絡(luò)。具體地講，RTCP用于收集關(guān)于接收裝置的信息且用于計算接收裝置的傳輸率。
[0099]網(wǎng)絡(luò)狀態(tài)可被分類為流的發(fā)送和接收被適當(dāng)執(zhí)行的空載狀態(tài)、開始產(chǎn)生流的發(fā)送和接收的加載狀態(tài)和開始發(fā)生數(shù)據(jù)包丟失的擁擠狀態(tài)。
[0100]可通過分析網(wǎng)絡(luò)的當(dāng)前狀態(tài)和最近的η個網(wǎng)絡(luò)狀態(tài)來分析網(wǎng)絡(luò)狀態(tài)?？赏ㄟ^讀取在特定時間段內(nèi)存儲在緩沖區(qū)中的網(wǎng)絡(luò)的狀態(tài)來獲得最近的η個網(wǎng)絡(luò)狀態(tài)。
[0101]在操作804中，發(fā)送裝置基于分析的網(wǎng)絡(luò)狀態(tài)來確定用于發(fā)送流的允許的比特率。
[0102]在操作806中，發(fā)送裝置基于在操作804中確定的允許的比特率來調(diào)整幀率和分辨率。更具體地講，如果允許的比特率是基于分析的網(wǎng)絡(luò)狀態(tài)而確定的，則可基于確定的允許的比特率來確定適于當(dāng)前顯示在屏幕上的內(nèi)容的類別的QoE策略。可基于確定的QoE策略來調(diào)整幀率和分辨率。
[0103]例如，發(fā)送裝置在t時刻開始將要分享的屏幕的屏幕圖像發(fā)送到接收裝置。假設(shè)，在t時刻，網(wǎng)絡(luò)裝置處于加載狀態(tài)且允許的比特率是100kbps。當(dāng)前顯示在屏幕上的應(yīng)用是作為具有大量運(yùn)動的圖形內(nèi)容的游戲應(yīng)用。
[0104]在從t時刻起完全分析η個網(wǎng)絡(luò)狀態(tài)的時刻，假設(shè)通過分析網(wǎng)絡(luò)的當(dāng)前狀態(tài)和η個網(wǎng)絡(luò)狀態(tài)而分析的網(wǎng)絡(luò)狀態(tài)為空載狀態(tài)且允許的比特率為280kbps。由于允許的比特率增加，因此用于對屏幕的屏幕圖像編碼的幀率和分辨率被改變。
[0105]當(dāng)前顯示在屏幕上的應(yīng)用為游戲應(yīng)用，幀率與分辨率相比必須保持為高。對于圖形內(nèi)容的情況，如果假設(shè)增加幀率Ifps所需的比特率為10kbps，則當(dāng)前顯示的屏幕圖像的幀率增加18fps。
[0106]圖9是根據(jù)示例性實施例的基于內(nèi)容類別和網(wǎng)絡(luò)狀態(tài)來提高QoE的方法的流程圖。
[0107]在操作910中，發(fā)送裝置檢測在屏幕被共享時要發(fā)送到接收裝置的屏幕圖像上的內(nèi)容的類別。
[0108]內(nèi)容的類別可被分類為圖形內(nèi)容、真實圖像內(nèi)容或者文本內(nèi)容。此外，屏幕圖像中的運(yùn)動量可以是用于對內(nèi)容的類別進(jìn)行分類的條件。換句話說，圖形內(nèi)容可以基于屏幕圖像的運(yùn)動量的是高還是低而被進(jìn)一步分類。
[0109]在操作920中，發(fā)送裝置基于檢測到的內(nèi)容的類別來確定QoE策略。例如，發(fā)送裝置將針對每個內(nèi)容類別(即，圖形內(nèi)容、真實圖像內(nèi)容或者文本內(nèi)容)預(yù)定的QoE策略應(yīng)用于在發(fā)送裝置的屏幕中執(zhí)行的內(nèi)容。以下，將參照圖1OA至圖1lB來描述當(dāng)內(nèi)容顯示在TV終端時的QoE策略。
[0110]圖1OA和圖1OB是根據(jù)另一示例性實施例的應(yīng)用了 QoE策略的圖形內(nèi)容和文本內(nèi)容的示圖。圖1OA示出顯示圖形內(nèi)容的TV終端的屏幕，圖1OB示出顯示文本內(nèi)容的TV終端的屏幕。
[0111]參照圖10A，圖形內(nèi)容的示例可包括動畫電影。在內(nèi)容的類別具有大量運(yùn)動的情況下，與具有較少運(yùn)動量的內(nèi)容的類別相比，幀率可被確定為相對高于分辨率。當(dāng)在TV終端執(zhí)行動畫電影時，顯示在TV終端的圖像具有大量的運(yùn)動，因此，為了提高QoE，幀率被確定為聞。
[0112]圖1OB示出文本內(nèi)容的示例。參照圖10B，文本內(nèi)容的示例可包括教育應(yīng)用。對于教育應(yīng)用的情況，教學(xué)資料的內(nèi)容被編寫為文本，從而運(yùn)動量少于其他類別的內(nèi)容，并且可讀性變?yōu)橹匾蛩?。因此，?dāng)在TV終端執(zhí)行教育應(yīng)用時，可優(yōu)先考慮分辨率，分辨率可在基于網(wǎng)絡(luò)狀態(tài)設(shè)置的允許的比特率范圍內(nèi)被確定為相對高于幀率。
[0113]圖1lA和圖1lB是根據(jù)另一示例性實施例的應(yīng)用了 QoE策略的真實圖像內(nèi)容的示圖。參照圖1lA和圖11B，作為真實圖像內(nèi)容的示例示出正在執(zhí)行電話應(yīng)用和圖庫應(yīng)用的TV終端的屏幕。
[0114]圖1lA示出正在執(zhí)行電話應(yīng)用的TV終端的屏幕。對于電話應(yīng)用的情況，由于在打電話期間圖像數(shù)據(jù)或聲音數(shù)據(jù)應(yīng)該被實時地發(fā)送和接收，因此存在大量的運(yùn)動。另一方面，雖然在圖1lB中示出的圖庫應(yīng)用被包括在作為電話應(yīng)用的真實圖像內(nèi)容中，但是相比于電話應(yīng)用有少量的運(yùn)動。因此，電話應(yīng)用的幀率被確定為高于圖庫應(yīng)用的幀率。
[0115]參照圖9，在操作930，發(fā)送裝置分析在共享屏幕的多個終端裝置之間的網(wǎng)絡(luò)的狀態(tài)。發(fā)送裝置基于網(wǎng)絡(luò)狀態(tài)的分析結(jié)果來確定流傳輸?shù)脑试S的比特率。分析網(wǎng)絡(luò)狀態(tài)的方法的示例可包括RTCP。
[0116]在操作940，發(fā)送裝置基于確定的QoE策略和網(wǎng)絡(luò)狀態(tài)來確定幀率和分辨率。例如，當(dāng)作為對網(wǎng)絡(luò)狀態(tài)分析的結(jié)果允許的比特率為100kbps時，發(fā)送裝置可確定顯示在屏幕的內(nèi)容的幀率和分辨率在100kbp比特率范圍內(nèi)。當(dāng)內(nèi)容的類別為圖形內(nèi)容且內(nèi)容具有大量的運(yùn)動時，發(fā)送裝置可在100kbp比特率范圍內(nèi)將幀率確定為相對高于分辨率。
[0117]在操作950，發(fā)送裝置根據(jù)確定的幀率和分辨率來對屏幕圖像進(jìn)行編碼。操作950可對應(yīng)于操作206。
[0118]發(fā)送裝置將編碼的屏幕圖像發(fā)送到接收裝置。根據(jù)示例性實施例的接收裝置可以是一個或者更多個。
[0119]圖12和圖13是根據(jù)示例性實施例的用于提高在多個裝置之間共享的屏幕的QoE的裝置1200的框圖。
[0120]如圖12中所示，根據(jù)本實施例的用于提高在多個裝置之間共享的屏幕的QoE的裝置1200 (以下，發(fā)送裝置)可包括控制器1250和存儲器1260。然而，并不是所有示出的組件都為必要的組件。發(fā)送裝置1200可通過比示出的組件或多或少的組件來被實現(xiàn)。
[0121]圖13示出當(dāng)發(fā)送裝置1200為智能電話時的示例。然而，如上所述，該裝置可被實現(xiàn)為諸如PC、智能電話、平板PC和TV的各種裝置。
[0122]移動通信器1201通過諸如3G/4G網(wǎng)絡(luò)的蜂窩網(wǎng)絡(luò)來執(zhí)行例如與基站的呼叫建立和數(shù)據(jù)通信。子通信器1202執(zhí)行用于諸如藍(lán)牙或近場通信(NFC)的短距離通信的功能。廣播接收器1203接收數(shù)字多媒體廣播(DMB)信號。
[0123]相機(jī)1204包括用于捕獲照片或者視頻的透鏡和光學(xué)元件。
[0124]傳感器1205可包括用于感測裝置1200的運(yùn)動的重力傳感器、用于感測光的亮度的照度傳感器，用于感測人的接近度的近距離傳感器和用于感測人的運(yùn)動的運(yùn)動傳感器坐寸ο
[0125]全球定位系統(tǒng)(GPS)接收器1206從衛(wèi)星接收GPS信號。各種服務(wù)可通過使用GPS信號被提供給用戶。
[0126]輸入器/輸出器(I/O) 1210提供與外部裝置或者用戶的接口，并包括按鈕1211、麥克風(fēng)1212、揚(yáng)聲器1213、振動電機(jī)1214、連接器1215和鍵盤1216。
[0127]觸摸屏1218接收用戶的觸摸輸入。這里，觸摸輸入可以是由于拖動手勢或者輕擊手勢而做出的輸入。觸摸屏控制器1217將由觸摸屏1218接收的觸摸輸入發(fā)送到控制器1250。電源1219與電池或外部電源連接以給裝置1200提供電力。
[0128]控制器1250允許裝置1200通過執(zhí)行存儲在存儲器1260中的程序來用作提高QoE的裝置。
[0129]存儲在存儲器1260中的程序可根據(jù)它們的功能被分類為多個模塊，例如，移動通信模塊1261、W1-Fi模塊1262、藍(lán)牙模塊1263、DMB模塊1264、相機(jī)模塊1265、傳感器模塊1266、GPS模塊1267、視頻播放器模塊1268、音頻播放器模塊1269、電源模塊1270、觸摸屏模塊1271、用戶界面(UI)模塊1272和QoE控制模塊1273。
[0130]大部分模塊的功能會由本領(lǐng)域普通技術(shù)人員鑒于它們的名稱來直覺地理解，因此這里將只對QoE控制模塊1273進(jìn)行描述。當(dāng)通過網(wǎng)絡(luò)在多個裝置之間共享屏幕時，QoE控制模塊1273基于當(dāng)前顯示在屏幕上的內(nèi)容的類別來調(diào)整用于對屏幕的屏幕圖像進(jìn)行編碼的參數(shù)。
[0131]換句話說，QoE控制模塊1273包括如下命令，所述命令用于檢測與當(dāng)前顯示在屏幕上的應(yīng)用對應(yīng)的內(nèi)容的類別、確定適于檢測到的內(nèi)容的類別的QoE策略、基于確定的QoE策略來調(diào)整幀率和分辨率。
[0132]可基于應(yīng)用的名稱來檢測當(dāng)前顯示在屏幕上的應(yīng)用。QoE控制模塊1273可包括用于提取應(yīng)用的名稱信息的提取器。如果提取器提取當(dāng)前顯示在屏幕上的應(yīng)用的名稱信息，則可通過存儲在存儲器1260中的列表來檢測與應(yīng)用對應(yīng)的內(nèi)容的類別。
[0133]此外，如果多個裝置通過網(wǎng)絡(luò)共享屏幕，則QoE控制模塊1273分析網(wǎng)絡(luò)的狀態(tài)，基于對網(wǎng)絡(luò)狀態(tài)分析的結(jié)果來確定允許的比特率，并基于確定的允許的比特率將幀率和分辨率調(diào)整為適于當(dāng)前顯示在屏幕上的內(nèi)容的類別。
[0134]示例性實施例可以以包括計算機(jī)可執(zhí)行的命令(例如，計算機(jī)可執(zhí)行的程序模塊)的形式來被實現(xiàn)。計算機(jī)可讀介質(zhì)可以是可被計算機(jī)訪問的任意介質(zhì)，并包括易失性和非易失性介質(zhì)、可拆卸和不可拆卸介質(zhì)。此外，計算機(jī)可讀介質(zhì)可包括計算機(jī)記錄介質(zhì)和通信介質(zhì)。計算機(jī)記錄介質(zhì)包括通過使用用于存儲諸如計算機(jī)可讀命令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)的信息的任意方法或技術(shù)而實現(xiàn)的易失性和非易失性介質(zhì)、可拆卸和不可拆卸介質(zhì)。通信介質(zhì)通常包括計算機(jī)可讀命令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者其他傳輸裝置，并且包括任意信息傳輸介質(zhì)。
[0135]示例性實施例可以以許多不同的形式來體現(xiàn)，且不應(yīng)被解釋為局限于前述的示例性實施例。例如，單個組件可以被分為多個組件，多個組件可以組合成一個組件。
[0136]雖然具體示出和描述了前述的示例性實施例，但本領(lǐng)域普通技術(shù)人員將會理解，在不脫離由權(quán)利要求及其等同物限定的本發(fā)明構(gòu)思的精神和范圍的情況下，可以進(jìn)行形式上和細(xì)節(jié)上的各種改變。
【權(quán)利要求】
1.一種提高與第二裝置共享第一裝置的屏幕的第一裝置的質(zhì)量的方法，所述方法包括: 檢測當(dāng)前顯示在屏幕上的內(nèi)容的類別； 基于檢測到的內(nèi)容的類別來確定質(zhì)量策略； 基于確定的質(zhì)量策略對屏幕的屏幕圖像進(jìn)行編碼； 將編碼的屏幕圖像發(fā)送到第二裝置。
2.根據(jù)權(quán)利要求1所述的方法，其中，通過使用基于確定的質(zhì)量策略調(diào)整的幀率和分辨率來執(zhí)行所述編碼。
3.根據(jù)權(quán)利要求2所述的方法，其中，質(zhì)量策略響應(yīng)于具有大量運(yùn)動的內(nèi)容將幀率調(diào)整為高。
4.根據(jù)權(quán)利要求1所述的方法，其中，檢測到的內(nèi)容的類別是圖形內(nèi)容、真實圖像內(nèi)容和文本內(nèi)容之中的至少一個。
5.根據(jù)權(quán)利要求1所述的方法，其中，基于當(dāng)前執(zhí)行的應(yīng)用的名稱來執(zhí)行所述檢測。
6.根據(jù)權(quán)利要求1所述的方法，其中，確定的步驟包括:響應(yīng)于當(dāng)前正顯示在屏幕上的多個內(nèi)容類別，基于針 對多個內(nèi)容類別預(yù)先設(shè)置的優(yōu)先級來選擇與具有最高優(yōu)先級的內(nèi)容類別對應(yīng)的質(zhì)量策略。
7.根據(jù)權(quán)利要求1所述的方法，其中，編碼的步驟包括: 基于用于在第一裝置和第二裝置之間共享屏幕的網(wǎng)絡(luò)狀態(tài)來確定允許的比特率； 基于確定的比特率來調(diào)整用來對屏幕的屏幕圖像編碼的幀率和分辨率。
8.一種發(fā)送裝置，包括: 存儲器，被配置為存儲至少一個程序； 處理器，被配置為通過執(zhí)行至少一個程序來使該發(fā)送裝置能夠與接收裝置共享屏幕，并提聞質(zhì)量， 其中，所述至少一個程序執(zhí)行如下方法，包括: 檢測當(dāng)前顯示在屏幕上的內(nèi)容的類別； 基于檢測的內(nèi)容的類別來確定質(zhì)量策略； 基于確定的質(zhì)量策略來對屏幕的屏幕圖像進(jìn)行編碼； 將編碼的屏幕圖像發(fā)送到接收裝置。
9.根據(jù)權(quán)利要求8所述的發(fā)送裝置，其中，通過使用基于確定的質(zhì)量策略調(diào)整的幀率和分辨率來執(zhí)行所述編碼。
10.根據(jù)權(quán)利要求9所述的發(fā)送裝置，其中，質(zhì)量策略響應(yīng)于具有大量運(yùn)動的內(nèi)容將幀率調(diào)整為高。
11.根據(jù)權(quán)利要求8所述的發(fā)送裝置，其中，檢測到的內(nèi)容的類別是圖形內(nèi)容、真實圖像內(nèi)容和文本內(nèi)容之中的至少一個。
12.根據(jù)權(quán)利要求8所述的發(fā)送裝置，其中，基于當(dāng)前執(zhí)行的應(yīng)用的名稱來執(zhí)行所述檢測。
13.根據(jù)權(quán)利要求8所述的發(fā)送裝置，其中，確定的步驟包括:響應(yīng)于當(dāng)前正顯示在屏幕上的多個內(nèi)容類別，基于針對多個內(nèi)容類別預(yù)先設(shè)置的優(yōu)先級來選擇與具有最高優(yōu)先級的內(nèi)容類別對應(yīng)的質(zhì)量策略。
14.根據(jù)權(quán)利要求8所述的發(fā)送裝置，其中，編碼的步驟包括:基于用于在發(fā)送裝置和接收裝置之間共享屏幕的網(wǎng)絡(luò)狀態(tài)來確定允許的比特率；基于確定的比特率來 調(diào)整用來對屏幕的屏幕圖像編碼的幀率和分辨率。
【文檔編號】G06F3/14GK104077098SQ201410114580
【公開日】2014年10月1日 申請日期:2014年3月25日 優(yōu)先權(quán)日:2013年3月25日
【發(fā)明者】金容臺, 金信愛, 白允善 申請人:三星電子株式會社