專利名稱：一種通信方法和通信系統(tǒng)的制作方法
技術(shù)領域：
本發(fā)明涉及通信系統(tǒng)。更具體地說，本發(fā)明涉及一種根據(jù)視角自動適配移動設備 的視窗的方法和系統(tǒng)。
背景技術(shù)：
在三維或二維視頻和/或靜態(tài)圖像系統(tǒng)中，顯示設備(例如手持設備、電視機、監(jiān) 視器、相機和/或游戲機)中顯示有圖像?，F(xiàn)在大多數(shù)視頻廣播利用支持以位流形式廣播 視頻圖像的視頻處理應用，該位流包含代表將要顯示的圖像的特征的信息。視頻應用可以 利用各種插值和/或速率轉(zhuǎn)換功能在顯示器上展示包含靜態(tài)和/或動態(tài)圖像的內(nèi)容。比較本發(fā)明后續(xù)將要結(jié)合附圖介紹的系統(tǒng)，現(xiàn)有技術(shù)的其它局限性和弊端對于本 領域的普通技術(shù)人員來說是顯而易見的。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于移動設備根據(jù)視角自動適配視窗的方法和系統(tǒng)，結(jié)合至少 一幅附圖進行詳細描述，并在權(quán)利要求中得到了更完整的闡述。根據(jù)本發(fā)明的一個方面，提供一種通信方法，包括由二維視頻和/或三維視頻處理設備中的一個或多個處理器和/或電路執(zhí)行當觀看者在觀看當前視窗顯示的二維和/或三維視頻內(nèi)容時，拍攝所述觀看者的 一幅或多幅圖像；對所拍攝的所述觀看者的一幅或多幅圖像執(zhí)行臉部和/或眼睛追蹤；根據(jù)所述臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維和/或三維視 頻內(nèi)容的另一視窗；以及顯示所述生成的另一視窗。優(yōu)選地，所述二維視頻和/或三維視頻處理設備包括相機以及二維和/或三維顯不器。優(yōu)選地，所述當前視窗和/或所述另一視窗包括同一個(single) 二維和/或三維 視頻內(nèi)容源的不同和/或部分不同的部分。優(yōu)選地，所述另一視窗包括來自與所述當前視窗不同的二維和/或三維視頻內(nèi)容 源的二維和/或三維視頻內(nèi)容。優(yōu)選地，所述方法進一步包括在當前可用的二維和/或三維視頻內(nèi)容源中和/或 另一二維和/或三維視頻內(nèi)容源中滾動、縮放和/或?qū)Ш揭陨伤隽硪灰暣?。?yōu)選地，所述方法進一步包括處理二維和/或三維視頻內(nèi)容以生成所述另一視窗。優(yōu)選地，所述方法進一步包括通過相機拍攝觀看者的臉部、面部表情、眼睛的一個 或多個位置、角度和/或動作和/或觀看者的其它肢體動作的圖像以進行所述臉部和/或 眼睛追蹤。
3
優(yōu)選地，所述方法進一步包括解析(interpreting)拍攝的觀看者的臉部、面部表 情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其它肢體動作的圖像以便在所 述當前視窗以外進行滾動、縮放和/或?qū)Ш?。?yōu)選地，所述方法進一步包括根據(jù)所述臉部和/或眼睛追蹤生成所述另一視窗以 便在三維視頻內(nèi)容中導航和/或旋轉(zhuǎn)三維對象，其中所述另一視窗包括不同和/或部分不 同的二維和/或三維視頻內(nèi)容。優(yōu)選地，所述方法進一步包括所述二維視頻和/或三維視頻處理設備通過一個或 多個有線接口、無線接口和/或光纖接口通信。根據(jù)本發(fā)明的一個方面，提供一種通信系統(tǒng)，包括二維視頻和/或三維視頻處理設備中的一個或多個處理器和/或電路，所述一個 或多個處理器和/或電路用于當觀看者在觀看當前視窗顯示的二維和/或三維視頻內(nèi)容時，拍攝所述觀看者的 一幅或多幅圖像；對所述拍攝的所述觀看者的一幅或多幅圖像執(zhí)行臉部和/或眼睛追蹤；根據(jù)所述臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維和/或三維視 頻內(nèi)容的另一視窗；以及顯示所述生成的另一視窗。優(yōu)選地，所述二維視頻和/或三維視頻處理設備包括相機以及二維和/或三維顯 不器。優(yōu)選地，所述當前視窗和/或所述另一視窗包括同一個二維和/或三維視頻內(nèi)容 源的不同和/或部分不同的內(nèi)容。優(yōu)選地，所述另一視窗包括來自與所述當前視窗不同的二維和/或三維視頻內(nèi)容 源的二維和/或三維視頻內(nèi)容。優(yōu)選地，所述一個或多個處理器和/或電路用于在當前可用的二維和/或三維視 頻內(nèi)容源中和/或另一二維和/或三維視頻內(nèi)容源中滾動、縮放和/或?qū)Ш揭陨伤隽?br> 一視窗。優(yōu)選地，所述一個或多個處理器和/或電路用于處理二維和/或三維視頻內(nèi)容以 生成所述另一視窗。優(yōu)選地，所述一個或多個處理器和/或電路用于通過相機拍攝觀看者的臉部、面 部表情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其它肢體動作的圖像以進 行所述臉部和/或眼睛追蹤。優(yōu)選地，所述一個或多個處理器和/或電路用于解析(interpret)拍攝的觀看者 的臉部、面部表情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其它肢體動作 的圖像以便在所述當前視窗以外進行滾動、縮放和/或?qū)Ш?。?yōu)選地，所述一個或多個處理器和/或電路用于根據(jù)所述臉部和/或眼睛追蹤生 成所述另一視窗以便在三維視頻內(nèi)容中導航和/或旋轉(zhuǎn)三維對象，其中所述另一視窗包括 不同和/或部分不同的二維和/或三維視頻內(nèi)容。優(yōu)選地，所述一個或多個處理器和/或電路用于通過一個或多個有線接口、無線 接口和/或光纖接口通信。
本發(fā)明的各種優(yōu)點、各個方面和創(chuàng)新特征，以及其中所示例的實施例的細節(jié)，將在 以下的說明書和附圖中進行詳細介紹。


圖1是用于根據(jù)對觀看顯示器的觀看者的臉部和/或眼睛追蹤來顯示和/或處理 圖像或頁面的各個部分的示范性移動設備的框圖；圖2是根據(jù)本發(fā)明實施例的可以根據(jù)觀看者相對于移動顯示設備的位置、觀看行 為和/或空間方位進行轉(zhuǎn)換或調(diào)整的示范性顯示窗口的框圖；圖3是根據(jù)本發(fā)明實施例的可以根據(jù)觀看者相對于移動顯示設備的位置、觀看行 為和/或空間方位來轉(zhuǎn)換文本的多個示范性視窗位置的示意圖；圖4是根據(jù)本發(fā)明實施例的利用臉部和/或眼睛追蹤的示范性三維導航的示意 圖；圖5是根據(jù)本發(fā)明實施例的移動設備基于臉部和/或眼睛追蹤自動適配視窗的示 范性步驟的流程圖。
具體實施例方式本發(fā)明用于移動設備根據(jù)視角自動適配視窗的方法和系統(tǒng)提供了一些實施例。在 本發(fā)明的各種實施例中，二維視頻和/或三維視頻處理設備可以用于在觀看者觀看該設備 的當前視窗中顯示的二維視頻和/或三維視頻內(nèi)容時拍攝觀看者的一幅或多幅圖像。就這 一點而言，二維和/或三維內(nèi)容可以包括靜態(tài)的、動態(tài)的、文本的和/或圖形的二維視頻和/ 或三維視頻內(nèi)容。在本發(fā)明的一個實施例中，二維視頻和/或三維視頻處理設備可以是移 動或手持設備。二維視頻和/或三維視頻處理設備可以對所拍攝的觀看者的圖像執(zhí)行臉部 和/或眼睛追蹤，并可以至少根據(jù)臉部和/或眼睛追蹤中得到的信息生成另一視窗。根據(jù) 臉部和/或眼睛追蹤，該另一視窗可以包括與當前視窗不同和/或部分不同的二維視頻和 /或三維視頻內(nèi)容。可以顯示該另一視窗。就這一點而言，二維視頻和/或三維視頻處理設備可以包括相機以及二維視頻和 /或三維視頻顯示器。當前視窗和/或另一視窗可以包括同一個二維視頻和/或三維視頻 內(nèi)容源的不同和/或部分不同的內(nèi)容?？蛇x地，另一視窗和當前視窗可以包括不同源的二 維視頻和/或三維視頻內(nèi)容?？梢栽诋斍翱捎玫亩S視頻和/或三維視頻內(nèi)容源和/或另 一二維視頻和/或三維視頻內(nèi)容源中滾動、縮放和/或?qū)Ш揭陨闪硪灰暣?。可以處理?成該另一視窗的二維視頻和/或三維視頻內(nèi)容。可以用相機拍攝觀看者的臉部、面部表情、 眼睛的一個或多個位置、角度和/或動作和/或觀看者的其它肢體動作的圖像?？梢杂赡?部和/或眼睛追蹤解析拍攝的圖像以便在當前視窗以外滾動、縮放和/或?qū)Ш健？梢愿鶕?jù) 臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維視頻和/或三維視頻內(nèi)容的另一 視窗，以便在三維視頻內(nèi)容中導航和/或旋轉(zhuǎn)三維對象。二維視頻和/或三維視頻處理設 備可以通過有線接口、無線接口和/或光纖接口通信。以這種方式，觀看者可以根據(jù)臉部和 /或眼睛追蹤來調(diào)整和/或控制視頻處理設備中顯示的一個或多個視窗。圖1是根據(jù)本發(fā)明實施例的用于根據(jù)對觀看顯示器的觀看者的臉部和/或眼睛追 蹤來顯示和/或處理圖像或頁面的各個部分的示范性移動設備的框圖。圖1示出了移動顯示設備106，移動顯示設備106可以包括通信模塊120、處理器122、存儲器123、可選的外部 存儲器125、臉部和/或眼睛追蹤模塊124、顯示面板1 和相機128。移動顯示設備106可以包括合適的邏輯、電路、接口和/或代碼，用于感應觀看者 的觀察方向以及用于基于感應觀看者試圖觀看的圖像或頁面的各個部分來自動適配視窗。 例如，觀看者可能試圖去看超過圖像或頁面的顯示部分邊緣的地方。視窗可以包括移動顯 示設備106當前顯示的圖像或頁面中的一部分或一個特定的窗口。例如，視窗的內(nèi)容源可 以包括移動顯示設備106可獲得的特定的圖像、頁面、幀和/或相應的三維幀的所有內(nèi)容。 移動顯示設備106可以用于顯示圖像、頁面、幀和/或相應的三維幀的全部內(nèi)容和/或可以 用于放大和/或顯示全部內(nèi)容的各個部分。就這一點而言，移動顯示設備106可以有一個 小屏幕或顯示面板1 并可以放大圖像或頁面的選定區(qū)域以便觀看。盡管描述了圖1所示 的移動顯示設備106，但本發(fā)明并不受限于此。就這一點而言，本發(fā)明的各種實施例可以包 括任意合適的顯示設備或任意合適的包含顯示器的設備。移動顯示設備106可以利用臉部和/或眼睛追蹤來確定何時觀看者在查看屏幕上 當前顯示的邊界以外的內(nèi)容。例如，臉部和/或眼睛追蹤可以分析和/或解析顯示面板126 的觀看者的一幅或多幅圖像，以及可以確定觀看者查看的部位或內(nèi)容。就這一點而言，臉部 和/或眼睛追蹤可以分析觀看者的一幅或多幅圖像以及可以確定觀看者查看的部位?？梢?分析和/或解析觀看者的眼睛、面部、頭、面部特征和/或各個身體部位的動作、位置和/或 角度來確定觀看者查看的部位。例如，觀看者的凝視方向和/或視角可以說明觀看者可能 需要另一個角度的圖像。例如，臉部和/或眼睛追蹤可以通過觀看者的眼睛位置和/或眼 睛和/或臉部的角度來確定觀看者想要滾動到當前視窗顯示的圖像部分邊緣以外的圖像 區(qū)域。在這種情況下，移動顯示設備106可以調(diào)整視窗中顯示的內(nèi)容并可以顯示觀看者試 圖觀看的圖像部分。另外，移動顯示設備106可以放大顯示的內(nèi)容區(qū)域和/或根據(jù)觀看者 的觀看行為對內(nèi)容進行其它處理。移動顯示設備106可以是二維或三維、無線或有線設備， 例如移動電話、媒體播放器、電腦、電視、數(shù)碼相機、地理定位設備和/或游戲設備，但是，本 發(fā)明并不受限于此。通信模塊120可以包括合適的邏輯、電路和/或代碼，用于通過有線、光纖和/或 無線信號發(fā)送和/或接收信號。通信模塊120可以支持多個接口。例如，通信模塊120可 以用于支持蜂窩、衛(wèi)星、無線局域網(wǎng)或WiFi無線技術(shù)。另外，通信模塊120可以用于支持外 部存儲器接口、通用異步收發(fā)器(UART)接口、增強型串行外設接口(eSPI)、通用輸入/輸出 (GPIO)接口、脈沖編碼調(diào)制(PCM)和/或芯片間音頻接口(inter-IC sound interface，簡 稱I2S)、集成電路間(I2C)總線接口、通用串行總線(USB)接口、藍牙接口、紫蜂(ZigBee) 接口、IrDA接口和/或無線USB (W-USB)接口。處理器122可以包括合適的邏輯、電路、接口和/或代碼，用于控制和/或配置移 動顯示設備106中的一個或多個模塊和/或可以用于通過通信模塊120與其它設備通信。 例如，處理器122可以用于控制相機128，以便拍攝有用的臉部和/或眼睛追蹤信息。又例 如，處理器122可以通過通信模塊120從存儲器123和/或可選外部存儲器125中獲取和/ 或在存儲器123和/或可選外部存儲器125中存儲內(nèi)容數(shù)據(jù)、指令和/或參數(shù)。進一步地， 處理器122可以用于從臉部和/或眼睛追蹤模塊IM接收和/或處理臉部和/或眼睛追蹤 信息。就這一點而言，處理器122可以用于根據(jù)臉部和/或眼睛追蹤信息處理和/或編輯通過顯示面板1 顯示的內(nèi)容。例如，處理器122可以根據(jù)臉部和/或眼睛追蹤信息確定 圖像、頁面、幀和/或多個相應的三維幀中的哪個部分的內(nèi)容和/或怎樣在視窗中對該內(nèi)容 進行處理和/或顯示。當臉部和/或眼睛追蹤信息說明觀看者可能想要查看當前圖像、頁 面、幀和/或相應的三維幀以外的新內(nèi)容源時，處理器122可以用于轉(zhuǎn)向顯示新的圖像、頁 面、幀和/或多個相應的三維幀。例如，可以在新頁面中通過各種視窗使用新的文本頁面進 行顯不。在本發(fā)明的各種實施例中，處理器122可以根據(jù)來自臉部和/或眼睛追蹤模塊124 的臉部和/或眼睛追蹤信息來優(yōu)化(enhance)或處理圖像或部分圖像的的細節(jié)。進一步地， 處理器122可以利用附加信息來編輯或調(diào)整視窗中顯示的內(nèi)容，附加信息可以包括，例如， 用戶信息或關(guān)于正在顯示的內(nèi)容類型的信息，內(nèi)容類型包括，例如文本、二維或三維圖像、 動態(tài)或靜態(tài)圖像、照片和/或圖形。處理器122可以處理靜態(tài)或動態(tài)三維視頻和/或三維 圖形內(nèi)容以便通過顯示面板126顯示，這樣觀看者可以從各種視角或各種深度觀看三維內(nèi) 容。進一步地，處理器122可以根據(jù)來自臉部追蹤模塊124的臉部和/或眼睛追蹤信息來 處理特定視窗中顯示的三維內(nèi)容，從而為觀看者在三維圖像中導航。相機1 可以包括合適的邏輯、電路、接口和/或代碼，用于在觀看者觀看移動顯 示設備106上的顯示面板1 時感應和/或拍攝觀看者的臉部、眼睛和/或身體。例如，相 機1 可以用于感應可見光和/或紅外光。相機1 可以將感應的和/或拍攝的信息傳送 給臉部和/或眼睛追蹤模塊124。例如，相機1 可以用于拍攝面部特征、動作、頭部、眼睛 或其它身體部位的角度，表情和/或位置。例如，相機可以拍攝眼睛特點，例如眼睛位置、眼 睛動作、焦點或凝視點，并將它們傳送給臉部和/或眼睛追蹤模塊124。另外，相機還可以拍 攝向顯示面板1 靠近這一動作和/或頭部或身體的觀看角度或狀態(tài)，并將這些傳送給臉 部和/或眼睛追蹤模塊124。例如，相機拍攝的數(shù)據(jù)可以說明觀看者正向一定的方向傾斜 以便看到當前視窗內(nèi)容以外的部分或傾斜以便看到更深處或細節(jié)。在本發(fā)明的各種實施例 中，相機1 拍攝的數(shù)據(jù)可以說明觀看者可能正努力去觀看一個三維對象的新的角度或正 努力在三維空間中導航。臉部和/或眼睛追蹤模塊IM可以包括合適的邏輯、電路、接口和/或代碼，用于 從相機1 接收拍攝的數(shù)據(jù)并可以確定觀看者正在看的地方或內(nèi)容或觀看者想要通過顯 示面板1 看到的地方或內(nèi)容。例如，觀看者的凝視方向和/或視角可以說明觀看者可能 需要的一幅圖像的另一方面。例如，臉部和/或眼睛追蹤模塊IM可以確定觀看者想要看 一些當前屏幕上沒有的東西。就這一點而言，根據(jù)臉部和/或眼睛追蹤信息，處理器122可 以將視窗轉(zhuǎn)向一個新的位置或可以放大或縮小當前圖像或頁面的內(nèi)容以便顯示觀看者所 需要的內(nèi)容。例如，臉部和/或眼睛追蹤模塊1 可以對可用二維或三維內(nèi)容進行滾動、縮 放和/或?qū)Ш?。顯示面板1 可以包括合適的邏輯、電路、接口和/或代碼，用于接收、處理和/或 顯示二維和/或三維內(nèi)容。就這一點而言，可以在移動顯示設備106中使用任意合適的顯 示技術(shù)，例如，IXD、LED或其它顯示技術(shù)。對于三維顯示器，顯示面板1 可以用于利用偏 振顯示技術(shù)和/或時序顯示技術(shù)并可以與，例如三維眼鏡通信。在運行中，移動顯示設備106可以用于通過顯示面板1 顯示二維和/或三維內(nèi) 容。移動顯示設備106可以通過顯示面板1 利用視窗顯示圖像的一部分或頁面的一部分。在本發(fā)明的各種實施例中，移動顯示設備106可以利用相機1 來感應和/或拍攝觀看者 觀察和/或試圖觀察時的行為或在顯示面板1 上顯示的二維或三維圖像或頁面中導航。 就這一點而言，可以將拍攝的觀看者行為的圖像傳送給臉部和/或眼睛追蹤模塊124。臉部 和/或眼睛追蹤模塊IM可以根據(jù)拍攝的圖像確定觀看者正在看或想要看的地方并可以確 定如何顯示可用的二維和/或三維內(nèi)容。例如，臉部和/或眼睛追蹤模塊1 可以確定視窗 需要按特定方向滾動和/或需要調(diào)整到一個特定的縮放等級。另外，臉部和/或眼睛追蹤 模塊1 可以確定可以根據(jù)觀看者在觀察三維內(nèi)容時的行為來旋轉(zhuǎn)三維對象。在一些例子 中，臉部和/或眼睛追蹤模塊1 可以確定觀看者試圖去看當前可用二維或三維內(nèi)容以外 的另一內(nèi)容源中的東西以及可以確定可以顯示新的圖像或頁面。臉部和/或眼睛追蹤模塊 IM可以將臉部和/或眼睛追蹤信息和/或關(guān)于顯示二維和/或三維內(nèi)容時進行調(diào)整的信 息傳送給處理器122。處理器122可以根據(jù)從臉部和/或眼睛追蹤模塊IM接收的信息來 處理二維和/或三維內(nèi)容以自動適配視窗并可以將自動適配的內(nèi)容傳送給顯示面板126。圖2是根據(jù)本發(fā)明實施例的可以根據(jù)觀看者的位置、觀看行為和/或相對于移動 顯示設備的空間方位來轉(zhuǎn)換或調(diào)整的顯示窗口的示意圖。圖2示出了顯示器220的可用內(nèi) 容、視窗224、觀看者210。顯示器220的可用內(nèi)容可以包括視窗224的二維和/或三維、靜態(tài)和/或動態(tài)、視 頻、圖形和/或文本源。就這一點而言，本發(fā)明并不受限于任意特定類型的內(nèi)容，而可以包 括任意能夠在移動顯示設備106上顯示的內(nèi)容。視窗2M可以包括顯示器220可用內(nèi)容的一部分。視窗中顯示的部分內(nèi)容可以由 處理器120根據(jù)各種參數(shù)，例如顯示面板1 的大小和/或顯示內(nèi)容的縮放等級進行處理。 視窗2M可以向左、向右、向上、向下和/或向各種方向或方向組合進行滾動。另外，例如， 當有跡象表明觀看者更近地觀看圖像和/或文本時，可以將視窗中顯示的內(nèi)容放大。觀看者210可以在視窗2 中調(diào)整要顯示顯示器220的可用內(nèi)容的哪一部分并通 過顯示面板1 通信。就這一點而言，焦點和/或眼睛在多個方向的運動和/或觀看者210 的頭部或身體位置可以表明觀看者想要顯示和/或觀看顯示器220可用內(nèi)容的哪個部分。在運行中，觀看者210可以通過看向顯示器220可用內(nèi)容中的所需部分來在多個 方向滾動視窗224。就這一點而言，可以表明觀看者210可能想看的內(nèi)容的眼睛動作、焦點 和/或頭部、臉部和/或身體姿勢可以由相機1 拍攝并由臉部和/或眼睛追蹤模塊IM 處理。臉部和/或眼睛追蹤模塊1 可以解析拍攝的觀看者210的信息并可以確定將在視 窗224中顯示顯示器220可用內(nèi)容的哪一區(qū)域。臉部和/或眼睛追蹤模塊1 可以將確定 的區(qū)域傳送給處理器120。處理器120可以從臉部和/或眼睛追蹤模塊IM接收信息并根 據(jù)特定的視窗224區(qū)域處理顯示器的所有或部分可用內(nèi)容。就這一點而言，處理器120可 以優(yōu)化(enhance)和/或放大視窗224中顯示的內(nèi)容。在本發(fā)明的各種實施例中，臉部和 /或眼睛追蹤模塊1 和/或處理器122可以確定觀看者正在尋找顯示器當前可用內(nèi)容以 外的內(nèi)容并可以從另一個源中選擇內(nèi)容進行顯示。例如，觀看者正在閱讀一欄文本并在觀 看者到達當前可顯示的文本結(jié)尾時，可以顯示另一欄文本的全部或部分。類似地，例如，包 含所有或部分照片的視窗的觀看者可以嘗試去看位于該照片邊緣以外的內(nèi)容。就這一點而 言，可以在視窗中顯示另一照片的全部或部分，顯示的另一照片的全部或部分展示了原照 片以外的內(nèi)容。
圖3是根據(jù)本發(fā)明實施例的可以根據(jù)觀看者的位置、觀看行為和/或相對于移動 顯示設備的空間方位來轉(zhuǎn)換文本的多個視窗位置的示意圖。圖3示出了顯示器320的可用 內(nèi)容、三個視窗322,324和326以及觀看位置310a、310b和310c。顯示器320的可用內(nèi)容可以在移動顯示設備106上存儲或流動。視窗322、3M和 /或3 可以表明由顯示面板1 顯示的顯示器320可用內(nèi)容中的三個部分的內(nèi)容。例如， 可顯示內(nèi)容可以包括一個文本和/或圖片頁面。在運行中，觀看者可以通過顯示面板1 上顯示的各個視窗閱讀來自顯示器320 可用內(nèi)容的文本和/或圖片。定位視窗，使它們可以覆蓋顯示器320可用內(nèi)容的各個部分。 視窗中可顯示的內(nèi)容可以包括顯示器320的全部可用內(nèi)容和/或顯示器320的全部可用內(nèi) 容放大或裁剪后的內(nèi)容。采取觀看位置3IOa的觀看者可以閱讀視窗322顯示的一部分文本或觀看視窗322 顯示的圖片。當觀看者閱讀和/或觀看圖片時，觀看者的位置可以改變，例如，變?yōu)槲恢?310b。在觀看位置310b，相對于移動顯示設備106的焦點、眼睛動作和/或觀看行為可以向 臉部和/或眼睛追蹤模塊IM表明觀看者準備閱讀視窗324中展示的文本。處理器122可 以生成新的視窗324，該視窗3M可以包括顯示器320的可用內(nèi)容中的文本和/或圖片，可 以使觀看者能繼續(xù)閱讀。處理器122可以將新視窗324的內(nèi)容傳送給顯示面板126。類似 地，當觀看者到達位置310c時，由臉部和/或眼睛追蹤模塊IM獲取的觀看者的焦點、眼睛 動作和/或觀看行為，可以表明觀看者想要看到視窗326中包含的內(nèi)容320的一部分。處 理器122可以將可顯示內(nèi)容滾動至視窗326的位置，并可以將該內(nèi)容傳送給顯示面板126。 以這種方式，觀看者可以通過執(zhí)行閱讀動作或通過觀看視窗顯示的內(nèi)容和/或?qū)ふ乙暣皼] 有顯示的內(nèi)容來在閱讀材料中滾動。就這一點而言，觀看者可以基于相對于移動顯示設備 106的觀看行為，例如焦點、眼睛動作、頭部和/或身體動作和/或位置來表明觀看者想看視 窗邊緣以外的內(nèi)容。圖4是根據(jù)本發(fā)明實施例的利用臉部和/或眼睛追蹤的示范性三維導航的示意 圖。圖4示出了觀看者位置410a、三維視窗430a和三維對象視圖420a。另外，還示出了觀 看者位置410b、三維視窗430b和三維對象視圖420b。三維視窗430a和430b可以包括來自當前可顯示的同一個(single)內(nèi)容源的不 同部分的靜態(tài)和/或動態(tài)三維視頻和/或圖形內(nèi)容。當前可顯示的同一個內(nèi)容源可以包括 相應立體的左和/或右視圖三維內(nèi)容和/或可以包括由兩個以上的相機拍攝的或由多視圖 中的兩個以上圖形幀生成的相應多視圖三維視頻和/或圖形內(nèi)容。三維視窗430a和430b 可以在顯示面板1 上顯示，顯示面板1 可以利用任意合適的顯示技術(shù)。例如，三維視窗 430a和430b可以由顯示器1 利用偏振顯示技術(shù)和偏振化的液晶顯示器(IXD)顯示。在 本發(fā)明的另一個實施例中，可以利用時序顯示技術(shù)，例如DLN背投式顯示器或高幀頻等離 子顯示器來顯示三維視窗430a和430b。觀看者需要佩戴三維眼鏡來觀看三維內(nèi)容，例如， 三維偏振眼鏡和/或三維快門眼鏡。另外，還可以利用光譜過濾技術(shù)、立體影片技術(shù)、浦夫 里希(Pulffich)技術(shù)和/或透鏡顯示技術(shù)(lenticular display techniques)中的一種 或多種。就這一點而言，本發(fā)明并不受限于任意特定的顯示技術(shù)和/或眼鏡技術(shù)，而可以利 用任意合適類型的三維視頻和/或圖形顯示技術(shù)和/或三維眼鏡技術(shù)。三維視窗430a和430b可以包括來自當前可顯示內(nèi)容的三維對象，觀看者可以從多個位置和/或觀看角度觀看該三維對象。例如，在觀看位置410a，觀看者可以觀看到三維 視窗430a中的三維對象視圖420a。在另一時間段，觀看者可以改為觀看位置410b和/或 可以觀看對象視圖420b的三維對象。相機1 和/或臉部和/或眼睛追蹤模塊IM可以 觀察和/或解析觀看者的焦點、眼睛、臉部、頭部和/或身體動作，并可以確定觀看者想看三 維對象視圖420b。處理器122可以處理可顯示內(nèi)容的合適部分并可以顯示包含該三維對象 視圖420b的視窗430b。在本方面的各種實施例中，觀看者的動作和/或位置可以向臉部和/或眼睛追蹤 模塊1 表明，觀看者試圖看到當前可顯示內(nèi)容的單一源以外的內(nèi)容。因此，處理器122可 以獲取新的內(nèi)容源，從中可以選擇新的視窗顯示。例如，當前可顯示的三維內(nèi)容可以包括一 個門被打開的室內(nèi)場景。觀看者可能試圖從打開的門中看到室內(nèi)角落。臉部和/或眼睛 追蹤模塊可以確定觀看者正在看的地方并可以確定觀看者正在尋找可能在當前可顯示內(nèi) 容以外的東西。處理器122可以確定可以顯示另一內(nèi)容源，該內(nèi)容源包括門道另一邊的另 一間房的場景。例如，另一內(nèi)容源可以包括另一組相應立體的左和/或右視圖三維內(nèi)容和 /或可以包括由兩個以上相機拍攝的或由多視圖中的兩個以上圖形幀生成的另一組相應多 視圖三維視頻和/或圖形內(nèi)容。處理器122可以從新的可顯示內(nèi)容源中選擇一個視窗。顯 示器1 可以顯示選擇的視窗。以這種方式，觀看者可以根據(jù)臉部和/或眼睛追蹤在三維 空間中導航。在運行中，移動顯示設備106可以利用相機128來感應和/或拍攝觀看者在觀看 或?qū)Ш斤@示面板1 上顯示的三維圖像或頁面時的行為。就這一點而言，臉部和/或眼睛 追蹤模塊1 可以確定應該以一個特定方向滾動視窗430a和/或?qū)⒁暣?30a調(diào)整到視窗 430b中顯示的一個特定縮放等級。另外，臉部和/或眼睛追蹤模塊IM可以根據(jù)觀看者在 觀看三維內(nèi)容時的行為來確定旋轉(zhuǎn)三維對象。在一些例子中，臉部和/或眼睛追蹤模塊1 可以確定觀看者想要看到當前可用三維內(nèi)容源以外的東西并可以確定可以利用新的圖像、 頁面、幀和/或多個相應三維幀作為視窗430b的新源。臉部和/或眼睛追蹤模塊IM可以 將臉部和/或眼睛追蹤信息和/或關(guān)于調(diào)整顯示的三維內(nèi)容的信息傳送給處理器122。處 理器122可以根據(jù)從臉部和/或眼睛追蹤模塊IM接收的信息來處理三維內(nèi)容以自動適配 視窗430b并可以將自動適配的視窗430b的內(nèi)容傳送給顯示面板126。圖5是根據(jù)本發(fā)明實施例的移動設備基于臉部和/或眼睛追蹤自動適配視窗的示 范性步驟的流程圖。該示范性步驟可以開始于步驟510。在步驟512中，當前視窗，例如， 視窗322可以由移動顯示設備106通過顯示面板1 顯示。當前視窗322可以包括移動顯 示設備106中顯示器320的當前可用二維和/或三維內(nèi)容的全部和/或部分。在步驟514 中，觀看者觀看當前視窗322時的圖片可以由相機1 拍攝，并且可以由臉部和/或眼睛追 蹤模塊IM對拍攝的觀看者圖片執(zhí)行臉部和/或眼睛追蹤。在步驟516中，臉部和/或眼 睛追蹤模塊1 可以確定觀看者何時想看當前視窗322以外和/或顯示器320當前可用內(nèi) 容以外的內(nèi)容。在步驟518中，可以根據(jù)對觀看者圖片的臉部和/或眼睛追蹤，通過在顯示 器320當前可用內(nèi)容和/或其它內(nèi)容中滾動、縮放和/或?qū)Ш?，來確定顯示器的新視窗324。 在步驟520中，可以根據(jù)臉部和/或眼睛追蹤，從顯示器320當前可用內(nèi)容中生成新視窗 322，或從用于顯示的新二維和/或三維內(nèi)容中生成新視窗322。在步驟522中，可以由顯示 面板1 來顯示新視窗324。示范性步驟可以結(jié)束于步驟524。
在本發(fā)明的一個實施例中，移動顯示設備106可以是二維視頻和/或三維視頻處 理設備。當觀看者觀看移動顯示設備106上的當前視窗322中顯示的二維視頻和/或三維 視頻內(nèi)容時，該設備可以拍攝觀看者的一幅或多幅圖像，例如，相機1 可以拍攝觀看者在 位置310a的圖像。顯示設備106可以通過臉部和/或眼睛追蹤模塊124對拍攝的圖像執(zhí)行 臉部和/或眼睛追蹤，并可以生成另一視窗324。根據(jù)臉部和/或眼睛追蹤，另一視窗3 可以包括與當前視窗322不同和/或部分不同的二維視頻和/或三維視頻內(nèi)容。另一視窗 3 可以由顯示面板1 顯示。就這一點而言，顯示設備106可以包括相機128以及二維 和/或三維顯示面板126。當前視窗322和/或另一視窗3 可以包括同一個二維視頻和 /或三維視頻內(nèi)容源的不同和/或部分不同的部分，同一二維視頻和/或三維視頻內(nèi)容源可 以是，例如顯示器320當前可用的一個內(nèi)容源。可選地，另一視窗3 和當前視窗322可以 包括不同源的二維視頻和/或三維視頻內(nèi)容?？梢栽诋斍翱捎枚S視頻和/或三維視頻內(nèi)容源320中和/或另一二維視頻和/ 或三維視頻內(nèi)容源中滾動、縮放和/或?qū)Ш?，以生成另一視?24?？梢詫ι闪硪灰暣?24 的二維視頻和/或三維視頻內(nèi)容進行處理，例如，優(yōu)化視窗322中顯示的內(nèi)容和/或減小噪 聲。觀看者的臉部的位置、角度和/或動作、面部表情、眼睛和/或其它肢體動作可以由相 機1 拍攝。拍攝的圖像可以由臉部和/或眼睛追蹤模塊124解析，用以在當前視窗，例如 視窗430a外滾動、縮放和/或?qū)Ш??？梢愿鶕?jù)臉部和/或眼睛追蹤生成包含不同和/或部 分不同二維視頻和/或三維視頻內(nèi)容的另一視窗430b，以便在三維視頻內(nèi)容中導航和/或 旋轉(zhuǎn)三維對象420a。顯示設備106可以通過通信模塊120經(jīng)有線接口、無線接口和/或光 纖接口中的一個或多個進行通信。以這種方式，觀看者可以根據(jù)臉部和/或眼睛追蹤調(diào)整 和/或控制顯示設備106中顯示的一個或多個視窗。本發(fā)明的另一個實施例可以提供一種機器和/或計算機可讀存儲器和/或媒介， 其內(nèi)存儲的機器代碼和/或計算機程序包括至少一個代碼段，所述至少一個代碼段由機器 和/或計算機執(zhí)行，從而使該機器和/或計算機執(zhí)行上述移動設備根據(jù)視角自動適配視窗 的步驟。因此，本發(fā)明可以通過硬件、軟件，或者軟、硬件結(jié)合來實現(xiàn)。本發(fā)明可以在至少一 個計算機系統(tǒng)中以集中方式實現(xiàn)，或者由分布在幾個互連的計算機系統(tǒng)中的不同部分以分 散方式實現(xiàn)。任何可以實現(xiàn)方法的計算機系統(tǒng)或其它設備都是可適用的。常用軟硬件的結(jié) 合可以是安裝有計算機程序的通用計算機系統(tǒng)，通過安裝和執(zhí)行程序控制計算機系統(tǒng)，使 其按方法運行。本發(fā)明還可以通過計算機程序產(chǎn)品進行實施，程序包含能夠?qū)崿F(xiàn)本發(fā)明方法的全 部特征，當其安裝到計算機系統(tǒng)中時，可以實現(xiàn)本發(fā)明的方法。本文件中的計算機程序所指 的是可以采用任何程序語言、代碼或符號編寫的一組指令的任何表達式，該指令組使系統(tǒng) 具有信息處理能力，以直接實現(xiàn)特定功能，或在進行下述一個或兩個步驟之后實現(xiàn)特定功 能a)轉(zhuǎn)換成其它語言、解碼或符號；b)以不同的格式再現(xiàn)。雖然本發(fā)明是通過具體實施例進行說明的，本領域技術(shù)人員應當明白，在不脫離 本發(fā)明范圍的情況下，還可以對本發(fā)明進行各種變換及等同替代。另外，針對特定情形或材 料，可以對本發(fā)明做各種修改，而不脫離本發(fā)明的范圍。因此，本發(fā)明不局限于所公開的具 體實施例，而應當包括落入本發(fā)明權(quán)利要求范圍內(nèi)的全部實施方式。
權(quán)利要求
1.一種通信方法，其特征在于，包括由二維視頻和/或三維視頻處理設備中的一個或多個處理器和/或電路執(zhí)行當觀看者在觀看當前視窗顯示的二維和/或三維視頻內(nèi)容時，拍攝所述觀看者的一幅 或多幅圖像；對所拍攝的所述觀看者的一幅或多幅圖像執(zhí)行臉部和/或眼睛追蹤；根據(jù)所述臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維和/或三維視頻內(nèi) 容的另一視窗；以及顯示所述生成的另一視窗。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述二維視頻和/或三維視頻處理設備包 括相機以及二維和/或三維顯示器。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述當前視窗和/或所述另一視窗包括同 一個二維和/或三維視頻內(nèi)容源的不同和/或部分不同的部分。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述另一視窗包括來自與所述當前視窗 不同的二維和/或三維視頻內(nèi)容源的二維和/或三維視頻內(nèi)容。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括在當前可用的二維和/或三維視頻內(nèi) 容源中和/或另一二維和/或三維視頻內(nèi)容源中滾動、縮放和/或?qū)Ш揭陨伤隽硪灰?窗。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括處理二維和/或三維視頻內(nèi)容以生成 所述另一視窗。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括通過相機拍攝觀看者的臉部、面部表 情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其它肢體動作的圖像以進行所 述臉部和/或眼睛追蹤。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括解析拍攝的觀看者的臉部、面部表 情、眼睛的一個或多個位置、角度和/或動作和/或觀看者的其它肢體動作的圖像以便在所 述當前視窗以外進行滾動、縮放和/或?qū)Ш健?br> 9.根據(jù)權(quán)利要求1所述的方法，其特征在于，包括根據(jù)所述臉部和/或眼睛追蹤生成所 述另一視窗以便在三維視頻內(nèi)容中導航和/或旋轉(zhuǎn)三維對象，其中所述另一視窗包括不同 和/或部分不同的二維和/或三維視頻內(nèi)容。
10.一種通信系統(tǒng)，其特征在于，包括二維視頻和/或三維視頻處理設備中的一個或多個處理器和/或電路，所述一個或多 個處理器和/或電路用于當觀看者在觀看當前視窗顯示的二維和/或三維視頻內(nèi)容時，拍攝所述觀看者的一幅 或多幅圖像；對所述拍攝的所述觀看者的一幅或多幅圖像執(zhí)行臉部和/或眼睛追蹤；根據(jù)所述臉部和/或眼睛追蹤生成包含不同和/或部分不同的二維和/或三維視頻內(nèi) 容的另一視窗；以及顯示所述生成的另一視窗。
全文摘要
本發(fā)明涉及通信方法和通信系統(tǒng)。其中，包含相機和顯示器的二維和/或三維視頻處理設備拍攝觀看者在觀看當前視窗顯示的二維和/或三維視頻內(nèi)容時的圖像。利用對觀看者圖像的臉部和/或眼睛追蹤生成另一視窗。當前視窗以及另一視窗可以包括同一源或不同源的二維和/或三維視頻內(nèi)容?？梢栽诙S和/或三維內(nèi)容源中滾動、縮放和/或?qū)Ш揭陨闪硪灰暣啊？梢詫α硪灰暣暗膬?nèi)容進行處理。觀看者的臉部、面部表情、眼睛的位置、角度和/或動作和/或觀看者的其它肢體動作的圖像可由相機拍攝并由臉部和/或眼睛追蹤模塊解析。可以生成另一視窗以便在三維內(nèi)容中導航和/或旋轉(zhuǎn)三維對象。該二維和/或三維視頻處理設備可通過有線、無線和/或光纖接口通信。
文檔編號G06F3/048GK102063249SQ20101054418
公開日2011年5月18日 申請日期2010年11月15日 優(yōu)先權(quán)日2009年11月16日
發(fā)明者伊利亞·克萊巴諾夫, 薩米爾·赫爾亞爾卡, 陳雪敏, 馬庫斯·凱勒曼 申請人:美國博通公司