專利名稱：構(gòu)圖判定設(shè)備、構(gòu)圖判定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對靜態(tài)圖像數(shù)據(jù)等等執(zhí)行關(guān)于圖像內(nèi)容的構(gòu)圖(composition)的處 理的構(gòu)圖判定設(shè)備，并且涉及構(gòu)圖判定方法。另外，本發(fā)明涉及由該設(shè)備執(zhí)行的程序。
背景技術(shù)：
拍攝留下良好印象的照片的技術(shù)因素之一是構(gòu)圖設(shè)定。這里的術(shù)語“構(gòu)圖”也被 稱為“取景”，并且是作為照片等等的圖像中的對象的布局。存在一些用于獲得良好構(gòu)圖的典型和基本方法。但是，對于普通的相機(jī)用戶來說， 拍攝良好構(gòu)圖的照片是很不容易的，除非他/她具有關(guān)于攝影的充足知識(shí)和技術(shù)。由于此 原因，需要一種使得用戶能夠快捷容易地獲得良好構(gòu)圖的照片圖像的技術(shù)配置。例如，專利文獻(xiàn)1 (日本未實(shí)審專利申請公布No. 59-208983)公開了一種自動(dòng)跟蹤 設(shè)備的技術(shù)配置。在此技術(shù)配置中，檢測固定時(shí)間間隔的圖像之間的差別，計(jì)算圖像之間的 差別的重心，通過基于重心的運(yùn)動(dòng)量和運(yùn)動(dòng)方向檢測對象圖像相對于成像屏幕的運(yùn)動(dòng)量和 運(yùn)動(dòng)方向來控制成像設(shè)備，并且將對象圖像設(shè)定在成像屏幕的基準(zhǔn)區(qū)域中。另外，專利文獻(xiàn)2 (日本未實(shí)審專利申請公布No. 2001-268425)公開了一種關(guān)于自 動(dòng)跟蹤設(shè)備的技術(shù)。在此技術(shù)中，在屏幕上的整個(gè)人的上部20%的區(qū)域位于屏幕中心以便 人的臉部位于屏幕中心的情況下，自動(dòng)對人進(jìn)行跟蹤，從而可以在對人的臉部進(jìn)行可靠拍 攝的同時(shí)跟蹤該人。當(dāng)從決定構(gòu)圖的觀點(diǎn)來看這些技術(shù)配置時(shí)，可以自動(dòng)搜索作為人的對象并且以預(yù) 定的構(gòu)圖將該對象放置于成像屏幕中。

發(fā)明內(nèi)容
最佳構(gòu)圖可能取決于對象的預(yù)定狀況或條件而有所不同。但是，上述專利文獻(xiàn)中 公開的技術(shù)只能以某種固定的構(gòu)圖來放置被跟蹤的對象。換言之，可能無法通過根據(jù)對象 狀況改變構(gòu)圖來執(zhí)行拍攝。因此，本發(fā)明致力于建議一種技術(shù)，用于很容易地獲得作為照片等等的圖像的良 好構(gòu)圖。具體而言，本發(fā)明致力于根據(jù)對象的狀況和條件的改變來更加適當(dāng)和靈活地決定 構(gòu)圖。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種構(gòu)圖判定設(shè)備，包括對象檢測裝置，用于 基于圖像數(shù)據(jù)來檢測圖像中的一個(gè)或多個(gè)特定對象；對象朝向檢測裝置，用于檢測指示出 由所述對象檢測裝置檢測到的對象在所述圖像中的朝向的對象朝向信息，對所述對象朝向 信息的檢測是針對每個(gè)檢測到的對象執(zhí)行的；以及構(gòu)圖判定裝置，用于基于所述對象朝向 信息來判定構(gòu)圖。當(dāng)所述對象檢測裝置檢測到多個(gè)對象時(shí)，所述構(gòu)圖判定裝置基于與所述多個(gè)對象相對應(yīng)的多個(gè)對象朝向信息之間的關(guān)系來判定構(gòu)圖。在上述配置中，可以檢測在圖像數(shù)據(jù)的屏幕中檢測到的對象的預(yù)定部分的朝向， 并且可以獲得指示出所檢測到的朝向的對象朝向信息。如果檢測到多個(gè)對象，則基于由與這多個(gè)檢測到的對象相對應(yīng)的多個(gè)對象朝向信 息所指示的朝向之間的關(guān)系來判定構(gòu)圖。例如，最佳構(gòu)圖可能取決于每個(gè)對象的朝向而有所不同。根據(jù)本發(fā)明的實(shí)施例，當(dāng) 存在多個(gè)對象時(shí)，可以根據(jù)這些對象的朝向之間的關(guān)系來獲得最佳構(gòu)圖。當(dāng)存在多個(gè)對象時(shí)，在各個(gè)對象的朝向之間發(fā)生一定的關(guān)系。在本發(fā)明的實(shí)施例 中，基于復(fù)雜到某種程度的條件(例如多個(gè)對象的朝向之間的關(guān)系)來決定構(gòu)圖。也就是 說，比起以前來可以更加適當(dāng)且靈活地自動(dòng)決定構(gòu)圖。因此，使用本發(fā)明實(shí)施例所應(yīng)用到的 設(shè)備的用戶無需麻煩的操作就可獲得最佳構(gòu)圖的圖像，從而可以提供更大的便利。


圖1是示出根據(jù)本發(fā)明實(shí)施例的包括數(shù)字靜態(tài)相機(jī)和云臺(tái)(pan/tilt head)的成 像系統(tǒng)的外觀配置示例的圖；圖2A和2B是示意性地示出根據(jù)該實(shí)施例的成像系統(tǒng)的運(yùn)動(dòng)的圖，即示出沿著附 接到云臺(tái)的數(shù)字靜態(tài)相機(jī)的搖動(dòng)(pan)和傾動(dòng)(tilt)方向的運(yùn)動(dòng)的示例的圖；圖3是示出根據(jù)該實(shí)施例的數(shù)字靜態(tài)相機(jī)的配置示例的圖；圖4是示出根據(jù)該實(shí)施例的云臺(tái)的配置示例的圖；圖5是示出在根據(jù)該實(shí)施例的數(shù)字靜態(tài)相機(jī)中設(shè)置的與構(gòu)圖控制相對應(yīng)的以塊 為單位的功能的圖；圖6A和6B是示出個(gè)體對象的重心和由多個(gè)個(gè)體對象構(gòu)成的合成對象的重心的 圖；圖7是示出在攝得圖像數(shù)據(jù)的屏幕上設(shè)定的原點(diǎn)坐標(biāo)的圖；圖8是示意性地示出在所檢測到的個(gè)體對象的數(shù)目為1的情況下第一構(gòu)圖控制的 示例的圖；圖9A和9B是示意性地示出在所檢測到的個(gè)體對象的數(shù)目為2的情況下第一構(gòu)圖 控制的示例的圖；圖10是示意性地示出在所檢測到的個(gè)體對象的數(shù)目為3的情況下第一構(gòu)圖控制 的示例的圖；圖IlA和IlB示出第一構(gòu)圖控制的處理過程的示例的流程圖；圖12是示意性地示出在所檢測到的個(gè)體對象的數(shù)目為3的情況下第二構(gòu)圖控制 的示例的圖；圖13A和13B示出第二構(gòu)圖控制的處理過程的示例的流程圖；圖14是示出作為對根據(jù)該實(shí)施例的成像系統(tǒng)的修改的配置示例的圖；圖15是示出作為對根據(jù)該實(shí)施例的成像系統(tǒng)的另一修改的配置示例的圖；圖16是示出基于本發(fā)明實(shí)施例的構(gòu)圖判定的應(yīng)用示例的圖；圖17是示出基于本發(fā)明實(shí)施例的構(gòu)圖判定的應(yīng)用示例的圖；圖18是示出基于本發(fā)明實(shí)施例的構(gòu)圖判定的應(yīng)用示例的圖19是示出基于本發(fā)明實(shí)施例的構(gòu)圖判定的應(yīng)用示例的圖；圖20是示出基于本發(fā)明實(shí)施例的構(gòu)圖判定的應(yīng)用示例的圖；圖21是示出基于本發(fā)明實(shí)施例的構(gòu)圖判定的應(yīng)用示例的圖；圖22是示出基于本發(fā)明實(shí)施例的構(gòu)圖判定的應(yīng)用示例的圖；以及圖23是示出基于本發(fā)明實(shí)施例的構(gòu)圖判定的應(yīng)用示例的圖。
具體實(shí)施例方式下面描述本發(fā)明的實(shí)施例。具體而言，給出關(guān)于這樣一種情況的描述，即基于本發(fā) 明實(shí)施例的配置被應(yīng)用到包括數(shù)字靜態(tài)相機(jī)和附接有該數(shù)字靜態(tài)相機(jī)的云臺(tái)的成像系統(tǒng)。圖1是示出根據(jù)該實(shí)施例的成像系統(tǒng)的外觀配置示例的正視圖。如圖1所示，該實(shí)施例的成像系統(tǒng)包括數(shù)字靜態(tài)相機(jī)1和云臺(tái)10。數(shù)字靜態(tài)相機(jī)1能夠基于通過設(shè)置在主體的正面面板上的透鏡單元3獲得的成像 光來生成靜態(tài)圖像數(shù)據(jù)，并且將該靜態(tài)圖像數(shù)據(jù)存儲(chǔ)在裝載于其中的存儲(chǔ)介質(zhì)中。也就是 說，數(shù)字靜態(tài)相機(jī)1具有將作為照片攝取的圖像以靜態(tài)圖像數(shù)據(jù)的形式存儲(chǔ)在存儲(chǔ)介質(zhì)中 的功能。當(dāng)手工執(zhí)行這種攝影時(shí)，用戶按下設(shè)置在主體的上表面上的快門(釋放)按鈕2。數(shù)字靜態(tài)相機(jī)1能夠通過對其進(jìn)行固定而被附接到云臺(tái)10。也就是說，云臺(tái)10和 數(shù)字靜態(tài)相機(jī)1具有使能相互附接的機(jī)構(gòu)部分。云臺(tái)10具有搖動(dòng)/傾動(dòng)機(jī)構(gòu)，以使附接于其上的數(shù)字靜態(tài)相機(jī)1在搖動(dòng)(水平) 和傾動(dòng)兩個(gè)方向上運(yùn)動(dòng)。由云臺(tái)10的搖動(dòng)/傾動(dòng)機(jī)構(gòu)所實(shí)現(xiàn)的數(shù)字靜態(tài)相機(jī)1在搖動(dòng)和傾動(dòng)方向上的運(yùn) 動(dòng)的示例在圖2A和2B中示出。圖2A和2B分別示出了從平面方向和從側(cè)面方向來看的附 接到云臺(tái)10的數(shù)字靜態(tài)相機(jī)1。關(guān)于搖動(dòng)方向，數(shù)字靜態(tài)相機(jī)1的主體的水平方向與圖2A中的直線Xl匹配的位 置狀態(tài)被認(rèn)為是基準(zhǔn)狀態(tài)。例如，當(dāng)執(zhí)行繞旋轉(zhuǎn)軸Ctl沿旋轉(zhuǎn)方向+α的旋轉(zhuǎn)時(shí)，給出向右 的搖動(dòng)運(yùn)動(dòng)。當(dāng)執(zhí)行沿旋轉(zhuǎn)方向_α的旋轉(zhuǎn)時(shí)，給出向左的搖動(dòng)運(yùn)動(dòng)。另一方面，關(guān)于傾動(dòng)方向，數(shù)字靜態(tài)相機(jī)1的主體的垂直方向與圖2Β中的直線Yl 匹配的位置狀態(tài)被認(rèn)為是基準(zhǔn)狀態(tài)。例如，當(dāng)執(zhí)行繞旋轉(zhuǎn)軸Ct2沿旋轉(zhuǎn)方向+β的旋轉(zhuǎn)時(shí)， 給出向下的傾動(dòng)運(yùn)動(dòng)。當(dāng)執(zhí)行沿旋轉(zhuǎn)方向的旋轉(zhuǎn)時(shí)，給出向上的傾動(dòng)運(yùn)動(dòng)。沒有提及圖2Α和2Β所示的各個(gè)士 α和士 β方向上的最大可動(dòng)旋轉(zhuǎn)角。但是， 優(yōu)選地，最大可動(dòng)旋轉(zhuǎn)角盡可能地大，以便用戶能夠有更多的機(jī)會(huì)來捕捉對象。圖3是示出根據(jù)該實(shí)施例的數(shù)字靜態(tài)相機(jī)1的內(nèi)部配置示例的圖。參考圖3，光學(xué)系統(tǒng)單元21包括一組預(yù)定數(shù)目的成像透鏡，例如變焦透鏡和聚焦 透鏡；以及光圈。光學(xué)系統(tǒng)單元21基于作為成像光的入射光在圖像傳感器22的光接收表 面上形成圖像。另外，光學(xué)系統(tǒng)單元21包括用于驅(qū)動(dòng)變焦透鏡、聚焦透鏡、光圈等等的驅(qū)動(dòng)機(jī)構(gòu)。 這些驅(qū)動(dòng)機(jī)構(gòu)的操作例如由控制單元27所執(zhí)行的所謂相機(jī)控制來控制，所述相機(jī)控制例 如是變焦(視角)控制、自動(dòng)聚焦控制和自動(dòng)曝光控制。圖像傳感器22執(zhí)行將在光學(xué)系統(tǒng)單元21中獲得的成像光轉(zhuǎn)換成電信號(hào)的所謂光 電轉(zhuǎn)換。為此，圖像傳感器22在光電轉(zhuǎn)換器件的光接收表面上接收來自光學(xué)系統(tǒng)單元21的成像光，并且在預(yù)定的定時(shí)順序輸出根據(jù)接收光的強(qiáng)度積累的信號(hào)電荷。因此，與成像光相 對應(yīng)的電信號(hào)(成像信號(hào))被輸出。對于用作圖像傳感器22的光電轉(zhuǎn)換器件(成像器件) 沒有特別限制。在當(dāng)前的情況下，例如可以使用CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器或 CCD(電荷偶合器件)。當(dāng)采用CMOS傳感器時(shí)，與圖像傳感器22相對應(yīng)的器件(組件)的 配置可包括與下述A/D轉(zhuǎn)換器23相對應(yīng)的模數(shù)轉(zhuǎn)換器。從圖像傳感器22輸出的成像信號(hào)被輸入到A/D轉(zhuǎn)換器23，并且被轉(zhuǎn)換成數(shù)字信 號(hào)，然后數(shù)字信號(hào)被輸入到信號(hào)處理單元對。信號(hào)處理單元M以靜態(tài)圖像(幀圖像)為單位取入從A/D轉(zhuǎn)換器23輸出的數(shù)字 成像信號(hào)，并且以靜態(tài)圖像為單位對成像信號(hào)執(zhí)行必要的信號(hào)處理，從而生成攝得圖像數(shù) 據(jù)(攝得靜態(tài)圖像數(shù)據(jù))，其是與一個(gè)靜態(tài)圖像相對應(yīng)的圖像信號(hào)數(shù)據(jù)。當(dāng)由信號(hào)處理單元M以上述方式生成的攝得圖像數(shù)據(jù)要被作為圖像信息存儲(chǔ)在 充當(dāng)存儲(chǔ)介質(zhì)(存儲(chǔ)介質(zhì)設(shè)備)的存儲(chǔ)卡40中時(shí)，與一個(gè)靜態(tài)圖像相對應(yīng)的攝得圖像數(shù)據(jù) 被從信號(hào)處理單元M輸出到編碼/解碼單元25。編碼/解碼單元25對從信號(hào)處理單元M輸出的靜態(tài)圖像的攝得圖像數(shù)據(jù)執(zhí)行按 預(yù)定靜態(tài)圖像壓縮編碼方法的壓縮編碼，并且根據(jù)控制單元27進(jìn)行的控制添加頭部等等， 從而將攝得圖像數(shù)據(jù)轉(zhuǎn)換成以預(yù)定格式壓縮的攝得圖像數(shù)據(jù)。然后，編碼/解碼單元25將 以這種方式生成的攝得圖像數(shù)據(jù)傳送到介質(zhì)控制器26。介質(zhì)控制器沈根據(jù)控制單元27進(jìn) 行的控制將所傳送的攝得圖像數(shù)據(jù)寫在存儲(chǔ)卡40上，從而攝得圖像數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)卡 40中。此情況下采用的存儲(chǔ)卡40是具有符合預(yù)定標(biāo)準(zhǔn)的卡外形并且包括諸如閃存之類 的非易失性半導(dǎo)體存儲(chǔ)設(shè)備的存儲(chǔ)介質(zhì)。取代存儲(chǔ)卡40，另一種類型和格式的存儲(chǔ)介質(zhì)可 被用于存儲(chǔ)圖像數(shù)據(jù)。根據(jù)該實(shí)施例的信號(hào)處理單元M能夠利用以上述方式獲得的攝得圖像數(shù)據(jù)來執(zhí) 行圖像處理，以檢測對象。該實(shí)施例中的對象檢測處理的細(xì)節(jié)在下文中描述。另外，數(shù)字靜態(tài)相機(jī)1能夠通過允許顯示單元33利用在信號(hào)處理單元M中獲得 的攝得圖像數(shù)據(jù)執(zhí)行圖像顯示，來顯示所謂的穿透圖像(through image)，該穿透圖像是當(dāng) 前正被攝取的圖像。具體而言，信號(hào)處理單元M取入從A/D轉(zhuǎn)換器23輸出的成像信號(hào)，并 且生成與一個(gè)靜態(tài)圖像相對應(yīng)的攝得圖像數(shù)據(jù)，如上所述。通過繼續(xù)此操作，信號(hào)處理單元 對順序地生成與運(yùn)動(dòng)圖像中的幀圖像相對應(yīng)的攝得圖像數(shù)據(jù)。然后，信號(hào)處理單元對根據(jù) 控制單元27進(jìn)行的控制將順序生成的攝得圖像數(shù)據(jù)傳送到顯示驅(qū)動(dòng)器32。因此，穿透圖像 被顯示。顯示驅(qū)動(dòng)器32基于以上述方式從信號(hào)處理單元M輸入的攝得圖像數(shù)據(jù)來生成驅(qū) 動(dòng)顯示單元33的驅(qū)動(dòng)信號(hào)并將驅(qū)動(dòng)信號(hào)輸出到顯示單元33。因此，基于以靜態(tài)圖像為單位 的攝得圖像數(shù)據(jù)的圖像被順序顯示在顯示單元33中，從而用戶可以在顯示單元33中查看 當(dāng)時(shí)正攝取的運(yùn)動(dòng)圖像。也就是說，監(jiān)視圖像被顯示。另外，數(shù)字靜態(tài)相機(jī)1能夠?qū)τ涗浽诖鎯?chǔ)卡40上的攝得圖像數(shù)據(jù)進(jìn)行再現(xiàn)并且將 圖像顯示在顯示單元33中。為此，控制單元27指定攝得圖像數(shù)據(jù)并指令介質(zhì)控制器沈從存儲(chǔ)卡40讀取數(shù) 據(jù)。響應(yīng)于指令，介質(zhì)控制器沈訪問存儲(chǔ)卡40上記錄著所指定的攝得圖像數(shù)據(jù)的地址并且讀取數(shù)據(jù)，然后將讀取的數(shù)據(jù)傳送到編碼/解碼單元25。編碼/解碼單元25根據(jù)控制單元27進(jìn)行的控制，從傳送自介質(zhì)控制器沈的攝得 圖像數(shù)據(jù)中提取作為壓縮后靜態(tài)圖像數(shù)據(jù)的實(shí)質(zhì)數(shù)據(jù)，并且對壓縮后靜態(tài)圖像數(shù)據(jù)執(zhí)行與 壓縮編碼相對應(yīng)的解碼處理，從而獲得與一個(gè)靜態(tài)圖像相對應(yīng)的攝得圖像數(shù)據(jù)。然后，編碼 /解碼單元25將攝得圖像數(shù)據(jù)傳送到顯示驅(qū)動(dòng)器32。因此，記錄在存儲(chǔ)卡40上的攝得圖 像數(shù)據(jù)的圖像被再現(xiàn)和顯示在顯示單元33中。用戶界面圖像可與上述監(jiān)視圖像和攝得圖像數(shù)據(jù)的再現(xiàn)圖像一起被顯示在顯示 單元33中。在這種情況下，控制單元27根據(jù)當(dāng)時(shí)的操作狀態(tài)生成要作為必要的用戶界面 圖像顯示的圖像數(shù)據(jù)，并且將所生成的圖像數(shù)據(jù)輸出到顯示驅(qū)動(dòng)器32。因此，用戶界面圖像 被顯示在顯示單元33中。該用戶界面圖像可以與監(jiān)視圖像或者攝得圖像數(shù)據(jù)的再現(xiàn)圖像 相分離的作為特定的菜單屏幕等等被顯示在顯示單元33的顯示屏幕上。或者，用戶界面圖 像可以在被疊加在監(jiān)視圖像或者攝得圖像數(shù)據(jù)的再現(xiàn)圖像上或者結(jié)合為其一部分的同時(shí) 被顯示?？刂茊卧?7實(shí)際包括CPU(中央處理單元)，并且與R0M(只讀存儲(chǔ)器) 和 RAM(隨機(jī)訪問存儲(chǔ)器) 一起構(gòu)成微計(jì)算機(jī)。ROM觀存儲(chǔ)要被作為控制單元27的CPU執(zhí) 行的程序、與數(shù)字靜態(tài)相機(jī)1的操作相關(guān)的各條設(shè)定信息，等等。RAM 29充當(dāng)CPU的主存儲(chǔ) 設(shè)備。在此情況下，設(shè)置了閃存30，作為用于存儲(chǔ)應(yīng)當(dāng)根據(jù)用戶操作或操作歷史而改變 (改寫)的各條設(shè)定信息。當(dāng)諸如閃存之類的非易失性存儲(chǔ)器被用作ROM觀時(shí)，ROM觀中 的一部分存儲(chǔ)區(qū)域可取代閃存30被使用。操作單元31包括設(shè)置在數(shù)字靜態(tài)相機(jī)1中的各種操作按鈕，以及用于生成與對這 些操作按鈕執(zhí)行的操作相對應(yīng)的操作信息信號(hào)并將所生成的信號(hào)輸出到CPU的操作信息 信號(hào)輸出單元?？刂茊卧?7響應(yīng)于從操作單元31輸入的每個(gè)操作信息信號(hào)而執(zhí)行預(yù)定的 處理。因此，數(shù)字靜態(tài)相機(jī)1根據(jù)用戶的操作而被操作。云臺(tái)兼容通信單元34根據(jù)預(yù)定的通信方法執(zhí)行云臺(tái)10和數(shù)字靜態(tài)相機(jī)1之間的 通信，并且具有物理層配置，該物理層配置使得在數(shù)字靜態(tài)相機(jī)1附接到云臺(tái)10的狀態(tài)中 能夠向/從云臺(tái)10的通信單元進(jìn)行有線或無線的通信信號(hào)發(fā)送/接收；以及實(shí)現(xiàn)與預(yù)定的 更上層相對應(yīng)的通信處理的配置。圖4是示出云臺(tái)10的配置示例的框圖。如上所述，云臺(tái)10包括搖動(dòng)/傾動(dòng)機(jī)構(gòu)。作為與此機(jī)構(gòu)相對應(yīng)的元件，云臺(tái)10包 括搖動(dòng)機(jī)構(gòu)單元53、搖動(dòng)電機(jī)M、傾動(dòng)機(jī)構(gòu)單元56和傾動(dòng)電機(jī)57。搖動(dòng)機(jī)構(gòu)單元53具有向附接到云臺(tái)10的數(shù)字靜態(tài)相機(jī)1賦予在圖2A所示的搖 動(dòng)(水平)方向上的運(yùn)動(dòng)的機(jī)構(gòu)，并且此機(jī)構(gòu)的運(yùn)動(dòng)可在搖動(dòng)電機(jī)討在正向或反向方向上 旋轉(zhuǎn)時(shí)獲得。同樣地，傾動(dòng)機(jī)構(gòu)單元56具有向附接到云臺(tái)10的數(shù)字靜態(tài)相機(jī)1賦予在圖 2B所示的傾動(dòng)(垂直)方向上的運(yùn)動(dòng)的機(jī)構(gòu)，并且此機(jī)構(gòu)的運(yùn)動(dòng)可在傾動(dòng)電機(jī)57在正向或 反向方向上旋轉(zhuǎn)時(shí)獲得?？刂茊卧?1包括例如通過組合CPU、ROM和RAM而形成的微計(jì)算機(jī)，并且對搖動(dòng)機(jī) 構(gòu)單元53和傾動(dòng)機(jī)構(gòu)單元56的運(yùn)動(dòng)進(jìn)行控制。具體而言，當(dāng)對搖動(dòng)機(jī)構(gòu)單元53的運(yùn)動(dòng)進(jìn) 行控制時(shí)，控制單元51向搖動(dòng)驅(qū)動(dòng)單元55輸出與搖動(dòng)機(jī)構(gòu)單元53所需的運(yùn)動(dòng)量和運(yùn)動(dòng)方向相對應(yīng)的控制信號(hào)。搖動(dòng)驅(qū)動(dòng)單元55生成與輸入的控制信號(hào)相對應(yīng)的電機(jī)驅(qū)動(dòng)信號(hào)，并 將電機(jī)驅(qū)動(dòng)信號(hào)輸出到搖動(dòng)電機(jī)54。在必要的旋轉(zhuǎn)方向上，以必要的旋轉(zhuǎn)角度，通過電機(jī)驅(qū) 動(dòng)信號(hào)來旋轉(zhuǎn)搖動(dòng)電機(jī)54。結(jié)果，搖動(dòng)機(jī)構(gòu)單元53被驅(qū)動(dòng)以在相應(yīng)運(yùn)動(dòng)方向上以相應(yīng)的運(yùn) 動(dòng)量進(jìn)行運(yùn)動(dòng)。同樣地，當(dāng)對傾動(dòng)機(jī)構(gòu)單元56的運(yùn)動(dòng)進(jìn)行控制時(shí)，控制單元51向傾動(dòng)驅(qū)動(dòng)單元58 輸出與傾動(dòng)機(jī)構(gòu)單元56所需的運(yùn)動(dòng)量和運(yùn)動(dòng)方向相對應(yīng)的控制信號(hào)。傾動(dòng)驅(qū)動(dòng)單元58生 成與輸入的控制信號(hào)相對應(yīng)的電機(jī)驅(qū)動(dòng)信號(hào)，并將電機(jī)驅(qū)動(dòng)信號(hào)輸出到傾動(dòng)電機(jī)57。在必 要的旋轉(zhuǎn)方向上，以必要的旋轉(zhuǎn)角度，通過電機(jī)驅(qū)動(dòng)信號(hào)來旋轉(zhuǎn)傾動(dòng)電機(jī)57。結(jié)果，傾動(dòng)機(jī) 構(gòu)單元56被驅(qū)動(dòng)以在相應(yīng)運(yùn)動(dòng)方向上以相應(yīng)的運(yùn)動(dòng)量進(jìn)行運(yùn)動(dòng)。通信單元52根據(jù)預(yù)定的通信方法與附接到云臺(tái)10的數(shù)字靜態(tài)相機(jī)1中的云臺(tái)兼 容通信單元34通信。與云臺(tái)兼容通信單元34 —樣，通信單元52包括物理層配置，該物理 層配置使得能夠向/從另一方的通信單元進(jìn)行有線或無線的通信信號(hào)發(fā)送/接收；以及實(shí) 現(xiàn)與預(yù)定的更上層相對應(yīng)的通信處理的配置。在包括具有上述配置的數(shù)字靜態(tài)相機(jī)1和云臺(tái)10的成像系統(tǒng)中，如果人被認(rèn)為是 主對象(以下簡稱為對象)并且如果在搜索之后對象的存在被檢測到，則云臺(tái)10的搖動(dòng)/ 傾動(dòng)機(jī)構(gòu)被驅(qū)動(dòng)，以獲得包括對象的圖像的最佳構(gòu)圖(執(zhí)行最佳取景)。然后，在獲得最佳 構(gòu)圖的定時(shí)，當(dāng)時(shí)攝取的圖像數(shù)據(jù)被記錄在存儲(chǔ)介質(zhì)(存儲(chǔ)卡40)上。也就是說，在根據(jù)該實(shí)施例的成像系統(tǒng)中，在通過數(shù)字靜態(tài)相機(jī)1進(jìn)行的攝影期 間，自動(dòng)執(zhí)行為所找到的對象決定(判定)最佳構(gòu)圖并且執(zhí)行拍攝和記錄的操作。這樣，可 以獲得具有適度良好的質(zhì)量的照片圖像，而無需用戶進(jìn)行構(gòu)圖判定和拍攝。另外，在這種系 統(tǒng)中，不需要某人握持著相機(jī)就能夠執(zhí)行拍攝，從而拍攝地點(diǎn)中的每個(gè)人都可成為對象。此 外，即使作為對象的用戶沒有自覺地進(jìn)入相機(jī)的視角范圍，對象也可被拍攝在照片中。也就 是說，增加了拍攝到存在于拍攝地點(diǎn)中的人的自然外表的機(jī)會(huì)，從而可以獲得許多具有空 前的氛圍的照片。最佳構(gòu)圖可能取決于對象的朝向(orientation)而有所不同。但是，根據(jù)該實(shí)施 例，根據(jù)多個(gè)對象的朝向之間的關(guān)系來決定不同的最佳構(gòu)圖。因此，使用具有根據(jù)該實(shí)施例 的配置的設(shè)備的用戶無需麻煩的操作就可獲得最佳構(gòu)圖的圖像。下面，描述根據(jù)該實(shí)施例的構(gòu)圖控制。圖5示出了在數(shù)字靜態(tài)相機(jī)1中設(shè)置的與根據(jù)該實(shí)施例的構(gòu)圖控制相對應(yīng)的功能 單元的配置示例。參考圖5，對象檢測塊61利用基于在圖像傳感器22中獲得的成像信號(hào)而在信號(hào)處 理單元M中獲得的攝得圖像數(shù)據(jù)，來執(zhí)行包括對象的搜索控制的對象檢測處理。這里，對 象檢測處理指的是辨別和檢測攝得圖像數(shù)據(jù)的圖像內(nèi)容中的作為人的對象的處理。作為檢 測結(jié)果而獲得的信息(檢測信息)包括作為人的對象的數(shù)目、屏幕中的每個(gè)個(gè)體對象的位 置信息以及圖像中的每個(gè)個(gè)體對象的大小(占有面積)。在該實(shí)施例中，每個(gè)個(gè)體對象的臉 部朝向的信息(對象朝向信息)也作為檢測信息被獲得。在這里，臉部朝向被認(rèn)為是在攝 得圖像數(shù)據(jù)的屏幕中的作為人的個(gè)體對象的朝向。為了簡單和易于理解，以下描述是基于下述假設(shè)來給出的臉部朝向的檢測結(jié)果 是在右和左兩個(gè)階段中獲得的。例如，即使能夠判定對象基本上是朝向正面的，也根據(jù)預(yù)定的算法來獲得右和左中的任何一個(gè)的檢測結(jié)果。取決于構(gòu)圖判定算法的結(jié)構(gòu)，根據(jù)該實(shí)施例的構(gòu)圖控制可以通過只獲得對象的數(shù) 目和對象朝向信息作為檢測信息來實(shí)現(xiàn)。作為上述對象檢測處理的特定方法，可以使用臉部檢測技術(shù)。在相關(guān)技術(shù)中使用 了一些臉部檢測方法，但是對于該實(shí)施例中要采用的方法并沒有特別限制，可以考慮到檢 測準(zhǔn)確性和設(shè)計(jì)難度來采用適當(dāng)?shù)姆椒ā？梢酝ㄟ^應(yīng)用臉部檢測技術(shù)來檢測上述臉部朝向。例如，當(dāng)基于使用特征點(diǎn)(例 如鼻子)的模式識(shí)別來執(zhí)行臉部檢測處理時(shí)，可以基于在整個(gè)檢測到的臉部中這些特征點(diǎn) 之間的位置和距離關(guān)系來識(shí)別臉部朝向。如果除了應(yīng)用上述臉部檢測技術(shù)之外還存在用于檢測作為人的個(gè)體對象的朝向 的有用方法，例如檢測身體部分的朝向或者檢測視線，則可以使用該有用方法，而不會(huì)有特 別的問題。也就是說，作為用于檢測個(gè)體對象的朝向(對象朝向)或者檢測臉部朝向的方 法或算法，可以從包括相關(guān)技術(shù)中使用的那些方法在內(nèi)的方法中選擇適當(dāng)?shù)姆椒ǎ⑶铱?以采用所選擇的方法。對象檢測塊61所執(zhí)行的對象檢測處理可實(shí)現(xiàn)為信號(hào)處理單元M中的圖像信號(hào)處 理。在信號(hào)處理單元M如上所述由DSP(數(shù)字信號(hào)處理器)構(gòu)成的情況下，對象檢測處理 是通過提供給作為信號(hào)處理單元M的DSP的程序和指令來實(shí)現(xiàn)的。在對象搜索控制期間，用于驅(qū)動(dòng)上述搖動(dòng)/傾動(dòng)機(jī)構(gòu)的控制信號(hào)經(jīng)由通信控制塊 63被輸出，以控制云臺(tái)10的搖動(dòng)/傾動(dòng)機(jī)構(gòu)。由對象檢測塊61生成的作為對象檢測處理的結(jié)果的檢測信息被輸入到構(gòu)圖控制 塊62。構(gòu)圖控制塊62利用輸入其中的關(guān)于對象的檢測信息來決定被認(rèn)為是最佳的構(gòu)圖 (最佳構(gòu)圖)。然后，構(gòu)圖控制塊62執(zhí)行控制以獲得所決定的最佳構(gòu)圖(構(gòu)圖控制)。此 情況下的構(gòu)圖控制包括改變視角(在該實(shí)施例中，它指的是根據(jù)對變焦透鏡的控制而可改 變的視野)的控制、沿著搖動(dòng)(右或左)方向的拍攝方向的控制(搖動(dòng)控制)以及沿著傾 動(dòng)(上或下)方向的拍攝方向的控制(傾動(dòng)控制)。為了改變視角，執(zhí)行移動(dòng)數(shù)字靜態(tài)相機(jī) 1的光學(xué)系統(tǒng)單元21中的變焦透鏡的控制，或者執(zhí)行裁剪攝得圖像數(shù)據(jù)上的圖像的圖像信 號(hào)處理。搖動(dòng)控制和傾動(dòng)控制是通過控制和移動(dòng)云臺(tái)10的搖動(dòng)/傾動(dòng)機(jī)構(gòu)來執(zhí)行的。當(dāng) 對搖動(dòng)/傾動(dòng)機(jī)構(gòu)的控制被執(zhí)行時(shí)，構(gòu)圖控制塊62允許用于將搖動(dòng)/傾動(dòng)機(jī)構(gòu)設(shè)定在所需 位置的控制信號(hào)經(jīng)由通信控制塊63被發(fā)送到云臺(tái)10。由上述構(gòu)圖控制塊62執(zhí)行的決定和控制構(gòu)圖的處理可由控制單元27 (CPU)基于 程序來執(zhí)行?；蛘撸尚盘?hào)處理單元對基于程序執(zhí)行的處理可以被一起使用。通信控制塊 63根據(jù)預(yù)定的協(xié)議與云臺(tái)10的通信單元52執(zhí)行通信處理，并且充當(dāng)與云臺(tái)兼容通信單元 34相對應(yīng)的功能單元。接下來，參考圖6A和6B描述對象檢測塊61執(zhí)行的對象檢測處理的示例。假定對象檢測塊61取入了具有圖6A所示的圖像內(nèi)容的攝得圖像數(shù)據(jù)。攝得圖像 數(shù)據(jù)的圖像內(nèi)容是通過攝取其中存在作為人的對象的圖像來獲得的。圖6A(和圖6B)示出 了屏幕按矩陣樣式被劃分的狀態(tài)。這示意性地說明了作為攝得圖像數(shù)據(jù)的屏幕是由一組預(yù) 定數(shù)目的水平和垂直像素構(gòu)成的。
通過對具有圖6A所示的圖像內(nèi)容的攝得圖像數(shù)據(jù)執(zhí)行對象檢測(臉部檢測)檢 測出圖中所示的個(gè)體對象SBJ的臉部。也就是說，通過臉部檢測處理對臉部的檢測等同于 對個(gè)體對象的檢測。作為對個(gè)體對象的檢測的結(jié)果，獲得個(gè)體對象的數(shù)目、朝向、位置和大 小的信息，如上所述。至于個(gè)體對象的數(shù)目，可以獲得通過臉部檢測而檢測到的臉部的數(shù)目。在圖6A所 示的情況中，檢測到的臉部的數(shù)目是1，從而個(gè)體對象的數(shù)目是1。作為每個(gè)個(gè)體對象的位置信息，至少獲得作為攝得圖像數(shù)據(jù)的圖像中的個(gè)體對象 SBJ的重心G(X，Y)。在此情況下，攝得圖像數(shù)據(jù)的屏幕上作為重心B(X，Y)的基準(zhǔn)的X和Y 原點(diǎn)坐標(biāo)P(0，0)是與屏幕大小相對應(yīng)的X軸方向(水平方向)上的寬度(水平圖像大小) Cx的中點(diǎn)與Y軸方向(垂直方向)上的寬度(垂直圖像大小)Cy的中點(diǎn)的交點(diǎn)，如圖7所示?？梢圆捎酶鶕?jù)相關(guān)技術(shù)的用于檢測對象的重心的方法來定義圖像中的個(gè)體對象 的重心G的位置或設(shè)定重心G?？赏ㄟ^計(jì)算被臉部檢測處理等等指定和檢測為臉部部分的區(qū)域中的像素?cái)?shù)目來 獲得每個(gè)個(gè)體對象的大小。每個(gè)個(gè)體對象的臉部朝向基于臉部檢測處理被檢測為右和左中的任何一個(gè)，如上 所述。另一方面，如果圖6B所示的攝得圖像數(shù)據(jù)被取入，并且對象檢測塊61執(zhí)行對象檢 測處理，則兩個(gè)臉部的存在通過臉部檢測被檢測到，從而指示出個(gè)體對象的數(shù)目為2的結(jié) 果可以被獲得。在這里，兩個(gè)個(gè)體對象被彼此辨別開來左邊那個(gè)是個(gè)體對象SBJO ；右邊那 個(gè)是個(gè)體對象SBJl。個(gè)體對象SBJO和SBJl的重心G的坐標(biāo)分別是GO (X0，Y0)和Gl (XI， Yl)。在以這種方式檢測到兩個(gè)或更多個(gè)個(gè)體對象的情況下，計(jì)算由多個(gè)個(gè)體對象構(gòu)成 的合成對象的重心，即合成對象的重心Gt (Xg, Yg)。存在一些方式來設(shè)定合成對象的重心Gt。在此情況下，采用最容易的方式連接 多個(gè)檢測到的個(gè)體對象中在屏幕上的最左邊和最右邊的個(gè)體對象的重心的線的中點(diǎn)被設(shè) 定為合成對象的重心Gt。合成對象的重心Gt是被用于構(gòu)圖控制中的信息，如下所述，并且 是可通過在個(gè)體對象的重心的信息被獲得之后進(jìn)行計(jì)算來獲得的信息。因此，合成對象的 重心Gt可由對象檢測塊61獲得，并且作為檢測信息被輸出?；蛘撸铣蓪ο蟮闹匦腉t可 由構(gòu)圖控制塊62利用作為檢測信息獲得的指示個(gè)體對象的重心的位置的信息中關(guān)于最左 和最右個(gè)體對象的重心的信息來獲得。除了上述方法之外，也可使用以下設(shè)定方法。也就是說，根據(jù)多個(gè)個(gè)體對象的指派 加權(quán)系數(shù)，并且利用加權(quán)系數(shù)來進(jìn)行安排，以便合成對象的重心Gt的位置接近個(gè)體對象中 的一個(gè)具有較大的大小的個(gè)體對象。個(gè)體對象SBJO和SBJl中的每一個(gè)的大小可通過計(jì)算由檢測到的該對象的臉部所
占有的像素?cái)?shù)目來獲得。接下來，參考圖8至10來描述作為該實(shí)施例的第一示例的構(gòu)圖控制能夠獲得的構(gòu) 圖。圖8示出了這樣的情況，即作為對象搜索的結(jié)果，包括個(gè)體對象SBJO的圖像內(nèi)容已經(jīng)通過對象檢測作為攝得圖像數(shù)據(jù)被獲得。在該實(shí)施例中，當(dāng)數(shù)字靜態(tài)相機(jī)1所附接到的云臺(tái)10被正常設(shè)定時(shí)，數(shù)字靜態(tài)相 機(jī)1的朝向被設(shè)定，以便水平朝向的圖像被攝取。從而，下面描述的第一示例和第二示例是 基于通過成像獲得水平朝向的圖像的假設(shè)的。在如圖8所示已檢測到一個(gè)個(gè)體對象的情況下，改變個(gè)體對象SBJO的大小，以便 個(gè)體對象SBJO在攝得圖像數(shù)據(jù)的屏幕中的占有率具有被視為最佳的預(yù)定值。例如，如果在 個(gè)體對象被檢測到的階段中個(gè)體對象在屏幕中的占有率低于預(yù)定值，則減小視角的變焦控 制被執(zhí)行以便個(gè)體對象的占有率增大到該預(yù)定值。如果個(gè)體對象在屏幕中的占有率高于該 預(yù)定值，則增大視角的變焦控制被執(zhí)行以便個(gè)體對象的占有率減小到該預(yù)定值。通過執(zhí)行 這種變焦控制，在檢測到的個(gè)體對象的數(shù)目為1的情況下，對象大小被改變到適當(dāng)?shù)拇笮?。在檢測到的個(gè)體對象的數(shù)目為1情況下，通過以下方式來調(diào)整對象在屏幕上的位 置(對象位置)。對于對象位置，使用檢測到的臉部朝向的信息。圖8所示的個(gè)體對象SBJO被檢測 為臉部朝向左側(cè)。此時(shí)，當(dāng)圖8所示的圖像內(nèi)容的屏幕被實(shí)際觀看時(shí)，觀看者會(huì)看到個(gè)體對 象SBJO的臉部在屏幕中朝向左側(cè)。在現(xiàn)實(shí)世界中，作為個(gè)體對象SBJO的實(shí)際的人是面向 右的，其中面向執(zhí)行成像的成像裝置的那一側(cè)為正面。為了調(diào)整對象位置，虛擬地設(shè)定一經(jīng)過圖像中的原點(diǎn)坐標(biāo)P(0，0)的垂直線，即圖 像區(qū)域劃分線，它是與Y軸線相對應(yīng)的直線并且是對象位置調(diào)整的基準(zhǔn)線。如果像上述情況中那樣臉部朝向被檢測為向左，則個(gè)體對象SBJO的重心G被置于 相對于與圖像區(qū)域劃分線Ld相對應(yīng)的位置(X = O)移動(dòng)了一移動(dòng)量的位置，該移動(dòng)量由水 平偏移量ΘΧ(水平移位位置)表示。為此，執(zhí)行控制以驅(qū)動(dòng)云臺(tái)10的搖動(dòng)機(jī)構(gòu)以便重心 G被定位在水平移位位置處。一般地，對象被定位在屏幕中心的構(gòu)圖被認(rèn)為是一般來說不宜的構(gòu)圖。通過根據(jù) 由三分規(guī)則或者黃金分割表示的某種規(guī)則來使對象的位置相對于的屏幕中心位移，可以獲 得更好的構(gòu)圖。根據(jù)該實(shí)施例，個(gè)體對象SBJO在屏幕的水平方向上的位置(重心G)根據(jù) 這種構(gòu)圖決定方法被相對于屏幕中心移動(dòng)預(yù)定的量(水平偏移量θχ)。另外，根據(jù)該實(shí)施例，當(dāng)檢測到的個(gè)體對象的臉部朝向是向左時(shí)，在由沿著Y軸線 的圖像區(qū)域劃分線Ld所限定的右和左的兩個(gè)圖像區(qū)域(劃分區(qū)域)中，對象的重心G在水 平方向上的位置被置于右側(cè)的圖像區(qū)域，與臉部所朝向的左側(cè)相反，如圖8所示。因此，在 屏幕上檢測到的對象SBJO的臉部所朝向的左側(cè)可以獲得空間。這樣，與臉部朝向左的個(gè)體 對象SBJO的重心G被定位于屏幕在水平方向上的中心的情況或者重心G被定位在相對于 圖像區(qū)域劃分線Ld的左側(cè)圖像區(qū)域的情況相比，可以獲得更好的構(gòu)圖。在該實(shí)施例中存在多種算法來決定水平偏移量θ χ的實(shí)際值，但是在該實(shí)施例中 決定是基于三分規(guī)則作出的。三分規(guī)則是最基本的構(gòu)圖設(shè)定方法之一。在此方法中，對象 被定位在將矩形屏幕分別在水平和垂直方向上劃分成三段的虛擬線中的任何一條上，以便 獲得良好的構(gòu)圖。例如，參考圖8，水平偏移量θ X被設(shè)定成使得重心G被定位在將水平圖像大小Cx 劃分成三段并且沿屏幕的垂直方向延伸的兩條虛擬線中的右虛擬線上。因此，可以獲得根 據(jù)個(gè)體對象的臉部朝向的針對對象在水平方向上的位置的最佳構(gòu)圖。
雖然在圖中沒有示出，但如果已檢測到所檢測到的個(gè)體對象SBJ的臉部朝向?yàn)橄?右，則個(gè)體對象SBJ的重心G被定位在圖8所示的位置的關(guān)于圖像區(qū)域劃分線Ld的水平線 對稱的位置處。也就是說，將通過顛倒圖8的情況中的值的正/負(fù)而獲得的值設(shè)定為此情 況下的水平偏移量θ X，并且基于水平偏移量θ χ來執(zhí)行搖動(dòng)控制。在如圖9Α所示檢測到兩個(gè)個(gè)體對象SBJO和SBJl的情況下，按以下方式執(zhí)行構(gòu)圖 控制。首先，執(zhí)行調(diào)整(變焦控制)以便由個(gè)體對象SBJO和SBJl的圖像部分的群組構(gòu)成 的合成對象圖像部分的大小(對象圖像部分在整個(gè)屏幕中的占有率)具有與個(gè)體對象的數(shù) 目為2的情況相對應(yīng)的最佳值。存在一些方法來定義合成對象圖像部分并計(jì)算其大小。例如，可以通過將多個(gè)檢 測到的個(gè)體對象的圖像部分的大小相加來計(jì)算該大小?；蛘撸梢詫⒃摯笮∮?jì)算為由圍繞 所有的多個(gè)檢測到的個(gè)體對象的虛擬繪制線所限定的圖像部分的大小。至于兩個(gè)個(gè)體對象SBJO和SBJl的水平方向上的位置，使用兩個(gè)個(gè)體對象SBJO和 SBJl的臉部朝向的信息。假定圖9Α所示的兩個(gè)個(gè)體對象SBJO和SBJl的臉部朝向已被檢測為向左。換言 之，所有的兩個(gè)個(gè)體對象的臉部朝向都是相同的，即在此情況下為朝向左。在此情況下，與圖8中的個(gè)體對象SBJO的臉部朝向?yàn)橄蜃蟮那闆r一樣，由個(gè)體對 象SBJO和SBJl構(gòu)成的合成對象圖像部分被定位在圖像區(qū)域劃分線Ld的右側(cè)，與臉部所朝 向的左側(cè)相反，以便在屏幕的左側(cè)提供空間。為此，如圖9Α所示，設(shè)定用于向右位移預(yù)定量 的水平偏移量θ χ,并且執(zhí)行搖動(dòng)控制以便合成對象的重心Gt被定位在相對于經(jīng)過原點(diǎn)坐 標(biāo)Ρ(0，0)的垂直線(Y軸線)移動(dòng)了水平偏移量θ χ的位置處，其中合成對象的重心Gt是 由個(gè)體對象SBJO和SBJl構(gòu)成的合成對象圖像部分的重心，所述垂直線是圖像區(qū)域劃分線 Ld。雖然在圖中沒有示出，但如果個(gè)體對象SBJO和SBJl的臉部朝向?yàn)橄蛴?，則執(zhí)行搖 動(dòng)控制，使得合成對象的重心Bt被定位在圖9Α所示的位置的關(guān)于圖像區(qū)域劃分線Ld的線 對稱的位置處(在左側(cè)圖像區(qū)域中相對于Y軸線移動(dòng)了水平偏移量θ χ的絕對值的位置)。注意，如果在個(gè)體對象的數(shù)目為兩個(gè)或更多個(gè)的情況下給出對于個(gè)體對象的數(shù)目 為1的情況下被視為最佳的水平偏移量θ X，則可能產(chǎn)生留下太靠右(或太靠左)的印象的 構(gòu)圖。因此，在如圖9Α所示的個(gè)體對象的數(shù)目為2的情況下，比圖8所示的個(gè)體對象的數(shù) 目為1的情況的值更小的值(絕對值)根據(jù)預(yù)定規(guī)則被設(shè)定為水平偏移量θχ。圖9Β示出了檢測到的兩個(gè)個(gè)體對象SBJO和SBJl的臉部朝向分別是向左和向右 的情況的示例。這是個(gè)體對象的數(shù)目為2并且對象的臉部朝向彼此不同的情況的示例。在這種情況下，至于合成對象圖像部分在水平方向上的位置，執(zhí)行調(diào)整(搖動(dòng)控 制)，使得由兩個(gè)個(gè)體對象SBJO和SBJl構(gòu)成的合成對象的重心Bt被定位在圖像區(qū)域劃分 線Ld上，如圖9Β所示。在相應(yīng)獲得的構(gòu)圖中，由兩個(gè)個(gè)體對象SBJO和SBJl構(gòu)成的合成對象圖像部分被 定位在屏幕的水平方向上的幾乎中心處。在這種對象數(shù)目為兩個(gè)或更多個(gè)并且這些對象的 朝向不同的情況下，即使合成對象圖像部分處于中心，也可相應(yīng)地獲得良好的構(gòu)圖。圖10示出檢測到三個(gè)個(gè)體對象SBJO、SBJl和SBJ2的情況。在這種情況下，按以下方式執(zhí)行構(gòu)圖控制。首先，執(zhí)行調(diào)整(變焦控制)，使得由個(gè)體對象SBJO、SBJl和SBJ2構(gòu)成的合成對象圖像部分的大小具有與個(gè)體對象的數(shù)目為3的 情況相對應(yīng)的最佳值。然后，至于合成對象圖像部分的水平方向上的位置，使用為各個(gè)個(gè)體對象檢測到 的臉部朝向的信息。在圖10中，所有三個(gè)個(gè)體對象SBJO、SBJl和SBJ2的臉部朝向都是相 同的(向左)。在這種情況下，與圖9A中所示的情況一樣，執(zhí)行對水平偏移量θ χ的設(shè)定以及搖 動(dòng)控制，以將合成對象的重心Gt移動(dòng)到由水平偏移量θ χ確定的某個(gè)位置，以便將由個(gè)體 對象SBJ0、SBJ1和SBJ2構(gòu)成的圖像區(qū)域部分位移到由圖像區(qū)域劃分線Ld限定的右側(cè)圖像 區(qū)域。如果所有三個(gè)個(gè)體對象SBJ0、SBJ1和SBJ2的臉部朝向都是相同的(向右)，則執(zhí)行 搖動(dòng)控制，使得合成對象的重心Gt被定位在圖10所示的位置的關(guān)于圖像區(qū)域劃分線Ld的 水平線對稱的位置處。此時(shí)設(shè)定的水平偏移量θ χ具有比圖9Α的檢測到的個(gè)體對象的數(shù)目為2的情況 下的更小的絕對值。因此，對于個(gè)體對象的數(shù)目為3的情況進(jìn)一步優(yōu)化了對象在水平方向 上的位置，從而可以獲得良好的構(gòu)圖。在構(gòu)圖控制的第一示例中，如果三個(gè)個(gè)體對象SBJO、SBJl和SBJ2的臉部朝向不相 同，則與圖9Β中一樣，獲得合成對象的重心Gt被定位在圖像區(qū)域劃分線Ld(Y軸線)上的 構(gòu)圖。根據(jù)以上給出的描述，可以明白，構(gòu)圖控制的第一示例中的水平方向上的位置調(diào) 整是基于為每個(gè)個(gè)體對象檢測到的臉部朝向來執(zhí)行的。也就是說，作為最基本的控制，當(dāng)個(gè) 體對象的數(shù)目為1時(shí)，依據(jù)個(gè)體對象的臉部朝向是向右還是向左，將對象的重心G(合成對 象的重心Gt)向圖像區(qū)域劃分線Ld(Y軸線)的右側(cè)或左側(cè)位移一預(yù)定的量以執(zhí)行重心G 的水平偏移，從而在屏幕中與臉部朝向相同的一側(cè)提供了空間。當(dāng)個(gè)體對象的數(shù)目為多個(gè)(兩個(gè)或更多個(gè))時(shí)，如果所有個(gè)體對象的臉部朝向都 相同，則根據(jù)上述位置調(diào)整來執(zhí)行合成對象的重心Gt的水平偏移。如果臉部朝向不同，則 不執(zhí)行水平偏移，并且將合成對象的重心Gt定位在與圖像區(qū)域劃分線Ld相對應(yīng)的X坐標(biāo) 處，使得合成對象圖像部分被定位在屏幕的幾乎中心處。然后，當(dāng)執(zhí)行合成對象的重心Gt的水平偏移時(shí)(當(dāng)個(gè)體對象的數(shù)目為1時(shí)重心G 被視為合成對象的重心Gt)，如以上參考圖8至10所述根據(jù)個(gè)體對象的數(shù)目來改變水平偏 移量ΘΧ。這樣，進(jìn)行了布置，使得可以根據(jù)個(gè)體對象的數(shù)目來獲得合成對象圖像部分在屏 幕中的水平方向上的最佳位置。圖1IA和1IB示出了由圖5所示的對象檢測塊61、構(gòu)圖控制塊62和通信控制塊63 執(zhí)行的、以上參考圖8至10描述的構(gòu)圖控制的第一示例的過程示例。圖IlA和IlB所示的 處理是在作為DSP的信號(hào)處理單元M和控制單元27中的CPU執(zhí)行程序時(shí)實(shí)現(xiàn)的。這種程 序是在制造期間被寫入和存儲(chǔ)在ROM等等之中的。或者，該程序可被存儲(chǔ)在非易失性存儲(chǔ) 介質(zhì)中，然后被從存儲(chǔ)介質(zhì)安裝(包括更新)，以便被存儲(chǔ)在與DSP兼容的非易失性存儲(chǔ)區(qū) 域中，或者被存儲(chǔ)在閃存30中。另外，該程序可在另一主機(jī)設(shè)備的控制下經(jīng)由諸如USB或 IEEE 1394之類的數(shù)據(jù)接口來安裝。另外，在允許數(shù)字靜態(tài)相機(jī)1具有網(wǎng)絡(luò)功能時(shí)，可以將 該程序存儲(chǔ)在網(wǎng)絡(luò)上的服務(wù)器等等的存儲(chǔ)設(shè)備中并且通過從服務(wù)器下載程序來獲得程序。在以下參考流程圖進(jìn)行的描述中，以上使用的術(shù)語“合成對象的重心Gt”和“合成對象圖像部分”不僅被應(yīng)用到檢測到的個(gè)體對象的數(shù)目為2個(gè)或更多個(gè)的情況，而且也應(yīng)用 到檢測到的個(gè)體對象的數(shù)目為1的情況。也就是說，在檢測到的個(gè)體對象的數(shù)目為1的情 況下，圖8所示的重心G相當(dāng)于合成對象的重心Gt。另外，圖8所示的僅由個(gè)體對象SBJO 構(gòu)成的圖像部分相當(dāng)于檢測到的個(gè)體對象的數(shù)目為1的情況下的合成對象圖像部分。步驟SlOl至S106對應(yīng)于搜索和檢測對象的過程，并且主要由對象檢測塊61執(zhí) 行。在步驟SlO1中，取入并獲得基于來自圖像傳感器22的成像信號(hào)的攝得圖像數(shù)據(jù)。 在步驟S102中，利用在步驟SlOl中獲得的攝得圖像數(shù)據(jù)來執(zhí)行對象檢測處理。在對象檢 測處理中，利用上述臉部檢測方法等等來判定在作為攝得圖像數(shù)據(jù)的圖像內(nèi)容中是否存在 個(gè)體對象。如果存在個(gè)體對象，則至少獲得個(gè)體對象的數(shù)目以及每個(gè)個(gè)體對象的位置(重 心)、大小和臉部朝向來作為檢測信息。在步驟S103中，判定作為步驟S102中的對象檢測處理的結(jié)果是否檢測到了個(gè)體 對象的存在。如果獲得否定的判定結(jié)果，也就是說，如果尚未檢測到個(gè)體對象的存在(檢測 到的個(gè)體對象的數(shù)目為0)，則處理前進(jìn)到步驟S104，在該步驟中執(zhí)行增大視角的變焦透鏡 運(yùn)動(dòng)控制(拉遠(yuǎn)(zoom-out)控制)。通過增大視角，可以攝取更寬范圍的圖像，從而相應(yīng)地 可以很容易地捕捉個(gè)體對象。同時(shí)，在步驟S105中，執(zhí)行移動(dòng)云臺(tái)10的搖動(dòng)/傾動(dòng)機(jī)構(gòu)的 控制(搖動(dòng)/傾動(dòng)控制)，以便搜索對象。此時(shí)，執(zhí)行控制，以便對象檢測塊61向通信控制 塊63提供用于搖動(dòng)/傾動(dòng)控制的控制信號(hào)，并且該控制信號(hào)被發(fā)送到云臺(tái)10的通信單元 52。在搖動(dòng)/傾動(dòng)控制中移動(dòng)云臺(tái)10的搖動(dòng)/傾動(dòng)機(jī)構(gòu)以搜索對象的樣式可以被決 定為使得搜索被高效地執(zhí)行。在步驟S106中，模式標(biāo)志“f”被設(shè)定為0(f = 0)，并且處理返回到步驟S101。這樣，重復(fù)步驟SlOl至S106的過程，直到在攝得圖像數(shù)據(jù)的圖像內(nèi)容中檢測到至 少一個(gè)個(gè)體對象為止。此時(shí)，包括數(shù)字靜態(tài)相機(jī)1和云臺(tái)10的系統(tǒng)處于數(shù)字靜態(tài)相機(jī)1被 在搖動(dòng)和傾動(dòng)方向上移動(dòng)以搜索對象的狀態(tài)中。如果在步驟S103中獲得肯定的判定結(jié)果，即如果檢測到了個(gè)體對象的存在，則處 理前進(jìn)到步驟S107。從步驟S107起的過程主要由構(gòu)圖控制塊62執(zhí)行。在步驟S107中，判定當(dāng)前在模式標(biāo)志“f”中設(shè)定的值。如果判定f == 0，則該值指示出應(yīng)當(dāng)執(zhí)行初始粗略對象捕捉模式來作為構(gòu)圖控 制，從而執(zhí)行從步驟S108開始的過程，如圖IlA和IlB所示。在步驟S108中，判定合成對象的重心Gt是否被定位在攝得圖像數(shù)據(jù)的屏幕(通 過顯示攝得圖像數(shù)據(jù)的圖像內(nèi)容而獲得的屏幕)上的原點(diǎn)坐標(biāo)p(0，0)處(見圖7)。如果 獲得否定的判定結(jié)果，也就是說，如果合成對象的重心Gt尚未被定位在原點(diǎn)坐標(biāo)處，則處 理前進(jìn)到步驟S109，在該步驟中，執(zhí)行移動(dòng)云臺(tái)10的搖動(dòng)/傾動(dòng)機(jī)構(gòu)的控制以便合成對象 的重心Gt被定位在原點(diǎn)坐標(biāo)處，然后處理返回到步驟SlOl。如上所述，在作為個(gè)體對象的 存在已被檢測到的狀態(tài)中的構(gòu)圖控制的第一過程的捕捉模式中，執(zhí)行云臺(tái)10的搖動(dòng)/傾動(dòng) 機(jī)構(gòu)，以便合成對象的重心Gt被定位在作為初始基準(zhǔn)位置的原點(diǎn)坐標(biāo)處，從而包括檢測到 的個(gè)體對象的圖像區(qū)域被定位在屏幕的中心。現(xiàn)在，描述步驟S109中用于實(shí)際執(zhí)行搖動(dòng)/傾動(dòng)控制的算法的示例。
在個(gè)體對象被檢測到并且模式標(biāo)志f == 0的狀態(tài)中，對象檢測塊61根據(jù)以下式
(1)來執(zhí)行計(jì)算，以獲得搖動(dòng)方向上的必要運(yùn)動(dòng)量Span和傾動(dòng)方向上的必要運(yùn)動(dòng)量Milt。
在以下式(1)中，“η”表示檢測到的個(gè)體對象的數(shù)目，“P(Xi，Yi) ”表示被指派以號(hào)碼0至
n-1的個(gè)體對象中的第i個(gè)個(gè)體對象的重心的X和Y坐標(biāo)。為了確認(rèn)，此情況下的原點(diǎn)坐標(biāo)
(0,0)位于屏幕的水平方向上的中點(diǎn)與垂直方向上的中點(diǎn)的交點(diǎn)處，如圖7所示。
權(quán)利要求
1.一種圖像處理裝置，包括對象檢測部件，其基于輸入圖像數(shù)據(jù)來檢測圖像中的預(yù)定對象；朝向檢測部件，其檢測對象朝向信息，所述對象朝向信息指示出在所述圖像中所述對 象的一部分面向的朝向；以及構(gòu)圖判定部件，其基于所述對象朝向信息判定所述圖像的構(gòu)圖。
2.如權(quán)利要求1所述的圖像處理裝置，其中， 當(dāng)所述對象檢測部件檢測到多個(gè)對象時(shí)，所述構(gòu)圖判定部件基于與所述多個(gè)對象相對 應(yīng)的多個(gè)對象朝向信息之間的關(guān)系來判定構(gòu)圖。
3.如權(quán)利要求2所述的圖像處理裝置，其中，當(dāng)由所述多個(gè)對象朝向信息所指示的所有朝向都相同時(shí)，所述構(gòu)圖判定部件獲 得下述構(gòu)圖來作為判定結(jié)果在所述構(gòu)圖中，在由所述圖像中所有檢測到的對象構(gòu)成的圖 像部分中設(shè)定的重心被定位在由在所述圖像中設(shè)定的圖像區(qū)域劃分線所限定的所述圖像 中的區(qū)域之中的、與所述多個(gè)對象朝向信息所指示的朝向相反的一側(cè)的區(qū)域中。
4.如權(quán)利要求3所述的圖像處理裝置，其中，所述構(gòu)圖判定部件基于檢測到的對象的數(shù)目，來設(shè)定在作為判定結(jié)果獲得的所 述構(gòu)圖中所述圖像區(qū)域劃分線與所述重心之間的距離。
5.如權(quán)利要求2所述的圖像處理裝置，其中，當(dāng)由所述多個(gè)對象朝向信息指示的所有朝向不是都相同時(shí)，所述構(gòu)圖判定部件 可以獲得下述構(gòu)圖來作為判定結(jié)果在所述構(gòu)圖中，至少在由多個(gè)檢測到的對象構(gòu)成的圖 像部分中設(shè)定的重心被基于指示不同朝向的多個(gè)對象朝向信息之間的關(guān)系而定位在與所 述圖像中設(shè)定的圖像區(qū)域劃分線相對應(yīng)的位置處。
6.如權(quán)利要求5所述的圖像處理裝置，其中，當(dāng)在所述指示不同朝向的多個(gè)對象朝向信息之間的關(guān)系中，一組最大數(shù)目的、指 示相同朝向的對象朝向信息不占所有對象朝向信息中的預(yù)定百分比或更多時(shí)，所述構(gòu)圖判 定部件判定下述構(gòu)圖來作為最佳構(gòu)圖在所述構(gòu)圖中，在由所述圖像中的所有檢測到的對 象構(gòu)成的圖像部分中設(shè)定的重心被定位在與在所述圖像中設(shè)定的圖像區(qū)域劃分線相對應(yīng) 的位置處。
7.如權(quán)利要求6所述的圖像處理裝置，其中，當(dāng)在所述指示不同朝向的多個(gè)對象朝向信息之間的關(guān)系中，一組最大數(shù)目的、指 示相同朝向的對象朝向信息占了所有對象朝向信息中的預(yù)定百分比或更多時(shí)，所述構(gòu)圖判 定部件獲得下述構(gòu)圖來作為判定結(jié)果在所述構(gòu)圖中，在由所述圖像中所有檢測到的對象 構(gòu)成的圖像部分中設(shè)定的重心，被定位在由在所述圖像中設(shè)定的圖像區(qū)域劃分線所限定的 所述圖像中的區(qū)域之中的、與所述一組最大數(shù)目的對象朝向信息所指示的朝向相反的一側(cè) 的區(qū)域中。
8.如權(quán)利要求7所述的構(gòu)圖判定設(shè)備，其中，所述構(gòu)圖判定部件基于檢測到的對象的數(shù)目，來設(shè)定在作為判定結(jié)果獲得的所 述構(gòu)圖中所述圖像區(qū)域劃分線與所述重心之間的距離。
9.一種圖像處理方法，包括以下步驟基于輸入圖像數(shù)據(jù)來檢測圖像中的預(yù)定對象；檢測對象朝向信息，所述對象朝向信息指示出在所述圖像中所述對象的一部分面向的 朝向；以及基于所述對象朝向信息判定所述圖像的構(gòu)圖。
10.如權(quán)利要求9所述的圖像處理方法，其中，當(dāng)在對象檢測步驟中檢測到多個(gè)對象時(shí)，構(gòu)圖判定步驟基于與所述多個(gè)對象相對應(yīng)的 多個(gè)對象朝向信息之間的關(guān)系來判定構(gòu)圖。
全文摘要
本發(fā)明提供了構(gòu)圖判定設(shè)備、構(gòu)圖判定方法和程序。一種構(gòu)圖判定設(shè)備包括對象檢測單元，被配置為基于圖像數(shù)據(jù)來檢測圖像中的一個(gè)或多個(gè)特定對象；對象朝向檢測單元，被配置為檢測指示出由所述對象檢測單元檢測到的對象在所述圖像中的朝向的對象朝向信息，對所述對象朝向信息的檢測是針對每個(gè)檢測到的對象執(zhí)行的；以及構(gòu)圖判定單元，被配置為基于所述對象朝向信息來判定構(gòu)圖。當(dāng)所述對象檢測單元檢測到多個(gè)對象時(shí)，所述構(gòu)圖判定單元基于與所述多個(gè)對象相對應(yīng)的多個(gè)對象朝向信息之間的關(guān)系來判定構(gòu)圖。
文檔編號(hào)H04N5/232GK102148935SQ20111009324
公開日2011年8月10日 申請日期2008年10月15日 優(yōu)先權(quán)日2007年10月17日
發(fā)明者善積真吾, 山脅央樹 申請人:索尼株式會(huì)社