一種通過(guò)表情識(shí)別拍攝照片的方法
【專利摘要】一種通過(guò)表情識(shí)別拍攝照片的方法，用于移動(dòng)設(shè)備照片或者視頻拍攝，主攝像頭采集需要拍攝的物體或者場(chǎng)景，輔助攝像頭采集包含拍攝者完整的面部信息的圖像信息，判斷輔助攝像頭捕獲到的拍攝者面部表情或者動(dòng)作的圖像信息與預(yù)設(shè)條件是否吻合，如果條件滿足，觸發(fā)拍攝的快門流程，完成照片拍攝。本發(fā)明使移動(dòng)設(shè)備的拍攝手段更加靈活，在拍攝者不方便觸摸快門按鍵的時(shí)候，只需要一個(gè)簡(jiǎn)單的面部表情或者動(dòng)作就可以拍攝到照片，另一方面，本發(fā)明所述觸發(fā)快門的方法是非接觸式的，極大地減少人為抖動(dòng)造成照片模糊的機(jī)會(huì)。
【專利說(shuō)明】一種通過(guò)表情識(shí)別拍攝照片的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種通過(guò)表情識(shí)別拍攝照片的方法。
【背景技術(shù)】
[0002]目前人們對(duì)拍攝的需求越來(lái)越高，特別是隨著智能化的移動(dòng)設(shè)備的普及，人們希望做到隨時(shí)隨地，靈活方便地拍攝照片或者視頻片段。然而目前大部分的拍攝方法都是接觸式的，比如機(jī)械和電子快門，都是物理按鍵，拍攝者使用的時(shí)候，一方面需要穩(wěn)定移動(dòng)設(shè)備，另一方面需要按下快門，很不適合單手操作，缺乏靈活性。隨著智能手機(jī)發(fā)展，拍照按鈕被屏幕上快門圖標(biāo)取代，但是由于沒有觸感，經(jīng)常出現(xiàn)按錯(cuò)位置的情況。而且接觸移動(dòng)設(shè)備時(shí)不可避免地造成設(shè)備抖動(dòng)，或多或少會(huì)引起拍攝的畫面模糊。
[0003]現(xiàn)有的與表情識(shí)別觸發(fā)拍照相關(guān)的專利有我國(guó)2009年公開的笑臉追蹤系統(tǒng)及方法(申請(qǐng)?zhí)?200710203477.X)，此專利是一種笑臉追蹤方法，通過(guò)相機(jī)模塊的鏡頭拍攝圖片；將上述拍攝的圖片轉(zhuǎn)換成黑白圖片；讀取所述黑白圖片上的各個(gè)點(diǎn)的亮度值；通過(guò)上述亮度值及臉部的基本輪廓截取圖片中的頭像圖形，及在上述截取的頭像圖形中截取嘴唇圖形；比較上述截取的嘴唇圖形與相機(jī)模塊保存的人臉微笑時(shí)嘴唇圖形的相似度，得出一個(gè)百分比的值，所述百分比的值作為相似度的值；判斷所述相似度的值是否大于相機(jī)模塊設(shè)定的值；當(dāng)所述相似度的值大于相機(jī)模塊設(shè)定的值時(shí)，將拍攝的圖片保存到相機(jī)模塊的存儲(chǔ)介質(zhì)中。
[0004]笑臉追蹤系統(tǒng)及方法有觸發(fā)快門拍攝照片的功能，但是準(zhǔn)確地講，這種方法并不是拍攝者主動(dòng)觸發(fā)的拍攝手段，應(yīng)用場(chǎng)景只有被拍攝對(duì)象是人物，并且在微笑的情況才會(huì)自動(dòng)觸發(fā)快門。如果需要拍攝的畫面里沒有人物笑臉的時(shí)候，拍攝者還是需要借助物理按鍵和觸摸按鈕來(lái)主動(dòng)觸發(fā)快門拍攝。
[0005]因此，急需提供一種靈活的非接觸式的拍攝照片的方法。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供的一種通過(guò)表情識(shí)別拍攝照片的方法，觸發(fā)快門的方法是非接觸式的，提高了拍攝的靈活性，準(zhǔn)確性，降低了照片模糊的可能性。
[0007]為了達(dá)到上述目的，本發(fā)明提供一種通過(guò)表情識(shí)別拍攝照片的方法，該方法用于移動(dòng)設(shè)備上，基于移動(dòng)設(shè)備上的硬件實(shí)現(xiàn)，所述的硬件包含主控制模塊、電路連接該主控制模塊的主攝像頭、輔助攝像頭、數(shù)字信號(hào)處理器DSP、內(nèi)部存儲(chǔ)器和顯示屏，該方法包含以下步驟:
步驟1、移動(dòng)設(shè)備進(jìn)入拍攝程序，主控制模塊判斷內(nèi)部存儲(chǔ)器中是否已經(jīng)存儲(chǔ)有面部表情或者動(dòng)作的圖像信息，如果有，進(jìn)行步驟2，如果沒有，進(jìn)行步驟1.1 ；
步驟1.1、主控制模塊提醒用戶是否要輸入表情或者動(dòng)作圖像信息，如果用戶選擇輸入表情或者動(dòng)作圖像信息，則主控制模塊控制輔助攝像頭捕獲拍攝者的表情或者動(dòng)作的圖像信息，然后用于后面觸發(fā)快門的判斷條件，如果用戶不選擇輸入表情或者動(dòng)作圖像信息，則后續(xù)在判斷是否觸發(fā)快門的時(shí)候完全依靠圖像處理算法，最后跳轉(zhuǎn)到步驟2 ；
步驟2、進(jìn)入到預(yù)覽模式，主控制模塊控制主攝像頭采集需要拍攝的物體或者場(chǎng)景，經(jīng)過(guò)數(shù)字信號(hào)處理器DSP處理之后，在顯示屏上顯示，同時(shí)，主控制模塊控制輔助攝像頭也開始采集圖像信息，通過(guò)數(shù)字信號(hào)處理器DSP處理捕獲的面部輪廓信息；
步驟3、主控制模塊判斷輔助攝像頭采集到的圖像信息是否包含拍攝者完整的面部信息，如果拍攝者沒有面對(duì)輔助攝像頭，主控制模塊應(yīng)當(dāng)通過(guò)顯示屏提醒拍攝者目前的狀態(tài)，并且跳轉(zhuǎn)到步驟1，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息；
步驟4、數(shù)字信號(hào)處理器DSP開始對(duì)拍攝者完整的面部圖像信息進(jìn)行計(jì)算和分析；
步驟5、主控制模塊對(duì)步驟4的計(jì)算結(jié)果進(jìn)行判斷，如果捕獲的圖像數(shù)據(jù)和用戶預(yù)設(shè)的條件吻合，那么進(jìn)行步驟6，如果條件不吻合，主控制模塊通過(guò)顯示屏提醒拍攝者目前的狀態(tài)，并且跳轉(zhuǎn)到步驟1，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息；
步驟6、主控制模塊觸發(fā)拍攝的快門流程，設(shè)置好合適的拍攝參數(shù)，完成自動(dòng)對(duì)焦過(guò)程，控制王攝像頭拍攝照片，將照片存儲(chǔ)在內(nèi)部存儲(chǔ)器當(dāng)中。
[0008]步驟7、主控制模塊判斷拍攝者的面部表情或者動(dòng)作是否仍然滿足預(yù)設(shè)條件，如果滿足，跳轉(zhuǎn)到步驟6，實(shí)現(xiàn)連續(xù)拍攝功能，如果不滿足，跳轉(zhuǎn)到步驟8 ；
步驟8、拍攝程序回到預(yù)覽模式，并且跳轉(zhuǎn)到步驟1，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息，等待下一次拍攝。
[0009]所述的步驟4中，縱向上，數(shù)字信號(hào)處理器DSP分別處理得到的每一幀圖像信息，記錄拍攝者面部表情或者動(dòng)作的變化過(guò)程，橫向上，數(shù)字信號(hào)處理器DSP用得到的圖像信息和預(yù)存在內(nèi)部存儲(chǔ)器里拍攝者的表情或者動(dòng)作信息比對(duì)；如果用戶沒有使用預(yù)存圖像信息，那么數(shù)字信號(hào)處理器DSP只做縱向分析。
[0010]所述的移動(dòng)設(shè)備是智能手機(jī)，或數(shù)碼相機(jī)。
[0011]本發(fā)明的優(yōu)點(diǎn)在于:
1、本發(fā)明實(shí)現(xiàn)了一種通過(guò)表情識(shí)別觸發(fā)快門拍攝的方法，以拍攝者的面部表情或者動(dòng)作作為觸發(fā)條件，使用起來(lái)更加靈活，具有趣味性。
[0012]2、本發(fā)明具有主要數(shù)據(jù)采集模塊(主攝像頭)和輔助數(shù)據(jù)采集模塊(輔助攝像頭)，輔助數(shù)據(jù)采集模塊不依靠被拍攝物體和場(chǎng)景，連續(xù)對(duì)拍攝者的面部表情或者動(dòng)作進(jìn)行捕捉。
[0013]3、本發(fā)明是一種非觸摸式的快門觸發(fā)手段，避免接觸造成移動(dòng)設(shè)備抖動(dòng)，減少照片模糊的可能性。
【專利附圖】

【附圖說(shuō)明】
[0014]圖1是本發(fā)明的硬件結(jié)構(gòu)示意圖。
[0015]圖2是本發(fā)明的流程圖。
【具體實(shí)施方式】
[0016]以下根據(jù)圖1和圖2，具體說(shuō)明本發(fā)明的較佳實(shí)施例。
[0017]本發(fā)明提供一種通過(guò)表情識(shí)別拍攝照片的方法，該方法可用于移動(dòng)設(shè)備上。
[0018]所述的移動(dòng)設(shè)備可以是智能手機(jī)，數(shù)碼相機(jī)，但是并不局限于這些移動(dòng)設(shè)備。[0019]本發(fā)明基于移動(dòng)設(shè)備上的硬件實(shí)現(xiàn)，如圖1所示，這些硬件包含主控制模塊101、電路連接該主控制模塊101的主攝像頭102、輔助攝像頭103、數(shù)字信號(hào)處理器DSP104、內(nèi)部存儲(chǔ)器105和顯示屏106。
[0020]所述的主控制模塊101可以采用arm、MIPS等架構(gòu)的微處理芯片，完成整個(gè)拍攝流程的監(jiān)測(cè)和控制。
[0021]所述的主攝像頭102和輔助攝像頭103是數(shù)據(jù)輸入裝置，主攝像頭102是用來(lái)采集被拍攝物體或者場(chǎng)景的，根據(jù)需要選擇合適的規(guī)格，輔助攝像頭103用來(lái)捕捉拍攝者面部的表情和動(dòng)作，所以選擇視角較大的攝像頭，以便完整地得到拍攝者的面部區(qū)域，并且?guī)首銐虼?，這樣能夠獲得拍攝者完整的面部動(dòng)作。
[0022]主控制模塊101通過(guò)I2C控制總線向主攝像頭102和輔助攝像頭103發(fā)送命令，完成攝像頭寄存器初始化和曝光控制，主攝像頭102和輔助攝像頭103則通過(guò)MIPI串行總線或者并行總線向主控制模塊101發(fā)送圖像數(shù)據(jù)，這樣就完成了主控制模塊101和攝像頭的雙向通信。
[0023]所述的數(shù)字信號(hào)處理器DSP104對(duì)主控制模塊101通過(guò)攝像頭獲得的圖像數(shù)據(jù)進(jìn)行處理，該數(shù)字信號(hào)處理器DSP104和主控制模塊101之間通過(guò)內(nèi)部總線進(jìn)行通信。
[0024]圖像數(shù)據(jù)包括兩部分，一部分是主攝像頭102獲得的被拍攝物體和場(chǎng)景的圖像數(shù)據(jù)，這部分是拍攝者打算記錄下來(lái)的，所以在數(shù)字信號(hào)處理器DSP104中經(jīng)過(guò)白平衡算法，曝光算法，自動(dòng)對(duì)焦算法等算法處理，最真實(shí)，優(yōu)質(zhì)地顯示到顯示屏106上，給拍攝者預(yù)覽；另一部分是輔助攝像頭103獲得的拍攝者的面部表情或者動(dòng)作的圖像數(shù)據(jù)，這部分是用來(lái)作為觸發(fā)快門的判斷條件，因此并不需要顯示到顯示屏106上，數(shù)字信號(hào)處理器DSP104主要計(jì)算出圖像數(shù)據(jù)的輪廓信息，判斷拍攝者眼睛，嘴巴，眉毛等部位的位置，在不停獲取拍攝者面部圖像數(shù)據(jù)的過(guò)程中，計(jì)算嘴角有沒有揚(yáng)起來(lái)，拍攝者有沒有點(diǎn)頭等。
[0025]本發(fā)明提供一種通過(guò)表情識(shí)別拍攝照片的方法，該方法包含以下步驟:
步驟1、移動(dòng)設(shè)備進(jìn)入拍攝程序，主控制模塊101判斷內(nèi)部存儲(chǔ)器105中是否已經(jīng)存儲(chǔ)有面部表情或者動(dòng)作的圖像信息，如果有，進(jìn)行步驟2，如果沒有，進(jìn)行步驟1.1 ；
每個(gè)人表情動(dòng)作多種多樣，提前存儲(chǔ)拍攝者的表情信息，比如微笑，點(diǎn)頭，皺眉等可以提高判斷的準(zhǔn)確性，比如，拍攝者選擇微笑作為觸發(fā)快門的判斷條件，程序會(huì)保存拍攝者面部各部位的輪廓信息，拍攝者的膚色信息，拍攝者從嚴(yán)肅到微笑這個(gè)過(guò)程中嘴角移動(dòng)的形狀和幅度；
步驟1.1、主控制模塊101提醒用戶是否要輸入表情或者動(dòng)作圖像信息，如果用戶選擇輸入表情或者動(dòng)作圖像信息，則主控制模塊101控制輔助攝像頭103捕獲拍攝者的表情或者動(dòng)作的圖像信息，然后用于后面觸發(fā)快門的判斷條件，如果用戶不選擇輸入表情或者動(dòng)作圖像信息，則后續(xù)在判斷是否觸發(fā)快門的時(shí)候完全依靠圖像處理算法，最后跳轉(zhuǎn)到步驟2 ；
步驟2、進(jìn)入到預(yù)覽模式，主控制模塊101控制主攝像頭102采集需要拍攝的物體或者場(chǎng)景，經(jīng)過(guò)數(shù)字信號(hào)處理器DSP104處理之后，在顯示屏106上顯示，同時(shí)，主控制模塊101控制輔助攝像頭103也開始采集圖像信息，通過(guò)數(shù)字信號(hào)處理器DSP104處理捕獲的面部輪
廓信息；
步驟3、主控制模塊101判斷輔助攝像頭103采集到的圖像信息是否包含拍攝者完整的面部信息，如果拍攝者沒有面對(duì)輔助攝像頭103，主控制模塊101應(yīng)當(dāng)通過(guò)顯示屏106提醒拍攝者目前的狀態(tài)，并且跳轉(zhuǎn)到步驟I，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息；步驟4、數(shù)字信號(hào)處理器DSP104開始對(duì)拍攝者完整的面部圖像信息進(jìn)行計(jì)算和分析；拍攝者在預(yù)覽的過(guò)程中，輔助攝像頭保持對(duì)拍攝者面部表情或者動(dòng)作的捕捉，當(dāng)拍攝者希望拍攝當(dāng)下預(yù)覽里的畫面時(shí)，只需要做出預(yù)設(shè)的面部表情或者動(dòng)作；
縱向上，數(shù)字信號(hào)處理器DSP104分別處理得到的每一幀圖像信息，記錄拍攝者面部表情或者動(dòng)作的變化過(guò)程，橫向上，數(shù)字信號(hào)處理器DSP104用得到的圖像信息和預(yù)存在內(nèi)部存儲(chǔ)器105里拍攝者的表情或者動(dòng)作信息比對(duì)；
如果用戶沒有使用預(yù)存圖像信息，那么數(shù)字信號(hào)處理器DSP104只做縱向分析；
步驟5、主控制模塊101對(duì)步驟4的計(jì)算結(jié)果進(jìn)行判斷，如果捕獲的圖像數(shù)據(jù)和用戶預(yù)設(shè)的條件吻合，那么進(jìn)行步驟6，如果條件不吻合，主控制模塊101通過(guò)顯示屏106提醒拍攝者目前的狀態(tài)，并且跳轉(zhuǎn)到步驟I，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息；
步驟6、主控制模塊101觸發(fā)拍攝的快門流程，設(shè)置好合適的拍攝參數(shù)，完成自動(dòng)對(duì)焦過(guò)程，控制主攝像頭103拍攝照片，將照片存儲(chǔ)在內(nèi)部存儲(chǔ)器105當(dāng)中。
[0026]步驟7、主控制模塊101判斷拍攝者的面部表情或者動(dòng)作是否仍然滿足預(yù)設(shè)條件，如果滿足，跳轉(zhuǎn)到步驟6，實(shí)現(xiàn)連續(xù)拍攝功能，如果不滿足，跳轉(zhuǎn)到步驟8 ；
步驟8、拍攝程序回到預(yù)覽模式，并且跳轉(zhuǎn)到步驟1，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息，等待下一次拍攝。
[0027]本發(fā)明主要用于移動(dòng)設(shè)備照片或者視頻拍攝，判斷輔助攝像頭捕獲到的拍攝者面部表情或者動(dòng)作的圖像信息與預(yù)設(shè)條件是否吻合，如果條件滿足，觸發(fā)拍攝的快門流程，完成照片拍攝，本發(fā)明使移動(dòng)設(shè)備的拍攝手段更加靈活，在拍攝者不方便觸摸快門按鍵的時(shí)候，只需要一個(gè)簡(jiǎn)單的面部表情或者動(dòng)作就可以拍攝到照片，另一方面，本發(fā)明所述觸發(fā)快門的方法是非接觸式的，極大地減少人為抖動(dòng)造成照片模糊的機(jī)會(huì)。
[0028]盡管本發(fā)明的內(nèi)容已經(jīng)通過(guò)上述優(yōu)選實(shí)施例作了詳細(xì)介紹，但應(yīng)當(dāng)認(rèn)識(shí)到上述的描述不應(yīng)被認(rèn)為是對(duì)本發(fā)明的限制。在本領(lǐng)域技術(shù)人員閱讀了上述內(nèi)容后，對(duì)于本發(fā)明的多種修改和替代都將是顯而易見的。因此，本發(fā)明的保護(hù)范圍應(yīng)由所附的權(quán)利要求來(lái)限定。
【權(quán)利要求】
1.一種通過(guò)表情識(shí)別拍攝照片的方法，該方法用于移動(dòng)設(shè)備上，基于移動(dòng)設(shè)備上的硬件實(shí)現(xiàn)，所述的硬件包含主控制模塊(101)、電路連接該主控制模塊(101)的主攝像頭(102)、輔助攝像頭(103)、數(shù)字信號(hào)處理器DSP (104)、內(nèi)部存儲(chǔ)器(105)和顯示屏(106); 其特征在于，該方法包含以下步驟: 步驟1、移動(dòng)設(shè)備進(jìn)入拍攝程序，主控制模塊(101)判斷內(nèi)部存儲(chǔ)器(105)中是否已經(jīng)存儲(chǔ)有面部表情或者動(dòng)作的圖像信息，如果有，進(jìn)行步驟2，如果沒有，進(jìn)行步驟1.1 ； 步驟1.1、主控制模塊(101)提醒用戶是否要輸入表情或者動(dòng)作圖像信息，如果用戶選擇輸入表情或者動(dòng)作圖像信息，則主控制模塊(101)控制輔助攝像頭(103)捕獲拍攝者的表情或者動(dòng)作的圖像信息，然后用于后面觸發(fā)快門的判斷條件，如果用戶不選擇輸入表情或者動(dòng)作圖像信息，則后續(xù)在判斷是否觸發(fā)快門的時(shí)候完全依靠圖像處理算法，最后跳轉(zhuǎn)到步驟2 ； 步驟2、進(jìn)入到預(yù)覽模式，主控制模塊(101)控制主攝像頭(102)采集需要拍攝的物體或者場(chǎng)景，經(jīng)過(guò)數(shù)字信號(hào)處理器DSP (104)處理之后，在顯示屏(106)上顯示，同時(shí)，主控制模塊(101)控制輔助攝像頭(103)也開始采集圖像信息，通過(guò)數(shù)字信號(hào)處理器DSP (104)處理捕獲的面部輪廓信息； 步驟3、主控制模塊(101)判斷輔助攝像頭(103)采集到的圖像信息是否包含拍攝者完整的面部信息，如果拍攝者沒有面對(duì)輔助攝像頭(103)，主控制模塊(101)應(yīng)當(dāng)通過(guò)顯示屏(106)提醒拍攝者目前的狀態(tài)，并且跳轉(zhuǎn)到步驟I，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息； 步驟4、數(shù)字信號(hào)處理器DSP (104)開始對(duì)拍攝者完整的面部圖像信息進(jìn)行計(jì)算和分析； 步驟5、主控制模塊(101)對(duì)步驟4的計(jì)算結(jié)果進(jìn)行判斷，如果捕獲的圖像數(shù)據(jù)和用戶預(yù)設(shè)的條件吻合，那么進(jìn)行步驟6，如果條件不吻合，主控制模塊(101)通過(guò)顯示屏(106)提醒拍攝者目前的狀態(tài)，并且跳轉(zhuǎn)到步驟1，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息； 步驟6、主控制模塊(101)觸發(fā)拍攝的快門流程，設(shè)置好合適的拍攝參數(shù)，完成自動(dòng)對(duì)焦過(guò)程，控制主攝像頭(103)拍攝照片，將照片存儲(chǔ)在內(nèi)部存儲(chǔ)器(105)當(dāng)中； 步驟7、主控制模塊(101)判斷拍攝者的面部表情或者動(dòng)作是否仍然滿足預(yù)設(shè)條件，如果滿足，跳轉(zhuǎn)到步驟6，實(shí)現(xiàn)連續(xù)拍攝功能，如果不滿足，跳轉(zhuǎn)到步驟8 ； 步驟8、拍攝程序回到預(yù)覽模式，并且跳轉(zhuǎn)到步驟1，重新進(jìn)入下一次的拍攝流程，繼續(xù)捕捉面部信息，等待下一次拍攝。
2.如權(quán)利要求1所述的通過(guò)表情識(shí)別拍攝照片的方法，其特征在于，所述的步驟4中，縱向上，數(shù)字信號(hào)處理器DSP (104)分別處理得到的每一幀圖像信息，記錄拍攝者面部表情或者動(dòng)作的變化過(guò)程，橫向上，數(shù)字信號(hào)處理器DSP (104)用得到的圖像信息和預(yù)存在內(nèi)部存儲(chǔ)器(105)里拍攝者的表情或者動(dòng)作信息比對(duì)；如果用戶沒有使用預(yù)存圖像信息，那么數(shù)字信號(hào)處理器DSP (104)只做縱向分析。
3.如權(quán)利要求1所述的通過(guò)表情識(shí)別拍攝照片的方法，其特征在于，所述的移動(dòng)設(shè)備是智能手機(jī)，或數(shù)碼相機(jī)。
【文檔編號(hào)】H04N5/232GK103685940SQ201310600001
【公開日】2014年3月26日 申請(qǐng)日期:2013年11月25日 優(yōu)先權(quán)日:2013年11月25日
【發(fā)明者】崔宗敏, 鄭新建, 邵笑杰, 王瓊 申請(qǐng)人:上海斐訊數(shù)據(jù)通信技術(shù)有限公司