專利名稱：圖像監(jiān)視系統(tǒng)以及圖像監(jiān)視程序的制作方法
技術領域：
本發(fā)明涉及圖像監(jiān)視系統(tǒng)和圖像監(jiān)視程序，其能夠在連接到網絡的相機中顯示圖像并且能夠記錄和再現所捕獲的圖像，并且，更具體地，本發(fā)明涉及配置有檢測所捕獲的圖像中的運動對象的功能的圖像監(jiān)視系統(tǒng)和圖像監(jiān)視程序。
背景技術：
圖像監(jiān)視系統(tǒng)是這樣的系統(tǒng)，其將多個相機所捕獲的圖像以分割的視圖的形式顯示在監(jiān)視器上，以便允許在一個位置同時看到多個圖像，并且，記錄所捕獲的圖像并根據需要再現過去的圖像。近年來，考慮到安全性的改進，不僅在銀行和諸如便利店的商店的內部和外部、而且還在公司、停車場、街道、學校、公寓住宅、獨立式住宅以及其它地方都實行了這種圖像監(jiān)視。
另一方面，隨著圖像捕獲相機已經變得很成熟并且價格下降了，記錄介質在容量上增加了并且價格下降了，以及網絡已經得到發(fā)展，已經出現了適于網絡的(network-ready)圖像監(jiān)視系統(tǒng)，在該系統(tǒng)中，多個相機連接到網絡以便允許通過網絡進行圖像的顯示、存儲和再現的管理。
這樣的圖像監(jiān)視系統(tǒng)具有從由相機捕獲的圖像中檢測運動對象的功能，這被應用于監(jiān)視工作。這種運動對象檢測功能被用于一些操作，如發(fā)現當前幀和以前的幀之間在像素值方面的差別、以便按照該差別的值或者出現該差別的區(qū)域的大小來檢測運動對象，將運動對象的位置顯示在監(jiān)視器上，或者僅在檢測到運動對象時才記錄圖像(例如，參見JP-A-9-186988)。

發(fā)明內容
然而，由于從相機中一個接一個地發(fā)送的所有圖像都經過了操作，所以，這種運動對象檢測功能使用了許多CPU和存儲器資源，導致了系統(tǒng)上的應用程序的重負載。特別地，采用可以連接多個相機的適于網絡的圖像監(jiān)視系統(tǒng)，在對通過網絡從相機中發(fā)送的所有圖像執(zhí)行運動對象檢測時，將對該系統(tǒng)施加過多的負載。
按照本發(fā)明的實施例，提供了一種圖像監(jiān)視系統(tǒng)，包括記錄裝置，用于通過網絡記錄相機所捕獲的圖像；控制裝置，用于控制該系統(tǒng)，以便將相機所捕獲的當前圖像或者記錄在該記錄裝置上的過去圖像顯示在顯示裝置上；以及運動對象檢測裝置，用于從相機所捕獲的圖像中檢測運動對象。該運動對象檢測裝置包括用于產生具有比相機所捕獲的圖像的分辨率低的分辨率的圖像的分辨率轉換裝置、用于從分辨率轉換裝置所產生的圖像中檢測運動對象并且輸出與檢測到的運動對象有關的位置信息的位置信息輸出裝置、以及用于基于位置信息輸出裝置所輸出的運動對象的位置信息而將運動對象的位置信息與相機所捕獲的圖像進行合并的信息合并裝置。
按照本發(fā)明的實施例，提供了一種由該圖像監(jiān)視系統(tǒng)執(zhí)行的圖像監(jiān)視程序，在該圖像監(jiān)視系統(tǒng)中，運動對象檢測裝置產生具有比相機所捕獲的圖像的分辨率低的分辨率的圖像，從該低分辨率圖像中檢測運動對象，以及將檢測到的運動對象的位置信息與相機所捕獲的圖像進行合并。
按照本發(fā)明的實施例，在通過運動對象檢測裝置從圖像中檢測運動對象的處理中，產生具有比相機所捕獲的圖像的分辨率低的分辨率的圖像，并且利用該低分辨率的圖像執(zhí)行運動對象檢測。由此，可以減少檢測運動對象的處理的負載。
因此，在按照本發(fā)明的實施例的具有運動對象檢測功能的圖像監(jiān)視系統(tǒng)中，可以減少用于檢測運動對象的系統(tǒng)資源的消耗，并且整體性能可以得到改善。


圖1是按照本發(fā)明的實施例的圖像監(jiān)視系統(tǒng)的結構的示意圖；圖2是按照本發(fā)明的實施例的圖像監(jiān)視程序的結構的示意圖；圖3是在該實施例的圖像監(jiān)視系統(tǒng)中使用的運動對象檢測部分的框圖；圖4是用于作為該實施例的圖像監(jiān)視程序的運動對象檢測處理的流程圖；以及圖5是顯示在監(jiān)視器上的由多個相機所捕獲的圖像的例子的圖。
具體實施例方式
將在下文中參照附圖描述本發(fā)明的實施例。圖1是按照該實施例的圖像監(jiān)視系統(tǒng)的結構的示意圖；而圖2是按照該實施例的圖像監(jiān)視程序的結構的示意圖。
如圖1中所示，按照該實施例的圖像監(jiān)視系統(tǒng)包括連接到網絡N的相機10(或者多個)、連接到網絡N的監(jiān)視設備20、以及連接到該監(jiān)視設備20的監(jiān)視器(顯示裝置)30。該圖像監(jiān)視系統(tǒng)通過網絡N將相機10所捕獲的圖像以指定的數據格式(例如，聯合圖像專家組(JPEG)或者運動圖像專家組階段4(MPEG-4))發(fā)送到監(jiān)視設備20，以便允許在連接到監(jiān)視設備20的監(jiān)視器30上顯示當前圖像、并將所發(fā)送的圖像記錄在硬盤驅動器(HDD)23上，其中，該硬盤驅動器23是在監(jiān)視設備20中提供的記錄裝置。該圖像監(jiān)視系統(tǒng)還允許搜索和再現記錄在HDD 23上的過去的圖像。
為了管理通過網絡N從相機10所發(fā)送的圖像，監(jiān)視設備20包括用作執(zhí)行圖像監(jiān)視程序的控制裝置的CPU 21、用作圖像處理等中的工作區(qū)的諸如隨機存取存儲器(RAM)的存儲器22、以及用作一個接一個地存儲從相機10發(fā)送的圖像的記錄裝置的HDD 23。監(jiān)視設備20還包括用于連接監(jiān)視器30的監(jiān)視器接口24、用于連接包括操縱桿和附加HDD的外部單元的外部單元接口25、以及用于向/從網絡N進行輸入和輸出的網絡接口26。
如圖2中所示，由CPU 21執(zhí)行的圖像監(jiān)視程序包括在操作系統(tǒng)100上運行的記錄服務器101和圖形用戶界面(GUI)控制器102。記錄服務器101管理從相機10發(fā)送的圖像、連同相機標識號、記錄日期和壓縮格式，并且將它們記錄在HDD 23上，以便創(chuàng)建圖像數據庫。記錄服務器101還向HDD 23搜索過去的圖像，并且按照用戶的指令再現它。
GUI控制器102控制監(jiān)視器30(參見圖1)用于在其上顯示圖像的窗口、該窗口上的圖像的分配、該窗口上的各個控制按鈕(圖標)的顯示、以及利用諸如鼠標、鍵盤、功能按鈕或操縱桿的輸入裝置從用戶接受指令。
利用該系統(tǒng)配置和程序配置，相機10所捕獲的圖像通過網絡N被發(fā)送到監(jiān)視設備20，并被顯示在監(jiān)視器30上。當連接多個相機10時，相機10所捕獲的圖像被顯示在監(jiān)視器30的相應窗口上，或者只有用于特定相機10的窗口被顯示在監(jiān)視器30的整個屏幕上。當相機10具有全景(pan)/傾斜(tilt)/縮放功能時，可以通過用戶的控制，通過相機10的全景/傾斜/縮放來顯示圖像。
由相機10所捕獲的圖像被一個接一個地記錄在HDD 23上，以便創(chuàng)建圖像數據庫。當在HDD 23中創(chuàng)建了圖像數據庫時，用戶可以從監(jiān)視設備20訪問該圖像數據庫，以便讀取所期望的圖像，并且也可以從連接到同一網絡N的外部個人計算機等中訪問該圖像數據庫，以便看到所期望的圖像，這是因為，該監(jiān)視設備20也連接到了該網絡N。
該實施例的圖像監(jiān)視系統(tǒng)具有從相機10所捕獲的圖像中檢測運動對象的功能。特別地，該實施例的優(yōu)點是，極少的歸咎于該運動對象檢測功能的負載被施加到該系統(tǒng)上。
可以通過圖2中所示的GUI控制器102的控制實現該運動對象檢測功能，這在檢測多個相機所捕獲的圖像中的運動對象的過程中特別有效。
圖3是在該實施例的圖像監(jiān)視系統(tǒng)中使用由200表示的運動對象檢測部分的框圖。該運動對象檢測部分200包括將從相機10發(fā)送的壓縮格式(例如，JPEG或MPEG格式)的圖像解壓縮為位圖數據的解壓縮部分201、將解壓縮的位圖數據的分辨率降低以便輸出低分辨率圖像的分辨率轉換部分202、從低分辨率圖像中檢測運動對象以便輸出運動對象位置信息的位置信息輸出部分203、以及將從位置信息輸出部分203輸出的運動對象位置信息與從解壓縮部分201輸出的高分辨率位圖數據進行合并的信息合并部分204。
通過網絡、以指定的壓縮格式，將相機10中的圖像發(fā)送到監(jiān)視設備20。為了檢測發(fā)送到監(jiān)視設備20的圖像中的運動對象，該圖像被發(fā)送到運動對象檢測部分200，其中，進行指定的運動對象檢測處理，并且輸出檢測結果。
在通常的運動對象檢測處理中，壓縮圖像被解壓縮為位圖數據，其中計算幀之間的像素值的差，以便由此檢測運動對象。然而，它施加了很重的操作負載，并且花很多時間來對高分辨率的位圖數據執(zhí)行運動對象檢測處理，并且，此外，對多個相機中的圖像的運動對象檢測將在系統(tǒng)上施加十分重的負載。
在該實施例中，壓縮圖像被解壓縮為位圖數據，然后降低位圖數據的分辨率，以便產生低分辨率的位圖數據，對其應用諸如幀間差分操作的運動對象檢測處理。這降低了用于檢測運動對象的操作的負載，從而允許在短時間內進行運動對象檢測。
如果僅運動對象的位置(即使具有低分辨率)可以被讀出，對于運動對象檢測而言也足夠了。因此，如果從位置信息輸出部分203輸出運動對象的位置信息(例如，運動對象周圍的矩形框的位置信息)，則可以通過按照高分辨率位圖數據轉換位置信息，來準確地將運動對象的位置信息與原始位圖數據進行合并。
圖4是作為該實施例的圖像監(jiān)視程序的運動對象檢測處理的流程圖。首先，捕獲從相機中發(fā)送的圖像流(步驟S1)，然后圖像流被解壓縮為位圖數據(步驟S2)。
接下來，對位圖數據進行分辨率轉換，以降低分辨率(步驟S3)。該低分辨率位圖數據被用于檢測運動對象(步驟S4)。在運動對象檢測處理中，可輸出圖像中的運動對象的位置信息。將該位置信息與原始位圖數據進行合并，并輸出該位置信息(步驟S5)。
為了將該位置信息與原始位圖數據進行合并，對該位置信息進行與步驟S3中相反的分辨率轉換，以便該分辨率與原始位圖數據的分辨率相符。因此，低分辨率位置信息可以正確地與高分辨率的位圖數據相符。
在這個實施例中，由相機所捕獲的圖像的分辨率即使很高，也可以在運動對象檢測處理中將其降低。因此，在檢測處理中不需要使用硬件資源的情況下，諸如CPU和存儲器的硬件資源可以用于其它處理。
在以上的例子中，采用低分辨率的位圖數據來執(zhí)行運動對象檢測，然后將其與原始分辨率位圖數據合并。然而，如果監(jiān)視器上的顯示圖像中的分辨率與原始分辨率不同，則通過運動對象檢測所獲得的位置信息可以被轉換在為監(jiān)視器顯示時的分辨率。當顯示時的分辨率等于運動對象檢測時的分辨率時，例如當用于圖像顯示的窗口很小時，可在不轉換分辨率的情況下合并運動對象的位置信息。
圖5是顯示在監(jiān)視器上的由多個相機所捕獲的圖像的例子的圖。由相機所捕獲的圖像被垂直和水平地顯示在相應的窗口上。圖5示出了顯示有3×3＝9個窗口的例子，在這些窗口上顯示不同相機的圖像。也就是，可以同時觀看到9個相機的圖像?？梢园凑沼脩舻倪x擇對窗口的數量和布局進行各種切換。
在圖像顯示窗口的上方有窗口轉換按鈕和功能選擇按鈕。窗口轉換按鈕用于選擇要顯示在整個屏幕上的內容。為了顯示由相機捕獲的圖像，選擇“監(jiān)視”按鈕，為了基本配置，選擇“配置”按鈕，而為了系統(tǒng)設置，選擇“系統(tǒng)”按鈕。
功能選擇按鈕包括用于將相機所記錄的圖像輸出到外部記錄介質(CD-RW、DVD-RW、USB存儲器等)的“輸出(export)”按鈕、用于在整個屏幕上顯示所選擇的窗口的“全屏”按鈕、用于選擇兩個或多個窗口的布局(3×3或2×2窗口)的“監(jiān)視器窗口”按鈕、以及用于指定開始或結束監(jiān)視器順序的“順序”按鈕(其中，自動切換屏幕)。
還具有用于切換圖像顯示窗口的模式(當前圖像顯示/過去圖像回放)的按鈕、回放/記錄操作按鈕、相機選擇按鈕、用于音量控制的滾動條、以及用于在整個窗口下搜索過去圖像的日期指定框。
在整個窗口的右邊，具有一個選項窗口。可以利用窗口切換按鈕，在“相機控制”、“記錄相機的列表”、“記錄圖像的列表”、“系統(tǒng)日志”、“告警輸出狀態(tài)列表”、“傳感器輸入狀態(tài)列表”、“運動對象檢測模式列表”和“手動觸發(fā)器”之間切換該選項窗口。
當選擇“相機控制”時，窗口被切換到用于控制所指定的窗口的諸如全景、傾斜、縮放、調焦距和亮度的相機功能的窗口。當選擇“記錄相機的列表”時，將視頻拍攝過程中的相機列表顯示在選項窗口上。當選擇“記錄圖像的列表”時，將近來記錄的圖像的列表顯示在選項窗口上。
當選擇“告警日志”時，將告警日志顯示在選項窗口上。當選擇“系統(tǒng)日志”時，將與系統(tǒng)信息和錯誤相關的日志顯示在選項窗口上。當選擇“告警輸出狀態(tài)列表”時，將告警輸出的當前狀態(tài)顯示在選項窗口上。當選擇“傳感器輸入狀態(tài)列表”時，將傳感器輸入的當前狀態(tài)顯示在選項窗口上。
當選擇“運動對象檢測狀態(tài)列表”時，將有關當前運動對象檢測的信息顯示在選項窗口上。當選擇“手動觸發(fā)器”時，將手動啟動的動作顯示在選項窗口上。
可以按照用戶的指令自由地切換相機的哪個圖像將要顯示在哪個窗口上。更具體地，當用戶在指定窗口的同時采用相機選擇按鈕來選擇期望的相機時，所選相機的圖像被顯示在指定窗口上。當用戶在指定其上顯示圖像的窗口的同時在選項窗口上顯示“相機控制”、并且選擇箭頭按鈕時，例如，用戶可以對正在將圖像發(fā)送給該窗口的相機進行全景或傾斜操作，或者利用縮放按鈕放大或縮小圖像。
為了察看過去所捕獲的圖像，用戶選擇其上存儲了期望的過去的圖像的相機的當前圖像的窗口，并且將所期望的過去日期輸入到日期指定框。在該實施例中，日期指定框被顯示在整個窗口的右下部，因此允許在保持窗口的圖像顯示狀態(tài)的同時進行日期指定。
此處，用戶可以指定對應于所期望的相機的多個窗口。即使在指定了多個窗口時，由于存在一個日期指定框，所以可以對于多個窗口而接受一個公共日期設置。
在該實施例的圖像監(jiān)視系統(tǒng)中，利用顯示在相應窗口上的圖像，可以對多個相機所捕獲的窗口圖像中的每個進行運動對象檢測，并且，被檢測的運動對象的位置各自都可用例如矩形框架(frame)(見附圖中的虛線框架)來表示。當檢測到運動對象時，可以顯示預定的告警。
由于多個相機捕獲的圖像由此可以被同時顯示，所以，多個窗口圖像的同時運動對象檢測施加了十分重的負載。因此，即使在多個窗口顯示圖像的情況下，該實施例的運動對象檢測的使用也允許在未在系統(tǒng)上施加很重的負載的情況下進行準確的運動對象檢測。
本領域技術人員應當理解，根據設計需要和其它因素可以進行各種修改、組合、子組合和替換，只要它們在所附權利要求或其等價物的范圍內即可。
權利要求
1.一種圖像監(jiān)視系統(tǒng)，包括記錄裝置，用于通過網絡記錄由相機所捕獲的圖像；控制裝置，用于控制該系統(tǒng)，以便將該相機所捕獲的當前圖像或者記錄在該記錄裝置上的過去圖像顯示在顯示裝置上；以及運動對象檢測裝置，用于從該相機所捕獲的圖像中檢測運動對象；其中，運動對象檢測裝置包括分辨率轉換裝置，用于產生具有比該相機所捕獲的圖像的分辨率低的分辨率的圖像，位置信息輸出裝置，用于從分辨率轉換裝置所產生的圖像中檢測運動對象，并且輸出與檢測到的運動對象有關的位置信息，以及信息合并裝置，用于基于位置信息輸出裝置所輸出的運動對象的位置信息，將運動對象的位置信息與相機所捕獲的圖像進行合并。
2.按照權利要求1的圖像監(jiān)視系統(tǒng)，其中該信息合并裝置合并與顯示在顯示裝置上的圖像的分辨率相符的位置信息。
3.一種由圖像監(jiān)視系統(tǒng)執(zhí)行的圖像監(jiān)視程序，該圖像監(jiān)視系統(tǒng)包括記錄裝置，用于通過網絡記錄由相機所捕獲的圖像；控制裝置，用于控制該系統(tǒng)，以便將相機所捕獲的當前圖像或者記錄在記錄裝置上的過去圖像顯示在顯示裝置上；以及運動對象檢測裝置，用于從相機所捕獲的圖像中檢測運動對象；其中，該運動圖像檢測裝置產生具有比相機所捕獲的圖像的分辨率低的分辨率的圖像，從低分辨率圖像中檢測運動對象，并將檢測到的運動對象的位置信息與相機所捕獲的圖像進行合并。
4.按照權利要求3的圖像監(jiān)視程序，其中將位置信息與顯示在顯示裝置上的圖像的分辨率相符的圖像進行合并。
5.一種圖像監(jiān)視系統(tǒng)，包括記錄部分，其被配置成通過網絡記錄由相機所捕獲的圖像；控制部分，其被配置成控制該系統(tǒng)，以便將相機所捕獲的當前圖像或者記錄在該記錄部分上的過去圖像顯示在顯示部分上；以及運動對象檢測部分，其被配置成從相機所捕獲的圖像中檢測運動對象；其中，該運動對象檢測部分包括分辨率轉換部分，其被配置成產生具有比相機所捕獲的圖像的分辨率低的分辨率的圖像，位置信息輸出部分，其被配置成從分辨率轉換部分所產生的圖像中檢測運動對象，并且輸出與檢測到的運動對象有關的位置信息，以及信息合并部分，其被配置成基于位置信息輸出部分所輸出的運動對象的位置信息，將該運動對象的位置信息與相機所捕獲的圖像進行合并。
全文摘要
一種圖像監(jiān)視系統(tǒng)，包括記錄裝置，用于通過網絡記錄由相機所捕獲的圖像；控制裝置，用于控制該系統(tǒng)，以便將相機所捕獲的當前圖像或者記錄在該記錄裝置上的過去圖像顯示在顯示裝置上；以及運動對象檢測裝置，用于從相機所捕獲的圖像中檢測運動對象；其中該運動對象檢測裝置包括分辨率轉換裝置，用于產生具有比相機所捕獲的圖像的分辨率低的分辨率的圖像，位置信息輸出裝置，用于從分辨率轉換裝置所產生的圖像中檢測運動對象，并且輸出與檢測到的運動對象有關的位置信息，以及信息合并裝置，用于基于位置信息輸出裝置所輸出的運動對象的位置信息，將該運動對象的位置信息與相機所捕獲的圖像進行合并。
文檔編號G06T7/20GK101094397SQ20071012928
公開日2007年12月26日 申請日期2007年3月6日 優(yōu)先權日2006年3月6日
發(fā)明者出水將樹, 村上干 申請人:索尼株式會社