專利名稱：基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于全方位計(jì)算機(jī)視覺傳感器、圖像理解、信息處理等技術(shù)在高齡化社會(huì)老人監(jiān)護(hù)方面的應(yīng)用，適用于需要得到即時(shí)和適當(dāng)服務(wù)的獨(dú)居老人等弱勢人群的家庭。
背景技術(shù)：
根據(jù)聯(lián)合國的一項(xiàng)調(diào)查表明，預(yù)計(jì)到2030年，中國65歲以上的人口將占人口總數(shù)的12.7％；其中空巢老人家庭將占老人家庭總數(shù)的90％。獨(dú)居老人人口的增長，需要我們提供各種各樣的監(jiān)護(hù)服務(wù)。GE公司在2003做的全球研究中指出獨(dú)居老人的遠(yuǎn)程監(jiān)護(hù)者最關(guān)心的問題是老人的摔倒異常。另一項(xiàng)研究指出一年內(nèi)65歲以上的老人摔倒的概率為30％，而75歲以上的老人摔倒的概率為42％。因此，如何檢測到老人的摔倒異常逐漸引起了國內(nèi)外科研者的興趣。
在國外，已經(jīng)有許多研究者進(jìn)行了這方面的研究。一些研究者把加速度傳感器安裝在老人身上，通過監(jiān)護(hù)加速度的異常來檢測摔倒異常。還有一些研究者使用計(jì)算機(jī)視覺技術(shù)監(jiān)護(hù)老人的行為活動(dòng)來檢測摔倒異常。但是，對于在監(jiān)護(hù)場所之外的摔倒異常，這些方法就無能為力了。
在國內(nèi)，在本發(fā)明作出以前對獨(dú)居老年等弱勢人群的家庭發(fā)生異常時(shí)主要是通過電話或者家庭中的報(bào)警按鈕以主動(dòng)形式向援救方報(bào)警及請求服務(wù)，或者是采用上門探望的方法來確認(rèn)老人是否安康。天有不測風(fēng)云、人有旦夕禍福，誰都不能預(yù)料自己在某日某時(shí)會(huì)生病，也不能預(yù)料自己可能會(huì)出現(xiàn)連電話都請求報(bào)警救援都困難的時(shí)候。最近幾年人們通過信息技術(shù)智能地發(fā)現(xiàn)老人的生活異常，專利號為CN200410017289.4獨(dú)居老人家庭安保裝置中采用紅外傳感器來探測老人的活動(dòng)量來判斷老人是否出現(xiàn)異常；專利號為CN200410066707.9基于生活供應(yīng)線的獨(dú)居老人安保裝置中采用老人家中日常使用的水、電、煤氣以及熱氣的量來判斷老人是否出現(xiàn)異常。
另一方面，近年發(fā)展起來的全方位視覺傳感器ODVS(OmniDirectional VisionSensors)為實(shí)時(shí)獲取場景的全景圖像提供了一種新的解決方案。ODVS的特點(diǎn)是視野廣(360度)，能把一個(gè)半球視野中的信息壓縮成一幅圖像，一幅圖像的信息量更大；獲取一個(gè)場景圖像時(shí)，ODVS在場景中的安放位置更加自由；監(jiān)護(hù)環(huán)境時(shí)ODVS不用瞄準(zhǔn)目標(biāo)；檢測和跟蹤監(jiān)護(hù)范圍內(nèi)的運(yùn)動(dòng)物體時(shí)算法更加簡單；可以獲得場景的實(shí)時(shí)圖像。這種ODVS攝像機(jī)主要由一個(gè)CCD攝像機(jī)和正對著攝像頭的一個(gè)反光鏡組成。反光鏡面將水平方向一周的圖像反射給CCD攝像機(jī)成像，這樣，就可以在一幅圖像中獲取水平方向360o的環(huán)境信息。這種全方位攝像機(jī)有著非常突出的優(yōu)點(diǎn)，特別在對全景實(shí)時(shí)處理要求下，是一種快速、可靠的視覺信息采集途徑。
由于全方位視覺是一種典型的機(jī)器視覺，是人不可能具備的。攝像機(jī)采集圖像的原理和人眼觀察物體的原理不一樣，使得全方位圖像與人眼看到的圖像差別也很大，即使按照柱面展開，其形變還是存在的。因此如何通過全方位光學(xué)成像技術(shù)、計(jì)算機(jī)圖像處理技術(shù)和網(wǎng)絡(luò)通信技術(shù)為智能獨(dú)居老人家庭安保領(lǐng)域提供一種快速、可靠的監(jiān)護(hù)領(lǐng)域大范圍內(nèi)視覺信息采集途徑，并根據(jù)ODVS攝像機(jī)得到的實(shí)時(shí)全方位圖像，通過智能化的處理技術(shù)不僅能夠檢測到監(jiān)護(hù)場所內(nèi)的摔倒異常，而且還能夠預(yù)測監(jiān)護(hù)場所之外的摔倒異常。
因此如何通過全方位光學(xué)成像技術(shù)、計(jì)算機(jī)圖像處理技術(shù)和網(wǎng)絡(luò)通信技術(shù)對獨(dú)居老年等弱勢人群的家庭提供即時(shí)和適當(dāng)服務(wù)，對提高老年人的生活質(zhì)量、解決我國現(xiàn)有家庭養(yǎng)老上所存在的社會(huì)問題有著積極意義。

發(fā)明內(nèi)容為了克服已有技術(shù)中獨(dú)居老人安保裝置在關(guān)鍵時(shí)候不能及時(shí)、適當(dāng)為獨(dú)居老人提供服務(wù)和救援幫助，本發(fā)明提供一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，采用該裝置不僅能夠自動(dòng)地檢測到監(jiān)護(hù)場所內(nèi)老人的摔倒異常，同時(shí)還能夠預(yù)測監(jiān)護(hù)場所之外老人的摔倒異常，并在關(guān)鍵時(shí)候能得到即時(shí)性的、適合的援救或者服務(wù)的獨(dú)居老人安保裝置。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，所述的獨(dú)居老人家庭安保裝置包括微處理器、用于監(jiān)護(hù)老人安康情況的全方位視覺傳感器，所述的全方位視覺傳感器與微處理器連接，所述的全方位視覺傳感器包括用以反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面、用以防止光折射和光飽和的黑色圓錐體、透明圓柱體、攝像頭，所述的外凸折反射鏡面位于透明圓柱體的上方，外凸折反射鏡面朝下，黑色圓錐體固定在折反射鏡面外凸部的中心，攝像頭對著外凸反射鏡面朝上，所述的攝像頭位于外凸反射鏡面的虛焦點(diǎn)位置；所述的微處理器還包括圖像數(shù)據(jù)讀取模塊，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息；圖像數(shù)據(jù)文件存儲(chǔ)模塊，用于將讀取的視頻圖像信息通過文件方式保存在存儲(chǔ)單元中；全方位視覺傳感器標(biāo)定模塊，用于對全方位視覺傳感器的參數(shù)進(jìn)行標(biāo)定，建立空間的實(shí)物圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；圖像展開處理模塊，用于將讀取的圓形視頻圖像展開為全景柱狀圖；運(yùn)動(dòng)對象檢測模塊，用于將所獲得的當(dāng)前幀現(xiàn)場視頻圖像與一個(gè)相對比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(28)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0)(28)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；并將當(dāng)前圖像中與相鄰K幀的圖像相減計(jì)算公式如(29)所示fd(X，ti-k，ti)＝f(X，ti)-f(X，ti-k) (29)上式中，fd(X，ti-k，ti)是實(shí)時(shí)拍攝到圖像與相鄰K幀圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti-k)是相鄰K幀時(shí)的圖像；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)≥閾值成立時(shí)，判定為運(yùn)動(dòng)對象；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)＜閾值，判定靜止對象，并用式(30)來更新替換基準(zhǔn)參考圖像f(X,t0)⇐f(X,ti-k)---(30)]]>如fd(X，t0，ti)＜閾值，判定為靜止對象；連通區(qū)域計(jì)算模塊，用于對當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的小區(qū)表示此小區(qū)內(nèi)無老人活動(dòng)，像素灰度為1則表示此小區(qū)有老人活動(dòng)，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；然后再根據(jù)所求得的連通區(qū)域來計(jì)算其面積和重心；老人的重心通過計(jì)算所得到的連通區(qū)域面積Si以及該連通區(qū)域的X、Y軸方向的累積像素值計(jì)算得到，計(jì)算公式由式(42)計(jì)算得到，Xcg(i)=Σx,y∈SixSi;Ycg(i)=Σx,y∈SiySi---(42);]]>老人日常生活活動(dòng)數(shù)據(jù)的獲取模塊，用于根據(jù)老人在監(jiān)護(hù)視覺范圍內(nèi)活動(dòng)的開始時(shí)間、延續(xù)時(shí)間和所處的空間位置，得到老人日常生活活動(dòng)的規(guī)律；老人日常生活活動(dòng)模型模塊，用于通過自學(xué)習(xí)的方法掌握了老人的日常生活的規(guī)律之后，通過該規(guī)律的總結(jié)可以歸納出老人日常生活活動(dòng)模型，采用二維高斯分布模型來描述某個(gè)老人日常生活的活動(dòng)的空間和時(shí)間分布模型 式(32)中σx表示連通區(qū)域的亮度值在x軸上的數(shù)學(xué)方差，σy表示連通區(qū)域的亮度值在y軸上的數(shù)學(xué)方差，μx表示連通區(qū)域的亮度值在x軸上的數(shù)學(xué)期望平均值，μy表示連通區(qū)域的亮度值在y軸上的數(shù)學(xué)期望平均值；模型的更新使用公式(33)～(36)的數(shù)字低通濾波方法進(jìn)行，μxnew＝(1-k1)μxold+k1(x-μxold)， (33)μynew＝(1-k2)μyold+k2(y-μyold)， (34)σxnew2=(1-k3)σxold2+k3(x-μxold)2,---(35)]]>σynew2=(1-k4)σyold2+k4(y-μyold)2,---(36)]]>
其中，ki是學(xué)習(xí)速率，取值范圍是
，學(xué)習(xí)階段可以選擇大學(xué)習(xí)速率(0.8)，加快學(xué)習(xí)速度；監(jiān)護(hù)階段可以選擇小學(xué)習(xí)速率(0.01)；視覺監(jiān)護(hù)范圍內(nèi)摔倒異常的檢測模塊，用于通過檢測老人進(jìn)入某個(gè)監(jiān)護(hù)領(lǐng)域后又長時(shí)間的靜止在某個(gè)位置并超過老人日常生活活動(dòng)模型模塊中所規(guī)定的閾值來進(jìn)行檢測判斷的，檢測老人的重心位置x被判為inactivity point的時(shí)間超過閾值，那么系統(tǒng)計(jì)算下式PS＝max{p(x|i，μi，∑i)，i＝1，...，n} (37)式中p(x|i，μi，∑i)是老人的重心位置x屬于編號為i的inactivity zone的高斯混合模型的概率，PS是位置x屬于某個(gè)inactivity zone的最大概率；當(dāng)PS值小于閾值時(shí)，判定位置x不屬于任何已知的inactivity zones，即老人靜止在某一個(gè)位置上發(fā)生異常；進(jìn)一步從檢測到的圖像上識(shí)別老人的姿態(tài)，計(jì)算老人處于橫躺的姿態(tài)的概率PT，通過基于隱馬爾可夫模型的人體姿態(tài)識(shí)別方法，最后使用式(38)計(jì)算摔倒異常發(fā)生的概率P＝K1×(1-PS)+K2×PT (38)其中K1、K2是權(quán)重，PS是老人長時(shí)間靜止在某個(gè)位置上的概率，PT是老人處于躺的姿態(tài)的概率，當(dāng)P超過閾值時(shí)，判定老人發(fā)生摔倒異常；非視覺監(jiān)護(hù)范圍內(nèi)的摔倒異常的預(yù)測模塊，用于通過視覺監(jiān)護(hù)范圍內(nèi)超過一定時(shí)間閾值還未出現(xiàn)老人的情況時(shí)進(jìn)行預(yù)測的，通過檢測老人在時(shí)刻t1離開監(jiān)護(hù)視覺場所以及所經(jīng)過的時(shí)間來進(jìn)行預(yù)測的，首先要從老人日常生活活動(dòng)模型中檢索出對應(yīng)活動(dòng)持續(xù)時(shí)間模型的本次活動(dòng)持續(xù)時(shí)間的預(yù)測值μi，然后系統(tǒng)實(shí)時(shí)的計(jì)算下列表達(dá)式PE＝t-t1-μi (39)PC＝p(t-t1|i，μi，σi) (40)其中，t是當(dāng)前系統(tǒng)時(shí)間，t-t1為離開監(jiān)護(hù)視覺場所的持續(xù)時(shí)間，PE是實(shí)際離開監(jiān)護(hù)視覺場所的持續(xù)時(shí)間與預(yù)測持續(xù)時(shí)間值的差值；PC是實(shí)際活動(dòng)時(shí)間屬于活動(dòng)持續(xù)時(shí)間的高斯模型的概率，即實(shí)際離開監(jiān)護(hù)視覺場所持續(xù)時(shí)間的概率；當(dāng)前時(shí)間t，老人在非監(jiān)護(hù)視覺場所摔倒的概率為P＝K1×PE+K2×(1-PC) (41)其中K1、K2是權(quán)重，當(dāng)P超過閾值時(shí)，判定老人可能發(fā)生異常；異常告警模塊，用于在判定老人可能發(fā)生異常后，通過通信模塊通知救護(hù)人員。
進(jìn)一步，所述的微處理器還包括背景維護(hù)模塊，所述的背景維護(hù)模塊包括背景亮度計(jì)算單元，用于計(jì)算平均背景亮度Yb計(jì)算公式如式(25)所示Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))---(25)]]>式(25)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表，所述的掩模表是用一個(gè)與視頻幀尺寸相同的數(shù)組M來記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，參見式(27) Yb0為判定為運(yùn)動(dòng)對象時(shí)前一幀的背景亮度，Yb1為判定為運(yùn)動(dòng)對象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為ΔY＝Y(jié)b1-Yb0(26)如果ΔY大于上限值，則認(rèn)為發(fā)生了開燈事件；如果ΔY小于某個(gè)下限值，則認(rèn)為發(fā)生了關(guān)燈事件；如ΔY介于上限值和下限值之間，則認(rèn)為光線自然變化；背景自適應(yīng)單元，用于當(dāng)光線自然變化時(shí)，按照下式(22)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i) (22)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix，bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測RGB向量，λ為背景更新的速度；λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成；當(dāng)光線由開關(guān)燈引起的，背景像素按照當(dāng)前幀重置，參見式(23)Xmix，bn+1(i)＝Xmix，cn(i) (23)。
再進(jìn)一步，所述的微處理器還包括噪聲剔除模塊，用于將每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(16)所示h[i，j]＝(1/M)∑f[k，1] (32)上式(32)中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)。
更進(jìn)一步，所述的圖像展開處理模塊，用于根據(jù)圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形柱狀全景圖上的一個(gè)點(diǎn)(x**，y**)的對應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣，式(21)所示P**(x**，y**)←M×P*(x*，y*)(21)上式中，M是映射矩陣，P*(x*，y*)是圓形全方位圖像上的像素矩陣，P**(x**，y**)是矩形柱狀全景圖上的像素矩陣。
所述的微處理器還包括網(wǎng)絡(luò)傳輸模塊，用于將所獲得的現(xiàn)場視頻圖像以視頻流的方式通過網(wǎng)絡(luò)播放出去，以便用戶能通過各種網(wǎng)絡(luò)實(shí)時(shí)地掌握現(xiàn)場情況；實(shí)時(shí)播放模塊，用于將所獲得的現(xiàn)場視頻圖像通過該模塊播放到顯示設(shè)備。
所述的全方位視覺傳感器安裝在能監(jiān)護(hù)到老人日?；顒?dòng)的主要活動(dòng)場所。
本發(fā)明首先是ODVS攝像裝置的光學(xué)部分的制造技術(shù)方案，ODVS攝像裝置主要由垂直向下的折反射鏡和面向上的攝像頭所構(gòu)成。具體構(gòu)成是由聚光透鏡以及CCD構(gòu)成的攝像單元固定在由透明樹脂或者玻璃制的圓筒體的下部，圓筒體的上部固定有一個(gè)向下的大曲率的折反射鏡，在折反射鏡和聚光透鏡之間有一根直徑逐漸變小的黑色圓錐狀體，該圓錐狀體固定在折反射鏡的中部，黑色圓錐狀體的目的是為了防止過剩的光射入而導(dǎo)致在圓筒體內(nèi)部的光飽和以及通過圓筒體壁產(chǎn)生的光反射現(xiàn)象。圖2是表示本發(fā)明的全方位成像裝置的光學(xué)系統(tǒng)的原理圖。
折反射全景成像系統(tǒng)能用針孔成像模型進(jìn)行成像分析，但要獲得透視全景圖像必須對采集的實(shí)景圖像逆投影，因而計(jì)算量大，特別是用在對人的活動(dòng)或者由人產(chǎn)生的活動(dòng)進(jìn)行監(jiān)護(hù)，必須滿足實(shí)時(shí)性的要求。
設(shè)計(jì)中首先選用CCD(CMOS)器件和成像透鏡構(gòu)成攝像頭，在對攝像頭內(nèi)部參數(shù)標(biāo)定的基礎(chǔ)上初步估算系統(tǒng)外形尺寸，然后根據(jù)高度方向的視場確定反射鏡面形參數(shù)。
如圖1所示，攝像頭的投影中心C在水平場景上方距離水平場景h處，反射鏡的頂點(diǎn)在投影中心上方，距離投影中心zo處。本發(fā)明中以攝像頭投影中心為坐標(biāo)原點(diǎn)建立坐標(biāo)系，反射鏡的面形用z(X)函數(shù)表示。在像平面內(nèi)距離像中心點(diǎn)ρ的像素q接受了來自水平場景O點(diǎn)(距離Z軸d)，在反射鏡M點(diǎn)反射的光線。水平場景無畸變要求場景物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系；由式(8)、(9)、(10)和初始條件，解微分方程可以得到反射鏡面形的數(shù)字解。系統(tǒng)外形尺寸主要指反射鏡離攝像頭的距離Ho和反射鏡的口徑D。折反射全景系統(tǒng)設(shè)計(jì)時(shí)根據(jù)應(yīng)用要求選擇合適的攝像頭，標(biāo)定出Rmin，透鏡的焦距f確定反射鏡離攝像頭的距離Ho，由(1)式計(jì)算出反射鏡的口徑Do。
系統(tǒng)參數(shù)的確定d(ρ)＝αρ (1)式(1)中ρ是與反射鏡的面形中心點(diǎn)的距離，α為成像系統(tǒng)的放大率。
設(shè)反射鏡在M點(diǎn)的法線與Z軸的夾角為γ，入射光線與Z軸的夾角為Φ，反射光線與Z軸的夾角為θ。則tg(x)=d(x)-xz(x)-h---(2)]]>tgγ=dz(x)dx---(3)]]>tg(2γ)=2dz(x)dx1-d2z(x)dx2---(4)]]> 由反射定律2γ＝φ-θ∴tg(2γ)=tg(φ-θ)=tgφ-tgθ1+tgφtgθ---(6)]]>
由式(2)、(4)、(5)和(6)得到微分方程(7)d2z(x)dx2+2kdz(x)dx-1=0---(7)]]>式中；k=z(x)[z(x)-h]+x[d(x)-x]z(x)[d(x)-x]+x[z(x)-h]---(8)]]>由式(7)得到微分方程(9)dz(x)dx+k-k2+1=0---(9)]]>由式(1)、(5)得到式(10)d(x)=afxz(x)---(10)]]>根據(jù)應(yīng)用所要求的高度方向的視場確定系統(tǒng)參數(shù)af。由式(1)、(2)和(5)得到式(11)，這里作了一些簡化，將z(x)≈z0，主要考慮對于鏡面的高度變化相對于鏡面與攝像頭的位置變化比較??；tgφ=(af-z0)ρfz0-h---(11)]]>在像平面以像中心點(diǎn)為圓心的最大圓周處ρ=Rmin→ωmax=Rminf]]>對應(yīng)的視場為фmax。則可以得到式(12)；ρf=(z0-h)tgφmaxωmax+z0---(12)]]>成像模擬采用與實(shí)際光線相反的方向進(jìn)行。設(shè)光源在攝像頭投影中心，在像平面內(nèi)等間距的選取像素點(diǎn)，通過這些像素點(diǎn)的光線，經(jīng)反射鏡反射后與水平面相交，若交點(diǎn)是等間距的，則說明反射鏡具有水平場景無畸變的性質(zhì)。成像模擬一方面可以評價(jià)反射鏡的成像性質(zhì)，另一方面可以準(zhǔn)確地計(jì)算出反射鏡的口徑和厚度。
進(jìn)一步說明本發(fā)明在實(shí)施過程中涉及到標(biāo)定與目標(biāo)識(shí)別等幾個(gè)關(guān)鍵問題(1)如何標(biāo)定全方位視覺傳感器的成像平面內(nèi)的像素距離與實(shí)際三維空間距離的對應(yīng)關(guān)系，并在該基礎(chǔ)上對運(yùn)動(dòng)圖像進(jìn)行分類。
(2)如何進(jìn)行目標(biāo)跟蹤，跟蹤等價(jià)于在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、形狀、紋理、色彩等有關(guān)特征的對應(yīng)匹配問題，本發(fā)明中將活動(dòng)中人物的屬性信息結(jié)合起來，提供一種有效的、魯棒性高的、實(shí)時(shí)性好的目標(biāo)跟蹤方法。這種跟蹤方法實(shí)際上是基于模型的、基于區(qū)域的、基于活動(dòng)輪廓的、以及基于顏色特征的等跟蹤方法的一種綜合。
全方位視覺攝像機(jī)視場距離的標(biāo)定涉及成像幾何的理論，將客觀世界的三維場景投射到攝像機(jī)的二維象平面，需要建立攝像機(jī)的模型來描述。這些成像變換涉及不同坐標(biāo)系之間的變換。在攝像機(jī)的成像系統(tǒng)中，涉及到的有以下4個(gè)坐標(biāo)系；(1)現(xiàn)實(shí)世界坐標(biāo)系XYZ；(2)以攝像機(jī)為中心制定的坐標(biāo)系 像平面坐標(biāo)系，在攝像機(jī)內(nèi)所形成的像平面坐標(biāo)系x*y*o*；(4)計(jì)算機(jī)圖像坐標(biāo)系，計(jì)算機(jī)內(nèi)部數(shù)字圖像所用的坐標(biāo)系MN，以像素為單位。
根據(jù)以上幾個(gè)坐標(biāo)系不同的轉(zhuǎn)換關(guān)系，就可以得到所需要的全方位攝像機(jī)成像模型，換算出二維圖像到三維場景的對應(yīng)關(guān)系。本發(fā)明中采用折反射全方位成像系統(tǒng)的近似透視成像分析方法將攝像機(jī)內(nèi)所形成的像平面坐標(biāo)二維圖像換算到三維場景的對應(yīng)關(guān)系，圖3為一般的透視成像模型，d為人體高，ρ為人體的像高，t為人體的距離，F(xiàn)為人體的像距(等效焦距)。可以得到式(13)d=tFρ---(13)]]>在上述水平場景無的折反射全方位成像系統(tǒng)的設(shè)計(jì)時(shí)，要求場景物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系，如式(1)表示；比較式(13)，(1)，可以看出水平場景無變形的折反射全方位成像系統(tǒng)對水平場景的成像為透視成像。因此就水平場景成像而言，可以將水平場景無變形的折反射全方位成像系統(tǒng)視為透視相機(jī)，α為成像系統(tǒng)的放大率。設(shè)該虛擬透視相機(jī)的投影中心為C點(diǎn)(見附圖3)，其等效焦距為F。比較式(13)，(1)式可以得到式(14)；α=tF;t=h---(14)]]>由式(12)、(14)得到式(15)F=fhωmax(z0-h)tgφmax+z0ωmax0---(15)]]>根據(jù)上述全方位攝像機(jī)成像模型進(jìn)行系統(tǒng)成像模擬，由攝像頭投影中心發(fā)出的經(jīng)過像素平面內(nèi)等間距像素點(diǎn)的光線族反射后，在距離投影中心3m的水平面上的交點(diǎn)基本上是等間距的，如附圖4所示。因此根據(jù)上述設(shè)計(jì)原理本專利中將水平路面的坐標(biāo)與相應(yīng)全方位像點(diǎn)的坐標(biāo)之間的關(guān)系簡化為線性關(guān)系，也就是說通過反射鏡面的設(shè)計(jì)將現(xiàn)實(shí)世界坐標(biāo)系XYZ到像平面坐標(biāo)系的轉(zhuǎn)化可以用放大率α為比例的線形關(guān)系。下面是從像平面坐標(biāo)系到計(jì)算機(jī)內(nèi)部數(shù)字圖像所用的坐標(biāo)系的轉(zhuǎn)化，計(jì)算機(jī)中使用的圖像坐標(biāo)單位是存儲(chǔ)器中離散像素的個(gè)數(shù)，所以對實(shí)際像平面的坐標(biāo)還需取整轉(zhuǎn)換才能映射到計(jì)算機(jī)的成像平面，其變換表達(dá)式為由式(16)給出；M=Om-x*Sx;N=On-y*Sy;---(16)]]>式中Om、On分別為象平面的原點(diǎn)在計(jì)算機(jī)圖像平面上所映射的點(diǎn)像素所在的行數(shù)和列數(shù)；Sx、Sy分別為在x和y方向上的尺度因子。Sx、Sy的確定是通過在攝像頭與反射鏡面之間距離Z處放置標(biāo)定板，對攝像機(jī)進(jìn)行標(biāo)定得到Sx、Sy的數(shù)值，單位是(pixel)；Om、On。的確定是根據(jù)所選擇的攝像頭分辨率像素，單位是(pixel)。
進(jìn)一步，來說明360°全方位進(jìn)行攝像的原理，空間上的一個(gè)點(diǎn)A(x1，y1，z1)經(jīng)折反射1鏡面反射到透鏡4上對應(yīng)有一個(gè)投影點(diǎn)P1(x*1，y*1)，通過透鏡4的光線變成平行光投射到CCD攝像單元5，微處理器6通過視頻接口讀入該環(huán)狀圖像，采用軟件對該環(huán)狀圖像進(jìn)行展開得到全方位的圖像并顯示在顯示單元7上或者通過視頻服務(wù)器發(fā)布在網(wǎng)頁上。
進(jìn)一步，在展開方法上本專利中采用了一種快速的近似展開算法，能夠?qū)r(shí)間消耗和對各種參數(shù)的要求降到最小，同時(shí)盡可能的保持有用的信息。展開規(guī)則有三條，(1)X*軸為起始位置，按逆時(shí)針方式展開；(2)左圖中X*軸與內(nèi)徑r的交點(diǎn)O，對應(yīng)到右圖中左下角的原點(diǎn)O(0，0)；(3)展開后的右圖的寬度等于左圖中虛線所示的圓的周長。其中虛線圓為左圖內(nèi)外徑的同心圓，且其半徑r1＝(r+R)/2。
設(shè)圓形圖的圓心O*坐標(biāo)(x*0，y*0)，展開的矩形圖左下角原點(diǎn)坐標(biāo)O**(0，0)，矩形圖中任意一點(diǎn)P**＝(x**，y**)所對應(yīng)的點(diǎn)在圓形圖中的坐標(biāo)為(x*，y*).下面我們需要求的是(x*，y*)和(x**，y**)的對應(yīng)關(guān)系。根據(jù)幾何關(guān)系可以得到如下公式β＝tan-1(y*/x*)(17)r1＝(r+R)/2 (18)
令虛線圓的半徑r1＝(r+R)/2，目的是為了讓展開后的圖看起來形變均勻一些。
x*＝y(tǒng)*/(tan(2x**/(R+r))) (19)y*＝(y**+r)cosβ (20)從式(19)、(20)可以得到圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形全景圖上的一個(gè)點(diǎn)(x**，y**)的對應(yīng)關(guān)系。該方法實(shí)質(zhì)上是做了一個(gè)圖像插值的過程。展開后，虛線上方的圖像是橫向壓縮過的，虛線下方的圖像是橫向拉伸過的，而在虛線本身上的點(diǎn)則保持不變。
為了滿足實(shí)時(shí)計(jì)算需要同樣可根據(jù)圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形全景圖上的一個(gè)點(diǎn)(x**，y**)的對應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣。由于這種一一對應(yīng)關(guān)系，通過映射矩陣方法能把轉(zhuǎn)變成不變形的全景圖像。通過M映射矩陣可以建立起式(21)關(guān)系。
P**(x**，y**)←M×P*(x*，y*) (21)根據(jù)式(21)，對于成像平面上的每個(gè)像素P*(x*，y*)在全方位圖像上有一個(gè)點(diǎn)P**(x**，y**)對應(yīng)，建立了M映射矩陣后，實(shí)時(shí)圖像處理的任務(wù)可以得到簡化。
一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，圖5為監(jiān)護(hù)系統(tǒng)的總體處理架構(gòu)，所建立的獨(dú)居老人室內(nèi)外活動(dòng)模型具有個(gè)性化的自學(xué)習(xí)、自適應(yīng)等特點(diǎn)，同時(shí)該模型不僅能檢測到視頻監(jiān)護(hù)范圍內(nèi)的異常，而且能預(yù)測視頻監(jiān)護(hù)范圍以外(包括戶外)的可能發(fā)生的異常。裝置運(yùn)行開始需要有一個(gè)學(xué)習(xí)階段，通過自學(xué)習(xí)方法得到每個(gè)獨(dú)居老人的、能反映其個(gè)性的日?；顒?dòng)的規(guī)律；學(xué)習(xí)階段結(jié)束后進(jìn)入監(jiān)護(hù)階段，由于老人的年齡增長以及季節(jié)的變化，要求系統(tǒng)能不斷地更新在學(xué)習(xí)階段所得到老人日常生活活動(dòng)模型，使之具有自適應(yīng)的功能。
為了對老人進(jìn)行有效監(jiān)護(hù)，本發(fā)明中將全方位視覺傳感器安裝在老人日?；顒?dòng)的主要場所，例如客廳，這樣系統(tǒng)就能夠監(jiān)測到老人的大部分日?；顒?dòng)。由于每個(gè)老人居住條件、起居生活習(xí)慣不盡相同，在初始階段通過自動(dòng)學(xué)習(xí)老人日常生活的規(guī)律后得到老人日常生活活動(dòng)模型接著就可以進(jìn)行反常及異常判斷，如圖6、圖7所示全方位視覺傳感器安裝在能反映老人的活動(dòng)中心的客廳情況，至少要學(xué)習(xí)以下3個(gè)老人日常生活的時(shí)空方面的信息1)學(xué)習(xí)老人在客廳里經(jīng)常出現(xiàn)日常生活行為的地方，例如習(xí)慣坐的椅子的位置，稱之為inactivity zones；2)學(xué)習(xí)客廳的所有出入口，例如通往臥室的門的位置，稱之為entry zones；3)學(xué)習(xí)老人某個(gè)時(shí)段通過某個(gè)entry zone離開監(jiān)護(hù)場所進(jìn)入其他場所的活動(dòng)的持續(xù)時(shí)間的規(guī)律性，例如老人在臥室里睡覺的持續(xù)時(shí)間的規(guī)律性。
裝置通過自學(xué)習(xí)的方法掌握了老人的日常生活的規(guī)律之后，通過該規(guī)律的總結(jié)可以歸納出老人日常生活活動(dòng)模型，根據(jù)該模型與實(shí)際檢測出來的視頻信息進(jìn)行比較就能判斷摔倒等異常情況。比如對于監(jiān)護(hù)場所內(nèi)的摔倒等異常情況，可以通過在所有已知inactivity zones的概率計(jì)算出老人摔倒等重大異常情況，如果概率低于閾值則判斷為摔倒或其他重大異常，這時(shí)候可以通過視頻圖像進(jìn)行確認(rèn)；對于視頻監(jiān)護(hù)場所之外的摔倒等重大異常，通過計(jì)算出在某一時(shí)間、某一方位(比如是某一個(gè)與客廳相通的出入的門)和某一持續(xù)時(shí)間等三個(gè)高斯分布的概率，然后將計(jì)算所得到的概率與高斯分布模型的參數(shù)進(jìn)行比較，如果所計(jì)算得到的概率低于閾值則判斷為摔倒等異常，尤其當(dāng)老人的在某一個(gè)空間內(nèi)某個(gè)時(shí)刻的不活動(dòng)延續(xù)時(shí)間嚴(yán)重超過預(yù)測值時(shí)，說明極有可能是老人摔倒了之后無法行動(dòng)，必須提供及時(shí)的護(hù)理和救助。
如圖7所示，對于某個(gè)老人的家庭，在監(jiān)護(hù)視覺的范圍內(nèi)由客廳以及進(jìn)入臥室、廚房、衛(wèi)生間和外出的門組成，編號為1的門是房間的出入口，編號為2的門連接客廳的臥室，編號為3的門是進(jìn)出廚房的門，編號為4的門是進(jìn)出衛(wèi)生間的門。全方位視覺傳感器安裝在客廳中部，能采集老人在客廳里進(jìn)行日常生活活動(dòng)以及出入與客廳相連接空間的信息，并記錄活動(dòng)的時(shí)間信息，建立相應(yīng)的空間和時(shí)間模型。
在圖像的學(xué)習(xí)和理解階段，裝置通過計(jì)算機(jī)視覺能跟蹤監(jiān)護(hù)老人，計(jì)算出老人的人體中心位置的運(yùn)動(dòng)軌跡，在某個(gè)監(jiān)護(hù)空間中的出現(xiàn)時(shí)刻以及停留時(shí)間，出現(xiàn)時(shí)刻以及停留時(shí)間可以通過計(jì)算機(jī)的系統(tǒng)時(shí)間來獲得，而老人在某個(gè)空間位置的信息要通過全方位視覺傳感器所獲得的視頻信息來得到，該建模處理過程可以用圖8來描述。
上述的建模處理過程可以用數(shù)學(xué)方式來描述，老人的日常生活活動(dòng)的空間和時(shí)間概率數(shù)據(jù)接近于正態(tài)分布，因此在本專利中使用高斯分布模型來描述某個(gè)老人日常生活的活動(dòng)的空間和時(shí)間分布模型。由于獨(dú)居老人的規(guī)律可能隨著年齡的增長和季節(jié)的變化而緩慢改變，為了自適應(yīng)改變老人的日常生活時(shí)間和空間模型，在本發(fā)明中使用低通濾波方法來更新高斯分布模型的參數(shù)。
本發(fā)明的有益效果主要表現(xiàn)在采用全方位視覺傳感器，不僅能夠自動(dòng)地檢測到監(jiān)護(hù)場所內(nèi)老人的摔倒異常，同時(shí)還能夠預(yù)測監(jiān)護(hù)場所之外老人的摔倒異常，并在關(guān)鍵時(shí)候能得到即時(shí)性的、適合的援救或者服務(wù)。


圖1為全方位視覺光學(xué)原理圖2為一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置在老人監(jiān)護(hù)方面應(yīng)用的硬件結(jié)構(gòu)原理圖；圖3為全方位視覺裝置與一般的透視成像模型等價(jià)的透視投影成像模型示意圖；圖4為全方位視覺裝置在水平方向上圖像無形變模擬示意圖；圖5為一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置的圖像處理流程圖；圖6為一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置的監(jiān)護(hù)系統(tǒng)處理整體結(jié)構(gòu)圖；圖7為獨(dú)居老人室內(nèi)外活動(dòng)模型建立示意圖；圖8為在模型的學(xué)習(xí)階段從跟蹤老人人體中心位置的運(yùn)動(dòng)軌跡，記錄活動(dòng)開始、結(jié)束時(shí)刻的空間和時(shí)間信息的過程處理示意圖；圖9中，(a)為全方位視覺傳感器軟硬件裝置，(b)為采集的360°全方位原始圖像，(c)360°全方位柱狀展開圖；圖10為基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置中各模塊的關(guān)聯(lián)圖。
具體實(shí)施方式
下面結(jié)合附圖對本發(fā)明作進(jìn)一步描述。
實(shí)施例1參照圖1～10，一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，包括微處理器6、用于監(jiān)護(hù)老人安康情況的全方位視覺傳感器13，所述的全方位視覺傳感器13與微處理器6連接，所述的全方位視覺傳感器13包括用以反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面1、用以防止光折射和光飽和的黑色圓錐體2、透明圓柱體3、攝像頭5，所述的外凸折反射鏡面1位于透明圓柱體3的上方，外凸折反射鏡面1朝下，黑色圓錐體2固定在折反射鏡面外凸部的中心，攝像頭5對著外凸反射鏡面1朝上，所述的攝像頭5位于外凸反射鏡面的虛焦點(diǎn)位置，攝像頭5還包括鏡頭4；微處理器6包括圖像數(shù)據(jù)讀取模塊16，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息，并對圖像進(jìn)行預(yù)處理；圖像數(shù)據(jù)文件存儲(chǔ)模塊18，用于將讀取的視頻圖像信息通過文件方式保存在存儲(chǔ)單元中；全方位視覺傳感器標(biāo)定模塊17，用于對全方位視覺傳感器的參數(shù)進(jìn)行標(biāo)定，建立空間的實(shí)物圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；圖像展開處理模塊19，用于將讀取的圓形視頻圖像展開為全景柱狀圖；運(yùn)動(dòng)對象檢測模塊23，用于將所獲得的當(dāng)前幀現(xiàn)場視頻圖像與一個(gè)相對比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(28)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0) (28)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；并將當(dāng)前圖像中與相鄰K幀的圖像相減計(jì)算公式如(29)所示fd(X，ti-k，ti)＝f(X，ti)-f(X，ti-k) (29)上式中，fd(X，ti-k，ti)是實(shí)時(shí)拍攝到圖像與相鄰K幀圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti-k)是相鄰K幀時(shí)的圖像；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)≥閾值成立時(shí)，判定為運(yùn)動(dòng)對象；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)＜閾值，判定靜止對象，并用式(30)來更新替換基準(zhǔn)參考圖像f(X,t0)⇐f(X,ti-k)---(30)]]>如fd(X，t0，ti)＜閾值，判定為靜止對象；連通區(qū)域計(jì)算模塊，用于對當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的小區(qū)表示此小區(qū)內(nèi)無老人活動(dòng)，像素灰度為1則表示此小區(qū)有老人活動(dòng)，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；然后再根據(jù)所求得的連通區(qū)域來計(jì)算其面積和重心；老人的重心通過計(jì)算所得到的連通區(qū)域面積Si以及該連通區(qū)域的X、Y軸方向的累積像素值計(jì)算得到，計(jì)算公式由式(42)計(jì)算得到，Xcg(i)=Σx,y∈SixSi;Ycg(i)=Σx,y∈SiySi---(42);]]>老人日常生活活動(dòng)數(shù)據(jù)的獲取模塊25，用于根據(jù)老人在監(jiān)護(hù)視覺范圍內(nèi)活動(dòng)的開始時(shí)間、延續(xù)時(shí)間和所處的空間位置，得到老人日常生活活動(dòng)的規(guī)律；老人日常生活活動(dòng)模型模塊26，用于通過自學(xué)習(xí)的方法掌握了老人的日常生活的規(guī)律之后，通過該規(guī)律的總結(jié)可以歸納出老人日常生活活動(dòng)模型，采用二維高斯分布模型來描述某個(gè)老人日常生活的活動(dòng)的空間和時(shí)間分布模型 式(32)中σx表示連通區(qū)域的亮度值在x軸上的數(shù)學(xué)方差，σy表示連通區(qū)域的亮度值在y軸上的數(shù)學(xué)方差，μx表示連通區(qū)域的亮度值在x軸上的數(shù)學(xué)期望平均值，μy表示連通區(qū)域的亮度值在y軸上的數(shù)學(xué)期望平均值；模型的更新使用公式(33)～(36)的數(shù)字低通濾波方法進(jìn)行，μxnew＝(1-k1)μxold+k1(x-μxold)， (33)μynew＝(1-k2)μyold+k2(y-μyold)， (34)σxnew2=(1-k3)σxold2+k3(x-μxold)2,---(35)]]>σynew2=(1-k4)σyold2+k4(y-μyold)2,---(36)]]>其中，ki是學(xué)習(xí)速率，取值范圍是
，學(xué)習(xí)階段可以選擇大學(xué)習(xí)速率(0.8)，加快學(xué)習(xí)速度；監(jiān)護(hù)階段可以選擇小學(xué)習(xí)速率(0.01)；視覺監(jiān)護(hù)范圍內(nèi)摔倒異常的檢測模塊27，用于通過檢測老人進(jìn)入某個(gè)監(jiān)護(hù)領(lǐng)域后又長時(shí)間的靜止在某個(gè)位置并超過老人日常生活活動(dòng)模型模塊中所規(guī)定的閾值來進(jìn)行檢測判斷的，檢測老人的重心位置x被判為inactivity point的時(shí)間超過閾值，那么系統(tǒng)計(jì)算下式
PS＝max{p(x|i，μi，∑i)，i＝1，...，n}(37)式中p(x|i，μi，∑i)是老人的重心位置x屬于編號為i的inactivity zone的高斯混合模型的概率，PS是位置x屬于某個(gè)inactivity zone的最大概率；當(dāng)PS值小于閾值時(shí)，判定位置x不屬于任何已知的inactivity zones，即老人靜止在某一個(gè)位置上發(fā)生異常；進(jìn)一步從檢測到的圖像上識(shí)別老人的姿態(tài)，計(jì)算老人處于橫躺的姿態(tài)的概率PT，通過基于隱馬爾可夫模型的人體姿態(tài)識(shí)別方法，最后使用式(38)計(jì)算摔倒異常發(fā)生的概率P＝K1×(1-PS)+K2×PT (38)其中K1、K2是權(quán)重，PS是老人長時(shí)間靜止在某個(gè)位置上的概率，PT是老人處于躺的姿態(tài)的概率，當(dāng)P超過閾值時(shí)，判定老人發(fā)生摔倒異常；非視覺監(jiān)護(hù)范圍內(nèi)的摔倒異常的預(yù)測模塊29，用于通過視覺監(jiān)護(hù)范圍內(nèi)超過一定時(shí)間閾值還未出現(xiàn)老人的情況時(shí)進(jìn)行預(yù)測的，通過檢測老人在時(shí)刻t1離開監(jiān)護(hù)視覺場所以及所經(jīng)過的時(shí)間來進(jìn)行預(yù)測的，首先要從老人日常生活活動(dòng)模型中檢索出對應(yīng)活動(dòng)持續(xù)時(shí)間模型的本次活動(dòng)持續(xù)時(shí)間的預(yù)測值μi，然后系統(tǒng)實(shí)時(shí)的計(jì)算下列表達(dá)式PE＝t-t1-μi (39)PC＝p(t-t1|i，μi，σi) (40)其中，t是當(dāng)前系統(tǒng)時(shí)間，t-t1為離開監(jiān)護(hù)視覺場所的持續(xù)時(shí)間，PE是實(shí)際離開監(jiān)護(hù)視覺場所的持續(xù)時(shí)間與預(yù)測持續(xù)時(shí)間值的差值；PC是實(shí)際活動(dòng)時(shí)間屬于活動(dòng)持續(xù)時(shí)間的高斯模型的概率，即實(shí)際離開監(jiān)護(hù)視覺場所持續(xù)時(shí)間的概率；當(dāng)前時(shí)間t，老人在非監(jiān)護(hù)視覺場所摔倒的概率為P＝K1×PE+K2×(1-PC) (41)其中K1、K2是權(quán)重，當(dāng)P超過閾值時(shí)，判定老人可能發(fā)生異常；異常告警模塊，用于在判定老人可能發(fā)生異常后，通過通信模塊通知救護(hù)人員。
在取得全方位視頻信息之后，接下來先進(jìn)行背景消除和求活動(dòng)連通區(qū)域、老人日常生活活動(dòng)數(shù)據(jù)的獲取、老人日常生活規(guī)律的學(xué)習(xí)和建立模型、異常的判斷等計(jì)算工作，處理流程大致可以由圖5來表述。
所述的運(yùn)動(dòng)對象檢測模塊23主要是通過背景消除和目標(biāo)提取來實(shí)現(xiàn)的，背景消除首先要解決的問題是亮度變化的問題，如對于室內(nèi)監(jiān)護(hù)會(huì)由于開燈、關(guān)燈操作所造成的光照強(qiáng)度的突變，因此在背景消除中采用的背景模型要適應(yīng)上述的這些變化。
對于視頻監(jiān)護(hù)，由于全方位場景視野比較大，人體在整幅圖像中所占的比例比較小，因此人物的運(yùn)動(dòng)可以近似看作剛體運(yùn)動(dòng)；另外，視頻監(jiān)護(hù)的場景固定，可以認(rèn)為具有相對比較固定范圍的背景，因此可以采用背景減算法的快速分割算法來實(shí)時(shí)檢測和跟蹤視頻監(jiān)護(hù)中的運(yùn)動(dòng)人物；背景消除是基于背景減算法檢測運(yùn)動(dòng)對象的關(guān)鍵，它直接影響檢測出運(yùn)動(dòng)對象的完整性和準(zhǔn)確性。本發(fā)明中采用了背景自適應(yīng)法，其核心思想是對每一個(gè)背景像素使用1組矢量；RGB變化的當(dāng)前混合值(Xmix，bi)來表示合法背景像素的允許取值(i為幀號)，并采用IIR濾波對其進(jìn)行如下更新。背景自適應(yīng)法在背景刷新處理模塊24中實(shí)現(xiàn)；(1)當(dāng)光線自然變化(不是開關(guān)燈引起的)，并且無異常對象存在時(shí)，1組向量(分別為RGB)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i)(22)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix，bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測RGB向量，λ為背景更新的速度λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成。
(2)當(dāng)光線有突變時(shí)(由開關(guān)燈引起的)，1組向量按當(dāng)前幀重置Xmix，bn+1(i)＝Xmix，cn(i)(23)(3)當(dāng)有對象進(jìn)入監(jiān)護(hù)范圍時(shí)，背景保持不變。為避免將運(yùn)動(dòng)對象的部分像素學(xué)習(xí)為背景像素，采用Xmix，bn+1(i)＝Xmix，bn(i) (24)上式中的Xmix，bn+1(i)(i＝1，2，3)分別表示R，G，B3個(gè)分量，為簡化起見，上述公式略去了每個(gè)像素的坐標(biāo)(x，y)部分。
對于室內(nèi)監(jiān)護(hù)背景亮度的變化可用來判定檢測到的運(yùn)動(dòng)對象是否因開關(guān)燈而引起的，背景亮度使用平均背景亮度Yb來度量，計(jì)算公式由式(25)給出，Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))---(25)]]>式(25)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表。用Yb0表示發(fā)現(xiàn)有活動(dòng)對象時(shí)前一幀的背景亮度，Yb1表示檢測到活動(dòng)對象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為
ΔY＝Y(jié)b1-Yb0 (26)如果ΔY大于某個(gè)值則認(rèn)為發(fā)生了開燈事件，如果ΔY小于某個(gè)負(fù)值則認(rèn)為發(fā)生了關(guān)燈事件。根據(jù)上述判斷結(jié)果用式(23)對當(dāng)前幀進(jìn)行重置。
所述的掩模表，是用一個(gè)與視頻幀尺寸相同的數(shù)組M來記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，這個(gè)數(shù)組稱為掩模映射表(Mask Map) 數(shù)組M是運(yùn)動(dòng)對象的二值圖像，不但可用來掩模視頻幀從而分割出運(yùn)動(dòng)對象，還可用于運(yùn)動(dòng)對象的跟蹤、分析和分類。
所述的背景減算法也稱為差分方法，是一種常用于檢測圖像變化和運(yùn)動(dòng)物體的圖像處理方法。根據(jù)三維空間與圖像像素的對應(yīng)性關(guān)系把有光源點(diǎn)存在的那些像素部分檢測出來，首先要有一個(gè)比較穩(wěn)定的基準(zhǔn)參考圖像，并將該基準(zhǔn)參考圖像存儲(chǔ)在計(jì)算機(jī)的存儲(chǔ)器里，并通過上述的背景自適應(yīng)法對基準(zhǔn)參考圖像進(jìn)行動(dòng)態(tài)更新，通過實(shí)時(shí)拍攝到圖像與該基準(zhǔn)參考圖像間進(jìn)行圖像相減，相減的結(jié)果發(fā)生變化的區(qū)域亮度增強(qiáng)，圖像相減的計(jì)算公式如式(28)表示，fd(X，t0，ti)＝f(X，ti)-f(X，t0) (28)式中fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像，相當(dāng)于式(22)中的Xmix，cn(i)；f(X，t0)是基準(zhǔn)參考圖像，相當(dāng)于式(22)中的Xmix，bn(i)。背景減算法是在運(yùn)動(dòng)區(qū)域檢測模塊23中實(shí)現(xiàn)的。
由于視頻監(jiān)護(hù)中的全方位視覺傳感器都是固定的，而背景中的靜止對象有時(shí)可能被移動(dòng)，基于背景減算法檢測運(yùn)動(dòng)對象所得到的運(yùn)動(dòng)像素可能包含對象移動(dòng)留下的空穴。由于空穴在隨后的視頻幀中不會(huì)移動(dòng)，因此可用相鄰K幀差法來消除空穴，本發(fā)明中采用相鄰K幀差法判定某個(gè)像素是否是背景對象留下的空穴。為此需要進(jìn)行式(29)的計(jì)算，fd(X，ti-k，ti)＝f(X，ti)-f(X，ti-k)(29)靜止對象的移動(dòng)一般都可以考慮在時(shí)間分的單位上，當(dāng)fd(X，t0，ti)≥閾值和fd(X，ti-k，ti)≥閾值都成立時(shí)，被認(rèn)為是運(yùn)動(dòng)對象；如果fd(X，t0，ti)≥閾值而fd(X，ti-k，ti)＜閾值，本發(fā)明中認(rèn)為是背景中的靜止對象被移動(dòng)后所產(chǎn)生的空穴，為了消除空穴用式(30)來更新替換基準(zhǔn)參考圖像，f(X,t0)⇐f(X,ti-k)---(30)]]>
實(shí)際圖像信號中包含有噪聲，而且一般都表現(xiàn)為高頻信號，因此在識(shí)別過程中要剔除由噪聲所產(chǎn)生的圖像邊緣點(diǎn)。
所述的剔除由噪聲所產(chǎn)生的圖像邊緣點(diǎn)，在本發(fā)明中使用四鄰域遍歷的方法，它用濾波掩膜確定的鄰域內(nèi)像素的平均灰度值去替代圖像每個(gè)像素點(diǎn)的值，即每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(31)所示h[i，j]＝(1/M)∑f[k，1] (31)式中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)，本發(fā)明中取為4。
像素間的連通性是確定區(qū)域的一個(gè)重要概念。在二維圖像中，假設(shè)目標(biāo)像素周圍有m(m＜＝8)個(gè)相鄰的像素，如果該像素灰度與這m個(gè)像素中某一個(gè)點(diǎn)A的灰度相等，那么稱該像素與點(diǎn)A具有連通性。常用的連通性有4連通和8連通。4連通一般選取目標(biāo)像素的上、下、左、右四個(gè)點(diǎn)。8連通則選取目標(biāo)像素在二維空間中所有的相鄰像素。將所有具有連通性的像素作為一個(gè)區(qū)域則構(gòu)成了一個(gè)連通區(qū)域。
所述的連通區(qū)域計(jì)算主要解決在圖像處理過程中，一幅二值圖像，其背景和目標(biāo)分別具有灰度值0和1。我們將像素為0的小區(qū)表示此小區(qū)無動(dòng)作對象，若為1則表示此小區(qū)有動(dòng)作對象。所以可以采用連通成分標(biāo)記法進(jìn)行缺陷區(qū)域的合并。連通標(biāo)記算法可以找到圖像中的所有連通成分，并對同一連通成分中的所有點(diǎn)分配同一標(biāo)記。下面是連通區(qū)域算法，1)從左到右、從上到下掃描圖像；2)如果像素點(diǎn)為1，則·如果上面點(diǎn)和左面點(diǎn)有一個(gè)標(biāo)記，則復(fù)制這一標(biāo)記。
·如果兩點(diǎn)有相同的標(biāo)記，復(fù)制這一標(biāo)記。
·如果兩點(diǎn)有不同的標(biāo)記，則復(fù)制上點(diǎn)的標(biāo)記且將兩個(gè)標(biāo)記輸入等價(jià)表中作為等價(jià)標(biāo)記。
·否則給這個(gè)象素點(diǎn)分配新的標(biāo)記并將這一標(biāo)記輸入等價(jià)表。
3)如果需考慮更多的點(diǎn)則回到第2步。
4)在等價(jià)表的每一等價(jià)集中找到最低的標(biāo)記。
5)掃描圖像，用等價(jià)表中的最低標(biāo)記取代每一標(biāo)記。
所述老人日常生活活動(dòng)數(shù)據(jù)的獲取，由于以上的連通區(qū)域可以認(rèn)為是人體活動(dòng)后所產(chǎn)生的變化空間領(lǐng)域，連通區(qū)域的中心可以認(rèn)為是人體的重心，因此可以通過這些信息來獲取老人日常活動(dòng)的時(shí)間和空間的數(shù)據(jù)。本發(fā)明中將全方位視覺傳感器安裝在老人日?；顒?dòng)的主要場所，例如客廳，這樣系統(tǒng)就能夠監(jiān)測到老人的大部分日?；顒?dòng)。
如圖6、圖10所示，系統(tǒng)投入前有一個(gè)老人日常生活規(guī)律的學(xué)習(xí)階段，學(xué)習(xí)階段結(jié)束后系統(tǒng)投入監(jiān)護(hù)階段，所述老人日常生活規(guī)律的學(xué)習(xí)是在模塊日常生活時(shí)間和空間的數(shù)據(jù)獲取25中得到老人的活動(dòng)數(shù)據(jù)，然后在學(xué)習(xí)結(jié)束的時(shí)刻根據(jù)上述得到的大量活動(dòng)數(shù)據(jù)建立老人的日常生活活動(dòng)模型，所述的日常生活活動(dòng)模型是在模塊26中進(jìn)行的；由于每個(gè)老人居住條件、起居生活習(xí)慣不盡相同，在初始階段通過自動(dòng)學(xué)習(xí)老人日常生活的規(guī)律后得到老人日常生活活動(dòng)模型接著就可以進(jìn)行反常及異常判斷，如圖7、圖9所示全方位視覺傳感器安裝在能反映老人的活動(dòng)中心的客廳情況，至少要學(xué)習(xí)以下3個(gè)老人日常生活的時(shí)空方面的信息1)學(xué)習(xí)老人在客廳里經(jīng)常出現(xiàn)日常生活行為的地方，例如習(xí)慣坐的椅子的位置，稱之為inactivity zones；2)學(xué)習(xí)客廳的所有出入口，例如通往臥室的門的位置，稱之為entry zones；3)學(xué)習(xí)老人某個(gè)時(shí)段通過某個(gè)entry zone離開監(jiān)護(hù)場所進(jìn)入其他場所的活動(dòng)的持續(xù)時(shí)間的規(guī)律性，例如老人在臥室里睡覺的持續(xù)時(shí)間的規(guī)律性。
所述的老人日常生活活動(dòng)模型，裝置通過自學(xué)習(xí)的方法掌握了老人的日常生活的規(guī)律之后，通過該規(guī)律的總結(jié)可以歸納出老人日常生活活動(dòng)模型，根據(jù)該模型與實(shí)際檢測出來的視頻信息進(jìn)行比較就能判斷摔倒等異常情況。比如對于監(jiān)護(hù)場所內(nèi)的摔倒等異常情況，可以通過在所有已知inactivity zones的概率計(jì)算出老人摔倒等重大異常情況，如果概率低于閾值則判斷為摔倒或其他重大異常，這時(shí)候可以通過視頻圖像進(jìn)行確認(rèn)；對于視頻監(jiān)護(hù)場所之外的摔倒等重大異常，通過計(jì)算出在某一時(shí)間、某一方位(比如是某一個(gè)與客廳相通的出入的門)和某一持續(xù)時(shí)間等三個(gè)高斯分布的概率，然后將計(jì)算所得到的概率與高斯分布模型的參數(shù)進(jìn)行比較，如果所計(jì)算得到的概率低于閾值則判斷為摔倒等異常，尤其當(dāng)老人的在某一個(gè)空間內(nèi)某個(gè)時(shí)刻的不活動(dòng)延續(xù)時(shí)間嚴(yán)重超過預(yù)測值時(shí)，說明極有可能是老人摔倒了之后無法行動(dòng)，必須提供及時(shí)的護(hù)理和救助。
如圖7所示，對于某個(gè)老人的家庭，在監(jiān)護(hù)視覺的范圍內(nèi)由客廳以及進(jìn)入臥室、廚房、衛(wèi)生間和外出的門組成，編號為1的門是房間的出入口，編號為2的門連接客廳的臥室，編號為3的門是進(jìn)出廚房的門，編號為4的門是進(jìn)出衛(wèi)生間的門。全方位視覺傳感器安裝在客廳中部，能采集老人在客廳里進(jìn)行日常生活活動(dòng)以及出入與客廳相連接空間的信息，并記錄活動(dòng)的時(shí)間信息，建立相應(yīng)的空間和時(shí)間模型。
圖5為監(jiān)護(hù)系統(tǒng)的總體處理架構(gòu)，所建立的獨(dú)居老人室內(nèi)外活動(dòng)模型具有個(gè)性化的自學(xué)習(xí)、自適應(yīng)等特點(diǎn)，同時(shí)該模型不僅能檢測到視頻監(jiān)護(hù)范圍內(nèi)的異常，而且能預(yù)測視頻監(jiān)護(hù)范圍以外(包括戶外)的可能發(fā)生的異常。裝置運(yùn)行開始需要有一個(gè)學(xué)習(xí)階段，通過自學(xué)習(xí)方法得到每個(gè)獨(dú)居老人的、能反映其個(gè)性的日?；顒?dòng)的規(guī)律；學(xué)習(xí)階段結(jié)束后進(jìn)入監(jiān)護(hù)階段，由于老人的年齡增長以及季節(jié)的變化，要求系統(tǒng)能不斷地更新在學(xué)習(xí)階段所得到老人日常生活活動(dòng)模型，使之具有自適應(yīng)的功能。
在圖像的學(xué)習(xí)和理解階段，裝置通過計(jì)算機(jī)視覺能跟蹤監(jiān)護(hù)老人，計(jì)算出老人的人體中心位置的運(yùn)動(dòng)軌跡，在某個(gè)監(jiān)護(hù)空間中的出現(xiàn)時(shí)刻以及停留時(shí)間，出現(xiàn)時(shí)刻以及停留時(shí)間可以通過計(jì)算機(jī)的系統(tǒng)時(shí)間來獲得，而老人在某個(gè)空間位置的信息要通過全方位視覺傳感器所獲得的視頻信息(上述計(jì)算所得的連通區(qū)域)來得到，該處理過程可以用圖5來描述。
所述的建模處理過程可以用數(shù)學(xué)方式來描述，老人的日常生活活動(dòng)的空間和時(shí)間概率數(shù)據(jù)接近于正態(tài)分布，因此在本專利中使用高斯分布模型來描述某個(gè)老人日常生活的活動(dòng)的空間和時(shí)間分布模型。由于獨(dú)居老人的規(guī)律可能隨著年齡的增長和季節(jié)的變化而緩慢改變，為了自適應(yīng)改變老人的日常生活時(shí)間和空間模型，在本發(fā)明中使用低通濾波方法來更新高斯分布模型的參數(shù)。
對于空間模型，本論文使用二維高斯分布模型 模型的更新使用公式(33)～(36)的數(shù)字低通濾波方法進(jìn)行，μxnew＝(1-k1)μxold+k1(x-μxold)，(33)μynew＝(1-k2)μyold+k2(y-μyold)，(34)σxnew2=(1-k3)σxold2+k3(x-μxold)2,---(35)]]>σynew2=(1-k4)σyold2+k4(y-μyold)2,---(36)]]>其中，ki是學(xué)習(xí)速率，取值范圍是
。學(xué)習(xí)階段可以選擇大學(xué)習(xí)速率(0.8)，加快學(xué)習(xí)速度；監(jiān)護(hù)階段可以選擇小學(xué)習(xí)速率(0.01)，既能保持模型的穩(wěn)定性，又能捕捉模型的微小變化，具有自適應(yīng)的特點(diǎn)。
所述的視覺監(jiān)護(hù)范圍內(nèi)摔倒異常的檢測，是在圖10中活動(dòng)事件處理模塊27以及異常判斷模塊29中進(jìn)行的，在本發(fā)明中通過檢測老人進(jìn)入某個(gè)監(jiān)護(hù)領(lǐng)域后又長時(shí)間的靜止在某個(gè)位置，即老人的重心位置x被判為inactivity point的時(shí)間超過閾值，那么系統(tǒng)計(jì)算下式
PS＝max{p(x|i，μi，∑i)，i＝1，...，n} (37)式中p(x|i，μi，∑i)是老人的重心位置x屬于編號為i的inactivity zone的高斯混合模型的概率，PS是位置x屬于某個(gè)inactivity zone的最大概率。
當(dāng)PS值小于閾值時(shí)，就認(rèn)為位置x不屬于任何已知的inactivity zones，即老人靜止在某一個(gè)位置上發(fā)生異常。為了進(jìn)一步判定老人摔倒異常發(fā)生的可能性，進(jìn)一步從檢測到的圖像上識(shí)別老人的姿態(tài)，計(jì)算老人處于橫躺的姿態(tài)的概率PT，可以通過基于隱馬爾可夫模型的人體姿態(tài)識(shí)別方法。最后使用式(38)計(jì)算摔倒異常發(fā)生的概率P＝K1×(1-PS)+K2×PT (38)其中K1、K2是權(quán)重，PS是老人長時(shí)間靜止在某個(gè)位置上的概率，PT是老人處于躺的姿態(tài)的概率。當(dāng)P超過閾值時(shí)，系統(tǒng)判斷為發(fā)生老人摔倒異常，系統(tǒng)從用戶基本信息30中得到老人的家庭地址以及監(jiān)護(hù)人的聯(lián)系方式，并結(jié)合系統(tǒng)所判斷的異常類別組合通過報(bào)警模塊31發(fā)送給遠(yuǎn)程監(jiān)護(hù)者，要求遠(yuǎn)程監(jiān)護(hù)者通過視頻服務(wù)器查看老人的生活現(xiàn)場的圖像進(jìn)一步確認(rèn)老人的安康，以便采取即時(shí)性的、適合的援救。
所述的非視覺監(jiān)護(hù)范圍內(nèi)的摔倒異常的預(yù)測，預(yù)測判斷是在異常判斷處理模塊29中進(jìn)行處理的；是通過視覺監(jiān)護(hù)范圍內(nèi)超過一定時(shí)間還未出現(xiàn)老人的情況時(shí)進(jìn)行預(yù)測的，用一句比較通俗的語言表達(dá)，即檢測在該出現(xiàn)老人身影的卻沒有檢測到老人出現(xiàn)，在本發(fā)明中通過檢測老人在時(shí)刻t1通過編號為i的entry zone離開監(jiān)護(hù)視覺場所以及所經(jīng)過的時(shí)間來進(jìn)行預(yù)測的，首先要從老人日常生活活動(dòng)模型中檢索出對應(yīng)活動(dòng)持續(xù)時(shí)間模型的本次活動(dòng)持續(xù)時(shí)間的預(yù)測值μi，然后系統(tǒng)實(shí)時(shí)的計(jì)算下列表達(dá)式PE＝t-t1-μi (39)PC＝p(t-t1|i，μi，σi) (40)其中t是當(dāng)前系統(tǒng)時(shí)間，t-t1為離開監(jiān)護(hù)視覺場所的持續(xù)時(shí)間，因此PE是實(shí)際離開監(jiān)護(hù)視覺場所的持續(xù)時(shí)間與預(yù)測持續(xù)時(shí)間值的差值；PC是實(shí)際活動(dòng)時(shí)間屬于活動(dòng)持續(xù)時(shí)間的高斯模型的概率，即實(shí)際離開監(jiān)護(hù)視覺場所持續(xù)時(shí)間的概率。
當(dāng)前時(shí)間t，老人在非監(jiān)護(hù)視覺場所摔倒的概率為P＝K1×PE+K2×(1-PC) (41)其中K1、K2是權(quán)重。當(dāng)P超過閾值時(shí)，系統(tǒng)就自動(dòng)向遠(yuǎn)程監(jiān)護(hù)者發(fā)送老人可能發(fā)生異常信息，要求遠(yuǎn)程監(jiān)護(hù)者及時(shí)確認(rèn)老人安康信息；隨著P值的增大，老人發(fā)生異常危險(xiǎn)的可能性也隨著增大，這時(shí)要求遠(yuǎn)程監(jiān)護(hù)者通過各種手段確認(rèn)老人的安康，以便采取即時(shí)性的、適合的援救。從式(39)～(41)可以看出，老人在監(jiān)護(hù)視覺場所以外發(fā)生異常危險(xiǎn)是以老人平時(shí)在某個(gè)時(shí)間中離開監(jiān)護(hù)視覺場所的經(jīng)過時(shí)間的概率分布值為判斷依據(jù)，檢查這次離開監(jiān)護(hù)視覺場所經(jīng)歷的時(shí)間是否超出預(yù)測閾值。
通過全方位視覺圖像捕捉老人生活規(guī)律的在時(shí)間空間上的變化能發(fā)現(xiàn)和預(yù)測老人生活的反常及異常，在發(fā)明中所建立老人室內(nèi)外活動(dòng)模型不僅能識(shí)別視頻監(jiān)護(hù)范圍內(nèi)的異常，而且能預(yù)測視頻監(jiān)護(hù)范圍以外(包括戶外)的可能發(fā)生的異常，為獨(dú)居老人遠(yuǎn)程監(jiān)護(hù)提供一種新的方法，對提高獨(dú)居老人的生活品質(zhì)有著積極意義，具有較大的實(shí)施價(jià)值和社會(huì)經(jīng)濟(jì)效益。
權(quán)利要求
1.一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，其特征在于所述的獨(dú)居老人家庭安保裝置包括微處理器、用于監(jiān)護(hù)老人安康情況的全方位視覺傳感器，所述的全方位視覺傳感器與微處理器連接，所述的全方位視覺傳感器包括用以反射監(jiān)控領(lǐng)域中物體的外凸折反射鏡面、用以防止光折射和光飽和的黑色圓錐體、透明圓柱體、攝像頭，所述的外凸折反射鏡面位于透明圓柱體的上方，外凸折反射鏡面朝下，黑色圓錐體固定在折反射鏡面外凸部的中心，攝像頭對著外凸反射鏡面朝上，所述的攝像頭位于外凸反射鏡面的虛焦點(diǎn)位置；所述的微處理器還包括圖像數(shù)據(jù)讀取模塊，用于讀取從全方位視覺傳感器傳過來的視頻圖像信息；圖像數(shù)據(jù)文件存儲(chǔ)模塊，用于將讀取的視頻圖像信息通過文件方式保存在存儲(chǔ)單元中；全方位視覺傳感器標(biāo)定模塊，用于對全方位視覺傳感器的參數(shù)進(jìn)行標(biāo)定，建立空間的實(shí)物圖像與所獲得的視頻圖像的對應(yīng)關(guān)系；圖像展開處理模塊，用于將讀取的圓形視頻圖像展開為全景柱狀圖；運(yùn)動(dòng)對象檢測模塊，用于將所獲得的當(dāng)前幀現(xiàn)場視頻圖像與一個(gè)相對比較穩(wěn)定的基準(zhǔn)參考圖像進(jìn)行差值運(yùn)算，圖像相減的計(jì)算公式如式(28)表示fd(X，t0，ti)＝f(X，ti)-f(X，t0)(28)上式中，fd(X，t0，ti)是實(shí)時(shí)拍攝到圖像與基準(zhǔn)參考圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti)是實(shí)時(shí)拍攝到圖像；f(X，t0)是基準(zhǔn)參考圖像；并將當(dāng)前圖像中與相鄰K幀的圖像相減計(jì)算公式如(29)所示fd(X，ti-k，ti)＝f(X，ti)-f(X，ti-k)(29)上式中，fd(X，ti-k，ti)是實(shí)時(shí)拍攝到圖像與相鄰K幀圖像間進(jìn)行圖像相減的結(jié)果；f(X，ti-k)是相鄰K幀時(shí)的圖像；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)≥閾值成立時(shí)，判定為運(yùn)動(dòng)對象；如fd(X，t0，ti)≥閾值、fd(X，ti-k，ti)＜閾值，判定靜止對象，并用式(30)來更新替換基準(zhǔn)參考圖像f(X,t0)⇐f(X,ti-k)---(30)]]>如fd(X，t0，ti)＜閾值，判定為靜止對象；連通區(qū)域計(jì)算模塊，用于對當(dāng)前圖像進(jìn)行標(biāo)記，像素灰度為0的小區(qū)表示此小區(qū)內(nèi)無老人活動(dòng)，像素灰度為1則表示此小區(qū)有老人活動(dòng)，計(jì)算當(dāng)前圖像中的像素是否與當(dāng)前像素周圍相鄰的某一個(gè)點(diǎn)的像素相等，如灰度相等判斷為具有連通性，將所有具有連通性的像素作為一個(gè)連通區(qū)域；然后再根據(jù)所求得的連通區(qū)域來計(jì)算其面積和重心；老人的重心通過計(jì)算所得到的連通區(qū)域面積Si以及該連通區(qū)域的X、Y軸方向的累積像素值計(jì)算得到，計(jì)算公式由式(42)計(jì)算得到，Xcg(i)=Σx,y∈SixSi;Ycg(i)=Σx,y∈SiySi---(42);]]>老人日常生活活動(dòng)數(shù)據(jù)的獲取模塊，用于根據(jù)老人在監(jiān)護(hù)視覺范圍內(nèi)活動(dòng)的開始時(shí)間、延續(xù)時(shí)間和所處的空間位置，得到老人日常生活活動(dòng)的規(guī)律；老人日常生活活動(dòng)模型模塊，用于通過自學(xué)習(xí)的方法掌握了老人的日常生活的規(guī)律之后，通過該規(guī)律的總結(jié)可以歸納出老人日常生活活動(dòng)模型，采用二維高斯分布模型來描述某個(gè)老人日常生活的活動(dòng)的空間和時(shí)間分布模型 式(32)中σx表示連通區(qū)域的亮度值在x軸上的數(shù)學(xué)方差，σy表示連通區(qū)域的亮度值在y軸上的數(shù)學(xué)方差，μx表示連通區(qū)域的亮度值在x軸上的數(shù)學(xué)期望平均值，μy表示連通區(qū)域的亮度值在y軸上的數(shù)學(xué)期望平均值；模型的更新使用公式(33)～(36)的數(shù)字低通濾波方法進(jìn)行，μxnew＝(1-k1)μxold+k1(x-μxold)， (33)μynew＝(1-k2)μyold+k2(y-μyold)， (34)σxnew2=(1-k3)σxold2+k3(x-μxold)2,---(35)]]>σynew2=(1-k4)σyold2+k4(y-μyold)2,---(36)]]>其中，ki是學(xué)習(xí)速率，取值范圍是
，學(xué)習(xí)階段可以選擇大學(xué)習(xí)速率(0.8)，加快學(xué)習(xí)速度；監(jiān)護(hù)階段可以選擇小學(xué)習(xí)速率(0.01)；視覺監(jiān)護(hù)范圍內(nèi)摔倒異常的檢測模塊，用于通過檢測老人進(jìn)入某個(gè)監(jiān)護(hù)領(lǐng)域后又長時(shí)間的靜止在某個(gè)位置并超過老人日常生活活動(dòng)模型模塊中所規(guī)定的閾值來進(jìn)行檢測判斷的，檢測老人的重心位置x被判為inactivity point的時(shí)間超過閾值，那么系統(tǒng)計(jì)算下式PS＝max{p(x|i，μi，∑i)，i＝1，...，n}(37)式中p(x|i，μi，∑i)是老人的重心位置x屬于編號為i的inactivity zone的高斯混合模型的概率，PS是位置x屬于某個(gè)inactivity zone的最大概率；當(dāng)PS值小于閾值時(shí)，判定位置x不屬于任何已知的inactivity zones，即老人靜止在某一個(gè)位置上發(fā)生異常；進(jìn)一步從檢測到的圖像上識(shí)別老人的姿態(tài)，計(jì)算老人處于橫躺的姿態(tài)的概率PT，通過基于隱馬爾可夫模型的人體姿態(tài)識(shí)別方法，最后使用式(38)計(jì)算摔倒異常發(fā)生的概率P＝K1×(1-PS)+K2×PT (38)其中K1、K2是權(quán)重，PS是老人長時(shí)間靜止在某個(gè)位置上的概率，PT是老人處于躺的姿態(tài)的概率，當(dāng)P超過閾值時(shí)，判定老人發(fā)生摔倒異常；非視覺監(jiān)護(hù)范圍內(nèi)的摔倒異常的預(yù)測模塊，用于通過視覺監(jiān)護(hù)范圍內(nèi)超過一定時(shí)間閾值還未出現(xiàn)老人的情況時(shí)進(jìn)行預(yù)測的，通過檢測老人在時(shí)刻t1離開監(jiān)護(hù)視覺場所以及所經(jīng)過的時(shí)間來進(jìn)行預(yù)測的，首先要從老人日常生活活動(dòng)模型中檢索出對應(yīng)活動(dòng)持續(xù)時(shí)間模型的本次活動(dòng)持續(xù)時(shí)間的預(yù)測值μi，然后系統(tǒng)實(shí)時(shí)的計(jì)算下列表達(dá)式PE＝t-t1-μi (39)PC＝p(t-t1|i，μi，σi)(40)其中，t是當(dāng)前系統(tǒng)時(shí)間，t-t1為離開監(jiān)護(hù)視覺場所的持續(xù)時(shí)間，PE是實(shí)際離開監(jiān)護(hù)視覺場所的持續(xù)時(shí)間與預(yù)測持續(xù)時(shí)間值的差值；PC是實(shí)際活動(dòng)時(shí)間屬于活動(dòng)持續(xù)時(shí)間的高斯模型的概率，即實(shí)際離開監(jiān)護(hù)視覺場所持續(xù)時(shí)間的概率；當(dāng)前時(shí)間t，老人在非監(jiān)護(hù)視覺場所摔倒的概率為P＝K1×PE+K2×(1-PC) (41)其中K1、K2是權(quán)重，當(dāng)P超過閾值時(shí)，判定老人可能發(fā)生異常；異常告警模塊，用于在判定老人可能發(fā)生異常后，通過通信模塊通知救護(hù)人員。
2.如權(quán)利要求1所述的基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，其特征在于所述的折反射鏡面為了達(dá)到在監(jiān)護(hù)水平方向上無形變，用以下方法來進(jìn)行設(shè)計(jì)水平方向上無形變要求場景物點(diǎn)的水平坐標(biāo)與相應(yīng)像點(diǎn)的坐標(biāo)成線性關(guān)系；d(ρ)＝αρ (1)式(1)中ρ是與反射鏡的面形中心點(diǎn)的距離，α為成像系統(tǒng)的放大率；設(shè)反射鏡在M點(diǎn)的法線與Z軸的夾角為γ，入射光線與Z軸的夾角為Φ，反射光線與Z軸的夾角為θ；則tg(x)=d(x)-xz(x)-h---(2)]]>tgγ=dz(x)dx---(3)]]>tg(2γ)=2dz(x)dx1-d2z(x)dx2---(4)]]> 由反射定律2γ＝φ-θ (6)∴tg(2γ)=tg(φ-θ)=tgφ-tgθ1+tgφtgθ]]>由式(2)、(4)、(5)和(6)得到微分方程(7)d2z(x)dx2+2kdz(x)dx-1=0---(7)]]>式中；k=z(x)[z(x)-h]+x[d(x)-x]z(x)[d(x)-x]+x[z(x)-h]---(8)]]>由式(7)得到微分方程(9)dz(x)dx+k-k2+1=0---(9)]]>由式(1)、(5)得到式(10)d(x)=afxz(x)---(10)]]>由式(8)、(9)、(10)和初始條件，解微分方程可以得到反射鏡面形的數(shù)字解。折反射全景系統(tǒng)設(shè)計(jì)時(shí)根據(jù)應(yīng)用要求選擇合適的攝像頭，標(biāo)定出Rmin，透鏡的焦距f確定反射鏡離攝像頭的距離Ho，由(1)式計(jì)算出反射鏡的口徑Do；系統(tǒng)參數(shù)的確定根據(jù)應(yīng)用所要求的高度方向的視場確定系統(tǒng)參數(shù)af，由式(1)、(2)和(5)得到式(11)，這里作了一些簡化，將z(x)≈z0，主要考慮對于鏡面的高度變化相對于鏡面與攝像頭的位置變化比較??；tgφ=(af-z0)ρfz0-h---(11)]]>在像平面以像中心點(diǎn)為圓心的最大圓周處ρ=Rmin→ωmax=Rminf]]>對應(yīng)的視場為фmax，則可以得到式(12)；ρf=(z0-h)tgφmaxωmax+z0---(12).]]>
3.如權(quán)利要求1或2所述的基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，其特征在于所述的微處理器還包括背景維護(hù)模塊，所述的背景維護(hù)模塊包括背景亮度計(jì)算單元，用于計(jì)算平均背景亮度Yb計(jì)算公式如式(25)所示Y‾b=Σx=0W-1Σy=0H-1Yn(x,y)(1-Mn(x,y))Σx=0W-1Σy=0H-1(1-Mn(x,y))---(25)]]>式(25)中，Yn(x，y)為當(dāng)前幀各像素的亮度，Mn(x，y)為當(dāng)前幀的掩模表，所述的掩模表是用一個(gè)與視頻幀尺寸相同的數(shù)組M來記錄各像素點(diǎn)是否有運(yùn)動(dòng)變化，參見式(27) Yb0為判定為運(yùn)動(dòng)對象時(shí)前一幀的背景亮度，Yb1為判定為運(yùn)動(dòng)對象時(shí)第一幀的背景亮度，兩幀平均亮度的變化為ΔY＝Y(jié)b1-Yb0(26)如果ΔY大于上限值，則認(rèn)為發(fā)生了開燈事件；如果ΔY小于某個(gè)下限值，則認(rèn)為發(fā)生了關(guān)燈事件；如ΔY介于上限值和下限值之間，則認(rèn)為光線自然變化；背景自適應(yīng)單元，用于當(dāng)光線自然變化時(shí)，按照下式(22)進(jìn)行自適應(yīng)學(xué)習(xí)Xmix，bn+1(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i)(22)式中Xmix，cn(i)為當(dāng)前幀RGB向量，Xmix，bn(i)為當(dāng)前幀背景RGB向量，Xmix，bn+1(i)為下一幀背景預(yù)測RGB向量，λ為背景更新的速度；λ＝0，使用固定不變的背景(初始背景)；λ＝1，使用當(dāng)前幀作為背景；0＜λ＜1，背景由前一時(shí)刻的背景與當(dāng)前幀混合而成；當(dāng)光線由開關(guān)燈引起的，背景像素按照當(dāng)前幀重置，參見式(23)Xmix，bn+1(i)＝Xmix，cn(i)(23)。
4.如權(quán)利要求3所述的基于全方位計(jì)算機(jī)視覺的中央空調(diào)節(jié)能控制裝置，其特征在于所述的微處理器還包括噪聲剔除模塊，用于將每一個(gè)像素值用其局部鄰域內(nèi)所有值的均值置換，如公式(16)所示h[i，j]＝(1/M)∑f[k，1] (32)上式(32)中，M是鄰域內(nèi)的像素點(diǎn)總數(shù)。
5.如權(quán)利要求4所述的基于全方位計(jì)算機(jī)視覺的中央空調(diào)節(jié)能控制裝置，其特征在于所述的圖像展開處理模塊，用于根據(jù)圓形全方位圖像上的一個(gè)點(diǎn)(x*，y*)和矩形柱狀全景圖上的一個(gè)點(diǎn)(x**，y**)的對應(yīng)關(guān)系，建立(x*，y*)與(x**，y**)的映射矩陣，式(21)所示P**(x**，y**)←M×P*(x*，y*) (21)上式中，M是映射矩陣，P*(x*，y*)是圓形全方位圖像上的像素矩陣，P**(x**，y**)是矩形柱狀全景圖上的像素矩陣。
6.如權(quán)利要求5所述的基于全方位計(jì)算機(jī)視覺的中央空調(diào)節(jié)能控制裝置，其特征在于所述的微處理器還包括網(wǎng)絡(luò)傳輸模塊，用于將所獲得的現(xiàn)場視頻圖像以視頻流的方式通過網(wǎng)絡(luò)播放出去，以便用戶能通過各種網(wǎng)絡(luò)實(shí)時(shí)地掌握現(xiàn)場情況；實(shí)時(shí)播放模塊，用于將所獲得的現(xiàn)場視頻圖像通過該模塊播放到顯示設(shè)備。
7.如權(quán)利要求6所述的基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，其特征在于所述的全方位視覺傳感器安裝在能監(jiān)護(hù)到老人日?；顒?dòng)的主要活動(dòng)場所的中間區(qū)域。
全文摘要
一種基于全方位計(jì)算機(jī)視覺的獨(dú)居老人家庭安保裝置，包括微處理器、用于監(jiān)護(hù)老人安康情況的全方位視覺傳感器，全方位視覺傳感器與微處理器連接，采集老人在主要場所中的空間位置視頻信息以及該事件所對應(yīng)的時(shí)間信息采用機(jī)器視覺的手段來建立獨(dú)居老人室內(nèi)外活動(dòng)模型，由于每個(gè)老人的居住環(huán)境以及起居的生活習(xí)慣不盡相同，要求模型能自適應(yīng)地學(xué)習(xí)老人日?；顒?dòng)規(guī)律，通過捕捉生活規(guī)律的在時(shí)間空間上的變化能發(fā)現(xiàn)和預(yù)測老人生活的反常及異常，所建立老人室內(nèi)外活動(dòng)模型不僅能識(shí)別視頻監(jiān)護(hù)范圍內(nèi)的異常，而且能預(yù)測視頻監(jiān)護(hù)范圍以外(包括戶外)的可能發(fā)生的異常。本發(fā)明能夠在關(guān)鍵時(shí)候使獨(dú)居老人能得到即時(shí)性的、適合的援救或者服務(wù)。
文檔編號H04N7/18GK1874497SQ200610051729
公開日2006年12月6日 申請日期2006年5月30日 優(yōu)先權(quán)日2006年5月30日
發(fā)明者湯一平, 金順敬, 顧小凱, 葉永杰 申請人:浙江工業(yè)大學(xué)