專利名稱：面向手持終端的數(shù)字圖像合成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理領(lǐng)域，具體的說(shuō)是一種面向手持式終端的數(shù)字圖像合成裝置。該 裝置可以有效地解決手持式終端因處理器的計(jì)算能力較弱而無(wú)法完成高復(fù)雜度計(jì)算的問(wèn) 題。裝置采用的服務(wù)器集群結(jié)構(gòu)還可以有效地為海量終端同時(shí)提供高質(zhì)量的圖像合成服 務(wù)。
背景技術(shù)：
手持式終端，比如手機(jī)或者個(gè)人數(shù)字助理(PDA)等，以其手持的特性給人們的FI常 生活帶來(lái)了極大方便，并且隨著成像設(shè)備造價(jià)的不斷降低，越來(lái)越多的手持終端上具備了 數(shù)字成像裝置。
但由于手持終端受到物理尺寸、電池供電等因素的影響，其上的處理器的計(jì)算能力比 較弱，內(nèi)部存儲(chǔ)器容量也相對(duì)較小，無(wú)法完成高復(fù)雜度的計(jì)算任務(wù)。而圖像的合成恰恰就 是一種高復(fù)雜度，大內(nèi)存消耗的任務(wù)，很難在終端本地完成。
目前我國(guó)每天拍攝的數(shù)字圖像約有4000萬(wàn)幅，但多數(shù)受到手持式成像設(shè)備本身硬件 條件的限制，所拍攝的圖像視野范圍較窄。圖像合成技術(shù)的目的就是把若干幅視野較窄的 圖像合成為一幅大視野、寬角度的數(shù)字圖像。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服手持終端計(jì)算能力弱和內(nèi)存空間小的不足，采用專用的高可用 性服務(wù)器集群為手持終端提供快速高效的數(shù)字圖像合成服務(wù)。本發(fā)明將手持終端的手持性
與后臺(tái)服務(wù)器集群的強(qiáng)大處理能力想結(jié)合，隨時(shí)隨地為旅途中、參加大型活動(dòng)或者私人聚 會(huì)等場(chǎng)合中的寬幅廣角圖像合成需求提供一種完善的解決方案。
本發(fā)明的面向手持終端的數(shù)字圖像合成裝置的特征在于手持終端通過(guò)通信網(wǎng)接入到設(shè) 置在任意場(chǎng)所的服務(wù)器集群，其中手持終端具有成像裝置，服務(wù)器集群具有讀取數(shù)字圖像 并進(jìn)行圖像合成的裝置，合成后的圖像返回到移動(dòng)終端或者電子郵箱。
上述手持終端最好具有借助現(xiàn)有無(wú)線通信網(wǎng)可以直接接入服務(wù)器集群的通信裝置。
對(duì)于沒(méi)有通信裝置的手持終端，最好具有能夠方便地將數(shù)據(jù)導(dǎo)出到其他具有通信裝置 或輔助設(shè)備的裝置。
手持終端最好具有能夠輸入和存儲(chǔ)描述圖片的文字信息的裝置。
手持終端最好具有可顯示所拍攝圖像內(nèi)容的顯示裝置。
用戶在發(fā)送圖像時(shí)，最好能夠同時(shí)提供有助于合成順利進(jìn)行的輔助文字信息，比如一次合成中要進(jìn)行合成的圖片的總數(shù)。
本裝置默認(rèn)把合成的圖像返回到原用戶的手持終端。但為了便于圖片的共享，手持終
端最好具備電子郵件和其他用戶標(biāo)識(shí)符的輸入單元。
服務(wù)器集群最好還具備把用戶所提交的某些文字信息疊加在合成后的圖像上的功能。 服務(wù)器集群最好具備按照某種特定的協(xié)議(比如彩信的封裝格式)提取數(shù)字圖像的單
元，并能夠解碼各種常見(jiàn)格式的數(shù)字圖像(比如JPEG格式，GIF格式或者PNG格式等)。 服務(wù)器集群最好具備對(duì)與圖像相關(guān)的文字信息的解讀單元，比如主題或者文件名。 服務(wù)器集群最好具備對(duì)合成結(jié)果成功與否的自動(dòng)判決，并能夠依據(jù)判決結(jié)果返回提示
f曰息。
服務(wù)器集群最好能夠提供讓手持終端可以直接訪問(wèn)合成后的圖片的URL。 服務(wù)器集群最好由若干臺(tái)高性能服務(wù)器或(和)普通計(jì)算機(jī)組成，從功能上可以劃分
為 一個(gè)用于進(jìn)行事務(wù)管理的管理節(jié)點(diǎn)，若干個(gè)用于進(jìn)行圖像合成的計(jì)算節(jié)點(diǎn)和可選的存
儲(chǔ)節(jié)點(diǎn)。
服務(wù)器集群中的所有服務(wù)器計(jì)算機(jī)組成，由通信網(wǎng)連接起來(lái)，并具備內(nèi)部在各節(jié)點(diǎn)間 進(jìn)行數(shù)據(jù)傳輸交換的單元。
整個(gè)服務(wù)器集群可以共用一個(gè)存儲(chǔ)設(shè)備，也為每個(gè)節(jié)點(diǎn)都配備存儲(chǔ)設(shè)備。
手持終端除具備圖像的生成和存儲(chǔ)裝置外，最好還具備輸入和存儲(chǔ)文字信息的單元、 多種格式圖像文件的生成單元以及直接接入通信網(wǎng)的裝置或(和)將數(shù)據(jù)導(dǎo)出到輔助設(shè)備 的單元。
本發(fā)明具有如下效果-
(1) 可以方便快捷地進(jìn)行圖片合成。只要手持終端能夠通過(guò)直接或者簡(jiǎn)介的手段接入 服務(wù)器集群，合成服務(wù)在極短的時(shí)間啟動(dòng)。
(2) 服務(wù)器的告訴處理能力和幾乎不受限制的內(nèi)存空間，可以在較短的時(shí)間內(nèi)完成圖 像的合成。
(3) 裝置可以支撐大量用戶的合成服務(wù)請(qǐng)求。裝置所采用的服務(wù)器集群，可以按照用 戶量的多少逐步的擴(kuò)展其負(fù)載能力，直至滿足需求為止。
(4) 合成后的數(shù)字圖像可以直接返回到手持終端，也可以返回到指定的電子郵箱。


圖l為裝置結(jié)構(gòu)框圖，給出了裝置的通信過(guò)程邏輯單元框圖。
圖2為用戶使用本發(fā)明的過(guò)程圖，包括從用戶發(fā)出圖像到服務(wù)器集群合成圖像，再把結(jié)果返回到用戶的整個(gè)流程。
圖3為服務(wù)器集群的結(jié)構(gòu)框圖，給出了主要構(gòu)成部分的示意圖。 圖4為給出了本發(fā)明的一個(gè)用戶使用體驗(yàn)示意圖。
圖5為服務(wù)器集群功能模塊框圖。
具體實(shí)施例方式
下面結(jié)合實(shí)例介紹一下裝置的最佳實(shí)施形態(tài)。裝置結(jié)構(gòu)概要
整個(gè)裝置結(jié)構(gòu)如圖1所示，手持終端100圖像的獲取設(shè)備，并具備輸入文字信息和瀏 覽顯示圖像的設(shè)備。如果100本身具備通信單元，則可以直接通過(guò)通信鏈路101和通信網(wǎng) 102進(jìn)行數(shù)據(jù)的收發(fā)；否則100需要借助輔助設(shè)備105把數(shù)據(jù)導(dǎo)入到105中，由輔助設(shè)備 105進(jìn)行數(shù)據(jù)的收發(fā)。101和102的具體形式可以是無(wú)線或有線的，即從手持終端到服務(wù) 器集群之間的網(wǎng)絡(luò)連接可以是完全或者部分地為無(wú)線網(wǎng)或者有線網(wǎng)。用戶所發(fā)出的圖像數(shù) 據(jù)經(jīng)過(guò)網(wǎng)關(guān)103到達(dá)服務(wù)器集群104。網(wǎng)關(guān)103所代表的包括通信網(wǎng)運(yùn)營(yíng)商的數(shù)據(jù)中心網(wǎng) 關(guān)和(或)服務(wù)器集群本地的網(wǎng)關(guān)設(shè)備。104服務(wù)器集群由多臺(tái)服務(wù)器組成，對(duì)外通過(guò)一 個(gè)統(tǒng)一的輸入輸出接口 500 (圖5)與外界進(jìn)行數(shù)據(jù)交換。
服務(wù)器集群結(jié)構(gòu)如圖3所示。300用于與網(wǎng)關(guān)103進(jìn)行數(shù)據(jù)交換之用，管理節(jié)點(diǎn)301 通過(guò)圖5中的500、 501和515統(tǒng)一實(shí)現(xiàn)對(duì)外界的數(shù)據(jù)接收和發(fā)送，此外管理節(jié)點(diǎn)301上 還要裝備圖5中的502、 503、 504、 505、 506、 507、 508和509等功能單元。數(shù)據(jù)庫(kù)服務(wù) 器302負(fù)責(zé)存儲(chǔ)與用戶識(shí)別信息、處理過(guò)程狀態(tài)、處理過(guò)程所需的變量等內(nèi)容相關(guān)的數(shù)據(jù) 記錄，以供301和305使用。
本實(shí)施形態(tài)中，數(shù)據(jù)存儲(chǔ)設(shè)備303是供整個(gè)服務(wù)器集群共享的形式。如果各個(gè)節(jié)點(diǎn)都 具備自己本地的存儲(chǔ)設(shè)備，則也可以采用分布式數(shù)據(jù)存儲(chǔ)。網(wǎng)絡(luò)連接304把各個(gè)節(jié)點(diǎn)統(tǒng)一 連接起來(lái)，其具體實(shí)現(xiàn)形態(tài)不限。
在本實(shí)施形態(tài)中，服務(wù)器集群中的計(jì)算節(jié)點(diǎn)處理完成一次合成后，把合成后的數(shù)字圖 像傳送給管理節(jié)點(diǎn)，由管理節(jié)點(diǎn)把數(shù)據(jù)提交給網(wǎng)關(guān)，并進(jìn)而送達(dá)接受者，這樣做是為了簡(jiǎn) 化計(jì)算節(jié)點(diǎn)與網(wǎng)關(guān)的網(wǎng)絡(luò)連接復(fù)雜度和便于管理節(jié)點(diǎn)進(jìn)行一元管理。從而，如果計(jì)算節(jié)點(diǎn) 直接向網(wǎng)關(guān)提交圖像數(shù)據(jù)，則也可由管理節(jié)點(diǎn)完成一些管理功能。裝置的運(yùn)行過(guò)程
圖2給出用戶的使用流程圖。用戶首先使用手持終端100拍攝若干圖像，然后選擇要 合成的某些圖像(401)，經(jīng)過(guò)202添加某些可能需要的文字信息后，如果100具備通信單
6元?jiǎng)t可以直接通過(guò)101發(fā)送數(shù)字圖像(402)，如果100不具備通信單元?jiǎng)t可以采用將數(shù)據(jù) 導(dǎo)出到輔助設(shè)備并由輔助設(shè)備發(fā)送數(shù)據(jù)。406通信鏈路包括了所有手持終端到服務(wù)器集群 之間的所有傳輸設(shè)備和線路。圖像數(shù)據(jù)經(jīng)過(guò)406的傳輸以后，接下來(lái)進(jìn)入服務(wù)器集群一側(cè) 的處理過(guò)程。
首先204接收數(shù)字提取圖像要通過(guò)輸入輸出接口 500和接收輸入單元501進(jìn)入服務(wù)器 集群，但一般圖像數(shù)據(jù)是經(jīng)過(guò)封裝的(比如彩信)，所以503要從數(shù)據(jù)流中提取出數(shù)字圖 像。 一般而言在進(jìn)行圖像數(shù)據(jù)提取前502需要對(duì)用戶的合法身份做出判定(205)，后續(xù)服 務(wù)只對(duì)合法的用戶開(kāi)放。經(jīng)驗(yàn)證合法后，然后504進(jìn)行圖像的數(shù)據(jù)完整性檢測(cè)(205)。如 果圖像數(shù)據(jù)不完備，提示信息發(fā)生單元513就要給出提示信息(210)，并通過(guò)510、 515 和500把提示信息送達(dá)用戶。接下來(lái)509把接收到的圖像記錄到存儲(chǔ)設(shè)備中，信息記錄單 元507添加數(shù)據(jù)記錄(206)，這里需要記錄的信息包括但不限于圖像來(lái)源、圖像標(biāo)示、接 受者地址或標(biāo)識(shí)符等信息，還包括505對(duì)用戶提供的輔助文字信息的解讀結(jié)果。為了在統(tǒng) 一區(qū)分不同用戶的不同合成過(guò)程，信息記錄單元還需要為每個(gè)用戶的不同合成過(guò)程分配一 個(gè)全局唯一的ID標(biāo)識(shí)符，所有的當(dāng)前信息和后續(xù)信息的存儲(chǔ)均按照該ID標(biāo)識(shí)符進(jìn)行存儲(chǔ)。 這些過(guò)程統(tǒng)稱為合成前預(yù)處理(214)。
然后，508對(duì)是否滿足合成條件做出判斷(207)。這里合成條件，包括用戶輔助信息中 提供的合成條件和當(dāng)前條件是否統(tǒng)一。比如，如果用戶的輔助信息中指明是要進(jìn)行三幅圖 像的合成，但當(dāng)前只是收到了兩幅，那么507將在合理時(shí)間內(nèi)的等待最后一幅圖像。通常 條件的判定需要借助505所提供的輔助信息。
接下來(lái)進(jìn)行圖像合成208，合成的過(guò)程由計(jì)算節(jié)點(diǎn)511具體實(shí)施。但具體由哪一個(gè)計(jì)算 節(jié)點(diǎn)實(shí)施需要管理節(jié)點(diǎn)301和任務(wù)分發(fā)單元509依據(jù)各個(gè)不同計(jì)算節(jié)點(diǎn)的520所提供的負(fù) 載信息來(lái)進(jìn)行動(dòng)態(tài)調(diào)整。
在計(jì)算節(jié)點(diǎn)的具體合成之前還需要對(duì)512收到的圖像進(jìn)行解碼(因?yàn)橐话銏D像都是經(jīng) 過(guò)壓縮編碼的，比如JPEG圖像)，解碼后還要521對(duì)圖像自動(dòng)縮放，以確保合成中的和合 成后的圖像的數(shù)據(jù)容量在一個(gè)合理的范圍內(nèi)。518從這些圖像中篩選出那些可以合成的圖 像而剔除掉那些不能合成的圖像。在合成的過(guò)程中，如果有異常產(chǎn)生，則會(huì)通過(guò)數(shù)據(jù)交換 單元和提示信息發(fā)生單元產(chǎn)生相應(yīng)的提示信息。
合成的過(guò)程的中間狀態(tài)通過(guò)507的信息記錄單元進(jìn)行記錄。如果合成失敗，那么生成 提示信息。若合成成功，那么519對(duì)合成的圖像的圖像進(jìn)行邊緣部分的裁剪和整理的亮度 色彩的均衡，然后512對(duì)圖像進(jìn)行特定格式(比如JPEG)的壓縮編碼，編碼后的圖像經(jīng)過(guò)數(shù)據(jù)封裝(比如封裝成為彩信或者電子郵件)即可以準(zhǔn)備發(fā)送了。合成之后的這些過(guò)程， 統(tǒng)稱為合成后處理(209)。
一般地，提示信息可以直接在手持終端上顯示，而圖像則是提供瀏覽圖像的URL， 212 表示用戶收到提示信息或者合成圖像的URL。若合成圖像直接返回到手持終端，用戶一般 需要依據(jù)URL進(jìn)行下載后才能瀏覽到圖像內(nèi)容。另外，若返回的目的地是電子郵件地址， 則合成圖像以附件的形式存在于電子郵件中。至此， 一次使用本裝置進(jìn)行圖像合成的流程
結(jié)束o
在整個(gè)裝置中服務(wù)器集群運(yùn)行的過(guò)程中，程序檢測(cè)單元517會(huì)對(duì)計(jì)算節(jié)點(diǎn)和管理節(jié)點(diǎn) 上的程序運(yùn)行情況進(jìn)行監(jiān)測(cè)，在必要的時(shí)候后會(huì)對(duì)合成過(guò)程進(jìn)行重啟、暫停、停止以及維 護(hù)等操作，其目的是保證服務(wù)的高可用性。
權(quán)利要求
1.一種面向手持終端的圖像合成裝置，其特征在于手持終端通過(guò)通信網(wǎng)連接著設(shè)置在任意場(chǎng)所的服務(wù)器集群或一組計(jì)算機(jī)(以下簡(jiǎn)稱服務(wù)器集群)。手持終端具備生成數(shù)字圖像的裝置，服務(wù)器集群具有把若干幅圖像合成為為一幅數(shù)字圖像的單元，服務(wù)器集群還具有把合成后的圖像返回至手持終端或者電子郵箱的單元。
2. 依據(jù)權(quán)利要求1所述的圖像合成裝置，其特征在于-手持終端使用者(以下簡(jiǎn)稱用戶)要進(jìn)行合成的圖像是通過(guò)手持終端獲取，并 借助通信網(wǎng)通過(guò)服務(wù)器集群提供的計(jì)算服務(wù)在手持終端上或者電子郵箱中瀏覽和 使用合成圖像。
3. 依據(jù)權(quán)利要求1所述的數(shù)字圖像，其特征在于 待合成的上述數(shù)字圖像是同一場(chǎng)景下、內(nèi)容有內(nèi)在聯(lián)系的一組圖像。
4. 依據(jù)權(quán)利要求1所述的服務(wù)器集群，其特征在于-上述服務(wù)器集群通過(guò)全局唯一的ID標(biāo)識(shí)符來(lái)區(qū)分不同的圖像合成過(guò)程，并依據(jù)該ID區(qū)分不同的圖片來(lái)源和返回圖片所需的目的地址。
5. 依據(jù)權(quán)利要求1所述的服務(wù)器集群，其特征在于-上述服務(wù)器集群具有記錄圖像來(lái)源、圖像數(shù)量、圖像存放位置、發(fā)送合成圖像所需目的地址、數(shù)字 圖像的合成狀態(tài)、圖像發(fā)送狀態(tài)等信息的信息記錄單元； 依據(jù)各計(jì)算節(jié)點(diǎn)的運(yùn)行狀態(tài)自動(dòng)進(jìn)行任務(wù)分發(fā)單元； 存儲(chǔ)接收到的圖像數(shù)據(jù)的圖像數(shù)據(jù)存儲(chǔ)單元；從按照某種協(xié)議封裝過(guò)的數(shù)據(jù)中提取圖像數(shù)據(jù)的圖像數(shù)據(jù)提取單元； 對(duì)接收到的圖像的完整性進(jìn)行檢測(cè)的數(shù)據(jù)完整性檢測(cè)單元； 對(duì)提交的輔助文字信息進(jìn)行解讀的輔助文字信息解讀單元； 從收到的數(shù)字圖像中篩選出可合成的(部分或全部)圖像的圖像適配篩選單元； 對(duì)收到的數(shù)字圖像的容量是否合乎既定范圍的進(jìn)行判斷并進(jìn)行必要縮放的自 動(dòng)縮放單元；獲取并廣播各計(jì)算機(jī)的當(dāng)前運(yùn)行和負(fù)載信息的負(fù)載信息發(fā)生單元； 生成并發(fā)送合成失敗或其他提示信息的提示信息發(fā)生單元； 把合成后的圖像(或其URL)及提示信息發(fā)送到手持終端或(和)電子郵箱的 發(fā)送輸出單元；對(duì)合成后的圖像的周邊部分進(jìn)行裁剪和整體色彩均衡的裁剪與均衡單元； 對(duì)各種標(biāo)準(zhǔn)的數(shù)字圖像進(jìn)行編碼和解碼的圖像編解碼單元；對(duì)合法用戶或者非法用戶進(jìn)行判斷的合法用戶判定單元； 對(duì)合成程序進(jìn)行監(jiān)測(cè)與控制的程序監(jiān)控單元。
6. —種程序，該程序使得服務(wù)器集群具備自動(dòng)處理大量并發(fā)合成請(qǐng)求的能力，其 特征在于該程序完成了以下功能，這些功能包括-自動(dòng)發(fā)現(xiàn)新加入或者退出集群的服務(wù)器；判斷用戶的合法性；傳遞各服務(wù)器的負(fù)載和運(yùn)行信息；記錄每次合成操作；將若干幅同一場(chǎng)景不同局部的圖像合成為一幅整體圖像；讀取并解釋數(shù)字圖像之外的輔助性文字信息；自動(dòng)判決是否啟動(dòng)合成的條件是否滿足；用獨(dú)立的進(jìn)程實(shí)現(xiàn)數(shù)字圖像的接收、數(shù)字圖像的合成、合成圖像的返回；各線程可根據(jù)需要而延時(shí)等待和計(jì)時(shí)；合成結(jié)束后，返回提示性信息；對(duì)合成程序進(jìn)行監(jiān)測(cè)與控制；對(duì)一定時(shí)間段內(nèi)的合成情況進(jìn)行統(tǒng)計(jì)。
7. —種記錄媒體，該媒體記錄了借助通信網(wǎng)進(jìn)行數(shù)字圖像合成的程序，其特征在 于記錄了是計(jì)算機(jī)集群作為以下單元進(jìn)行動(dòng)作的程序，這些單元是用戶合法性判 定單元，圖像完備性驗(yàn)證單元，輔助文字信息解讀單元，任務(wù)分發(fā)單元，圖像 合成單元，程序監(jiān)控單元。
全文摘要
本發(fā)明涉及一種把手持終端所獲取的若干幅同一場(chǎng)景的局部數(shù)字圖像合成為一幅數(shù)字圖像的裝置及實(shí)現(xiàn)技術(shù)。手持終端可以在旅游地、街道、室內(nèi)等環(huán)境中方便快捷地拍攝數(shù)字圖像。手持終端可以通過(guò)通信網(wǎng)將要合成的圖像傳送到設(shè)置在任意地方的服務(wù)器集群。服務(wù)器集群擁有接收數(shù)字圖像和對(duì)數(shù)字圖像進(jìn)行合成處理的單元。服務(wù)器集群還具有發(fā)送合成的圖像的單元，通過(guò)通信網(wǎng)可以把合成后的圖像發(fā)送到手持終端和(或)電子郵箱。本發(fā)明可以解決因手持式終端性能有限不能直接獲取大場(chǎng)景圖像的問(wèn)題。
文檔編號(hào)H04N1/00GK101527763SQ20081001763
公開(kāi)日2009年9月9日 申請(qǐng)日期2008年3月7日 優(yōu)先權(quán)日2008年3月7日
發(fā)明者郭寶龍, 閆允一 申請(qǐng)人:西安盛澤電子有限公司