手寫文檔處理設(shè)備以及方法
【專利說明】手寫文檔處理設(shè)備以及方法
[0001]相關(guān)申請的交叉引用
[0002]這個申請基于并且要求2012年9月25日提交的第2012-210874號日本專利申請的優(yōu)先權(quán)的權(quán)益，其全部內(nèi)容通過引用被結(jié)合于此。
技術(shù)領(lǐng)域
[0003]此處描述的實施例大體上涉及手寫文檔處理設(shè)備以及方法。
【背景技術(shù)】
[0004]已經(jīng)提出一種技術(shù)，該技術(shù)用于在諸如包括筆輸入接口的平板計算機的手寫文檔處理設(shè)備中，允許用戶在手寫輸入的同時記錄語音，以生成具有語音數(shù)據(jù)的筆記、會議記錄等等。
【附圖說明】
[0005]圖1是顯示根據(jù)第一實施例的手寫文檔處理設(shè)備的框圖；
[0006]圖2是顯示根據(jù)第一實施例的手寫文檔處理設(shè)備的處理順序的流程圖；
[0007]圖3是用于解釋筆劃的結(jié)構(gòu)化的視圖；
[0008]圖4是用于解釋筆劃的結(jié)構(gòu)化的視圖；
[0009]圖5是用于解釋筆劃的結(jié)構(gòu)化的視圖；
[0010]圖6是顯示語音回放開始的點擊位置的視圖；
[0011]圖7是顯示語音回放開始的點擊位置的視圖；
[0012]圖8是顯示根據(jù)第二實施例的手寫文檔處理設(shè)備的框圖；
[0013]圖9是顯示根據(jù)第二實施例的手寫文檔處理設(shè)備的處理順序的流程圖；
[0014]圖10是顯示通過語音間隔檢測的語音數(shù)據(jù)的結(jié)構(gòu)化的實例的視圖；
[0015]圖11是顯示根據(jù)第三實施例的手寫文檔處理設(shè)備的框圖；
[0016]圖12是顯示根據(jù)第三實施例的手寫文檔處理設(shè)備的處理順序的流程圖；
[0017]圖13是顯示筆劃的結(jié)構(gòu)化的實例的視圖；
[0018]圖14是顯示筆劃的結(jié)構(gòu)化的另一個實例的視圖；
[0019]圖15是顯示語音回放的進度的視圖；
[0020]圖16是顯示提示回放位置的間隔尺寸(granularity)變化的視圖；
[0021]圖17是顯示提示回放位置的層次化(hierarchizat1n)的視圖；
[0022]圖18是說明根據(jù)實施例的手寫文檔處理設(shè)備的硬件布置的實例的框圖；以及
[0023]圖19是顯示使用網(wǎng)絡(luò)實現(xiàn)手寫文檔處理設(shè)備的配置實例的視圖。
【具體實施方式】
[0024]一般而言，根據(jù)一個實施例，手寫文檔處理設(shè)備包含筆劃輸入單元、語音記錄單元、筆劃結(jié)構(gòu)化單元、提示時刻計算單元、和回放控制單元。筆劃輸入單元輸入筆劃信息，筆劃信息指示筆劃和筆劃的時刻。語音記錄單元記錄語音信息，其的回放操作被配置成從指定時刻開始。筆劃結(jié)構(gòu)化單元通過在行方向上組合多個筆劃來將筆劃信息結(jié)構(gòu)化成行結(jié)構(gòu)。回放控制單元根據(jù)對于行結(jié)構(gòu)的指令來控制從提示時刻開始回放語音信息。
[0025]在下文中將參考附圖描述實施例。
[0026]根據(jù)這個實施例的手寫文檔處理設(shè)備例如被應(yīng)用于包含筆輸入界面和語音輸入界面的平板電腦的筆記本應(yīng)用程序。這個應(yīng)用程序允許用戶通過手寫來輸入筆記內(nèi)容，以及經(jīng)由麥克風(fēng)收集和記錄講話者和用戶自身的語音。這個申請通過讀取與手寫輸入筆劃和記錄的語音數(shù)據(jù)關(guān)聯(lián)的筆記數(shù)據(jù)能夠顯示手寫文檔，并且能夠回放記錄的語音。這個實施例針對與手寫文檔關(guān)聯(lián)的語音數(shù)據(jù)的提示回放操作的可操作性的改進。
[0027](第一實施例)
[0028]圖1是顯示根據(jù)第一實施例的手寫文檔處理設(shè)備的框圖。這個設(shè)備包括筆劃輸入單元1、語音記錄單元2、筆劃結(jié)構(gòu)化單元3、提示時刻計算單元4、顯示單元5以及語音回放單元6ο
[0029]筆劃輸入單元I經(jīng)由筆輸入接口輸入筆劃信息?！肮P劃”是手寫輸入的筆劃圖像。更具體地，“筆劃”代表從筆等等開始與輸入表面接觸時到其被釋放的軌跡。例如，筆劃信息與從筆開始與觸摸面板接觸時到其被釋放的每一個筆劃圖像關(guān)聯(lián)。筆劃信息包括識別筆劃所需的識別信息、作為筆與觸摸面板接觸的初始點的時刻的開始時刻Τ、以及限定接觸觸摸面板的筆被移動時形成軌跡的多個點的坐標(biāo)的時序。
[0030]語音記錄單元2經(jīng)由語音輸入界面記錄語音信息。語音信息可以具有任意的格式，例如允許其回放操作的控制，并且需要允許回放操作的至少開始、暫停和結(jié)束以及允許從指定回放開始時刻(以下稱為“提示回放”)開始回放操作的格式。同樣，語音信息可以通過語音間隔檢測、講話者識別以及關(guān)鍵字提取來被結(jié)構(gòu)化。將在第二實施例中說明語音信息的結(jié)構(gòu)化。
[0031]筆劃結(jié)構(gòu)化單元3通過在行方向上組合多個筆劃來使筆劃信息結(jié)構(gòu)化成行結(jié)構(gòu)。為了使這個行結(jié)構(gòu)作為單位，提示回放開始時刻(以下稱為“提示時刻”)與行結(jié)構(gòu)關(guān)聯(lián)。
[0032]提示時刻計算單元4計算要與筆劃信息的行結(jié)構(gòu)關(guān)聯(lián)的語音信息的提示時刻。顯示單元5在觸摸面板上顯示手寫輸入的筆劃。語音回放單元6被控制成響應(yīng)于對于在觸摸面板上顯示的筆劃的行結(jié)構(gòu)的指令操作，從由提示時刻計算單元4計算出的提示時刻回放語音信息。
[0033]圖2是顯示根據(jù)第一實施例的手寫文檔處理設(shè)備的處理順序的流程圖。
[0034](步驟Sl-1 和步驟 S1-2)
[0035]在用戶啟動筆記本應(yīng)用程序之后，他或者她開始創(chuàng)建和記錄具有語音數(shù)據(jù)的新的筆記。因此，用戶能夠通過在觸摸面板上操作筆來進行手寫輸入。當(dāng)用戶啟動記錄按鈕時，語音記錄開始。與記錄并行地，用戶進行手寫輸入到筆記。當(dāng)用戶結(jié)束記錄時，他或者她隨后能夠進行手寫輸入，但是在記錄的結(jié)束之后不能夠?qū)⒄Z音數(shù)據(jù)的提示位置與筆劃數(shù)據(jù)關(guān)聯(lián)。
[0036]筆劃輸入單元I經(jīng)由筆輸入接口將筆劃信息輸入到根據(jù)這個實施例的手寫文檔處理設(shè)備，以及語音記錄單元2獲取經(jīng)由語音輸入界面記錄的語音信息。
[0037](步驟S2)
[0038]筆劃結(jié)構(gòu)化單元3通過在行方向上組合多個已經(jīng)輸入的筆劃，來將筆劃信息結(jié)構(gòu)化成行結(jié)構(gòu)。
[0039]圖3顯示筆劃信息的實例。由用戶輸入的每一個單獨的筆劃手寫具有開始時亥|J。第一筆劃的開始時刻是Tl、下一個筆劃的開始時刻是T2、第三筆劃的開始時刻是
T3，......，第η筆劃的開始時刻是Τη。這些開始時刻中的每一個對應(yīng)于在每一個筆劃中筆與觸摸面板接觸的初始點的時刻。
[0040]如圖4所示，在組10中分別具有開始時刻Tl到Τ7的筆劃在行方向上被組合以獲得行結(jié)構(gòu)1，在組11中分別具有開始時刻Τ8到Τ15的筆劃在行方向上被組合以獲得行結(jié)構(gòu)2，以及在組12中分別具有開始時刻Τ16到Tn的筆劃在行方向上被組合以獲得行結(jié)構(gòu)3。例如，通過組合滿足條件的多個筆劃可以實現(xiàn)結(jié)構(gòu)化，該條件為多個筆劃與就在前面的筆劃的距離落在閾值范圍內(nèi)。并且，如同在這個實例中，在單行上能夠生成多個行結(jié)構(gòu)。
[0041](步驟S3)
[0042]提示時刻計算單元4對于行結(jié)構(gòu)I到3中的每一個計算與筆劃信息同時記錄的語音信息的提示時刻。例如，具有包括在行結(jié)構(gòu)中的多個筆劃的最早的輸入時刻的筆劃，即，第一筆劃的開始時刻被設(shè)置為提示時刻。如圖5所示，第一筆劃的開始時刻Tl被設(shè)置為用于行結(jié)構(gòu)I的語音信息的提示時刻，第一筆劃的開始時刻Τ8被設(shè)置為用于行結(jié)構(gòu)2的語音信息的提示時刻，以及第一筆劃的開始時刻Τ16被設(shè)置為用于行結(jié)構(gòu)3的語音信息的提示時刻。因此，在這個實例中，第一提示時間是Tl、下一個提示時間是Τ8以及隨后的提示時間是 Τ16。
[0043]注意，各個行結(jié)構(gòu)的提示時刻可以被調(diào)整。例如，在基于筆劃信息的提示時刻之前的α?xí)r段的時刻被設(shè)置為提示時刻(Τ1-α、Τ8-α以及Τ16_α被分別設(shè)置)。因此，當(dāng)用戶聽到特定語音并響應(yīng)于該語音開始手寫輸入的延遲可以被吸收。換句話說，從調(diào)整的提示時刻的回放操作可以防止語音內(nèi)容的開首語被部分遺漏。
[0044](步驟S4 到 S6)
[0045]在對于各個行結(jié)構(gòu)計算提示時間之后，如上所述，當(dāng)用戶通過筆點擊期望的行結(jié)構(gòu)來給予指令時，記錄的語音內(nèi)容的回放操作能夠從對應(yīng)的提示位置開始。
[0046]例如，當(dāng)用戶點擊位置PI或者Ρ2時，如圖6所示，相同的行結(jié)構(gòu)的時刻TI被選擇，語音信息的回放操作從時刻Tl開始。當(dāng)用戶點擊位置Ρ3或者Ρ4時，相同的行結(jié)構(gòu)2的時刻Τ8被