電子裝置和在電子裝置中識別弦樂器演奏的方法
【專利摘要】提供一種電子裝置和在電子裝置中識別弦樂器演奏的方法。所述電子裝置包括：圖像傳感器，被配置為感測弓到弦樂器的運(yùn)動；振動傳感器，被配置為感測弦樂器產(chǎn)生的振動；以及控制模塊，被配置為使用弓的運(yùn)動和振動確定相對于弦樂器的用戶的指法位置。
【專利說明】
電子裝置和在電子裝置中識別弦樂器演奏的方法
[00011 本申請要求2015年3月13日向韓國知識產(chǎn)權(quán)局提交的第10-2015-0034929號韓國 專利申請的利益，該韓國專利申請的全部公開通過引用合并于此。
技術(shù)領(lǐng)域
[0002] 本公開涉及一種識別弦樂器演奏并對弦樂器演奏提供反饋的電子裝置。
【背景技術(shù)】
[0003] 隨著電子技術(shù)的發(fā)展，已經(jīng)開發(fā)了各種電子裝置。例如，已經(jīng)開發(fā)了用于識別使用 弓的樂器的演奏操作的裝置。已經(jīng)嘗試使用各種類型的傳感器準(zhǔn)確地識別這種樂器的演奏 操作。
[0004] 識別弦樂器演奏的裝置的一部分以安裝在弓上的形式實(shí)現(xiàn)。因此，由于弓的整個 重量增加且由于弓的重心改變，因此干擾了弦樂器演奏。
[0005] 上述信息僅是作為幫助理解本公開的背景信息而被呈現(xiàn)。關(guān)于上述任何信息是否 可適合作為關(guān)于本公開的現(xiàn)有技術(shù)，不做任何確定，也不做任何斷言。

【發(fā)明內(nèi)容】

[0006] 本公開的各方面在于解決至少上述問題和/或缺陷，并且提供至少下述的優(yōu)點(diǎn)。因 此，本公開的一方面在于提供一種使用安裝在弦樂器上的電子裝置識別弦樂器演奏以及使 用獲得的演奏數(shù)據(jù)向用戶提供各種反饋的方法。
[0007] 根據(jù)本公開的一方面，提供一種電子裝置。所述電子裝置包括：圖像傳感器，被配 置為感測弓到弦樂器的運(yùn)動；振動傳感器，被配置為感測弦樂器產(chǎn)生的振動；以及控制模 塊，被配置為使用弓的運(yùn)動和振動確定相對于弦樂器的用戶的指法位置。
[0008] 根據(jù)本公開的另一方面，提供一種電子裝置。所述電子裝置包括：顯示器;通信模 塊，被配置為從外部電子裝置接收用戶的弦樂器演奏數(shù)據(jù)；以及控制模塊，被配置為使用演 奏數(shù)據(jù)分析用戶的錯誤模式，并且在顯示器上提供關(guān)于錯誤模式的反饋。
[0009] 根據(jù)本公開的另一方面，提供一種在電子裝置中識別弦樂器演奏的方法。所述方 法包括:感測弓到弦樂器的運(yùn)動;感測弦樂器產(chǎn)生的振動；以及使用弓的運(yùn)動和所述振動確 定相對于弦樂器的用戶的指法位置。
[0010] 根據(jù)本公開的另一方面，提供一種在電子裝置中提供關(guān)于弦樂器演奏的反饋的方 法。所述方法包括:從外部電子裝置接收用戶的弦樂器演奏數(shù)據(jù)；以及使用演奏數(shù)據(jù)分析用 戶的錯誤模式，并且提供關(guān)于錯誤模式的反饋。
[0011]從下面結(jié)合附圖披露本公開的各種實(shí)施例的詳細(xì)描述，本公開的其他方面、優(yōu)點(diǎn) 和顯著特點(diǎn)對于本領(lǐng)域的技術(shù)人員來說將變得明顯。
【附圖說明】
[0012]從下面結(jié)合附圖的描述，本公開的特定實(shí)施例的以上和其他方面、特點(diǎn)和優(yōu)點(diǎn)將 更加明顯，在附圖中：
[0013] 圖1是示出根據(jù)本公開的實(shí)施例的弦樂器演奏系統(tǒng)的配置的示圖；
[0014] 圖2A至圖2C是示出根據(jù)本公開的各種實(shí)施例的第一電子裝置的結(jié)構(gòu)的示圖；
[0015] 圖3A至圖3C是示出根據(jù)本公開的各種實(shí)施例的第一電子裝置的結(jié)構(gòu)的示圖；
[0016] 圖4是示出根據(jù)本公開的實(shí)施例的第一電子裝置的配置的框圖；
[0017] 圖5A至圖5C是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器的結(jié)構(gòu)和視角的示圖；
[0018] 圖6A和圖6B是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器的結(jié)構(gòu)和視角的示圖；
[0019] 圖7是示出根據(jù)本公開的實(shí)施例的側(cè)面圖像傳感器的視角的示圖；
[0020] 圖8是示出根據(jù)本公開的實(shí)施例的確定弓的位置和姿態(tài)的元素的示圖；
[0021] 圖9A和圖9B是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像的 示圖；
[0022] 圖10A和圖10B是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像 的示圖；
[0023] 圖11A至圖11D是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像 的示圖；
[0024] 圖12A和圖12B是示出據(jù)本公開的各種實(shí)施例的弓毛的圖案的示圖；
[0025] 圖13A至圖13D是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像 的示圖；
[0026] 圖14A至圖14H是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像 的示圖；
[0027] 圖15是示出根據(jù)本公開的各種實(shí)施例的附接到弓的金屬的附接模式的示圖；
[0028] 圖16是示出根據(jù)本公開的各種實(shí)施例的附接到弓的磁體的附接位置的示圖；
[0029]圖17是示出根據(jù)本公開的實(shí)施例的第二電子裝置的配置的框圖；
[0030]圖18是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖；
[0031]圖19是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖；
[0032]圖20是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖；
[0033]圖21是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖；
[0034]圖22A至圖22D是示出根據(jù)本公開的各種實(shí)施例的用戶界面的示圖；
[0035]圖23是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖；
[0036] 圖24是示出根據(jù)本公開的實(shí)施例的在第一電子裝置中識別弦樂器演奏的方法的 流程圖；以及
[0037] 圖25是示出根據(jù)本公開的實(shí)施例的在第二電子裝置中提供關(guān)于弦樂器演奏的反 饋的方法的流程圖。
[0038] 在所有的附圖中，應(yīng)當(dāng)注意，相同的附圖標(biāo)記用于描述相同或相似的部件、特征和 結(jié)構(gòu)。
【具體實(shí)施方式】
[0039] 提供下面的參照附圖的描述，以幫助全面理解由權(quán)利要求及其等同物限定的本公 開的各種實(shí)施例。該描述包括各種具體細(xì)節(jié)以幫助該理解，但是，這些細(xì)節(jié)僅僅被視為示例 性的。因此，本領(lǐng)域的普通技術(shù)人員將認(rèn)識到，在不脫離本公開的范圍和精神的情況下，可 以對這里描述的各種實(shí)施例進(jìn)行各種改變和修改。另外，為了清楚和簡要，可以省略對公知 的功能和結(jié)構(gòu)的描述。
[0040] 下面描述和權(quán)利要求中使用的術(shù)語和詞語并不局限于書面含義，而僅僅被發(fā)明人 用來使得能夠清楚地和一致地理解本公開。因此，對于本領(lǐng)域的技術(shù)人員來說應(yīng)該顯而易 見的是，僅僅出于說明目的，而不是出于限制由權(quán)利要求及其等同物所限定的本公開的目 的，提供下面對本公開的各種實(shí)施例的描述。
[0041] 應(yīng)當(dāng)理解，除非上下文另有明確說明，否則單數(shù)形式包括復(fù)數(shù)指代。因此，例如，參 考"組件表面"包括參考一個或多個這樣的表面。
[0042] 在下面的公開中，術(shù)語"具有"、"可以具有"、"包括"或"可以包括"表示相應(yīng)特征 (例如，諸如數(shù)字值的元素、功能、操作和組件)的存在，并且不排除附加特征的存在。
[0043] 在下面的公開中，這里使用的表述"A或B"、"A和/或B中的至少一個"或"A和/或B中 的一個或多個"等可以包括一個或多個相關(guān)所列的項(xiàng)目的任意組合和所有組合。例如，術(shù)語 "A或B"，"A和B中的至少一個"或"A或B中的至少一個"可以表示以下所有情況：（1)包括至少 一個A; (2)包括至少一個B;或(3)包括至少一個A和至少一個B兩者。
[0044]在本公開的各種實(shí)施例中使用的諸如"第一"、"第二"等的表述可以表示各種元 件，而不管相應(yīng)元件的順序和/或優(yōu)先級，但是不限制相應(yīng)元件。該表述可以用于將一個元 件與另一個元件區(qū)分開來。例如，"第一用戶裝置"和"第二用戶裝置"兩者指示相互不同的 用戶裝置，而不管相應(yīng)元件的順序或優(yōu)先級。例如，在不脫離本公開的范圍的情況下，第一 組件可以被稱為第二組件，反之亦然。
[0045] 應(yīng)當(dāng)理解，當(dāng)元件（例如，第一元件)被稱為（可操作或可通信地）與另一元件（例 如，第二元件)結(jié)合/結(jié)合到另一元件(例如，第二元件)"或"連接到另一元件(例如，第二元 件)"時(shí)，它可以與另一元件直接結(jié)合/直接結(jié)合到另一元件或直接連接到另一元件，或者可 以存在中間元件（例如，第三元件）。與此相對，應(yīng)當(dāng)理解，當(dāng)元件（例如，第一元件)被稱為 "與另一元件(例如，第二元件)直接結(jié)合/直接結(jié)合到另一元件(例如，第二元件)"或"直接 連接到另一元件(例如，第二元件)"時(shí)，不存在中間元件(例如，第三元件）。
[0046] 根據(jù)情況，這里使用的表述"被配置為"可以用作例如表述"適合于"、"具有…的能 力"、"被設(shè)計(jì)為"、"適于"、"被制造成"或"能夠"。術(shù)語"被配置為"不必僅表示"被專門設(shè)計(jì) 為"。相反，表述"裝置被配置為"可以表示裝置"能夠"與另一裝置或其他組件一起操作。例 如，"處理器被配置為執(zhí)行A、B和C"可以表示通用處理器(例如，中央處理單元(CPU)或應(yīng)用 處理器(AP))，所述通用處理器可以通過執(zhí)行存儲用于執(zhí)行相應(yīng)操作的專用處理器(例如， 嵌入式處理器)的一個或多個軟件程序而執(zhí)行相應(yīng)操作。
[0047] 除非這里另外定義，否則這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語)可以具 有與本領(lǐng)域技術(shù)人員通常理解的含義相同的含義。還應(yīng)當(dāng)理解，除非在本公開的各種實(shí)施 例中明確定義，否則在詞典中定義和通常使用的術(shù)語也應(yīng)按照相關(guān)的現(xiàn)有技術(shù)中的習(xí)慣解 釋，并且不應(yīng)被解釋為理想的或過于正式的含義。在一些情況下，即使在本公開中定義了術(shù) 語，該術(shù)語也不能被解釋為排除本公開的各種實(shí)施例。
[0048] 根據(jù)本公開的各種實(shí)施例的電子裝置(例如，第一電子裝置100和第二電子裝置 200)的示例可以包括例如智能電話、平板個人計(jì)算機(jī)(PC)、移動電話、視頻電話、電子書閱 讀器、臺式PC、膝上型PC、筆記本計(jì)算機(jī)、工作站、服務(wù)器、個人數(shù)字助理(PDA)、便攜式多媒 體播放器(PMP)、運(yùn)動圖像專家組(MPEG-1或MPEG-2)音頻層3(MP3)播放器、移動醫(yī)療裝置、 相機(jī)或可穿戴裝置中的至少一個。根據(jù)本公開的各種實(shí)施例，可穿戴裝置可以包括附件式 可穿戴裝置(例如，手表、戒指、手鐲、腳鐲、項(xiàng)鏈、眼鏡、隱形眼鏡或頭戴式裝置(HMD))、織物 或服裝整體的可穿戴裝置(例如，電子服裝）、一體安裝可穿戴裝置(例如，護(hù)膚墊或紋身)或 可植入可穿戴裝置(例如，可植入電路）。
[0049] 根據(jù)本公開的各種實(shí)施例，電子裝置可以是智能家電。例如，智能家電可以包括電 視(TV)、數(shù)字通用盤(DVD)播放器、音頻、冰箱、空調(diào)、吸塵器、烤箱、微波爐、洗衣機(jī)、空氣凈 化器、機(jī)頂盒、家庭自動化控制面板、安全控制面板、電視盒(例如，三星HomeSync?、蘋果電 視?或谷歌電視?)、游戲控制臺(Xbox?和PlayStation?)、電子辭典、電子鑰匙、攝像機(jī)或電 子相框中的至少一個。
[0050] 根據(jù)本公開的各種實(shí)施例，電子裝置可以包括各種醫(yī)療裝置(例如，各種便攜式醫(yī) 療測量裝置(例如，血糖儀、心率計(jì)、血壓計(jì)或溫度計(jì)等）、磁共振血管造影(MRA)、磁共振成 像(MRI)、計(jì)算機(jī)斷層掃描（CT)、掃描儀或超聲裝置等）、導(dǎo)航裝置、全球?qū)Ш叫l(wèi)星系統(tǒng) (GNSS)、事件數(shù)據(jù)記錄器(EDR)、飛行數(shù)據(jù)記錄器(FDR)、汽車信息娛樂裝置、航海電子裝置 (例如，導(dǎo)航系統(tǒng)、陀螺羅盤等）、航空電子裝置、安全裝置、車輛頭部單元、工業(yè)或家用機(jī)器 人、自動柜員機(jī)(ATM)、銷售點(diǎn)(P0S)或物聯(lián)網(wǎng)（例如，燈泡、各種傳感器、電表或燃?xì)獗?、噴?器、火災(zāi)報(bào)警器、恒溫箱、路燈、烤面包機(jī)、健身器材、熱水箱、加熱器，鍋爐等）中的至少一 個。
[0051] 根據(jù)本公開的各種實(shí)施例，電子裝置可以包括家具或建筑物/結(jié)構(gòu)的一部分、電子 板、電子簽名接收裝置、投影儀或各種測量設(shè)備(例如，水表、電表、煤氣表、波長計(jì)等）中的 至少一個。根據(jù)本公開的各種實(shí)施例的電子裝置可以是以上提及裝置的一個或多個組合。 根據(jù)本公開的各種實(shí)施例的電子裝置可以是靈活的電子裝置。此外，根據(jù)本公開的各種實(shí) 施例的電子裝置不限于以上提及的裝置，并且根據(jù)技術(shù)的發(fā)展可以包括新的電子裝置。
[0052] 在下文中，將參照附圖描述根據(jù)本公開的各種實(shí)施例的電子裝置。如這里所使用 的，術(shù)語"用戶"可以是指使用電子裝置的人或可以是指使用電子裝置的裝置(例如，人工智 能電子裝置）。
[0053] 圖1是示出根據(jù)本公開的實(shí)施例的弦樂器演奏系統(tǒng)的配置的示圖。
[0054] 參照圖1，弦樂器演奏系統(tǒng)可以包括第一電子裝置100、第二電子裝置200、第三電 子裝置300以及服務(wù)器400。第一電子裝置100、第二電子裝置200、第三電子裝置300和服務(wù) 器400可以通過網(wǎng)絡(luò)彼此連接，以彼此通信。對于一個示例，第一電子裝置100、第二電子裝 置200和第三電子裝置300可以使用局域無線通信技術(shù)（諸如藍(lán)牙、近場通信（NFC)以及 Zigbee)相互連接。對于另一示例，服務(wù)器400可以通過互聯(lián)網(wǎng)或移動通信網(wǎng)絡(luò)與第二電子 裝置200或第三電子裝置300連接。
[0055]根據(jù)本公開的各種實(shí)施例，電子裝置100可以檢測隨著用戶演奏弦樂器10產(chǎn)生的 演奏數(shù)據(jù)。例如，弦樂器10可以是用戶使用弓20演奏的弦樂器。根據(jù)本公開的各種實(shí)施例， 弦樂器10可以包括用戶使用弓演奏的任何弦樂器。然而，為了方便描述，本公開的實(shí)施例以 弦樂器10是小提琴舉例說明。例如，演奏數(shù)據(jù)可以包括音高、聲音強(qiáng)度、節(jié)奏、弓20的縱向位 置、弓20的橫向位置、弓20和弦之間的相對傾角、弓20在指板方向上的偏斜度、弓20在弦樂 器10主體方向上的傾斜度、與弓20接觸的弦的類型、用戶的指法位置或弓20的速度向量中 的至少一個。根據(jù)本公開的實(shí)施例，第一電子裝置100可以使用附接(或結(jié)合)到弦樂器10的 結(jié)構(gòu)來實(shí)現(xiàn)。根據(jù)本公開的實(shí)施例，第一電子裝置100可以向第二電子裝置200發(fā)送演奏數(shù) 據(jù)。例如，第一電子裝置100可以以樂器數(shù)字接口（MIDI)或音樂可擴(kuò)展標(biāo)記語言(XML)的形 式發(fā)送演奏數(shù)據(jù)。
[0056]根據(jù)本公開的實(shí)施例，第二電子裝置200可以是便攜式電子裝置(諸如智能電話或 平板PC)或者可穿戴電子裝置(諸如智能手表或智能眼鏡）。根據(jù)本公開的實(shí)施例，第二電子 裝置200可以從第一電子裝置100接收用戶的演奏數(shù)據(jù)。根據(jù)本公開的實(shí)施例，第二電子裝 置200可以將演奏數(shù)據(jù)與樂譜數(shù)據(jù)進(jìn)行比較，并且可以確定用戶的演奏結(jié)果(例如，用戶的 演奏是否是正常演奏或在用戶的演奏中是否發(fā)生錯誤）。根據(jù)本公開的實(shí)施例，第二電子裝 置200可以實(shí)時(shí)確定用戶的演奏結(jié)果，并且可以提供與演奏結(jié)果相應(yīng)的反饋。根據(jù)本公開的 實(shí)施例，第二電子裝置200可以根據(jù)演奏結(jié)果確定用戶的演奏模式(例如，正常演奏模式和 錯誤模式）。例如，第二電子裝置200可以使用模式分析算法分析用戶的演奏模式。根據(jù)本公 開的實(shí)施例，第二電子裝置200可以實(shí)時(shí)確定用戶的演奏模式，并且可以提供與錯誤模式相 關(guān)聯(lián)的實(shí)時(shí)反饋。
[0057]根據(jù)本公開的實(shí)施例，第二電子裝置200可以向服務(wù)器400發(fā)送用戶的演奏數(shù)據(jù)、 演奏結(jié)果和演奏模式。根據(jù)本公開的實(shí)施例，第二電子裝置200可以提供與用戶的正常演奏 模式和錯誤模式相應(yīng)的反饋。
[0058]根據(jù)本公開的實(shí)施例，第三電子裝置300可以是可穿戴電子裝置，諸如智能手表和 智能眼鏡。根據(jù)本公開的實(shí)施例，第三電子裝置300可以從第二電子裝置200接收用戶的演 奏結(jié)果、演奏模式和反饋，并且可以向用戶提供用戶的演奏結(jié)果、演奏模式和反饋。
[0059]根據(jù)本公開的實(shí)施例，服務(wù)器400可以以數(shù)據(jù)庫的形式存儲樂譜數(shù)據(jù)、正常演奏模 式和錯誤模式。例如，服務(wù)器400可以從樂譜數(shù)據(jù)按特定單元(例如，按測量基礎(chǔ)或多個測量 單元)分析演奏每個音高的手指數(shù)量、手指位置、弦數(shù)、節(jié)奏、使用每個手指的次數(shù)、演奏每 根弦的次數(shù)、弓演奏方向、弓演奏速度向量、指法順序、弦演奏順序、弓演奏順序、手指演奏 風(fēng)格(或左手演奏風(fēng)格）、弓演奏風(fēng)格(或右手演奏風(fēng)格)等，可以針對每個類似的演奏模式 分類樂譜數(shù)據(jù)，并且可以在正常演奏模式數(shù)據(jù)庫中存儲分類的正常演奏模式。根據(jù)本公開 的實(shí)施例，如果分析新的演奏模式，則服務(wù)器400可以更新存儲在其中的正常演奏模式數(shù)據(jù) 庫。例如，服務(wù)器400可以將多個用戶的演奏數(shù)據(jù)與樂譜數(shù)據(jù)進(jìn)行比較，以確定在演奏中發(fā) 生錯誤的部分，可以按特定單元(例如，測量單元)分析發(fā)生錯誤的部分，可以針對每個類似 的錯誤模式分類發(fā)生錯誤的部分，并且可以在錯誤模式數(shù)據(jù)庫中存儲分類的錯誤模式。根 據(jù)本公開的實(shí)施例，如果分析新的錯誤模式，則服務(wù)器400可以更新存儲在其中的錯誤模式 數(shù)據(jù)庫。
[0060] 根據(jù)本公開的實(shí)施例，服務(wù)器400可以從第二電子裝置200接收用戶的演奏數(shù)據(jù)、 演奏結(jié)果、正常演奏模式或錯誤模式中的至少一個并進(jìn)行存儲。服務(wù)器400可以針對每個用 戶存儲演奏數(shù)據(jù)、演奏結(jié)果、正常演奏模式、錯誤模式和錯誤模式的產(chǎn)生頻率。根據(jù)本公開 的實(shí)施例，服務(wù)器400可以根據(jù)第二電子裝置200的請求向第二電子裝置200發(fā)送根據(jù)用戶 的舊演奏數(shù)據(jù)的演奏結(jié)果、正常演奏模式或錯誤模式。
[0061] 圖2A至圖2C是示出根據(jù)本公開的各種實(shí)施例的第一電子裝置的結(jié)構(gòu)的示圖。
[0062]圖2A示出第一電子裝置100的頂視圖。參照圖2A，第一電子裝置100可以包括主體 部分101和結(jié)合部分103。根據(jù)本公開的實(shí)施例，結(jié)合部分103可以從主體部分101的兩個方 向上延伸。根據(jù)本公開的實(shí)施例，主體部分101可以在其上表面包括圖像傳感器。
[0063]圖2B示出第一電子裝置100的正視圖。參照圖2B，結(jié)合部分103可以從主體部分101 的兩個方向延伸，并且結(jié)合部分103的兩端的每一端可以沿著主體部分101的方向具有彎曲 形狀。根據(jù)本公開的實(shí)施例，主體部分101可以在其下表面包括振動傳感器113。第一電子裝 置100可以以本體部分101的下表面面對弦樂器10的形式附接到弦樂器10。因此，振動傳感 器113可以與弦樂器10直接接觸。
[0064]圖2C是第一電子裝置100附接到弦樂器10的狀態(tài)的立體圖。參照圖2C，主體部分 101可以附接在指板11和琴橋13之間。根據(jù)本公開的實(shí)施例，第一電子裝置100的主體部分 101的一部分可以附接在弦樂器10的指板11和弦樂器10的頂部15之間。根據(jù)本公開的實(shí)施 例，結(jié)合部分103結(jié)合到弦樂器10的C側(cè)板17,并且可以將第一電子裝置100固定到弦樂器 10。
[0065]圖3A至圖3C是示出根據(jù)本公開的各種實(shí)施例的第一電子裝置的結(jié)構(gòu)的示圖。
[0066]圖3A不出第一電子裝置100的頂視圖。參照圖3A，第一電子裝置100可以在其一側(cè) 包括直線狀狹縫105。根據(jù)本公開的實(shí)施例，狹縫105可以從一側(cè)朝向相對側(cè)而形成。根據(jù)本 公開的實(shí)施例，圖2A的主體部分101可以在其上表面包括圖像傳感器111。
[0067]圖3B示出電子裝置100的側(cè)視圖。參照圖3B，根據(jù)本公開的實(shí)施例，第一電子裝置 100可以在其下表面包括振動傳感器113。第一電子裝置100可以以第一電子裝置100的下表 面面對弦樂器10的形式附接到弦樂器10。因此，振動傳感器113可以與弦樂器10直接接觸。
[0068] 圖3C示出第一電子裝置100附接到弦樂器的狀態(tài)的立體圖。參照圖3C，第一電子裝 置100可以以弦樂器10的琴橋13插入到第一電子裝置100的狹縫105的形式附接到弦樂器 10。
[0069] 圖4是示出根據(jù)本公開的實(shí)施例的第一電子裝置的配置的框圖。
[0070] 參照圖4，第一電子裝置100可以包括傳感器模塊110、通信模塊120、音頻模塊130、 電源管理模塊140、電池150和控制模塊160。
[0071] 根據(jù)本公開的實(shí)施例，傳感器模塊110可以感測弓到弦樂器(例如，圖1的弓20到圖 1的弦樂器101)的運(yùn)動，并且可以感測弦樂器10產(chǎn)生的振動。根據(jù)本公開的各種實(shí)施例，傳 感器模塊110可以包括圖像傳感器111、振動傳感器113、金屬傳感器115、磁場傳感器117、慣 性測量單元118和接近傳感器119。
[0072] 根據(jù)本公開的實(shí)施例，圖像傳感器111可以感測弓20到弦樂器10的運(yùn)動。根據(jù)本公 開的實(shí)施例，圖像傳感器111可以位于第一電子裝置100的上表面，并且可以感測位于弦樂 器10的指板11和琴橋13之間的弓20的紅外線圖像。根據(jù)本公開的實(shí)施例，圖像傳感器111可 以發(fā)送紅外線信號，可以接收從弓20(或弓毛）反射的紅外線信號，并且可以產(chǎn)生紅外線圖 像。
[0073] 根據(jù)本公開的實(shí)施例，圖像傳感器可以使用陣列圖像傳感器(或二維(2D)圖像傳 感器)來實(shí)現(xiàn)。例如，圖像傳感器111可以感測弦樂器10的指板11和琴橋13之間的2D區(qū)域。
[0074] 圖5A至圖5C是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器的結(jié)構(gòu)和視角的示圖。
[0075] 圖5A示出第一電子裝置100附接到弦樂器的狀態(tài)下第一電子裝置100的橫向切割 面。參照圖5A，圖像傳感器111可以位于弦樂器的指板11和琴橋13之間，并且可以在圖像傳 感器111的向上方向上產(chǎn)生2D紅外線圖像。根據(jù)本公開的實(shí)施例，圖像傳感器111可以包括 發(fā)送模塊31、接收模塊32和紅外線濾光片33。每個發(fā)送模塊31可以紅外線信號。例如，每個 發(fā)送模塊31可以包括產(chǎn)生紅外線信號的發(fā)光二極管(LED)模塊。根據(jù)本公開的實(shí)施例，發(fā)送 模塊31可以位于圖像傳感器111的兩個外側(cè)。接收模塊32可以接收發(fā)送模塊31發(fā)送的紅外 線信號之中從弓（例如，圖1的弓20)(或弓毛)反射的紅外線信號。根據(jù)本公開的實(shí)施例，接 收模塊32可以位于圖像傳感器111的中心。根據(jù)本公開的實(shí)施例，接收模塊32可以包括可以 檢測紅外線信號的光電二極管。光電二極管可以二維布置在接收模塊32中。根據(jù)本公開的 實(shí)施例，紅外線濾光片33可以位于接收模塊32的上側(cè)，并且可以僅使輸入到圖像傳感器111 的信號之中的紅外線信號通過，并且可以濾除其他信號（例如，可見光線）。因此，接收模塊 32可以僅接收紅外線信號。
[0076] 圖5B和圖5C示出圖像傳感器111從第一電子裝置100的側(cè)表面和上表面的視角。參 照圖5B和圖5C，圖像傳感器111可以具有沿向上方向擴(kuò)展的形式的視角。因此，圖像傳感器 111可以感測包括指板11和琴橋13之間的弦19的區(qū)域，以感測與指板11和琴橋13之間的弦 19接觸的弓20的運(yùn)動。
[0077] 根據(jù)本公開的實(shí)施例，圖像傳感器111可以使用線成像傳感器來實(shí)現(xiàn)。例如，線成 像傳感器可以沿感測弦樂器的弦19的方向的線。根據(jù)本公開的實(shí)施例，線成像傳感器可以 感測沿弦樂器10的弦19的方向的多條線(例如，兩條線）。
[0078]圖6A和圖6B是不出根據(jù)本公開的各種實(shí)施例的圖像傳感器的結(jié)構(gòu)和視角的不圖。
[0079] 圖6A示出第一電子裝置100附接到弦樂器的狀態(tài)下第一電子裝置100的頂視圖。參 照圖6A，圖4的圖像傳感器111可以位于弦樂器的指板11和琴橋13之間，并且可以在圖像傳 感器111的向上方向上產(chǎn)生一維（1D)紅外線圖像。根據(jù)本公開的實(shí)施例，圖像傳感器111可 以包括發(fā)送模塊34和接收模塊35。發(fā)送模塊34可以發(fā)送紅外線信號。例如，發(fā)送模塊34可以 包括產(chǎn)生紅外信號的LED模塊。根據(jù)本公開的實(shí)施例，發(fā)送模塊34可以以沿弦19的方向的線 的形式位于圖像傳感器111的中心。每個接收模塊35可以接收從發(fā)送模塊34發(fā)送的紅外線 信號之中從弓反射的紅外線信號。根據(jù)本公開的實(shí)施例，接收模塊35可以位于發(fā)送模塊34 的左側(cè)和右側(cè)。根據(jù)本公開的實(shí)施例，每個接收模塊35可以包括可以檢測紅外線信號的光 電二極管。在每個接收模塊35中，光電二極管可以沿弦19的方向一維布置。根據(jù)本公開的實(shí) 施例，每個接收模塊35可以包括低通濾波器。每個接收模塊35可以使用低通濾波器從光電 二極管檢測的模擬信號濾除除了紅外線信號之外的其他信號(例如，可見光線）。
[0080] 圖6B示出圖像傳感器111從電子裝置100的前表面的視角。參照圖6B，圖像傳感器 111可以具有沿向上方向擴(kuò)展的形式的視角。因此，圖像傳感器111可以感測沿弦的方向的 兩條線，以感測與指板11和琴橋13之間的弦接觸的弓20的弓毛21的運(yùn)動模式。
[0081] 根據(jù)本公開的實(shí)施例，圖4的傳感器模塊110可以包括在第一電子裝置100的側(cè)向 上感測紅外線圖像的圖像傳感器111。
[0082] 圖7是示出根據(jù)本公開的實(shí)施例的側(cè)面圖像傳感器的視角的示圖。
[0083]參照圖7,圖4的側(cè)面圖像傳感器111可以包括接收模塊36。接收模塊36可以接收從 弓20的弓根23發(fā)送的紅外線信號。根據(jù)本公開的實(shí)施例，弓20可以包括發(fā)送紅外線信號的 發(fā)送模塊41。根據(jù)本公開的實(shí)施例，發(fā)送模塊41可以位于弓根23。根據(jù)本公開的實(shí)施例，發(fā) 送模塊41可以包括產(chǎn)生紅外線信號的至少一個LED。例如，發(fā)送模塊41可以包括布置在弓根 23的縱向方向上的兩個LED 43。根據(jù)本公開的實(shí)施例，接收模塊36可包括可以檢測紅外線 信號的光電二極管。光電二極管可以二維布置在接收模塊36中。雖然圖7未示出，但是側(cè)面 圖像傳感器111可以包括紅外線濾色鏡。紅外線濾色鏡可以僅使輸入到側(cè)面圖像傳感器111 的信號之中的紅外線信號通過，并且可以濾除其他信號（例如，可見光線）。因此，接收模塊 可以僅接收紅外線信號。
[0084] 根據(jù)本公開的實(shí)施例，側(cè)面圖像傳感器111可以包括發(fā)送紅外線信號的發(fā)送模塊。 如果側(cè)面圖像傳感器111包括發(fā)送模塊，則位于弓根23的LED 43可以使用反射紅外線信號 的反射器來實(shí)現(xiàn)。因此，接收模塊36可以接收從發(fā)送模塊發(fā)送的紅外線信號之中從位于弓 根23的反射器反射的紅外線信號。如果反射器附接在弓根23,則弓20的重量分散，并且弓20 的整個重量的變化是無關(guān)緊要的。然而，與LED 43附接到弓根23相比，由于從第一電子裝置 100發(fā)送的信號的量增加，因此第一電子裝置100的功耗會增加。
[0085] 圖4的振動傳感器113可以感測圖1的弦樂器10產(chǎn)生的振動（或聲音）。振動傳感器 113可以包括壓電傳感器。振動傳感器113可以感測弦樂器10產(chǎn)生的振動，并且將感測的振 動轉(zhuǎn)換成電信號。
[0086] 金屬傳感器(例如，圖4的115)可以感測位于圖4的第一電子裝置100周圍的金屬。 根據(jù)本公開的實(shí)施例，金屬傳感器115可以感測附接到弓桿的金屬(例如，鋁）的運(yùn)動。例如， 包括在金屬傳感器115中的線圈可以由于附接到弓桿的金屬的運(yùn)動而產(chǎn)生阻抗變化。金屬 傳感器115可以感測線圈的阻抗變化。根據(jù)本公開的實(shí)施例，金屬傳感器115可以感測彼此 以預(yù)定間隔隔開的多個區(qū)域(例如，兩個區(qū)域）。根據(jù)本公開的實(shí)施例，傳感器模塊110可以 包括多個金屬傳感器115。多個金屬傳感器115可以彼此以預(yù)定間隔隔開，并且可以感測不 同區(qū)域。根據(jù)本公開的實(shí)施例，金屬傳感器115可以包括可以彼此以預(yù)定間隔隔開的多個線 圈，并且可以感測不同區(qū)域。
[0087] 根據(jù)本公開的實(shí)施例，圖4的磁場傳感器117可以感測第一個電子裝置100周圍的 磁場變化。根據(jù)本公開的實(shí)施例，磁場傳感器117可以感測由于附接到弓桿的磁體的運(yùn)動導(dǎo) 致的磁場的變化。
[0088] 慣性測量單元(例如，圖4的118)可以感測弦樂器10的運(yùn)動。根據(jù)本公開的實(shí)施例， 慣性測量單元118可以包括加速度傳感器和陀螺儀傳感器。加速度傳感器可以感測弦樂器 10的加速度。例如，加速度傳感器可以感測弦樂器10的加速度，并且可以輸出弦樂器10在三 個軸(例如，X軸，y軸和z軸）的方向上的加速度值。陀螺儀傳感器可以感測弦樂器10的旋轉(zhuǎn) 角速度。例如，陀螺儀傳感器可以感測弦樂器1 〇的角速度，并且可以輸出弦樂器1 〇在三個軸 (例如，X軸，y軸和z軸)的方向上的角速度。
[0089]接近傳感器(例如，圖4的119)可以確定對象是否接近特定距離之內(nèi)。例如，接近傳 感器119可以感測弦樂器10的指板11和琴橋13之間的區(qū)域，并且可以確定弓20是否與弦接 觸。
[0090]通信模塊(例如，圖4的120)可以與圖1的第二通信裝置200進(jìn)行通信。例如，通信模 塊120可以使用局域無線通信技術(shù)(諸如藍(lán)牙、NFC和Zigbee)與第二電子裝置200進(jìn)行通信。 根據(jù)本公開的實(shí)施例，通信模塊120可以向第二電子裝置200發(fā)送演奏數(shù)據(jù)。如果慣性測量 單元118附接到弓20,則通信模塊120可以從附接到弓20的電子裝置接收關(guān)于弓20的運(yùn)動的 信息。
[0091]音頻模塊(例如，圖4的130)可以產(chǎn)生例如音頻信號。根據(jù)本公開的實(shí)施例，音頻模 塊130可以使用振動傳感器113感測的弦樂器10的振動產(chǎn)生音頻信號。音頻模塊130可以通 過可與揚(yáng)聲器或耳機(jī)(或頭戴式耳機(jī))連接的音頻接口輸出音頻信號。根據(jù)本公開的實(shí)施 例，音頻模塊130可以通過混響計(jì)算、延遲計(jì)算和均衡器計(jì)算向音頻信號提供聲音效果(例 如，聲場的感覺、失真等）。
[0092]電源管理模塊(例如，圖4的140)可以管理電子裝置100的電力。例如，電源管理模 塊140可以使用圖4的電池150向電子裝置100的組件供電，或者可以阻斷向第一電子裝置 100的組件供應(yīng)的電力。根據(jù)本公開的實(shí)施例，電源管理模塊140可以包括電源管理集成電 路(PMIC)。根據(jù)本公開的實(shí)施例，在電池150被充電的同時(shí)，電源管理模塊140可以測量電池 150的剩余容量以及電池150的電壓、電流或溫度。根據(jù)本公開的實(shí)施例，例如，電池150可以 包括可再充電電池和/或太陽能電池。根據(jù)本公開的實(shí)施例，如果圖像傳感器111測量的光 的量小于預(yù)定參考值，則電源管理模塊140可以阻斷向傳感器模塊110供應(yīng)的電力。
[0093] 根據(jù)本公開的實(shí)施例，控制模塊(例如，圖4的160)可以分析傳感器模塊110感測的 弓20的運(yùn)動和弦樂器10的振動，并且可以產(chǎn)生演奏數(shù)據(jù)。例如，演奏數(shù)據(jù)可以包括音高、聲 音強(qiáng)度、節(jié)奏、弓20的縱向位置、弓20的橫向位置、弓20和弦之間的相對傾角、弓20在指板方 向上的偏斜度、弓20在弦樂器10主體方向上的傾斜度、與弓20接觸的弦的類型、用戶的指法 位置或弓20的速度向量中的至少一個。
[0094] 圖8是示出根據(jù)本公開的實(shí)施例的確定弓的位置和姿態(tài)的元素的示圖。
[0095] 參照圖8,當(dāng)用戶演奏弦樂器時(shí)，可以通過弓相對于弦的縱向位置、弓的橫向位置、 弓和弦之間的相對傾斜度、弓在指板方向上的偏斜度、弓在弦樂器主體方向上的傾斜度確 定弓的位置和姿態(tài)。
[0096] 根據(jù)本公開的實(shí)施例，控制模塊(例如，圖4的160)可以使用圖4的圖像傳感器111 的感測值確定弓的縱向位置、弓在指板方向上的偏斜度、弓在弦樂器主體方向上的傾斜度 和弓的速度向量。根據(jù)本公開的實(shí)施例，控制模塊160可以將圖像傳感器111的紅外線圖像 二值化，并且可以使用二值化的圖像確定上述元素，即，弓的縱向位置、弓在指板方向上的 偏斜度，弓在弦樂器主體方向上的傾斜度和弓的速度向量。
[0097]圖9A和圖9B是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像的 示圖。
[0098] 根據(jù)本公開的實(shí)施例，控制模塊(例如，圖4的160)可以使用陣列圖像傳感器的紅 外線圖像確定縱向位置。參照圖9A和9B，可以在紅外線圖像上使用亮色指示從弓反射的區(qū) 域，并且可以在紅外線圖像上使用暗色指示沒有從弓反射的區(qū)域。如果在水平方向（或弦的 垂直方向）上投影紅外線圖像，則如紅外線圖像的右側(cè)所示，可以獲得指示亮像素的分布的 曲線圖51和52。在曲線圖51和52中，X軸表示縱向位置，y軸表示在特定位置的亮像素的累積 值。根據(jù)本公開的實(shí)施例，控制模塊160可以將亮像素的累積值是最大值的點(diǎn)確定弓的縱向 位置。對于另一示例，控制模塊160可以將與亮像素的平均值相應(yīng)的點(diǎn)確定為弓的縱向位 置。
[0099] 根據(jù)本公開的實(shí)施例，控制模塊160可以指示弓相對于指板和琴橋之間的中間點(diǎn) 的縱向位置。根據(jù)本公開的實(shí)施例，如果弓靠近指板，則弓的縱向位置可具有正值。如果弓 靠近琴橋，則弓的縱向位置可具有負(fù)值。如圖9A所示，如果弓向指板的方向傾斜，則控制模 塊160可以將弓的縱向方向確定為正10mm。如圖9B所示，如果弓位于指板和琴橋的中間，則 控制模塊160可以將弓的縱向位置確定為"0"。
[0100] 圖10A和圖10B是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像 的示圖。
[0101] 根據(jù)本公開的實(shí)施例，控制模塊(例如，圖4的160)可以使用陣列圖像傳感器的紅 外線圖像確定弓在指板方向上的偏斜度。參照圖10A和10B，控制模塊160可以將由弦的垂直 方向和弓限定的角度確定為弓在指板方向上的偏斜度。根據(jù)本公開的實(shí)施例，控制模塊160 可以在弦的垂直方向（例如，X軸)上確定弓的中心位置55和57。根據(jù)本公開的實(shí)施例，控制 模塊160可以將在弓的每個中心位置55和57的斜面的角度確定為弓在指板方向上的偏斜 度。如圖10A所示，如果弓在弦的垂直方向上的中心位置55從第一弦到第四弦是相同的，則 控制模塊160可以將弓在指板方向上的偏斜確定為0度。如圖10B所示，如果弓的中心位置57 從第四弦到第一弦越來越高，則控制模塊160可以將弓在指板方向上的偏斜度確定為正10 度。
[0102] 圖11A至圖11D是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像 的示圖。
[0103] 根據(jù)本公開的實(shí)施例，控制模塊(例如，圖4的160)可以使用陣列圖像傳感器的紅 外線圖像確定弓在弦樂器主體方向上的傾斜度。參照圖11A至圖11D，可以在紅外線圖像上 使用亮色指示從弓反射的區(qū)域，并且在紅外線圖像上使用暗色指示沒有從弓反射的區(qū)域。 根據(jù)本公開的實(shí)施例，在紅外線圖像上沿弦的垂直方向指示的弓的粗細(xì)可以變化。例如，雖 然弓具有相同粗細(xì)，但是根據(jù)立體圖，當(dāng)弓更接近圖像傳感器(例如，圖4的111)時(shí)，弓可以 更粗。根據(jù)立體圖，當(dāng)弓距離圖像傳感器111更遠(yuǎn)時(shí)，弓可以更細(xì)。如果在垂直方向（或弦的 水平方向）上投影紅外線圖像，則如紅外線圖像的下側(cè)所示，可以獲得指示亮像素的分布的 曲線圖61至67。曲線圖61、63、65和67中的每一個的x軸表不弦的垂直方向的位置，曲線圖61 至67中的每一個的y軸表示在特定位置的亮像素的累積值。根據(jù)本公開的實(shí)施例，控制模塊 160可以使用曲線圖61至67確定亮像素的累積值的斜率?？刂颇K160可以根據(jù)確定的斜率 值確定弓在弦樂器主體方向上的傾斜度。
[0104] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用陣列圖像傳感器的紅外線圖像確定 弓的橫向位置。例如，控制模塊160可以使用包括在紅外線圖像中的弓毛的圖案確定弓的橫 向位置和速度向量(例如，方向和速度）。
[0105] 圖12A和圖12B是示出據(jù)本公開的各種實(shí)施例的弓毛的圖案的示圖。
[0106] 可以通過將弓毛21的一部分染成與弓毛21的基本顏色(例如，白色)相對比的顏色 (例如，黑色）形成弓毛21的模式。參照圖12A，可以沿弓的方向?qū)ㄔ诠械墓?1分成 兩行71和72。兩行71和72可以具有不同圖案。例如，第一行71可以被分成兩個相等部分，并 且第一行71的一部分可以染成黑色。第二行72可以被分成四個相等部分，并且可以形成重 復(fù)黑色和白色的圖案。參照圖12B，可以沿弓的方向?qū)ㄔ诠械墓?1分成三行73、74 和75。三行73至75可以具有不同圖案。例如，第一行73可以被分成兩個相等部分，并且第一 行73的一部分可以染成黑色。第二行74可以被分成四個相等部分，并且可以形成重復(fù)黑色 和白色的圖案。第三行75可以被劃分成八個相等部分，并且可以形成重復(fù)黑色和白色的圖 案。
[0107] 根據(jù)本公開的實(shí)施例，控制模塊(例如，圖4的160)可以分析包括在弓毛21中的多 行的圖案，并且可以識別弓的橫向位置。根據(jù)本公開的實(shí)施例，當(dāng)包括在弓毛21中的行數(shù)增 加時(shí)，弓的橫向位置的準(zhǔn)確性可以得到改善。根據(jù)本公開的實(shí)施例，控制模塊160可以分析 包括在弓毛21中的多個行的圖案的變化，并且可以確定弓在其弓頭方向上移動還是在其弓 根方向上移動。根據(jù)本公開的實(shí)施例，控制模塊160可以使用包括在弓毛21中的多個行的圖 案的速度向量的變化確定弓移動的速度。
[0108] 圖13A至圖13D是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像 的示圖。
[0109] 根據(jù)本公開的實(shí)施例，控制模塊(例如，圖4的160)可以使用線成像傳感器的紅外 線圖像確定弓在指板方向上的偏斜度以及弓在弦樂器主體方向上的傾斜度。例如，如圖13A 至圖13D所示，從線成像傳感器產(chǎn)生的紅外線圖像可以包括弦的水平方向上的兩行。
[0110] 參照圖13A和圖13B，可以在紅外線圖像上使用亮色表示從弓反射的區(qū)域，并且可 以在紅外線圖像上使用暗色表示沒有從弓反射的區(qū)域。控制模塊160可以針對兩行中每一 行確定明亮像素的中心位置。控制模塊160可以使用兩行之間的距離和兩個中心位置之間 的距離確定弓在指板方向上的偏斜度。例如，針對圖13A所示的圖像，控制模塊160可以將弓 在指板方向上的偏斜度確定為正10度，并且針對圖13B所示的圖像，可以將弓在指板方向上 的偏斜度確定為負(fù)10度。
[0111] 參照圖13C和圖13D，在圖4的圖像傳感器111中接收的紅外線信號的光量可根據(jù)圖 像傳感器111與弓之間的距離改變。換句話說，當(dāng)弓更接近圖像傳感111時(shí)，弓在紅外線圖像 上可以被顯示為更亮。當(dāng)弓距離圖像傳感器111更遠(yuǎn)時(shí)，弓在紅外線圖像上可以被顯示為更 暗。例如，如果弓頭比弓根更接近圖像傳感器111，則如圖13C所示，左圖像上顯示的弓被顯 示為亮，右圖像上顯示的弓被顯示為暗。對于另一示例，如果弓根比弓頭更接近圖像傳感器 111，則如圖13D所示，右圖像上顯示的弓被顯示為亮，左圖像上顯示的弓被顯示為暗。根據(jù) 本公開的實(shí)施例，控制模塊160可以使用包括在線成像傳感器中的像素的亮度(或亮差)確 定弓在弦樂器主體方向上的傾斜度。
[0112] 圖14A至圖14H是示出根據(jù)本公開的各種實(shí)施例的圖像傳感器產(chǎn)生的紅外線圖像 的示圖。
[0113] 根據(jù)本公開的實(shí)施例，控制模塊(例如，圖4的160)可以使用側(cè)面圖像傳感器的紅 外線圖像確定弓在指板方向上的偏斜度、弓在弦樂器主體上的傾斜度以及弓的橫向位置。 例如，如圖14A至圖14F所示，從側(cè)面圖像傳感器產(chǎn)生的紅外線圖像可以包括2D圖像中包括 的多個點(diǎn)（例如，兩個點(diǎn)）。如圖7所示，多個點(diǎn)可以是從附接到弓根23的發(fā)送模塊41接收的 紅外線信號或從附接到弓根23的反射器反射的紅外線信號。
[0114] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用紅外線圖像中包括的多個點(diǎn)之間的 距離或多個點(diǎn)中的每個點(diǎn)的尺寸確定弓的橫向位置。參照圖14A，例如，如果兩個點(diǎn)之間的 距離彼此遠(yuǎn)離或者如果兩個點(diǎn)中的每個點(diǎn)較大，則控制模塊160可以確定弓接近弦樂器。參 照圖14B，如果兩個點(diǎn)之間的距離彼此接近或者如果兩個點(diǎn)中的每個點(diǎn)較小，則控制模塊 160可以確定弓相對遠(yuǎn)離弦樂器。
[0115] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用紅外線圖像中包括的多個點(diǎn)的橫向 位置確定弓在指板方向上的偏斜度。例如，控制模塊160可以在弓的縱向位置和弓的橫向位 置被確定的狀態(tài)下使用多個點(diǎn)的橫向位置確定弓在指板方向上的偏斜度。例如，參照圖14C 和圖14D，針對圖14C所示的圖像，控制模塊160可以將弓在指板方向上的偏斜度確定為正10 度，并且針對圖14D所示的圖像，可以將弓在指板方向上的偏斜度確定為負(fù)10度。
[0116] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用紅外線圖像中包括的多個點(diǎn)的縱向 位置確定弓在弦樂器主體方向上的傾斜度。例如，控制模塊160可以在弓與弦接觸且弓的橫 向位置被確定的狀態(tài)下使用多個點(diǎn)的縱向位置確定弓在主體方向上的傾斜度。可以使用接 近傳感器(例如，圖4的119)確定弓是否與弦接觸。例如，參照圖14E和圖14F，針對圖14E所示 的圖像，控制模塊160可以將弓在主體方向上的傾斜度確定為正10度，針對圖14F所示的圖 像，可以將弓在主體方向上的傾斜度確定為負(fù)1 〇度。
[0117] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用紅外線圖像中包括的多個點(diǎn)的斜率 確定弓和弦之間的相對傾角。例如，如圖14A至圖14E所示，由多個點(diǎn)限定的斜率是無窮大 (即，如果所有弓毛與弦接觸），則控制模塊160可以將弓和弦之間的相對傾角確定為0度。參 照圖14G，如果由多個點(diǎn)限定的斜率是負(fù)數(shù)，則控制模塊160可以確定弓沿向右方向傾斜，并 且可以將弓和弦之間的相對傾角確定為正20度。參照圖14H，如果由多個點(diǎn)限定的斜率是正 數(shù)，則控制模塊160可以確定弓沿向左方向傾斜，并且可以將弓和弦之間的相對傾角確定為 負(fù)20度。
[0118] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用金屬傳感器(例如，圖4的115)的感測 值確定弓的速度向量(例如，方向和速度）。
[0119] 圖15是示出根據(jù)本公開的各種實(shí)施例的附接到弓的金屬的附接模式的示圖。
[0120] 參照圖15,弓20可以包括具有特定模式的金屬71。根據(jù)本公開的實(shí)施例，金屬71可 以附接到弓桿25。根據(jù)本公開的實(shí)施方案，金屬71可以附接到桿25以具有周期模式。例如， 金屬71可以附連到弓桿25，使得金屬材料附接到的區(qū)域和金屬材料沒有附接到的區(qū)域具有 沿著弓桿25周期重復(fù)的模式。根據(jù)本公開的實(shí)施例，金屬材料附接到的區(qū)域的長度和金屬 材料沒有附接到的區(qū)域的長度可以被設(shè)置為與金屬傳感器(例如，圖4的115)可以感測的多 個區(qū)域（例如，兩個區(qū)域）之間的間隔不同。根據(jù)本公開的實(shí)施例，控制模塊（例如，圖4的 160)可以基于金屬傳感器115可以感測的多個區(qū)域確定弓20在其弓頭方向上移動還是在其 弓根方向上移動。根據(jù)本公開的實(shí)施例，控制模塊160可以使用金屬傳感器115的金屬感測 時(shí)間段確定弓20移動的速度。
[0121] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用磁場傳感器(例如，圖4的117)的感測 值確定弓20的橫向位置和弓20的速度向量(例如，方向和速度）。
[0122] 圖16是示出根據(jù)本公開的各種實(shí)施例的附接到弓的磁體的附接位置的示圖。
[0123] 參照圖16,弓20可以包括至少一個磁體73。根據(jù)本公開的實(shí)施例，磁體73可以附接 到弓桿25。根據(jù)本公開的實(shí)施例，可以根據(jù)磁體73的數(shù)量確定磁體73附接的位置。例如，如 果附接到弓桿25的磁體73是三個，則三個磁體73可以附接到將弓20的整個長度分成四個相 等部分的位置。根據(jù)本公開的實(shí)施例，附接到弓桿25的至少一個磁體73可以被布置為具有 不同的磁場方向。例如，如果有三個磁體73附接到弓桿25，則三個磁體73可以被布置為使得 N極分別朝向X軸、y軸和z軸。由三個磁體73形成的磁場根據(jù)弓桿25的位置可以被測量為不 同?？刂颇K(例如，圖4的160)可以分析磁場傳感器(例如，圖4的117)感測的磁場，并且可 以確定弓20的橫向位置。根據(jù)本公開的實(shí)施例，控制模塊160可以使用磁場傳感器117感測 的磁場的變化確定弓20在其弓頭方向上移動還是在其弓根方向上移動。根據(jù)本公開的實(shí)施 例，控制模塊160可以使用磁場傳感器117感測的磁場的速度向量的變化確定弓20移動的速 度。
[0124] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用慣性測量單元(例如，圖4的118)感測 的弦樂器10的運(yùn)動以及附接到弓20的慣性測量傳感器118感測的弓20的運(yùn)動確定弓20的縱 向位置、弓20的橫向位置、弓20和弦之間的相對傾角、弓20在指板方向上的偏斜度、弓20在 圖1的弦樂器10主體方向上的傾斜度以及弓20的速度向量。
[0125] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用弓20在弦樂器10主體方向上的傾斜 度確定與弓20接觸的弦。例如，如果弓20在弦樂器10主體方向上的傾斜度包括在第一范圍 內(nèi)，則控制模塊160可以確定弓20與第一弦接觸。如果弓20在弦樂器10主體方向上的傾斜度 包括在第二范圍內(nèi)，則控制模塊160可以確定弓20與第二弦接觸。如果弓20在弦樂器10主體 方向上的傾斜度包括在第三范圍內(nèi)，則控制模塊160可以確定弓20與第三弦接觸。如果弓20 在弦樂器10主體方向上的傾斜度包括在第四范圍內(nèi)，則控制模塊160可以確定弓20與第四 弦接觸。
[0126] 根據(jù)本公開的實(shí)施例，控制模塊160可以分析振動傳感器(例如，圖4的160)感測的 振動，并且可以確定音高、聲音強(qiáng)度和節(jié)奏。例如，可以根據(jù)振動的頻率確定音高?？梢愿鶕?jù) 振動的振幅確定聲音強(qiáng)度。可以根據(jù)感測振動的時(shí)間確定節(jié)奏。
[0127] 根據(jù)本公開的實(shí)施例，控制模塊160可以使用關(guān)于與弓20接觸的弦的信息增強(qiáng)確 定音高的可靠性。例如，振動傳感器113感測的振動可以是復(fù)雜的聲音，并且可以具有多個 音調(diào)。振動可以包括基音和具有基音的整數(shù)倍頻率的泛音。如果振動傳感器113感測的振動 從時(shí)域變換到頻域，則與基首相應(yīng)的頻率可以具有最尚強(qiáng)度(或最尚級別）。因此，控制t旲塊 160可以將具有最尚強(qiáng)度的頻率確定為振動的首尚。在此，如果泛首的強(qiáng)度尚于基首的強(qiáng) 度，則泛音被確定為基音的八度誤差。根據(jù)本公開的實(shí)施例，控制模塊160可以確定振動檢 測的音高是否是可以由與弓20接觸的弦產(chǎn)生的音高。換句話說，控制模塊160可以使用振動 中包括的多個頻率分量之中可以由與弓20接觸的弦產(chǎn)生的頻率分量確定音高。因此，控制 模塊160可以防止在確定音高的過程可能產(chǎn)生的八度誤差。
[0128] 根據(jù)本公開的實(shí)施例，控制模塊160可以在將振動傳感器113感測的振動從時(shí)域變 換到頻域時(shí)應(yīng)用窗口函數(shù)以感測音高。例如，控制模塊160可以在確定振動傳感器113感測 的振動的音高所需的恒定時(shí)間期間僅對振動信號進(jìn)行濾波，并且可以將振動轉(zhuǎn)換到頻域。 根據(jù)本公開的實(shí)施例，控制模塊160可以根據(jù)與弓20接觸的弦的類型以不同方式設(shè)置窗口 函數(shù)的時(shí)間軸的大小。根據(jù)本公開的實(shí)施例，當(dāng)弓20朝向與高音高音調(diào)相應(yīng)的弦(例如，第 一弦）時(shí)，控制模塊160可以將窗口函數(shù)的時(shí)間軸的大小設(shè)置為較小。當(dāng)弓20朝向與低音高 音調(diào)相應(yīng)的弦（例如，第四弦）時(shí)，控制模塊160可以將窗口函數(shù)的時(shí)間軸的大小設(shè)置為較 大。因此，控制模塊160可以減少用于確定音高和數(shù)據(jù)吞吐量的時(shí)間。
[0129] 根據(jù)本公開的實(shí)施例，控制模塊160可以根據(jù)音高和與弓20接觸的弦確定用戶的 指法位置。由于弦樂器10的特性，可以根據(jù)用戶的指法位置通過不同弦產(chǎn)生相同音高。因 此，如果僅使用音高確定用戶的指法位置，則可能無法確定準(zhǔn)確的指法位置。根據(jù)本公開的 實(shí)施例，控制模塊160可以將與弓20接觸的弦的指法位置確定為與音高相應(yīng)的多個指法位 置之中的用戶的指法位置。例如，如果通過第一弦和第二弦產(chǎn)生控制模塊160確定的音高， 并且如果與弓20接觸的弦是第一弦，則控制模塊160可以將與相應(yīng)音高相應(yīng)的位置確定為 用戶的手指位置在第一弦上。換句話說，控制模塊160可以將產(chǎn)生音高的位置確定為用戶的 指法位置在與弓20接觸的弦上。因此，雖然存在具有相同音高的多個指法位置，但是控制模 塊160可以準(zhǔn)確確定用戶的指法位置。
[0130]圖17是示出根據(jù)本公開的實(shí)施例的第二電子裝置的配置的框圖。
[0131] 參照圖17,第二電子裝置200可以包括通信模塊210、輸入模塊220、存儲器230、控 制模塊240、顯示器250和音頻模塊260。
[0132] 通信模塊210可以與圖1的第一電子裝置200、第三電子裝置300和服務(wù)器400進(jìn)行 通信。例如，通信模塊210可以使用局域無線通信技術(shù)（諸如藍(lán)牙、近場通信（NFC)以及 Zigbee)與第一電子裝置200和第三電子裝置300進(jìn)行通信。通信模塊210可以通過互聯(lián)網(wǎng)或 移動通信網(wǎng)絡(luò)與服務(wù)器400進(jìn)行通信。
[0133] 根據(jù)本公開的實(shí)施例，通信模塊210可以從第一電子裝置200接收演奏數(shù)據(jù)。例如， 演奏數(shù)據(jù)可以包括音高、聲音強(qiáng)度、節(jié)奏、弓的縱向位置、弓的橫向位置、弓和弦之間的相對 傾角、弓在指板方向上的偏斜度、弓在弦樂器主體方向上的傾斜度、與弓接觸的弦的類型、 用戶的指法位置或弓的速度向量中的至少一個。
[0134] 根據(jù)本公開的實(shí)施例，通信模塊210可以向服務(wù)器400發(fā)送用戶的演奏數(shù)據(jù)、用戶 的演奏結(jié)果、用戶的正常演奏模式、用戶的錯誤模式以及錯誤模式的產(chǎn)生頻率。
[0135] 輸入模塊220可以接收用戶操作。根據(jù)本公開的實(shí)施例，輸入模塊220可以包括用 于感測用戶的觸摸操作的觸摸傳感器面板、用于感測用戶的筆操作的筆傳感器面板、用于 識別用戶的運(yùn)動的手勢傳感器(或運(yùn)動傳感器）以及用于識別用戶的語音的語音傳感器。
[0136] 根據(jù)本公開的實(shí)施例，存儲器230可以存儲從通信模塊210接收的用戶的演奏數(shù) 據(jù)。根據(jù)本公開的實(shí)施例，存儲器230可以存儲演奏結(jié)果確定模塊241確定的用戶的演奏結(jié) 果。根據(jù)本公開的實(shí)施例，存儲器230可以存儲模式分析算法。根據(jù)本公開的實(shí)施例，存儲器 230可以存儲模式分析算法確定的用戶的演奏模式。根據(jù)本公開的實(shí)施例，存儲器230可以 存儲樂譜數(shù)據(jù)。
[0137] 控制模塊240可以控制第二電子裝置200的整體操作。例如，控制模塊240可以驅(qū)動 操作系統(tǒng)(0S)或應(yīng)用程序(例如，弦樂器課程應(yīng)用），可以控制連接到控制模塊240的多個硬 件或軟件組件，并且可以執(zhí)行各種數(shù)據(jù)處理和計(jì)算。
[0138] 根據(jù)本公開的實(shí)施例，控制模塊240可以包括演奏結(jié)果確定模塊241和模式分析模 塊243。
[0139] 根據(jù)本公開的實(shí)施例，演奏結(jié)果確定模塊241可以使用演奏數(shù)據(jù)確定用戶的演奏 技法。例如，演奏結(jié)果確定模塊241可以使用與弓的運(yùn)動相關(guān)聯(lián)的演奏數(shù)據(jù)確定用戶使用任 何弓法技法。如果弓在特定時(shí)間段(例如，1500毫秒）內(nèi)移動弓的整個長度的一半或更多，則 演奏結(jié)果確定模塊241可以確定用戶使用斷奏演奏風(fēng)格。如果用戶演奏兩個或更多個音調(diào) 而不改變弓的方向，則演奏結(jié)果確定模塊241可以確定用戶使用連音技法或延音技法。
[0140] 根據(jù)本公開的實(shí)施例，演奏結(jié)果確定模塊241可以將演奏數(shù)據(jù)與樂譜數(shù)據(jù)進(jìn)行比 較，并且可以確定用戶的演奏結(jié)果。例如，演奏結(jié)果確定模塊241可以確定用戶演奏弦樂器 是否與樂譜數(shù)據(jù)相同，或者是否發(fā)生了演奏錯誤。根據(jù)本公開的實(shí)施例，演奏結(jié)果確定模塊 241可以根據(jù)音高(或指法）、節(jié)奏和弓法確定用戶的演奏結(jié)果。例如，可以根據(jù)樂譜數(shù)據(jù)的 音高與演奏數(shù)據(jù)的音高是否相同（或者樂譜數(shù)據(jù)的音高和演奏數(shù)據(jù)的音高之間的差異是否 在預(yù)定的誤差范圍內(nèi)）來確定音高?？梢愿鶕?jù)樂譜數(shù)據(jù)產(chǎn)生音調(diào)的時(shí)間與演奏數(shù)據(jù)產(chǎn)生音 調(diào)的時(shí)間是否相同（或者樂譜數(shù)據(jù)產(chǎn)生音調(diào)的時(shí)間與演奏數(shù)據(jù)產(chǎn)生音調(diào)的時(shí)間之間的差異 是否在預(yù)定的誤差范圍內(nèi)）來確定節(jié)奏?？梢愿鶕?jù)演奏數(shù)據(jù)的弓的運(yùn)動或演奏技法與樂譜 數(shù)據(jù)的弓的運(yùn)動或演奏技法是否相同（或者演奏數(shù)據(jù)的弓的運(yùn)動或演奏技法與樂譜數(shù)據(jù)的 弓的運(yùn)動或演奏技法之間的差異是否在預(yù)定的誤差范圍內(nèi)）來確定弓法。
[0141] 根據(jù)本公開的實(shí)施例，演奏結(jié)果確定模塊241可以提供關(guān)于演奏結(jié)果的反饋。根據(jù) 本公開的實(shí)施例，如果發(fā)生演奏錯誤，則演奏結(jié)果確定模塊241可以實(shí)時(shí)提供錯誤信息和錯 誤校正信息。根據(jù)本公開的實(shí)施例，演奏結(jié)果確定模塊241可以通過顯示器250以圖像或文 本的形式提供反饋，或者可以通過音頻模塊260以語音的形式提供反饋。根據(jù)本公開的實(shí)施 例，如果用戶完成用戶的演奏，則演奏結(jié)果確定模塊241可以綜合用戶的演奏結(jié)果，并且可 以提供關(guān)于綜合的演奏結(jié)果的反饋。對于一個示例，演奏結(jié)果確定模塊241可以提供關(guān)于針 對每個確定元素（例如，每個音高、每個節(jié)奏和每個弓法）的演奏結(jié)果的反饋。對于另一示 例，演奏結(jié)果確定模塊241可以提供關(guān)于綜合多個確定元素的綜合的演奏結(jié)果的反饋。
[0142] 根據(jù)本公開的實(shí)施例，模式分析模塊243可以使用用戶的演奏數(shù)據(jù)分析用戶的演 奏模式。用戶的演奏模式可以包括在用戶熟練地演奏弦樂器時(shí)產(chǎn)生的正常演奏模式和在用 戶演奏弦樂器經(jīng)常出錯時(shí)產(chǎn)生的錯誤演奏模式。例如，模式分析模塊243可以確定用戶是否 任何手指經(jīng)常出錯，用戶是否在任何弦上的指法經(jīng)常出錯，以及用戶是否在任何弦上的弓 法經(jīng)常出錯。根據(jù)本公開的實(shí)施例，模式分析模塊243可以使用存儲在存儲器230中的模式 分析算法分析用戶的演奏模式。根據(jù)本公開的實(shí)施例，模式分析算法可以使用正常演奏模 式數(shù)據(jù)庫和錯誤模式數(shù)據(jù)庫獲知演奏模式。
[0143] 根據(jù)本公開的實(shí)施例，模式分析模塊243可以提供與用戶的演奏模式相關(guān)聯(lián)的反 饋。根據(jù)本公開的實(shí)施例，模式分析模塊243可以通過顯示器250以圖像或文本的形式提供 反饋，或者可以通過音頻模塊260以語音的形式提供反饋。根據(jù)本公開的實(shí)施例，模式分析 模塊243可以實(shí)時(shí)分析演奏結(jié)果確定模塊241確定的用戶的演奏結(jié)果，以分析錯誤模式。模 式分析模塊243可以實(shí)時(shí)提供關(guān)于實(shí)時(shí)分析的錯誤模式的校正信息。
[0144] 根據(jù)本公開的實(shí)施例，如果用戶的演奏完成，則模式分析模塊243可以分析用戶的 整個演奏結(jié)果來分析演奏模式。根據(jù)本公開的實(shí)施例，如果用戶的演奏完成，模式分析模塊 243可以提供與分析的演奏模式相關(guān)聯(lián)的反饋(例如，與錯誤模式相關(guān)聯(lián)的校正信息或與錯 誤模式相關(guān)聯(lián)的課程內(nèi)容）。根據(jù)本公開的實(shí)施例，模式分析模塊243可以對產(chǎn)生演奏模式 的次數(shù)計(jì)數(shù)，并且可以根據(jù)產(chǎn)生演奏模式的次數(shù)提供反饋。換句話說，模式分析模塊243可 以在考慮先前分析的演奏模式的情況下一起提供與演奏模式相關(guān)聯(lián)的反饋。表1表示模式 分析模塊243可以分析的錯誤模式的示例以及關(guān)于錯誤模式的校正信息的示例。
[0145] 表1
[0146]
[0148]根據(jù)本公開的實(shí)施例，如果特定操作的必要數(shù)據(jù)沒有存儲在存儲器230中，則控制 模塊240可以通過通信模塊210請求服務(wù)器400發(fā)送必要數(shù)據(jù)，并且可以通過通信模塊210從 服務(wù)器400接收請求的數(shù)據(jù)。例如，控制模塊240可以請求服務(wù)器400發(fā)送用戶的舊的演奏數(shù) 據(jù)、用戶的演奏結(jié)果、用戶的演奏模式、與演奏模式相關(guān)聯(lián)的內(nèi)容等，并且可以從服務(wù)器400 接收舊的演奏數(shù)據(jù)、演奏結(jié)果、演奏模式、與演奏模式相關(guān)聯(lián)的內(nèi)容等。
[0149]根據(jù)本公開的實(shí)施例，控制模塊240可以使用演奏數(shù)據(jù)確定是否需要對弦樂器調(diào) 音。例如，控制模塊240可以在用戶演奏弦樂器的同時(shí)將從演奏空弦所需的音調(diào)獲得的頻率 與空弦的理論頻率進(jìn)行比較。如果從演奏空弦所需的音調(diào)獲得的頻率與空弦的理論頻率之 間的差異大于或等于特定值(例如，5HZ)，則控制模塊160可以確定有必要對相應(yīng)的弦調(diào)音。 根據(jù)本公開的實(shí)施例，如果確定有必要對弦樂器調(diào)音，則控制模塊240可以通過顯示器250 或音頻模塊260通知用戶有必要對弦樂器調(diào)音。根據(jù)本公開的實(shí)施例，如果確定有必要對弦 樂器調(diào)音，則控制模塊240可以在顯示器250上顯示用于選擇是否進(jìn)入調(diào)音模式的用戶界 面。根據(jù)本公開的實(shí)施例，如果用戶選擇進(jìn)入調(diào)音模式，則控制模塊240可以在顯示器250上 顯示用于進(jìn)入調(diào)音模式并將引導(dǎo)用戶對弦樂器調(diào)音的用戶界面。
[0150] 根據(jù)本公開的實(shí)施例，顯示器250可以顯示從弦樂器課程應(yīng)用提供的用戶界面。例 如，用戶界面可以包括用戶的演奏結(jié)果、錯誤信息、錯誤校正信息、推薦內(nèi)容和課程內(nèi)容。根 據(jù)本公開的實(shí)施例，用戶界面可以根據(jù)用戶的演奏數(shù)據(jù)實(shí)時(shí)提供用戶的演奏結(jié)果。例如，用 戶界面可以實(shí)時(shí)提供用戶的指法位置和弓的運(yùn)動。根據(jù)本公開的實(shí)施例，用戶界面可以根 據(jù)用戶的演奏結(jié)果實(shí)時(shí)提供錯誤信息和錯誤校正信息。根據(jù)本公開的實(shí)施例，如果用戶的 演奏完成，則用戶界面可以根據(jù)用戶的演奏模式和錯誤模式提供推薦內(nèi)容和課程內(nèi)容。
[0151] 圖18是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖。
[0152] 參照圖18,顯示器250可以顯示包括用戶的實(shí)時(shí)演奏結(jié)果、誤差信息和錯誤校正信 息的用戶界面。根據(jù)本公開的實(shí)施例，用戶界面可以包括用于顯示樂譜的區(qū)域81(或樂譜區(qū) 域81)和用于可視化和顯示指法位置的區(qū)域82(或指法區(qū)域82)。
[0153]樂譜區(qū)域81可以顯示樂譜數(shù)據(jù)。根據(jù)本公開的實(shí)施例，樂譜區(qū)域81可以包括指示 當(dāng)前演奏位置的指示符81A。例如，指示符81A隨著時(shí)間的推移移動。如果在用戶的演奏中發(fā) 生錯誤，則樂譜區(qū)域81可以顯示錯誤信息和錯誤校正信息。對于一個示例，如果用戶演奏弦 樂器具有高音高或低音高，則樂譜區(qū)域81可以顯示音高校正對象81B。對于另一示例，如果 弓的向上/向下方向不正確，則樂譜區(qū)域81可以以不同的方式顯示向上/向下符號81C。對于 一個示例，可以改變向上/向下符號81C的大小、顏色和亮度，或者可以對向上/向下符號81C 應(yīng)用高亮或閃爍效果。對于另一示例，如果弓的位置或角度不正確，則樂譜區(qū)域81可以顯示 弓校正對象81D。對于另一示例，如果弓的速度不正確，則樂譜區(qū)域81可以顯示用于引導(dǎo)用 戶校正弓的速度的對象81E。
[0154]根據(jù)本公開的實(shí)施例，指法區(qū)域82可以顯示弦樂器的指板圖像82A。根據(jù)本公開的 實(shí)施例，指板圖像82A可以顯示指示當(dāng)前應(yīng)該演奏的手指位置的對象82B。另外，指板圖像 82A可以根據(jù)用戶的演奏數(shù)據(jù)顯示指示實(shí)際指法位置的對象82C。根據(jù)本公開的實(shí)施例，可 以僅在錯誤發(fā)生時(shí)顯示指示實(shí)際指法位置的對象82C。
[0155] 圖19是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖。
[0156] 參照圖19,顯示器250可以顯示包括用戶的實(shí)時(shí)演奏結(jié)果、錯誤信息和錯誤校正信 息的用戶界面。根據(jù)本公開的實(shí)施例，用戶界面可以包括用于顯示樂譜的區(qū)域81(或樂譜區(qū) 域81)以及用于可視化和顯示弓的運(yùn)動的區(qū)域83和84(或弓法區(qū)域83和84)。
[0157] 樂譜區(qū)域81可以顯示樂譜數(shù)據(jù)。由于參照圖18描述了樂譜區(qū)域81，因此在下面省 略詳細(xì)描述。
[0158]根據(jù)本公開的實(shí)施例，弓法區(qū)域83和84可以包括用于顯示弓在指板方向上的偏斜 度的區(qū)域83(或偏斜區(qū)域83)以及用于顯示弓在弦樂器主體方向上的傾斜度的區(qū)域84(或傾 斜區(qū)域84)。根據(jù)本公開的實(shí)施例，偏斜區(qū)域83可以顯示弦樂器的C側(cè)板的圖像83A和弓圖像 83B。根據(jù)本公開的實(shí)施例，可以根據(jù)用戶的實(shí)際弓法改變弓圖像83B的角度和位置。例如， 可以通過用戶的演奏數(shù)據(jù)中包括的弓在指板方向上的偏斜度和弓的縱向位置確定弓圖像 83B的角度和位置。根據(jù)本公開的實(shí)施例，偏斜區(qū)域83可以顯示弓可以移動的范圍83C。根據(jù) 本公開的實(shí)施例，如果弓圖像83B從弓可以移動的沮圍83(]尚開，則弓可以移動的沮圍83C的 顏色和亮度可以改變，或者可以向范圍83C應(yīng)用高亮或閃爍效果。根據(jù)本公開的實(shí)施例，傾 斜區(qū)域84可以顯示弦樂器的琴橋圖像84A和弓圖像84B。根據(jù)本公開的實(shí)施例，弓圖像84B的 角度和位置可以根據(jù)用戶的實(shí)際弓法而改變。例如，可以通過用戶的演奏數(shù)據(jù)中包括的弓 在弦樂器主體方向上的傾斜度和弓的橫向位置確定弓圖像83B的位置和角度。
[0159]圖20是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖。
[0160] 參照圖20,如果用戶的演奏結(jié)束，則圖17的顯示器250可以顯示包括用戶的演奏結(jié) 果、錯誤信息、錯誤校正信息和與用戶的演奏模式相關(guān)聯(lián)的內(nèi)容的用戶界面。根據(jù)本公開的 實(shí)施例，用戶界面可以包括表示每個確定元素的演奏結(jié)果的圖標(biāo)(例如，每個弓法85A、每個 音高85B(或每個指法85B)和每個節(jié)奏85C)。根據(jù)本公開的實(shí)施例，用戶界面可以包括指示 整體演奏結(jié)果的圖標(biāo)85D。根據(jù)本公開的實(shí)施例，用戶界面可以包括關(guān)于用戶的演奏結(jié)果的 錯誤校正信息86。例如，錯誤校正信息86可以以文本形式提供。根據(jù)本公開的實(shí)施例，用戶 界面可以包括與用戶的錯誤模式相關(guān)聯(lián)的內(nèi)容87。例如，用于校正用戶的錯誤模式的學(xué)習(xí) 或課程內(nèi)容可以以鏈接形式提供。根據(jù)本公開的實(shí)施例，用戶界面可以包括與用戶的正常 演奏模式相關(guān)聯(lián)的內(nèi)容88。例如，用戶可以沒有任何困難地演奏的包括用戶的正常演奏模 式的推薦音樂可以以鏈接形式提供。根據(jù)本公開的實(shí)施例，如果用戶輸入用于選擇與錯誤 模式相關(guān)聯(lián)的內(nèi)容87的用戶指令，則顯示器250可以顯示圖21所示的用戶界面。
[0161] 圖21是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖。
[0162] 參照圖21，顯示器250可以顯示與課程內(nèi)容相關(guān)聯(lián)的用戶界面。用戶界面可以包括 用于顯示樂譜的區(qū)域91(或樂譜區(qū)域91)、用于可視化和顯示指法位置的區(qū)域92(或指法區(qū) 域92)以及播放視頻課程的區(qū)域93。根據(jù)本公開的實(shí)施例，可以響應(yīng)于課程內(nèi)容的細(xì)節(jié)改變 樂譜區(qū)域91和指法區(qū)域92上顯示的細(xì)節(jié)。對于一個示例，可以根據(jù)課程內(nèi)容的細(xì)節(jié)改變樂 譜區(qū)域91上顯示的樂譜。對于另一示例，可以根據(jù)課程內(nèi)容的細(xì)節(jié)，將指法區(qū)域92改變?yōu)橛?于顯示弓的角度的區(qū)域。
[0163] 音頻模塊(例如，圖17的260)可以產(chǎn)生并輸出音頻信號。例如，音頻模塊260可以包 括可以與揚(yáng)聲器或耳機(jī)(或頭戴式耳機(jī))或嵌入式揚(yáng)聲器連接的音頻接口。根據(jù)本公開的實(shí) 施例，音頻模塊260可以使用演奏數(shù)據(jù)產(chǎn)生音頻信號。
[0164] 圖22A至圖22D是示出根據(jù)本公開的各種實(shí)施例的用戶界面的示圖。
[0165] 如果使用智能手表實(shí)現(xiàn)第二電子裝置200,則圖22A至圖22D示出提供實(shí)時(shí)校正信 息的用戶界面。例如，如果用戶使用紙樂譜演奏弦樂器，則第二電子裝置200可以實(shí)時(shí)分析 演奏結(jié)果和用戶的演奏模式，并且可以提供校正信息。
[0166] 參照圖22A，顯示器250可以提供允許用戶選擇將要演奏的音樂（或者樂譜）的用戶 界面。例如，顯示器250可以顯示存儲在圖17的存儲器230中的樂譜數(shù)據(jù)的列表。參照圖22B， 顯示器250可以顯示允許用戶選擇校正信息的類型的用戶界面。例如，校正信息的類型可以 包括作為用于確定用戶的演奏結(jié)果的元素的弓法、音調(diào)（或指法)和節(jié)奏中的至少一個。根 據(jù)本公開的實(shí)施例，如果用戶選擇確定元素中的一個，則顯示器250可以顯示允許用戶選擇 所選擇的確定元素的全部細(xì)節(jié)的用戶界面。參照圖22C和圖22D，顯示器250可以根據(jù)用戶的 演奏結(jié)果和演奏模式的分析結(jié)果實(shí)時(shí)顯示校正信息。
[0167] 例如，如果用戶演奏弦樂器，則圖1的第一電子裝置100可以確定通過弦樂器的播 放產(chǎn)生的音調(diào)的音高(或頻率）。第一電子裝置100可以向第二電子裝置200發(fā)送確定的音高 (或確定的頻率）。第二電子裝置200可以執(zhí)行與音高相應(yīng)的操作。
[0168] 圖23是示出根據(jù)本公開的實(shí)施例的用戶界面的示圖。
[0169] 根據(jù)本公開的實(shí)施例，用戶可以通過演奏弦樂器向第二電子裝置200輸入用戶指 令。參照圖23,第二電子裝置200可以顯示與弦樂器課程應(yīng)用的啟動屏幕相應(yīng)的用戶界面。 根據(jù)本公開的實(shí)施例，用戶界面可以包括多個菜單以及與多個菜單中的每一個相應(yīng)的代碼 信息95。如果用戶演奏與特定代碼相應(yīng)的音調(diào)，則第一電子裝置(例如，圖1的100)可以確定 由弦樂器的演奏產(chǎn)生的音調(diào)的音高(或頻率）。第一電子裝置100可以向第二電子裝置200發(fā) 送確定的音高(或確定的頻率）。第二電子裝置200可以執(zhí)行與音高相應(yīng)的操作。例如，在圖 23中，如果用戶演奏G代碼，則弦樂器課程應(yīng)用啟動。
[0170] 根據(jù)本公開的實(shí)施例，用戶可以通過弦樂器的運(yùn)動向第二電子裝置200輸入用戶 指令。例如，如果用戶移動弦樂器，則附接到弦樂器的第一電子裝置1〇〇可以使用慣性測量 單元感測弦樂器的運(yùn)動。第一電子裝置100可以向第二電子裝置200發(fā)送弦樂器的運(yùn)動信 息。第二電子裝置200可以執(zhí)行與弦樂器的運(yùn)動相應(yīng)的操作。
[0171] 圖24是示出根據(jù)本公開的實(shí)施例的在第一電子裝置中識別弦樂器演奏的方法的 流程圖。圖24所示的操作可以包括第一電子裝置(例如，圖4所示的100)處理的操作。因此， 雖然下面存在內(nèi)容省略，但是參照圖4至圖16針對第一電子裝置100描述的內(nèi)容可以應(yīng)用到 圖24所示的操作。
[0172] 參照圖24,在操作2410,第一電子裝置100可以檢測弓的運(yùn)動。根據(jù)本公開的實(shí)施 例，第一電子裝置100可以使用圖像傳感器感測弓的運(yùn)動。根據(jù)本公開的實(shí)施例，第一電子 裝置1〇〇可以使用金屬傳感器或磁場傳感器感測弓的運(yùn)動。
[0173] 根據(jù)本公開的實(shí)施例，在操作2420,第一電子裝置100可以檢測由弦樂器產(chǎn)生的振 動。根據(jù)本公開的實(shí)施例，第一電子裝置100可以使用振動傳感器感測弦樂器產(chǎn)生的振動。
[0174] 根據(jù)本公開的實(shí)施例，在操作2430,第一電子裝置100可以分析弓的運(yùn)動和弦樂器 的振動，并且可以產(chǎn)生演奏數(shù)據(jù)。例如，演奏數(shù)據(jù)可以包括音高、聲音強(qiáng)度、節(jié)奏、弓的縱向 位置、弓的橫向位置、弓和弦之間的相對傾角、弓在指板方向上的偏斜度、弓在弦樂器主體 方向上的傾斜度、與弓接觸的弦的類型、用戶的指法位置或弓的速度向量中的至少一個。
[0175] 根據(jù)本公開的實(shí)施例，第一電子裝置100可以使用圖像傳感器的感測值確定弓的 縱向位置、弓在指板方向上的偏斜度、弓在弦樂器主體方向上的傾斜度和弓的速度向量。根 據(jù)本公開的實(shí)施例，第一電子裝置100可以將圖像傳感器的紅外線圖像二值化，并且可以使 用二值化的圖像確定上述元素，即，弓的縱向位置、弓在指板方向上的偏斜度、弓在弦樂器 主體方向上的傾斜度和弓的速度向量。根據(jù)本公開的實(shí)施例，第一電子裝置100可以使用金 屬傳感器的感測值確定弓的速度向量(例如，方向和速度）。根據(jù)本公開的實(shí)施例，第一電子 裝置100可以使用磁場傳感器的感測值確定弓的橫向位置和弓的速度向量(例如，方向和速 度）。根據(jù)本公開的實(shí)施例，第一電子裝置100可以使用弓在弦樂器主體方向上的傾斜度確 定與弓接觸的弦。
[0176] 根據(jù)本公開的實(shí)施例，第一電子裝置100可以分析振動傳感器感測的振動，并且可 以確定音高、聲音強(qiáng)度和節(jié)奏。根據(jù)本公開的實(shí)施例，第一電子裝置1〇〇可以使用振動中包 括的多個頻率分量之中可以由與弓接觸的弦產(chǎn)生的頻率分量確定音高。根據(jù)本公開的實(shí)施 例，當(dāng)將振動傳感器感測的振動從時(shí)域轉(zhuǎn)換到頻域以感測音高時(shí)，第一電子裝置100可以應(yīng) 用窗口函數(shù)。根據(jù)本公開的實(shí)施例，第一電子裝置100可以根據(jù)與弓接觸的弦的類型以不同 方式設(shè)置窗口函數(shù)的時(shí)間軸的大小。
[0177] 根據(jù)本公開的實(shí)施例，第一電子裝置100可以根據(jù)音高和與弓接觸的弦確定用戶 的指法位置。根據(jù)本公開的實(shí)施例，第一電子裝置1〇〇可以將與音高相應(yīng)的多個指法位置之 中與弓接觸的弦的指法位置確定為用戶的指法位置。
[0178]根據(jù)本公開的實(shí)施例，在操作2440,第一電子裝置100可以向圖1的第二電子裝置 200發(fā)送演奏數(shù)據(jù)。
[0179] 圖25是示出根據(jù)本公開的實(shí)施例的在第二電子裝置中提供關(guān)于弦樂器演奏的反 饋的方法的流程圖。圖25所示的操作可以包括第二電子裝置(例如，圖17所示的200)處理的 操作。因此，雖然下面存在內(nèi)容省略，但是參照圖17至圖23描述的第二電子裝置200的內(nèi)容 可以應(yīng)用到圖25所示的操作。
[0180] 參照圖25，在操作2510，第二電子裝置200可以從第一電子裝置(例如，圖1的100) 接收弦樂器演奏數(shù)據(jù)。例如，演奏數(shù)據(jù)可以包括音高、聲音強(qiáng)度、節(jié)奏、弓的縱向位置、弓的 橫向位置、弓和弦之間的相對傾角、弓在指板方向上的偏斜度、弓在弦樂器主體方向上的傾 斜度、與弓接觸的弦的類型、用戶的指法位置或弓的速度向量中的至少一個。
[0181]根據(jù)本公開的實(shí)施例，在操作2520,第二電子裝置200可以使用演奏數(shù)據(jù)確定用戶 的演奏結(jié)果。根據(jù)本公開的實(shí)施例，第二電子裝置200可以使用演奏數(shù)據(jù)確定用戶是否使用 任何演奏技法。根據(jù)本公開的實(shí)施例，第二電子裝置200可以將演奏數(shù)據(jù)和樂譜數(shù)據(jù)進(jìn)行比 較，并且可以實(shí)時(shí)確定用戶的演奏結(jié)果。例如，第二電子裝置200可以確定用戶演奏弦樂器 是否與樂譜數(shù)據(jù)相同，或者可以確定是否發(fā)生了演奏錯誤。根據(jù)本公開的實(shí)施例，第二電子 裝置200可以根據(jù)音高(或指法）、節(jié)奏和弓法確定用戶的演奏結(jié)果。
[0182] 根據(jù)本公開的實(shí)施例，如果發(fā)生演奏錯誤，則第二電子裝置200可以實(shí)時(shí)提供錯誤 信息和錯誤校正信息。根據(jù)本公開的實(shí)施例，第二電子裝置200可以通過其顯示器以圖像或 文本的形式提供反饋，或者可以通過其音頻模塊以語音的形式提供反饋。根據(jù)本公開的實(shí) 施例，如果用戶的演奏完成，則第二電子裝置200可以綜合用戶的演奏結(jié)果，并且可以提供 關(guān)于綜合的演奏結(jié)果的反饋。
[0183] 根據(jù)本公開的實(shí)施例，在操作2530,第二電子裝置200可以使用用戶的演奏結(jié)果分 析用戶的演奏模式。例如，用戶的演奏模式可以包括在用戶熟練地演奏弦樂器時(shí)產(chǎn)生的正 常演奏模式和在用戶演奏弦樂器經(jīng)常出錯時(shí)產(chǎn)生的錯誤演奏模式。根據(jù)本公開的實(shí)施例， 第二電子裝置200可以使用存儲在其存儲器中的模式分析算法分析用戶的演奏模式。根據(jù) 本公開的實(shí)施例，模式分析算法可以使用正常演奏模式數(shù)據(jù)庫和錯誤模式數(shù)據(jù)庫獲知演奏 模式。
[0184] 根據(jù)本公開的實(shí)施例，第二電子裝置200可以實(shí)時(shí)分析用戶的演奏結(jié)果，以分析錯 誤模式。根據(jù)本公開的實(shí)施例，如果用戶的演奏完成，則第二電子裝置200可以分析用戶的 全部演奏結(jié)果，以分析演奏模式。
[0185] 根據(jù)本公開的實(shí)施例，在操作2540,第二電子裝置200可以提供關(guān)于用戶的演奏模 式的反饋。根據(jù)本公開的實(shí)施例，第二電子裝置200可以通過顯示器以圖像或文本的形式提 供反饋，或者可以通過音頻模塊以語音的形式提供反饋。根據(jù)本公開的實(shí)施例，第二電子裝 置200可以實(shí)時(shí)提供關(guān)于實(shí)時(shí)分析的錯誤模式的校正信息。根據(jù)本公開的實(shí)施例，如果用戶 的演奏完成，則第二電子裝置200可以提供與分析的演奏模式相關(guān)聯(lián)的反饋(例如，與錯誤 模式相關(guān)聯(lián)的校正信息或與錯誤模式相關(guān)聯(lián)的課程內(nèi)容）。根據(jù)本公開的實(shí)施例，第二電子 裝置200對產(chǎn)生演奏模式的次數(shù)計(jì)數(shù)，并且可以根據(jù)產(chǎn)生演奏模式的次數(shù)提供反饋。
[0186] 這里所使用的術(shù)語"模塊"可以表示例如包括硬件、軟件和固件中的一個或者它們 的兩個或更多個組合的單元。例如，術(shù)語"模塊"可以與術(shù)語"單元"、"邏輯"、"邏輯塊"、"組 件"或"電路"互換使用。"模塊"可以是集成組件的最小單元或集成組件的一部分。"模塊"可 以是執(zhí)行一個或多個功能或者一個或多個功能的一部分的最小單元?？梢詸C(jī)械地或電子地 實(shí)現(xiàn)"模塊"。例如，"模塊"可以包括已經(jīng)公知或未來將開發(fā)的用于執(zhí)行特定操作的專用集 成電路(ASIC)芯片、現(xiàn)場可編程門陣列(FPGA)或可編程邏輯器件中的至少一個。
[0187] 根據(jù)本公開的各種實(shí)施例，可以使用例如存儲在計(jì)算機(jī)可讀存儲介質(zhì)中的具有程 序模塊的指令實(shí)現(xiàn)裝置(例如，模塊或功能)或方法(例如，操作）的至少一部分。當(dāng)由處理器 (例如，圖4的控制模塊160和圖17的控制模塊240)執(zhí)行指令時(shí)，一個或多個處理器可以執(zhí)行 與所述指令相應(yīng)的功能。計(jì)算機(jī)可讀存儲介質(zhì)可以是例如圖17的存儲器230。
[0188] 計(jì)算機(jī)可讀存儲介質(zhì)可以包括硬盤、軟盤、磁介質(zhì)（例如，磁帶）、光學(xué)介質(zhì)（例如， 致密盤只讀存儲器(CD-ROM)和DVD )、磁光介質(zhì)(例如，磁光盤）、硬件裝置(例如，ROM、隨機(jī)存 取存儲器(RAM)或閃存存儲器等)等。此外，程序指令可以不僅包括由編譯器編譯的機(jī)器代 碼，還包括可以通過計(jì)算機(jī)使用解釋器執(zhí)行的高級語言代碼等。上述的硬件裝置可以被配 置作為一個或多個軟件模塊來操作，以執(zhí)行根據(jù)本公開的各種實(shí)施例的操作，并且反之亦 然。
[0189] 根據(jù)本公開的各種實(shí)施例，電子裝置可以通過使用附接到弦樂器的裝置獲得弦樂 器演奏數(shù)據(jù)，在最小化弓的重量變化的同時(shí)獲得準(zhǔn)確的弦樂器演奏數(shù)據(jù)，并且可以通過將 獲得演奏數(shù)據(jù)處理為有意義的形式向用戶提供各種反饋。
[0190] 根據(jù)本公開的各種實(shí)施例的模塊或程序模塊可以包括上述組件中的至少一個或 多個，上述組件中的一些可以省略，或者還可以包括其他附加組件?？梢酝ㄟ^連續(xù)方法、并 行方法、重復(fù)方法或啟發(fā)式方法執(zhí)行由模塊、程序模塊或其他元件執(zhí)行的操作。此外，可以 以不同的順序執(zhí)行一些操作，或者可以省略一些操作，并且可以添加其他操作。并且，在附 圖中描述和示出的本公開的實(shí)施例作為示例提供，以描述技術(shù)內(nèi)容和幫助理解，但是并不 限制本公開的范圍。
[0191] 盡管已經(jīng)參照本公開的各種實(shí)施例示出和描述了本公開，但是本領(lǐng)域技術(shù)人員可 以理解，在不脫離由權(quán)利要求及其等同物限定的本公開的精神和范圍的情況下，可以進(jìn)行 形式和細(xì)節(jié)上的各種改變。
【主權(quán)項(xiàng)】
1. 一種可附接到弦樂器的電子裝置，所述電子裝置包括： 圖像傳感器，被配置為感測弓到弦樂器的運(yùn)動； 振動傳感器，被配置為感測弦樂器產(chǎn)生的振動；以及 控制模塊，被配置為使用弓的運(yùn)動和振動確定相對于弦樂器的用戶的指法位置。2. 如權(quán)利要求1所述的電子裝置，其中，控制模塊還被配置為： 確定與振動相應(yīng)的音高， 使用弓的運(yùn)動確定與弓接觸的弦，以及 根據(jù)音高和與弓接觸的弦確定用戶的指法位置。3. 如權(quán)利要求2所述的電子裝置，其中，控制模塊還被配置為:將與弓接觸的弦上產(chǎn)生 音高的位置確定為指法位置。4. 如權(quán)利要求2所述的電子裝置，其中，控制模塊還被配置為:使用振動中包括的多個 頻率分量之中在與弓接觸的弦上產(chǎn)生的頻率分量確定音高。5. 如權(quán)利要求2所述的電子裝置，其中，控制模塊還被配置為： 通過將窗口函數(shù)應(yīng)用到振動的時(shí)域信號將振動的時(shí)域信號轉(zhuǎn)換到振動的頻域信號， 確定音高，以及 根據(jù)與弓接觸的弦的類型以不同方式設(shè)置窗口函數(shù)的時(shí)間軸的大小。6. 如權(quán)利要求1所述的電子裝置，其中，控制模塊還被配置為:使用弓的運(yùn)動確定弓的 縱向位置、弓的橫向位置、弓和弦之間的相對傾角、弓在指板方向上的偏斜度、弓在弦樂器 主體方向上的傾斜度、與弓接觸的弦的類型、用戶的指法位置或弓的速度向量中的至少一 個。7. 如權(quán)利要求1所述的電子裝置，其中，控制模塊還被配置為： 對圖像傳感器的紅外線圖像進(jìn)行二值化，以及 使用二值化的紅外線圖像確定用戶的指法位置。8. 如權(quán)利要求1所述的電子裝置，還包括： 狹縫，用于插入弦樂器的琴橋， 其中，所述電子裝置通過插入到狹縫的琴橋附接到弦樂器。9. 一種在電子裝置中識別弦樂器演奏的方法，所述方法包括： 感測弓到弦樂器的運(yùn)動； 感測弦樂器產(chǎn)生的振動；以及 使用弓的運(yùn)動和振動確定相對于弦樂器的用戶的指法位置。10. 如權(quán)利要求9所述的方法，其中，確定用戶的指法位置的步驟包括： 確定與振動相應(yīng)的音高， 使用弓的運(yùn)動確定與弓接觸的弦，以及 根據(jù)音高和與弓接觸的弦確定用戶的指法位置。11. 如權(quán)利要求10所述的方法，其中，確定用戶的指法位置的步驟包括： 將與弓接觸的弦上產(chǎn)生音高的位置確定為指法位置。12. 如權(quán)利要求10所述的方法，其中，確定音高的步驟包括： 在振動中包括的多個頻率分量之中選擇在與弓接觸的弦上產(chǎn)生的頻率分量；以及 使用選擇的頻率分量確定音高。13. 如權(quán)利要求10所述的方法，其中，確定音高的步驟包括： 根據(jù)與弓接觸的弦的類型以不同方式設(shè)置窗口函數(shù)的時(shí)間軸的大小； 將窗口函數(shù)應(yīng)用到振動的時(shí)域信號； 將振動的時(shí)域信號轉(zhuǎn)換到振動的頻域信號；以及 使用頻域信號確定音高。14. 如權(quán)利要求9所述的方法，還包括： 使用弓的運(yùn)動確定弓的縱向位置、弓的橫向位置、弓和弦之間的相對傾角、弓在指板方 向上的偏斜度、弓在弦樂器主體方向上的傾斜度、與弓接觸的弦的類型、用戶的指法位置或 弓的速度向量中的至少一個。15. 如權(quán)利要求9所述的方法，其中，感測弓到弦樂器的運(yùn)動的步驟包括： 通過圖像傳感器捕獲紅外線圖像； 其中，確定用戶的指法位置的步驟包括： 對紅外線圖像進(jìn)行二值化；以及 使用二值化的紅外線圖像確定用戶的指法位置。
【文檔編號】G10G7/00GK105976800SQ201610144693
【公開日】2016年9月28日
【申請日】2016年3月14日
【發(fā)明人】全大榮, 金延洙, 金暎旼, 樸貞敏, 吳京錫
【申請人】三星電子株式會社