用于生成輸入音樂數(shù)據(jù)的伴奏的裝置、系統(tǒng)和方法
【專利摘要】一種用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的裝置包括接收音樂數(shù)據(jù)的音樂輸入部。音樂分析器分析接收到的音樂數(shù)據(jù)以獲得包括分析的音樂數(shù)據(jù)的一個或多個特性的音樂數(shù)據(jù)描述。查詢生成器生成對音樂數(shù)據(jù)庫的查詢，該音樂數(shù)據(jù)庫包括音樂模式和包括所述音樂模式的一個或多個特性的相關聯(lián)的元數(shù)據(jù)，從所述音樂數(shù)據(jù)描述和從描述所述實時伴奏的參數(shù)選擇的伴奏描述和/或描述音樂的一般規(guī)則的音樂規(guī)則生成所述查詢。查詢界面使用生成的查詢來查詢所述音樂數(shù)據(jù)庫并通過使用所述查詢接收選自所述音樂數(shù)據(jù)庫的音樂模式。音樂輸出部輸出所述接收的音樂模式。
【專利說明】用于生成輸入音樂數(shù)據(jù)的伴奏的裝置、系統(tǒng)和方法

【技術領域】
[0001] 本公開涉及用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的裝置、系統(tǒng)和方法。進一步 地，本發(fā)明涉及用于生成在用于自動生成音樂的裝置和方法中所使用的音樂數(shù)據(jù)庫的裝置 和方法。更進一步地，本發(fā)明涉及計算機程序、計算機可讀非臨時性介質(zhì)和音樂數(shù)據(jù)庫。

【背景技術】
[0002] 音樂即興演奏，尤其是爵士既是吸引人的活動又是非常令人沮喪的活動。由人類 音樂家即興演奏需要音樂思想與感官運動過程之間的親密關系：音樂家必須傾聽、思考、開 拓思路并很快移動他/她的手指。速度和時間的缺乏是即興演奏的關鍵因素，這是令人興 奮的因素。這也是令人沮喪的因素：初學者以及有經(jīng)驗的即興演奏者都絕對地受限于自身 的技術能力和樂器的形態(tài)。
[0003] 在美國2002/0194984 Al中公開了允許通過持續(xù)階段生成作為音樂數(shù)據(jù)的輸入序 列的實時連續(xù)的音樂的裝置和方法。美國8, 097, 801 B2公開了用于基于現(xiàn)有樂曲的預錄 演出的數(shù)據(jù)庫生成樂曲的系統(tǒng)和方法。
[0004] 本文中所提供的"【背景技術】"描述以總體呈現(xiàn)本公開的內(nèi)容為目的。目前署名的 發(fā)明人的工作，某種程度上描述在該【背景技術】部分，以及申請時未另限定為現(xiàn)有技術的說 明方面，既沒有明示也沒有暗示承認作為本發(fā)明的現(xiàn)有技術。


【發(fā)明內(nèi)容】

[0005] 本公開的目的是提供一種用于自動生成能夠跟隨輸入音樂數(shù)據(jù)的輸入音樂數(shù)據(jù) 的實時伴奏的裝置、系統(tǒng)和方法并且提供更好的伴奏。本發(fā)明的另一個目的是提供用于生 產(chǎn)在用于自動生成音樂的裝置和方法中使用的音樂數(shù)據(jù)庫的改進裝置和方法，特別是提供 輸入音樂數(shù)據(jù)的實時伴奏。本發(fā)明的另一個目的是提供用于實現(xiàn)上述方法的對應的計算機 程序、對應的計算機可讀非暫時性介質(zhì)和適合的音樂數(shù)據(jù)庫。
[0006] 根據(jù)本公開的一個方面，提供了一種用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的裝 置，所述裝置包括：
[0007]-音樂輸入部，接收音樂數(shù)據(jù)；
[0008]-音樂分析器，分析接收到的音樂數(shù)據(jù)以獲得包括分析的音樂數(shù)據(jù)的一個或多個 特性的音樂數(shù)據(jù)描述；
[0009] -查詢生成器，生成對包括音樂模式（music pattern)和相關聯(lián)的元數(shù)據(jù)的音樂 數(shù)據(jù)庫的查詢，所述相關聯(lián)的元數(shù)據(jù)包括所述音樂模式的一個或多個特性，從所述音樂數(shù) 據(jù)描述（music data description)和從描述所述實時伴奏的參數(shù)選擇（preference)的伴 奏描述和/或描述音樂的一般規(guī)則的音樂規(guī)則生成所述查詢；
[0010] -查詢界面，使用生成的查詢來查詢所述音樂數(shù)據(jù)庫并且接收通過使用所述查詢 從所述音樂數(shù)據(jù)庫選擇的音樂模式；以及
[0011] -音樂輸出部，輸出所述接收的音樂模式。
[0012] 根據(jù)本公開的再一個方面，提供了一種用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的 方法，所述方法包括：
[0013] -接收音樂數(shù)據(jù)；
[0014] -分析接收的音樂數(shù)據(jù)以獲得包括所述分析的音樂數(shù)據(jù)的一個或多個特性的音樂 數(shù)據(jù)描述；
[0015] -生成對包括音樂模式和包括所述音樂模式的一個或多個特性的相關聯(lián)的元數(shù)據(jù) 的音樂數(shù)據(jù)庫的查詢；
[0016] -使用生成的查詢來查詢所述音樂數(shù)據(jù)庫；
[0017] -接收通過使用所述查詢從所述音樂數(shù)據(jù)庫選擇的音樂模式；以及
[0018] -輸出所述接收的音樂模式。
[0019] 根據(jù)本公開的再一個方面，提供了一種用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的 系統(tǒng)，所述系統(tǒng)包括：
[0020] -根據(jù)本發(fā)明的裝置，用于自動地生成作為輸入音樂數(shù)據(jù)的實時伴奏的音樂；以 及
[0021] -音樂數(shù)據(jù)庫，包括音樂模式和包括所述音樂模式的一個或多個特性的相關聯(lián)的 元數(shù)據(jù)，所述音樂數(shù)據(jù)庫被配置為通過使用查詢由所述裝置查詢并且用于提供通過使用所 述查詢從所述音樂數(shù)據(jù)庫選擇的音樂模式。
[0022] 根據(jù)本公開的另一個方面，提供了用于生成在用于自動生成音樂的裝置和方法中 使用的音樂數(shù)據(jù)庫的裝置，所述裝置包括：
[0023]-音樂輸入部，其接收音樂數(shù)據(jù)；
[0024]-處理單元，其將所述音樂數(shù)據(jù)分段為音樂模式并且提取音樂模式的多個特性作 為所述音樂模式的元數(shù)據(jù)，所述特性包括音樂模式的至少和弦、每拍和/或小節(jié)的能量、音 符的密度和音高；
[0025] -音樂輸出部，其將音樂模式和相關聯(lián)的元數(shù)據(jù)存儲在音樂數(shù)據(jù)庫中。
[0026] 根據(jù)本公開的另一個方面，提供了用于生成在用于自動生成音樂的裝置和方法中 使用的音樂數(shù)據(jù)庫的方法，所述方法包括：
[0027]-接收音樂數(shù)據(jù)；
[0028]-將所述音樂數(shù)據(jù)分段為多個音樂模式；
[0029]-提取音樂模式的多個特性作為所述音樂模式的元數(shù)據(jù)，所述特性包括音樂模式 的至少和弦、每拍和/或小節(jié)的能量、音符的密度和音高；
[0030] -將音樂模式和相關聯(lián)的元數(shù)據(jù)存儲在音樂數(shù)據(jù)庫中。
[0031] 根據(jù)本公開的另一個方面，提供了一種音樂數(shù)據(jù)庫，包括：
[0032]-音樂模式，其包括從音樂數(shù)據(jù)分段的音樂的分段；以及
[0033]-元數(shù)據(jù)，其包括音樂模式的多個特性，所述特性包括音樂模式的至少和弦、每拍 和/或小節(jié)的能量、音符的密度和音高。
[0034] 根據(jù)又一個方面，提供了計算機程序，其包括程序代碼手段，當述計算機上在執(zhí)行 所述計算機程序時，使計算機執(zhí)行根據(jù)本公開的方法的步驟；以及計算機可讀非臨時性介 質(zhì)，其具有存儲于其上的指令，當在計算機上執(zhí)行時，所述指令使所述計算機進行根據(jù)本公 開的方法的步驟。
[0035] 在從屬權利要求中限定了本發(fā)明的優(yōu)選實施例。應理解的是，所要求保護的系統(tǒng)、 所要求保護的方法、所要求保護的計算機程序和所要求保護的計算機可讀介質(zhì)具有與如所 要求保護的裝置和如在從屬權利要求中限定的優(yōu)選實施例類似和/或相同的優(yōu)選實施例。
[0036] 本公開描述了用于生成伴奏的裝置和方法，其可提供更大的靈活性并且使用更多 信息來生成伴奏。此外，本公開描述了用于生成音樂數(shù)據(jù)庫，的裝置和方法，該數(shù)據(jù)庫可提 供靈活伴奏。在實施例中，生成的音樂數(shù)據(jù)庫可用于以下裝置和方法中：其中生成輸入音樂 數(shù)據(jù)的音樂數(shù)據(jù)描述并且用于查詢音樂數(shù)據(jù)庫以搜索并且提供適合于輸入音樂數(shù)據(jù)的音 樂模式。音樂數(shù)據(jù)描述可包括分析（對應）的音樂數(shù)據(jù)的一個或多個特性，并且因此可反 映出現(xiàn)在輸入音樂數(shù)據(jù)中的本質(zhì)變化，例如，如果音樂家改變音樂風格、演奏的風格、調(diào)、能 量等。因此，有可能生成"跟隨（follows)"輸入音樂數(shù)據(jù)的伴奏，S卩如果輸入音樂數(shù)據(jù)中的 任何這種本質(zhì)變化出現(xiàn),伴奏即相應地做出反應。
[0037] 由于輸入音樂數(shù)據(jù)的分析，通常音樂數(shù)據(jù)庫的生成和查詢是在現(xiàn)場和百忙之中進 行，例如當音樂家演奏時，伴奏可現(xiàn)場生成，使得可以以適當和靈活的方式為音樂家伴奏， 即使音樂家改變了音樂風格、演奏的風格、調(diào)、能量等。
[0038] 當優(yōu)選地從由音樂家或一組音樂家演奏的現(xiàn)場音樂（即現(xiàn)場音頻信號）獲得輸入 音樂數(shù)據(jù)時，其也可從所錄制的音樂（例如音樂家的音頻錄音，其被重放且伴奏應加入其 中）獲得。音樂數(shù)據(jù)也可以是原始音頻信號、樂器指令數(shù)字化接口數(shù)據(jù)或其它預處理的音 樂數(shù)據(jù)而不是原始音頻信號。
[0039] 音樂數(shù)據(jù)描述可包括各種數(shù)據(jù)，其表征為用于在音樂數(shù)據(jù)庫中搜索音樂模式的查 詢中所使用的分析的音樂數(shù)據(jù)。優(yōu)選地，音樂數(shù)據(jù)描述包括所分析的音樂數(shù)據(jù)的音高、小 節(jié)、調(diào)、速度（tempo，拍子）、能量、音量、一個或多個樂器的類型以及曲調(diào)中的一個或多個。 已知特征提取或特征生成算法可被用于此目的，諸如開發(fā)以提取在MPEG-7標準中描述的 描述符的技術。此外，可與諸如Pachet, F.和 Zils, A.在"Automatic Extraction of Music Descriptors from Acoustic Signals"編輯 X.Serra，ISMIR 2004 的會議錄，第 353-356 頁，巴塞羅那，西班牙，2004年中描述的通用方法互換使用。
[0040] 除了音樂數(shù)據(jù)描述之外，伴奏描述描述了所述實時伴奏的參數(shù)選擇和/或描述音 樂的一般規(guī)則的音樂規(guī)則可用于生成查詢。
[0041] 伴奏描述優(yōu)選地描述一組參數(shù)選擇中的一個或多個參數(shù)選擇,其包括伴奏所基于 的曲調(diào)、用于生成的伴奏一個或多個樂器、用于生成的伴奏的一個或多個音樂家、用于生成 的伴奏的音樂風格和樂器之間的相互作用。包括在此伴奏描述中的一個或多個參數(shù)通常優(yōu) 選地提前或在現(xiàn)場（即，也可在伴奏過程中改變）由用戶設置?？商娲鼗蛄硗獾?，可在一 個實施例中提供包括在此伴奏描述中的一個或多個參數(shù)的自動設置。
[0042]音樂規(guī)則描述一組規(guī)則的音樂的一個或多個一般規(guī)則，其包含優(yōu)選的變調(diào)、非優(yōu) 選的變調(diào)、和聲、與連續(xù)性相關的規(guī)則（例如不會經(jīng)常從一個風格跳到另一個風格，僅在例 如強拍或聲部中的第一小節(jié)等的某些測量位置跳躍）或與表演的整體能量級相關的規(guī)則 (例如，當其它媒介（agent)的能量級已經(jīng)很高時而不超過某一能量級；可替代地，"如果其 他媒介不演奏，則更大聲地演奏"）等。所述音樂規(guī)則通常被預先確定并且應當被理解為應 (或者必須）由從用于伴奏的音樂數(shù)據(jù)庫檢索的音樂模式符合的條件。音樂規(guī)則可用于查 詢的生成，使得僅服從所述音樂規(guī)則的音樂模式被考慮并從數(shù)據(jù)庫檢索?？商娲?，它們可 用于在接收響應于查詢所檢索的音樂模式后的檢查以選擇（最佳）符合音樂規(guī)則的檢索的 音樂模式。
[0043] 音樂模式是存儲在音樂數(shù)據(jù)庫中的預錄制（或預生成）的音樂片段（有時也被稱 為"即興重復段（riffs)"）。（在對應于一定數(shù)量的小節(jié)的長度的一個實施例中）音樂模 式優(yōu)選地具有很短的持續(xù)時間，例如在10毫秒與幾秒之間，優(yōu)選地在100毫秒與5秒之間， 這從在音樂家演奏的時候錄制的音樂獲得。優(yōu)選地，一個或多個音樂家演奏音樂，例如，音 樂的不同的標題、不同的藝術加工、不同的風格等（優(yōu)選地使用不同的樂器），以獲得音樂 數(shù)據(jù)庫中的音樂模式的大集合?？商娲兀魳窋?shù)據(jù)庫可僅包含少量的音樂模式，例如對應 于由一個音樂家演奏的單個音樂片段的五到十個不同的藝術加工。
[0044] 存儲在數(shù)據(jù)庫中的音樂模式設置有描述對應的音樂模式的元數(shù)據(jù)。所述元數(shù)據(jù)優(yōu) 選地在錄制（或生成）的音樂的分析中獲得。在此分析中，音樂被分成上述短音樂模式，其 然后被分析以獲得相關的元數(shù)據(jù)。元數(shù)據(jù)優(yōu)選包括一組元數(shù)據(jù)中的一個或多個數(shù)據(jù)，其包 括和弦、能量（例如每拍或小節(jié)）、音符的密度、和弦符號、調(diào)號、音階、和弦引伸、相同調(diào)號 的根音（relative roots,相關根音）、音區(qū)、平均能量、風格、樂器等。因此，音樂模式的特 征在于元數(shù)據(jù)，其可用于搜索符合當前查詢的一個或多個音樂模式。
[0045] 因此，本公開實現(xiàn)能夠使裝置、系統(tǒng)和方法自動生成音樂作為輸入音樂數(shù)據(jù)的實 時伴奏，其能夠跟隨例如由音樂家演奏的現(xiàn)場音樂的輸入音樂數(shù)據(jù)，并提供比已知的方法 和裝置更好的伴奏。
[0046] 已經(jīng)通過一般介紹的方式提供了前述段落，當并不旨在限制所附權利要求的范 圍。將通過參考結合附圖的下面的詳細描述最好地理解所描述的實施例與其它優(yōu)點。

【專利附圖】

【附圖說明】
[0047] 當結合附圖考慮時，通過參照以下詳細描述將很容易獲得并且同樣更好地理解本 公開的更完整的認識及其許多伴隨的優(yōu)點，在附圖中：
[0048] 圖1示出根據(jù)本公開的用于自動生成音樂的系統(tǒng)和裝置的示意圖；
[0049] 圖2示出根據(jù)本公開的用于自動生成音樂的裝置的實施例的示意圖；
[0050] 圖3示出根據(jù)本公開的用于自動生成音樂的方法的流程圖；
[0051] 圖4示出用于在根據(jù)本公開的用于自動生成音樂的裝置中使用的查詢生成器和 查詢界面的實施例的示意圖；以及
[0052] 圖5示出用于生成音樂數(shù)據(jù)庫的裝置的實施例的示意圖。

【具體實施方式】
[0053] 現(xiàn)在參考附圖，其中相似的參考標號指代貫穿幾個視圖中的相同或對應的部件， 圖1示出根據(jù)本公開的用于自動生成音樂的系統(tǒng)和裝置的示意圖。系統(tǒng)1包括根據(jù)本公開 的裝置2,該裝置用于自動生成作為輸入音樂數(shù)據(jù)4的實時伴奏的音樂3。此外，系統(tǒng)1包 括根據(jù)本公開的音樂數(shù)據(jù)庫5,該音樂數(shù)據(jù)庫包括音樂模式和包括所述音樂模式的一個或 多個特性的相關聯(lián)的元數(shù)據(jù)，所述音樂數(shù)據(jù)庫被配置用于通過使用查詢6由所述裝置進行 查詢和用于提供通過使用所述查詢6從所述音樂數(shù)據(jù)庫5選擇的音樂模式7。
[0054] 應注意，在音樂數(shù)據(jù)庫可通過使用一種數(shù)據(jù)結構來組織，其還被用于通過使用音 樂描述數(shù)據(jù)來查詢音樂數(shù)據(jù)庫的這個上下文中。然而，不是必需的是，音樂數(shù)據(jù)庫包括用于 組織存儲在其中的數(shù)據(jù)的這樣的數(shù)據(jù)結構。特別地，在其它實施例中，音樂數(shù)據(jù)庫可僅包括 一些（相當小數(shù)量）的音樂模式和相關聯(lián)的元數(shù)據(jù)。這樣（小數(shù)量）的音樂數(shù)據(jù)庫可被集 成在例如用戶定義的較大數(shù)據(jù)庫中或其中用戶已收集了其它（小數(shù)量）的音樂數(shù)據(jù)庫的其 它預定的數(shù)據(jù)庫。
[0055] 音樂數(shù)據(jù)庫5可通過使用裝置8生成（其是可選的，但不一定是所要求保護的系 統(tǒng)1的一部分），然后，其例如在線分配或在記錄載體9上分配這些音樂數(shù)據(jù)庫5中的一個 或多個。例如，對于每個音樂家來說，可以提供用于出售的不同的音樂數(shù)據(jù)庫，然后用戶通 過該音樂數(shù)據(jù)庫自動生成音樂，通過其用戶可在他/她演奏音樂時由所述音樂家（人工） 伴奏。
[0056] 輸入音樂數(shù)據(jù)4可因此是由用戶實時演奏的音樂，并且生成的音樂3是在現(xiàn)場生 成的音樂，并作為輸入音樂數(shù)據(jù)4的實時伴奏自動地現(xiàn)場為用戶伴奏。換言之，生成的音樂 3由要求保護的系統(tǒng)生成1，使得其跟隨輸入音樂數(shù)據(jù)4,因此，即使用戶改變他/她的演奏 音樂風格，用戶還遵循速度、和弦或如下面解釋的其它音樂特征。
[0057] 音樂數(shù)據(jù)庫5可被存儲在記錄載體上，例如由裝置2內(nèi)的對應的驅動讀出的⑶、 DVD或BD9上?？商娲?，音樂數(shù)據(jù)庫5可被下載并存儲在裝置2內(nèi)的內(nèi)部存儲器上，例如 PC的硬盤。在另外的其它替代實施例中，音樂數(shù)據(jù)庫5可被設置在網(wǎng)絡內(nèi)（例如云10內(nèi)） 或在預定服務器上在線存儲在互聯(lián)網(wǎng)內(nèi)，裝置2通過提交查詢6和接收對應的音樂模式7 對音樂數(shù)據(jù)庫進行在線訪問。
[0058] 用于自動生成音樂的裝置2和/或用于生成音樂數(shù)據(jù)庫的裝置優(yōu)選地被實施為處 理器件，諸如對應的計算機程序（軟件）在其上運行的計算機或工作站。在一個實施例中， 相同的處理器件（例如相同的計算機）可被實施為兩個裝置2和8。然而，在更實際的情形 中，用于自動生成音樂的裝置2由用戶的計算機或音樂生成系統(tǒng)（優(yōu)選為音樂家）表示，然 而用于生成所述音樂數(shù)據(jù)庫的裝置8被設置在音樂公司和音樂工作室中，其中幾位音樂家 錄制他們的音樂且這些音樂錄制被用于生成音樂數(shù)據(jù)庫5。
[0059] 在實施例中，裝置2、音樂數(shù)據(jù)庫5和裝置8中的一個或多個還可被包括在云10 中。在圖1中所描繪的實施例中，僅音樂數(shù)據(jù)庫5包括在云10內(nèi)，即查詢6被發(fā)送到云10 內(nèi)的音樂數(shù)據(jù)庫且所選擇的音樂模型7被從云10中的音樂數(shù)據(jù)庫5發(fā)送回裝置2。然而， 如所提到的，這僅僅是一個實例，其它實施例也在實踐中使用。其中分離元件被存儲且它們 是如何實施的事實對于本公開來說一般不是必不可少的。
[0060] 一般地，"云計算"的概念包括利用一組共享計算資源（例如，服務器），其典型地 合并在一個或多個數(shù)據(jù)中心位置。例如，云計算系統(tǒng)可被實施為網(wǎng)頁（web)服務，其使用戶 在第三方數(shù)據(jù)中心啟動和管理計算資源（例如，虛擬服務器實例）。在云環(huán)境中，計算機資 源可以是不同尺寸和構造，使得不同資源類型可被專用于滿足不同用戶的特定需求。例如， 一個用戶可能希望使用小型實例作為網(wǎng)頁服務器且另一較大實例作為數(shù)據(jù)庫服務器，或甚 至更大實例用于處理器密集型應用。云計算提供了這種類型的外包靈活性（outsourced flexibility)，而無需管理組織內(nèi)的額外硬件資源的購買和操作。基于云的計算資源被認 為在"云"中執(zhí)行或駐留在其中的某處，這可能是公司內(nèi)部網(wǎng)絡或公共互聯(lián)網(wǎng)。從應用開發(fā) 者或信息技術管理員的角度來看，云計算使得能夠實現(xiàn)呈現(xiàn)出可量測性（例如，根據(jù)需要 增加或降低資源利用）、性能（例如，高效且快速執(zhí)行）和可靠性（例如，從來沒有、或至少 很少失敗）的應用的開發(fā)和部署，而完全沒有對底層基礎設施的性質(zhì)或位置的任何考慮。
[0061] 在圖2中更詳細地示出了根據(jù)本公開的裝置2的實施例的示意圖。裝置2包括音 樂輸入部21，例如，麥克風或用于耦接麥克風、用于接收音樂數(shù)據(jù)4的接口，以及音樂輸出 部22,例如，揚聲器或用于耦接揚聲器或合成器的接口（例如音頻接口和樂器指令數(shù)字化 接口），用于輸出生成的音樂3作為輸入音樂數(shù)據(jù)4的實時伴奏。
[0062] 裝置2進一步包括音樂分析器23,其分析接收到的音樂數(shù)據(jù)4以獲得包括分析后 的音樂數(shù)據(jù)的一個或多個特性的音樂數(shù)據(jù)描述24。設置查詢生成器25,其接收所述音樂數(shù) 據(jù)描述并生成對音樂數(shù)據(jù)庫5的查詢6,如上所述。然而，為了生成所述查詢6,查詢生成器 25不僅使用音樂數(shù)據(jù)描述24,而且另外使用描述所述實時伴奏的參數(shù)選擇的伴奏描述26 和/或使用描述音樂的一般規(guī)則的音樂規(guī)則27。
[0063] 通過使用查詢界面28,使用生成的查詢6查詢音樂數(shù)據(jù)庫5,響應于所述查詢，從 所述音樂數(shù)據(jù)庫5接收音樂模式7。所述音樂模式7然后被提供到音樂輸出部22,用于輸 出作為音樂模式3的輸出。
[0064] 在圖3中示出了根據(jù)本公開的用于自動生成音樂的所提出的方法的基本步驟的 流程圖。在步驟Sl中，音樂數(shù)據(jù)4被接收。在步驟S2中，接收的音樂數(shù)據(jù)4被分析以獲得 包括分析的音樂數(shù)據(jù)的一個或多個特性的音樂數(shù)據(jù)描述24。在步驟S3中，生成對包括音樂 模式的音樂數(shù)據(jù)庫和包括所述音樂模式中的一個或多個特性的相關聯(lián)的元數(shù)據(jù)的查詢。在 步驟S4中，使用所生成的查詢6查詢音樂數(shù)據(jù)庫5。在步驟S5中，接收通過使用所述查詢 6從所述音樂數(shù)據(jù)庫5選擇的音樂模式7。最后，在步驟S6中，輸出接收的音樂模式。
[0065] 在優(yōu)選的實施例中，音樂分析器23被配置為獲得音樂數(shù)據(jù)描述，其包括分析的音 樂數(shù)據(jù)的音高、小節(jié)、調(diào)、速度、能量的分布、平均能量、能量的峰、能量級、風格、和弦、音量、 音符的密度、音符的數(shù)量、平均音高、平均音程(mean interval，平均間隔）、最高音高、最低 音高、音高變化、和聲持續(xù)時間、旋律持續(xù)時間、音程持續(xù)時間（interval duration，間隔持 續(xù)時間）、和弦符號、音階、和弦引伸（chord extension)、相同調(diào)號的根音、音區(qū)、樂器類型 和曲調(diào)中的一個或多個。特定接收的音樂數(shù)據(jù)部分的音樂數(shù)據(jù)描述實際上包含上述數(shù)據(jù)中 的哪一個會取決于由其生成所述音樂數(shù)據(jù)的音樂類型和樂器類型。優(yōu)選地，音樂分析器23 被配置為根據(jù)節(jié)奏連續(xù)地或以規(guī)律的間隔（interval)，特別地以在從10毫秒（msec)到10 秒的范圍內(nèi)的音長（length)的間隔（優(yōu)選地從100毫秒到4秒））并且以從10毫秒至1 秒（優(yōu)選地從100毫秒到500毫秒）的范圍內(nèi)的時間間隔（distance)分析接收的音樂數(shù) 據(jù)4。用于音樂數(shù)據(jù)的分析和用于生成音樂數(shù)據(jù)描述的方法在本領域中一般是已知的并且 包括如上所述的方法。
[0066] 在實施例中，查詢生成器25被配置為使用伴奏描述26生成查詢6,該伴奏描述描 述包括即興演奏的曲調(diào)、即興演奏的一個或多個樂器、即興演奏的一個或多個音樂家、即興 演奏的音樂風格和樂器之間的交互的一組參數(shù)選擇中的一個或多個參數(shù)選擇。例如，在實 施例中，如圖2中所示，提供了用戶界面29,允許用戶輸入所述伴奏描述26的一個或多個參 數(shù)選擇。用戶可以例如輸入他/她想與鼓手（例如，某知名鼓手）演奏的表演和/或將表 演/即興演奏的某首音樂的表演。因此，這個參數(shù)選擇被包括在伴奏描述26中并且然后將 在生成查詢6時被查詢生成器25使用，使得已經(jīng)由用戶輸入某個鼓手的情況下，包含由所 述鼓手記錄的音樂模式和/或包括存儲的模仿所述特定鼓手的風格的音樂模式的對應的 音樂數(shù)據(jù)庫用于被查詢。
[0067] 再給出另一個實例，伴奏描述還可包含指示樂器之間的相互作用/影響的參數(shù)選 擇。例如，可定義其中樂器可演奏的模進（sequence)、它們可能會開始/停止演奏的模進、 特定樂器將在什么條件下演奏的更大聲音或更安靜。此外，作為實例，可定義鼓在第一聲部 (或模進）中應保持恒定，即獨立于從其它樂器提取的任何音樂描述符，但是后來應取決于 第二聲部（或模進）中的貝司的能量級。
[0068] 在另一個實施例中，查詢生成器25被配置為使用描述伴奏應遵循所述輸入音樂 數(shù)據(jù)4的哪一個參數(shù)的伴奏描述26以用于生成所述查詢6。例如，可規(guī)定，伴奏應遵循演 奏輸入音樂數(shù)據(jù)4的特定樂器的能量。其它實例是貝司應該"向上"或"向下"演奏，這取 決于例如吉他獨奏的音高范圍，或取決于鼓的能量級，可替代地，鋼琴應演奏更多或更少音 符,這取決于由（人）獨奏家演奏的每秒的音符數(shù)。
[0069] 如以上所解釋的，由伴奏描述26描述的參數(shù)選擇可由用戶通過用戶界面29輸入。 此外或作為替代的，可通過使用在圖2中用虛線示出的伴奏描述生成器31自動生成所述伴 奏描述26的一個或多個參數(shù)選擇。例如，所述伴奏描述生成器31可被配置為自動決定哪 些樂器與輸入音樂數(shù)據(jù)4最適合和/或哪些音樂風格應該被即興演奏以最適合于輸入音樂 數(shù)據(jù)4。
[0070] 作為可替代的或除了伴奏描述之外，查詢生成器26使用描述包括優(yōu)選的變調(diào)、非 優(yōu)選的變調(diào)、和聲、與連續(xù)性相關的規(guī)則或與表演的整體能量級相關的規(guī)則的一組音樂的 規(guī)則的一個或多個一般的音樂規(guī)則27以用于生成查詢6。所述音樂規(guī)則優(yōu)選地被存儲在音 樂規(guī)則數(shù)據(jù)庫30中并且通常是預定的（但也可至少部分地由用戶設置）。所述音樂規(guī)則例 如可包括禁止某些變調(diào)或限定優(yōu)選的和聲或禁止的不和諧的規(guī)則。優(yōu)選每個樂器、每個音 樂家和/或每個音樂風格均定義那些音樂規(guī)則，即可在音樂規(guī)則數(shù)據(jù)庫30中存在可用的音 樂規(guī)則的各種子數(shù)據(jù)庫，其可在特定情況下根據(jù)需要由查詢生成器25訪問。
[0071] 在該上下文中，即在音樂的上下文下，變調(diào)通常被理解為中間部分或正式功能，而 主要的主旋律是起點，且從屬的主旋律是結局。傳統(tǒng)的可能是奏鳴曲形式的呈示部（Sonata form's exposition)的一部分，其中作曲家從第一主題的調(diào)調(diào)節(jié)到第二的主題的調(diào)，雖然 很多經(jīng)典的時代作品從第一到第二主題組直線移動，而沒有任何變調(diào)。
[0072] 更進一步地，在實施例中，查詢生成器可被配置為每個即興演奏的樂器生成查詢 6。這在圖4中示意地描繪。在本實施例中應作為實例，假設三個不同的樂器（例如鼓、貝司 和吉他）將即興演奏來為現(xiàn)場演奏薩克斯管的音樂家伴奏。查詢生成器25'因此為即興演 奏的三個不同樂器中的每個生成不同的查詢6a、6b、6c。在本實施例中，查詢界面28'包括 三個查詢子界面28a、28b、28c，均用于處理和使用所述三個查詢6a、6b、6c中的一個來查詢 不同音樂數(shù)據(jù)庫5a (包括針對貝司的音樂模式）、5b (包括針對吉他的音樂模式）和5c (包 括針對鼓手的音樂模式）。作為響應，接收針對即興演奏的不同樂器的三個音樂模式7a、 7b、7c，其然后由查詢界面28'輸出到音樂輸出部22。
[0073] 當然，圖4中所示的實施例僅應被理解為實例?？赡軙懈嗟目捎靡魳窋?shù)據(jù)庫， 例如，針對其它樂器、不同音樂家、不同音樂風格、不同曲調(diào)等。如上所述，音樂數(shù)據(jù)庫可供 在線出售或在記錄載體上使用，使得用戶可決定哪個音樂數(shù)據(jù)庫對他/她的目的來說是有 用的。例如，在線商店可提供多個音樂數(shù)據(jù)庫，例如，均包括來自不同音樂家的音樂、不同音 樂作品、不同風格的藝術處理等。用戶可選擇一個音樂數(shù)據(jù)庫、下載并將其添加到現(xiàn)有數(shù)據(jù) 庫和/或將其保持為單獨的數(shù)據(jù)庫。在特定查詢中，也可規(guī)定哪個特定音樂數(shù)據(jù)庫應由查 詢界面28'訪問，其中查詢生成器25'當然優(yōu)選地知道哪個音樂數(shù)據(jù)庫可用于被查詢。
[0074] 在以上描述中，與生成作為輸入音樂數(shù)據(jù)的實時伴奏的音樂相關的所有可用信息 一般用于生成查詢，即音樂數(shù)據(jù)描述24、伴奏描述26和/或音樂規(guī)則27通常被用于生成特 定查詢6?？商娲鼗蛄硗獾兀@些數(shù)據(jù)的部分或所有可用于可選的檢查模塊32 (參見圖 2)，以檢查是否從音樂數(shù)據(jù)庫中選擇的一個或多個接收的音樂的模式5符合所有規(guī)定的標 準和/或用于選擇最符合包含在音樂數(shù)據(jù)描述24、伴奏描述26和/或音樂規(guī)則27中的所 有規(guī)定標準的音樂模式。例如，在實施例中，僅音樂數(shù)據(jù)描述24和伴奏描述可被用于生成 查詢6,其可導致三種不同音樂模式7的選擇。在可選的檢查模塊32中，音樂規(guī)則27然后 可額外地用于從三個所選的音樂模式中選擇最符合音樂規(guī)則27的音樂模式，然后，該音樂 模式被提供給輸出單元22。
[0075] 另外地或可替代地，在多于一個音樂模式在響應于查詢6被返回的情況下，檢查 模塊32可服務隨機選擇一個返回的音樂模式來作為輸出音樂模式的目的。在其它實施例 中，選擇可基于一個或多個額外的音樂數(shù)據(jù)描述項（例如，通過音樂分析器23從輸入音樂 獲得音樂數(shù)據(jù)描述項，但其不用于查詢）。
[0076] 圖5示出了用于生成音樂數(shù)據(jù)82,特別是用于在上述系統(tǒng)中使用的根據(jù)本公開的 裝置8和用于自動生成音樂，特別是用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的根據(jù)本公開 的方法的實施例。該裝置8包括用于接收音樂（特別是音頻數(shù)據(jù)，由音樂家現(xiàn)場演奏或由 音樂家提前錄制）的音樂輸入部81。接收的音樂數(shù)據(jù)82被提供到處理單元83,其處理音 樂數(shù)據(jù)82以生成音樂模式84和包括所述音樂模式84的一個或多個特性的相關聯(lián)的元數(shù) 據(jù)85。所述音樂模式84和相關聯(lián)的元數(shù)據(jù)85然后被提供給輸出界面86,其將所述音樂模 式84和相關聯(lián)的元數(shù)據(jù)85記錄在音樂數(shù)據(jù)庫5中，其然后被輸出，例如存儲在記錄載體上 或存儲在服務器（例如網(wǎng)上商店以銷售給用戶）上。
[0077] 為了生成音樂數(shù)據(jù)庫，優(yōu)選的是音樂家以不同風格、不同節(jié)奏、不同能量演奏和即 興演奏許多不同的曲調(diào)，以具有可用于檢索音樂模式和相關聯(lián)的元數(shù)據(jù)的可用的許多不同 音樂數(shù)據(jù)，使得演奏和即興演奏所述音樂家的音樂的方式最好由針對該特定音樂家的存儲 在音樂數(shù)據(jù)庫5中的數(shù)據(jù)來表示?？捎玫囊魳窋?shù)據(jù)82優(yōu)選地在處理單元83中被分段成音 樂模式（即短的音頻數(shù)據(jù)片段），其然后被分析以提取音樂模式的特性特征。對于該特性， 可使用已知的特征提取算法，例如，如在Pachet, F.和Zils, A.的"Automatic Extraction of Music Descriptors from Acoustic Signals"，編輯 X.Serra，ISMIR 2004 會議錄，第 353-356頁，巴塞羅那，西班牙，2004年中描述的提取發(fā)現(xiàn)系統(tǒng)（EDS)。
[0078] 因此，可提取相同的（或基本或部分相同）的特性特征，用于由上述的音樂分析器 23生成音樂數(shù)據(jù)描述（或者更確切地說，當數(shù)據(jù)庫5被創(chuàng)建時，相同的特征由音樂分析器 23從由處理單元83提取的輸入音樂數(shù)據(jù)提取以描述音樂模式）。特別地，音高、小節(jié)、調(diào)、速 度、能量的分布、平均能量、能量的峰、能量級、風格、和弦、音量、音符的密度、音符的數(shù)量、 平均音高、平均音程、最高音高、最低音高、音高變化、和聲持續(xù)時間、旋律持續(xù)時間、音程持 續(xù)時間、和弦符號、音階、和弦引伸、相同調(diào)號的根音、音區(qū)、樂器類型和輸入音樂數(shù)據(jù)的曲 調(diào)中的一個或多個被提取并與對應的音樂模式一起被存儲為元數(shù)據(jù)。音樂模式通常是具有 從100毫秒至幾秒的范圍內(nèi)的時間長度的小音樂片段。優(yōu)選地，音樂變調(diào)使人具有很大興 趣且主要與對應的元數(shù)據(jù)一起作為音樂模式存儲在音樂數(shù)據(jù)庫中。
[0079] 在下文中，提供了示出數(shù)據(jù)庫項和查詢的實例的音樂數(shù)據(jù)庫的實例。鋼琴曲目數(shù) 據(jù)庫的提取可如下：
[0080]

【權利要求】
1. 一種用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的裝置，所述裝置包括： -音樂輸入部，接收音樂數(shù)據(jù)； -音樂分析器，分析接收到的音樂數(shù)據(jù)以獲得包括分析的音樂數(shù)據(jù)的一個或多個特性 的音樂數(shù)據(jù)描述； -查詢生成器，生成對包括音樂模式和相關聯(lián)的元數(shù)據(jù)的音樂數(shù)據(jù)庫的查詢，所述相關 聯(lián)的元數(shù)據(jù)包括所述音樂模式的一個或多個特性，從所述音樂數(shù)據(jù)描述和從描述所述實時 伴奏的參數(shù)選擇的伴奏描述和/或描述音樂的一般規(guī)則的音樂規(guī)則生成所述查詢； -查詢界面，使用生成的查詢來查詢所述音樂數(shù)據(jù)庫并且接收通過使用所述查詢從所 述音樂數(shù)據(jù)庫選擇的音樂模式；以及 -音樂輸出部，輸出所接收的音樂模式。
2. 根據(jù)權利要求1所述的裝置， 其中，所述音樂分析器被配置為獲得音樂數(shù)據(jù)描述，所述音樂數(shù)據(jù)描述包括所述分析 的音樂數(shù)據(jù)的一個或多個小節(jié)、調(diào)、速度、能量的分布、平均能量、能量的峰、能量級、風格、 和弦、音量、音符的密度、音符的數(shù)量、平均音高、平均音程、最高音高、最低音高、音高變化、 和聲持續(xù)時間、旋律持續(xù)時間、音程持續(xù)時間、和弦符號、音階、和弦引伸、相同調(diào)號的根音、 音區(qū)、一個或多個樂器的類型以及曲調(diào)中的一個或多個。
3. 根據(jù)權利要求1所述的裝置， 其中，所述音樂分析器被配置為以規(guī)律的間隔分析接收到的音樂數(shù)據(jù)，特別地以從10 毫秒至10秒范圍內(nèi)的音長的間隔和以從10毫秒至1秒的范圍內(nèi)的時間間隔。
4. 根據(jù)權利要求1所述的裝置， 其中，所述查詢生成器被配置為使用伴奏描述以生成所述查詢，所述伴奏描述描述包 括即興演奏的曲調(diào)、即興演奏的一個或多個樂器、即興演奏的一個或多個音樂家、即興演奏 的音樂風格和樂器之間的相互作用的一組參數(shù)選擇中的一個或多個參數(shù)選擇。
5. 根據(jù)權利要求1所述的裝置， 其中，所述查詢生成器被配置為使用伴奏描述以生成所述查詢，所述伴奏描述描述伴 奏應遵循所述輸入數(shù)據(jù)中的哪一個參數(shù)。
6. 根據(jù)權利要求1所述的裝置， 其中，所述查詢生成器被配置為使用音樂規(guī)則以生成所述查詢，所述音樂規(guī)則描述包 括優(yōu)選的變調(diào)、非優(yōu)選的變調(diào)、和聲、與連續(xù)性相關的規(guī)則或與表演的整體能量級相關的規(guī) 則的一組規(guī)則中的一個或多個音樂的一般規(guī)則。
7. 根據(jù)權利要求1所述的裝置， 其中，所述查詢生成器被配置為使用每個樂器、每個音樂家和/或每個音樂風格的音 樂規(guī)則以生成所述查詢。
8. 根據(jù)權利要求1所述的裝置， 其中，所述查詢生成器被配置為生成即興演奏的每個樂器的查詢。
9. 根據(jù)權利要求1所述的裝置， 進一步包括伴奏描述生成器，所述伴奏描述生成器從所述輸入音樂數(shù)據(jù)自動地生成所 述伴奏描述的一個或多個參數(shù)選擇。
10. 根據(jù)權利要求1所述的裝置， 進一步包括檢查模塊，所述檢查模塊用于檢查與所述音樂數(shù)據(jù)描述、所述伴奏描述和/ 或所述音樂規(guī)則相對的一個或多個選擇的音樂模式。
11. 一種用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的方法，所述方法包括： -接收音樂數(shù)據(jù)； -分析接收的音樂數(shù)據(jù)以獲得包括分析的音樂數(shù)據(jù)的一個或多個特性的音樂數(shù)據(jù)描 述； -生成對包括音樂模式和相關聯(lián)的元數(shù)據(jù)的音樂數(shù)據(jù)庫的查詢，所述相關聯(lián)的元數(shù)據(jù) 包括所述音樂模式的一個或多個特性，從所述音樂數(shù)據(jù)描述和從描述所述實時伴奏的參數(shù) 選擇的伴奏描述和/或描述音樂的一般規(guī)則的音樂規(guī)則生成所述查詢； -使用生成的查詢來查詢所述音樂數(shù)據(jù)庫； -接收通過使用所述查詢從所述音樂數(shù)據(jù)庫選擇的音樂模式；以及 -輸出所接收的音樂模式。
12. -種用于自動生成輸入音樂數(shù)據(jù)的實時伴奏的系統(tǒng)，所述系統(tǒng)包括： _根據(jù)權利要求1至13中任一項定義的裝置，自動地生成作為輸入音樂數(shù)據(jù)的實時伴 奏的音樂；以及 -音樂數(shù)據(jù)庫，包括音樂模式和相關聯(lián)的元數(shù)據(jù)，所述相關聯(lián)的元數(shù)據(jù)包括所述音樂模 式的一個或多個特性，所述音樂數(shù)據(jù)庫被配置用于通過使用查詢而被所述裝置查詢并且用 于提供通過使用所述查詢從所述音樂數(shù)據(jù)庫選擇的音樂模式。
13. 根據(jù)權利要求12所述的系統(tǒng)， 進一步包括云，所述云包括自動生成音樂的裝置、所述音樂數(shù)據(jù)庫和生成所述音樂數(shù) 據(jù)庫的所述裝置中的至少一個。
14. 一種用于生成音樂數(shù)據(jù)庫的裝置，所述音樂數(shù)據(jù)庫用于在用于自動生成音樂的裝 置和方法中使用，所述裝置包括： -音樂輸入部，接收音樂數(shù)據(jù)； -處理單元，將所述音樂數(shù)據(jù)分段為音樂模式并且提取所述音樂模式的多個特性作為 所述音樂模式的元數(shù)據(jù)，所述特性包括音樂模式的至少和弦、每拍和/或小節(jié)的能量、音符 的密度和音高； _音樂輸出部，將所述音樂模式和相關聯(lián)的元數(shù)據(jù)存儲在所述音樂數(shù)據(jù)庫中。
15. -種用于生成音樂數(shù)據(jù)庫的方法，所述音樂數(shù)據(jù)庫用于在用于自動生成音樂的裝 置和方法中使用，所述方法包括： -接收音樂數(shù)據(jù)； -將所述音樂數(shù)據(jù)分段為多個音樂模式； -提取音樂模式的多個特性作為該音樂模式的元數(shù)據(jù)，所述特性包括音樂模式的至少 和弦、每拍和/或小節(jié)的能量、音符的密度和音高； -將多個音樂模式和相關聯(lián)的元數(shù)據(jù)存儲在音樂數(shù)據(jù)庫中。
16. -種計算機程序，包括程序代碼手段，當在計算機上執(zhí)行所述計算機程序時，所述 程序代碼手段用于使計算機執(zhí)行根據(jù)權利要求11或15所述的方法的步驟。
17. -種計算機可讀的非臨時性介質(zhì)，具有存儲在其上的指令，當在計算機上執(zhí)行所述 指令時使所述計算機執(zhí)行根據(jù)權利要求11或15所述的方法的步驟。
18. -種音樂數(shù)據(jù)庫，包括： _多個音樂模式，包括從音樂數(shù)據(jù)分段的音樂的多個分段；以及 -元數(shù)據(jù)，包括音樂模式的多個特性，所述特性包括音樂模式的至少和弦、每拍和/或 小節(jié)的能量、音符的密度和音高。
19. 根據(jù)權利要求18所述的音樂數(shù)據(jù)庫， 包括：從由相同的音樂家、由不同的音樂家演奏演奏的音樂或由不同的音樂家以一種 或多種音樂風格演奏的相同的音樂曲調(diào)獲得的多個音樂模式。
20. -種計算機可讀記錄載體，存儲根據(jù)權利要求18所述的音樂數(shù)據(jù)庫。
21. 在用于自動生成作為輸入音樂數(shù)據(jù)的實時即興演奏的音樂的方法或裝置中使用根 據(jù)權利要求18所述的音樂數(shù)據(jù)庫。
【文檔編號】G10H1/00GK104380371SQ201380029343
【公開日】2015年2月25日 申請日期:2013年6月3日 優(yōu)先權日:2012年6月4日
【發(fā)明者】弗朗索瓦·帕謝, 皮埃爾·羅伊 申請人:索尼公司