本說(shuō)明書涉及數(shù)據(jù)處理，尤其涉及一種計(jì)算流程的處理方法及裝置。

背景技術(shù)：

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，各種大數(shù)據(jù)計(jì)算平臺(tái)涌現(xiàn)，以為各企業(yè)、單位提供數(shù)據(jù)處理服務(wù)。為了更好的為各企業(yè)、單位提供給優(yōu)質(zhì)的數(shù)據(jù)處理服務(wù)，如何為各企業(yè)、單位的各業(yè)務(wù)計(jì)算流程提供更便利的編排部署方案至關(guān)重要。

技術(shù)實(shí)現(xiàn)思路

1、本說(shuō)明書一個(gè)或多個(gè)實(shí)施例提供了一種計(jì)算流程的處理方法及裝置，以實(shí)現(xiàn)對(duì)涉及離線計(jì)算和在線計(jì)算的混合計(jì)算流程進(jìn)行更便利的編排部署，提高用戶體驗(yàn)。

2、根據(jù)第一方面，提供一種計(jì)算流程的處理方法，其中，所述方法包括：

3、獲取計(jì)算流程對(duì)應(yīng)的關(guān)系圖，其中，所述關(guān)系圖中的各節(jié)點(diǎn)分別表征所述計(jì)算流程中涉及的各算子，各有向邊分別表征所連接節(jié)點(diǎn)之間的依賴關(guān)系，所述算子包括離線類型的第一算子和在線類型的第二算子；

4、根據(jù)所述關(guān)系圖中各個(gè)節(jié)點(diǎn)對(duì)應(yīng)的算子類型，分割所述關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖；記錄所述第一子圖與所述第二子圖之間的關(guān)聯(lián)關(guān)系，其中，所述第一子圖中的節(jié)點(diǎn)均對(duì)應(yīng)于第一算子，所述第二子圖中的節(jié)點(diǎn)均對(duì)應(yīng)于第二算子；

5、基于所述第一子圖、第二子圖、以及所述關(guān)聯(lián)關(guān)系，運(yùn)行所述計(jì)算流程。

6、根據(jù)第二方面，提供一種計(jì)算流程的處理裝置，其中，所述裝置包括：

7、獲取模塊，配置為獲取計(jì)算流程對(duì)應(yīng)的關(guān)系圖，其中，所述關(guān)系圖中的各節(jié)點(diǎn)分別表征所述計(jì)算流程中涉及的各算子，各有向邊分別表征所連接節(jié)點(diǎn)之間的依賴關(guān)系，所述算子包括離線類型的第一算子和在線類型的第二算子；

8、分割記錄模塊，配置為根據(jù)所述關(guān)系圖中各個(gè)節(jié)點(diǎn)對(duì)應(yīng)的算子類型，分割所述關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖；記錄所述第一子圖與所述第二子圖之間的關(guān)聯(lián)關(guān)系，其中，所述第一子圖中的節(jié)點(diǎn)均對(duì)應(yīng)于第一算子，所述第二子圖中的節(jié)點(diǎn)均對(duì)應(yīng)于第二算子；

9、運(yùn)行模塊，配置為基于所述第一子圖、第二子圖、以及所述關(guān)聯(lián)關(guān)系，運(yùn)行所述計(jì)算流程。

10、根據(jù)第三方面，提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)中執(zhí)行時(shí)，令計(jì)算機(jī)執(zhí)行第一方面所述的方法。

11、根據(jù)第四方面，提供一種計(jì)算設(shè)備，包括存儲(chǔ)器和處理器，其中，所述存儲(chǔ)器中存儲(chǔ)有可執(zhí)行代碼，所述處理器執(zhí)行所述可執(zhí)行代碼時(shí)，實(shí)現(xiàn)第一方面所述的方法。

12、根據(jù)本說(shuō)明書實(shí)施例提供的計(jì)算流程的處理方法及裝置，獲取涉及離線計(jì)算和在線計(jì)算的計(jì)算流程對(duì)應(yīng)的關(guān)系圖，其中，關(guān)系圖中的各節(jié)點(diǎn)分別表征計(jì)算流程中涉及的離線類型的各第一算子和在線類型的各第二算子，各有向邊分別表征所連接節(jié)點(diǎn)之間的依賴關(guān)系；根據(jù)關(guān)系圖中各個(gè)節(jié)點(diǎn)對(duì)應(yīng)的算子類型，分割關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖；記錄第一子圖與第二子圖之間的關(guān)聯(lián)關(guān)系，其中，第一子圖中的節(jié)點(diǎn)均對(duì)應(yīng)于第一算子，第二子圖中的節(jié)點(diǎn)均對(duì)應(yīng)于第二算子；基于第一子圖、第二子圖、以及關(guān)聯(lián)關(guān)系，運(yùn)行計(jì)算流程。上述過(guò)程，基于涉及離線計(jì)算和在線計(jì)算的計(jì)算流程的關(guān)系圖，實(shí)現(xiàn)對(duì)一個(gè)計(jì)算流程中涉及的離線計(jì)算子流程和在線計(jì)算子流程的統(tǒng)一管理，并實(shí)現(xiàn)對(duì)該類混合計(jì)算流程的統(tǒng)一編排，在部署過(guò)程中，基于關(guān)系圖中各個(gè)節(jié)點(diǎn)對(duì)應(yīng)的算子類型，分割關(guān)系圖，并記錄分割所得的第一子圖與第二子圖之間的關(guān)聯(lián)關(guān)系，以實(shí)現(xiàn)對(duì)計(jì)算流程中的離線計(jì)算子流程和在線計(jì)算子流程之間的關(guān)聯(lián)關(guān)系的自動(dòng)化關(guān)聯(lián)，降低混合計(jì)算流程編排部署的復(fù)雜度。

技術(shù)特征：

1.一種計(jì)算流程的處理方法，其中，所述方法包括：

2.如權(quán)利要求1所述的方法，其中，所述基于所述第一子圖、第二子圖、以及所述關(guān)聯(lián)關(guān)系，運(yùn)行所述計(jì)算流程，包括：

3.如權(quán)利要求1所述的方法，其中，所述關(guān)系圖為有向無(wú)環(huán)圖。

4.如權(quán)利要求1所述的方法，其中，所述根據(jù)所述關(guān)系圖中各個(gè)節(jié)點(diǎn)對(duì)應(yīng)的算子類型，分割所述關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖，包括：

5.如權(quán)利要求4所述的方法，其中，所述查找到各自所對(duì)應(yīng)的算子類型不同、且互為前序節(jié)點(diǎn)和后繼節(jié)點(diǎn)的至少一對(duì)目標(biāo)節(jié)點(diǎn)對(duì)，包括：

6.如權(quán)利要求5所述的方法，在所述確定所述第二節(jié)點(diǎn)與其前序節(jié)點(diǎn)為一對(duì)目標(biāo)節(jié)點(diǎn)對(duì)之后，還包括：

7.如權(quán)利要求6所述的方法，其中，所述基于各分割位置，從所述關(guān)系圖中得到關(guān)聯(lián)的第一子圖和第二子圖，包括：

8.如權(quán)利要求7所述的方法，其中，所述構(gòu)建第一子圖或第二子圖，包括：

9.如權(quán)利要求7所述的方法，所述基于各分割位置，從所述關(guān)系圖中得到關(guān)聯(lián)的第一子圖和第二子圖，還包括：

10.如權(quán)利要求4所述的方法，其中，所述記錄各第一子圖與第二子圖之間的關(guān)聯(lián)關(guān)系，包括：

11.如權(quán)利要求1-10任一項(xiàng)所述的方法，還包括：

12.一種計(jì)算流程的處理裝置，其中，所述裝置包括：

13.一種計(jì)算設(shè)備，包括存儲(chǔ)器和處理器，其中，所述存儲(chǔ)器中存儲(chǔ)有可執(zhí)行代碼，所述處理器執(zhí)行所述可執(zhí)行代碼時(shí)，實(shí)現(xiàn)權(quán)利要求1-11中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本說(shuō)明書實(shí)施例提供一種計(jì)算流程的處理方法及裝置，該方法包括：獲取涉及離線計(jì)算和在線計(jì)算的計(jì)算流程對(duì)應(yīng)的關(guān)系圖，其中，關(guān)系圖中的各節(jié)點(diǎn)分別表征計(jì)算流程中涉及的離線類型的各第一算子和在線類型的各第二算子，各有向邊分別表征所連接節(jié)點(diǎn)之間的依賴關(guān)系；根據(jù)關(guān)系圖中各個(gè)節(jié)點(diǎn)對(duì)應(yīng)的算子類型，分割關(guān)系圖，得到關(guān)聯(lián)的第一子圖和第二子圖；記錄第一子圖與第二子圖之間的關(guān)聯(lián)關(guān)系，其中，第一子圖中的節(jié)點(diǎn)均對(duì)應(yīng)于第一算子，第二子圖中的節(jié)點(diǎn)均對(duì)應(yīng)于第二算子；基于第一子圖、第二子圖、以及關(guān)聯(lián)關(guān)系，運(yùn)行計(jì)算流程，以實(shí)現(xiàn)對(duì)涉及離線計(jì)算和在線計(jì)算的混合計(jì)算流程進(jìn)行更便利的編排部署，提高用戶體驗(yàn)。

技術(shù)研發(fā)人員：武斌,王天雨,史可新,于源,孫善祿
受保護(hù)的技術(shù)使用者：螞蟻區(qū)塊鏈科技（上海）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9