本技術(shù)涉及計(jì)算機(jī)，尤其涉及一種數(shù)據(jù)處理方法、裝置及集群。

背景技術(shù)：

1、流式計(jì)算是一種能夠?qū)?shù)據(jù)進(jìn)行實(shí)時處理的計(jì)算方式。一般而言，流式計(jì)算可分為有狀態(tài)計(jì)算和無狀態(tài)計(jì)算。對于有狀態(tài)計(jì)算而言，前后數(shù)據(jù)之間是有關(guān)系的，算子(operator)需要基于之前的數(shù)據(jù)或之前的計(jì)算結(jié)果，對當(dāng)前的數(shù)據(jù)進(jìn)行計(jì)算。因此，執(zhí)行有狀態(tài)計(jì)算的算子將之前的數(shù)據(jù)以及之前的計(jì)算結(jié)果作為狀態(tài)(state)進(jìn)行存儲，以在接收到新的數(shù)據(jù)時，利用存儲的狀態(tài)(即之前的數(shù)據(jù)以及之前的計(jì)算結(jié)果)對新的數(shù)據(jù)進(jìn)行計(jì)算。

2、在相關(guān)技術(shù)中，將全量數(shù)據(jù)發(fā)送至算子，使得算子基于全量數(shù)據(jù)進(jìn)行狀態(tài)存儲。算子計(jì)算所需的數(shù)據(jù)通常只是全量數(shù)據(jù)中的一小部分，因此，基于全量數(shù)據(jù)進(jìn)行的狀態(tài)存儲產(chǎn)生了不必要的存儲開銷。并且，由于狀態(tài)存儲是在內(nèi)存中進(jìn)行存儲，狀態(tài)存儲過大的數(shù)據(jù)量導(dǎo)致算子的內(nèi)存消耗較大，這影響了算子的計(jì)算性能。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種數(shù)據(jù)處理方法、裝置及集群，可在保障業(yè)務(wù)得以正常處理的同時，降低了計(jì)算算子的狀態(tài)存儲的數(shù)據(jù)量，節(jié)省計(jì)算算子的內(nèi)存。

2、第一方面，提供了一種數(shù)據(jù)處理方法，該方法應(yīng)用于流式計(jì)算裝置，流式計(jì)算裝置包括讀取算子、第一計(jì)算算子和輸出算子，其中，第一計(jì)算算子用于基于業(yè)務(wù)的第一計(jì)算邏輯進(jìn)行數(shù)據(jù)計(jì)算；該方法包括：讀取算子從業(yè)務(wù)的數(shù)據(jù)源端讀取業(yè)務(wù)數(shù)據(jù)；讀取算子在業(yè)務(wù)數(shù)據(jù)中識別業(yè)務(wù)的計(jì)算邏輯需要的數(shù)據(jù)，得到計(jì)算所需數(shù)據(jù)；其中，計(jì)算所需數(shù)據(jù)包括第一計(jì)算邏輯需要的第一數(shù)據(jù)；讀取算子將計(jì)算所需數(shù)據(jù)發(fā)送至第一計(jì)算算子，使得第一計(jì)算算子基于第一計(jì)算邏輯對第一數(shù)據(jù)進(jìn)行計(jì)算，得到計(jì)算結(jié)果；輸出算子基于計(jì)算結(jié)果和業(yè)務(wù)數(shù)據(jù)，向業(yè)務(wù)的數(shù)據(jù)目標(biāo)端輸出業(yè)務(wù)的處理結(jié)果。

3、計(jì)算算子是基于該計(jì)算算子接收到的數(shù)據(jù)進(jìn)行狀態(tài)存儲的。計(jì)算算子的計(jì)算邏輯所需的數(shù)據(jù)通常只是讀取算子讀取到的業(yè)務(wù)數(shù)據(jù)中的一小部分?jǐn)?shù)據(jù)。該方法在業(yè)務(wù)數(shù)據(jù)中識別計(jì)算算子的計(jì)算邏輯所需的數(shù)據(jù)，并將計(jì)算算子的計(jì)算邏輯所需的數(shù)據(jù)發(fā)送至計(jì)算算子，使得計(jì)算算子基于計(jì)算算子的計(jì)算邏輯所需的數(shù)據(jù)進(jìn)行狀態(tài)存儲。相比基于業(yè)務(wù)數(shù)據(jù)進(jìn)行的狀態(tài)存儲，基于計(jì)算邏輯所需的數(shù)據(jù)進(jìn)行的狀態(tài)存儲大大降低了狀態(tài)存儲的數(shù)據(jù)量，進(jìn)而降低了狀態(tài)存儲對算子的內(nèi)存的消耗。并且，計(jì)算邏輯所需的數(shù)據(jù)滿足了計(jì)算算子的計(jì)算需求。輸出算子基于計(jì)算算子對計(jì)算邏輯所需的數(shù)據(jù)進(jìn)行計(jì)算的計(jì)算結(jié)果和業(yè)務(wù)數(shù)據(jù)，可得到業(yè)務(wù)的處理結(jié)果。也就是說，在讀取算子僅向計(jì)算算子發(fā)送該計(jì)算算子的計(jì)算邏輯所需的數(shù)據(jù)的情況下，輸出算子可以得到業(yè)務(wù)的處理結(jié)果，不影響業(yè)務(wù)的處理。

4、簡而言之，本技術(shù)實(shí)施例提供的方法可以在保障業(yè)務(wù)得以正常處理的同時，降低計(jì)算算子的狀態(tài)存儲的數(shù)據(jù)量，進(jìn)而節(jié)省了計(jì)算算子的內(nèi)存，保障了計(jì)算算子的計(jì)算性能。

5、在一種可能的實(shí)現(xiàn)方式中，流式計(jì)算裝置對應(yīng)供讀取算子和輸出算子訪問的存儲空間；該方法還包括：讀取算子將非計(jì)算所需數(shù)據(jù)存儲至存儲空間，非計(jì)算所需數(shù)據(jù)是業(yè)務(wù)數(shù)據(jù)中除計(jì)算所需數(shù)據(jù)之外的數(shù)據(jù)；輸出算子從存儲空間中讀取非計(jì)算所需數(shù)據(jù)；輸出算子基于計(jì)算結(jié)果和業(yè)務(wù)數(shù)據(jù)，向數(shù)據(jù)目標(biāo)端輸出業(yè)務(wù)的處理結(jié)果，包括：輸出算子基于非計(jì)算所需數(shù)據(jù)和計(jì)算結(jié)果，向數(shù)據(jù)目標(biāo)端輸出處理結(jié)果。

6、該存儲空間為讀取算子和輸出算子的共享存儲空間。非計(jì)算所需數(shù)據(jù)和計(jì)算算子的計(jì)算結(jié)果用于輸出算子得到業(yè)務(wù)的處理結(jié)果。在該實(shí)現(xiàn)方式中，讀取算子將非計(jì)算所需數(shù)據(jù)存儲至共享存儲空間，在讀取算子無需通過讀取算子和輸出算子之間的算子(例如計(jì)算算子)傳遞非計(jì)算所需數(shù)據(jù)的情況下，輸出算子就可獲得非計(jì)算所需數(shù)據(jù)，從而可以基于非計(jì)算所需數(shù)據(jù)和計(jì)算算子的計(jì)算結(jié)果得到業(yè)務(wù)的處理結(jié)果。

7、在一種可能的實(shí)現(xiàn)方式中，流式計(jì)算裝置對應(yīng)供讀取算子和輸出算子訪問的存儲空間；該方法還包括：讀取算子將業(yè)務(wù)數(shù)據(jù)存儲至存儲空間；輸出算子從存儲空間中讀取業(yè)務(wù)數(shù)據(jù)。

8、該存儲空間為讀取算子和輸出算子的共享存儲空間。業(yè)務(wù)數(shù)據(jù)和計(jì)算算子的計(jì)算結(jié)果用于輸出算子得到業(yè)務(wù)的處理結(jié)果。在該實(shí)現(xiàn)方式中，讀取算子將業(yè)務(wù)數(shù)據(jù)存儲至共享存儲空間，在讀取算子無需通過讀取算子和輸出算子之間的算子(例如計(jì)算算子)傳遞業(yè)務(wù)數(shù)據(jù)的情況下，輸出算子就可獲得非計(jì)算所需數(shù)據(jù)，從而可以基于非計(jì)算所需數(shù)據(jù)和計(jì)算算子的計(jì)算結(jié)果得到業(yè)務(wù)的處理結(jié)果。

9、在一種可能的實(shí)現(xiàn)方式中，流式計(jì)算裝置包括第二計(jì)算算子，第二計(jì)算算子用于按照業(yè)務(wù)的第二計(jì)算邏輯進(jìn)行數(shù)據(jù)計(jì)算；在業(yè)務(wù)的數(shù)據(jù)流向上，第二計(jì)算算子位于第一計(jì)算算子之后；其中，計(jì)算所需數(shù)據(jù)還包括第二計(jì)算邏輯需要的第二數(shù)據(jù)；第一計(jì)算算子用于將第二數(shù)據(jù)發(fā)送至第二計(jì)算算子，使得第二計(jì)算算子基于第二計(jì)算邏輯對第二數(shù)據(jù)進(jìn)行計(jì)算。

10、在該實(shí)現(xiàn)方式中，計(jì)算算子可以識別該計(jì)算算子的下游計(jì)算算子的計(jì)算邏輯所需的數(shù)據(jù)，并將下游計(jì)算算子的計(jì)算所里所需的數(shù)據(jù)發(fā)送至下游計(jì)算算子，在保障下游計(jì)算算子計(jì)算所需的同時，進(jìn)一步降低下游計(jì)算算子的狀態(tài)存儲的數(shù)據(jù)量，進(jìn)一步節(jié)省了下游計(jì)算算子的內(nèi)存。

11、在一種可能的實(shí)現(xiàn)方式中，業(yè)務(wù)數(shù)據(jù)包括第一待拼接數(shù)據(jù)、第一待拼接數(shù)據(jù)對應(yīng)的第一拼接鍵、第二待拼接數(shù)據(jù)、第二待拼接數(shù)據(jù)對應(yīng)的第二拼接鍵；第一計(jì)算邏輯包括：判斷第一拼接鍵和第二拼接鍵是否相同；讀取算子在業(yè)務(wù)數(shù)據(jù)中識別業(yè)務(wù)的計(jì)算邏輯需要的數(shù)據(jù)，得到計(jì)算所需數(shù)據(jù)，包括：讀取算子基于第一計(jì)算邏輯，識別第一拼接鍵和第二拼接為第一數(shù)據(jù)；輸出算子基于計(jì)算結(jié)果和業(yè)務(wù)數(shù)據(jù)，向業(yè)務(wù)的數(shù)據(jù)目標(biāo)端輸出業(yè)務(wù)的處理結(jié)果，包括：當(dāng)計(jì)算結(jié)果表示第一拼接鍵和第二拼接鍵相同時，輸出算子拼接第一待拼接數(shù)據(jù)和第二待拼接數(shù)據(jù)，得到處理結(jié)果。

12、在該實(shí)現(xiàn)方式中，當(dāng)計(jì)算算子執(zhí)行數(shù)據(jù)拼接業(yè)務(wù)時，讀取算子只需將拼接鍵發(fā)送至計(jì)算算子，在滿足計(jì)算算子的計(jì)算所需的同時，使得計(jì)算算子基于拼接鍵進(jìn)行狀態(tài)存儲，降低了計(jì)算算子的狀態(tài)存儲的數(shù)據(jù)量。

13、在一種可能的實(shí)現(xiàn)方式中，業(yè)務(wù)數(shù)據(jù)包括待過濾數(shù)據(jù)、待過濾數(shù)據(jù)對應(yīng)的過濾鍵；第一計(jì)算邏輯包括：判斷過濾鍵是否滿足預(yù)設(shè)的過濾條件；讀取算子在業(yè)務(wù)數(shù)據(jù)中識別業(yè)務(wù)的計(jì)算邏輯需要的數(shù)據(jù)，得到計(jì)算所需數(shù)據(jù)，包括：讀取算子基于第一計(jì)算邏輯，識別過濾鍵為第一數(shù)據(jù)；輸出算子基于計(jì)算結(jié)果和業(yè)務(wù)數(shù)據(jù)，向業(yè)務(wù)的數(shù)據(jù)目標(biāo)端輸出業(yè)務(wù)的處理結(jié)果，包括：當(dāng)計(jì)算結(jié)果表示過濾鍵滿足預(yù)設(shè)的過濾條件時，輸出算子將待過濾數(shù)據(jù)作為處理結(jié)果。

14、在該實(shí)現(xiàn)方式中，當(dāng)計(jì)算算子執(zhí)行數(shù)據(jù)過濾輸出業(yè)務(wù)時，讀取算子只需將過濾鍵發(fā)送至計(jì)算算子，在滿足計(jì)算算子的計(jì)算所需的同時，使得計(jì)算算子基于過濾鍵進(jìn)行狀態(tài)存儲，降低了計(jì)算算子的狀態(tài)存儲的數(shù)據(jù)量。

15、在一種可能的實(shí)現(xiàn)方式中，業(yè)務(wù)數(shù)據(jù)是由多個數(shù)據(jù)點(diǎn)組成的流式數(shù)據(jù)，多個數(shù)據(jù)點(diǎn)中的每個數(shù)據(jù)點(diǎn)包括至少一個數(shù)據(jù)；其中，讀取算子從數(shù)據(jù)源端讀取多個數(shù)據(jù)點(diǎn)中不同數(shù)據(jù)點(diǎn)的時刻不同；讀取算子從業(yè)務(wù)的數(shù)據(jù)源端讀取業(yè)務(wù)數(shù)據(jù)，包括：讀取算子在第一時刻讀取多個數(shù)據(jù)點(diǎn)中的第一數(shù)據(jù)點(diǎn)；讀取算子在業(yè)務(wù)數(shù)據(jù)中識別業(yè)務(wù)的計(jì)算邏輯需要的數(shù)據(jù)，得到計(jì)算所需數(shù)據(jù)，包括：讀取算子基于第一計(jì)算邏輯，識別第一數(shù)據(jù)點(diǎn)為第一數(shù)據(jù)。

16、每當(dāng)讀取到數(shù)據(jù)時，讀取算子即可判斷該數(shù)據(jù)屬于計(jì)算所需數(shù)據(jù)還是屬于非計(jì)算所需數(shù)據(jù)。當(dāng)該數(shù)據(jù)屬于計(jì)算所需數(shù)據(jù)時，讀取算子將該數(shù)據(jù)發(fā)送至計(jì)算算子，使得計(jì)算算子可及時對該數(shù)據(jù)進(jìn)行計(jì)算，保障了流式計(jì)算的實(shí)時性。

17、在一種可能的實(shí)現(xiàn)方式中，讀取算子從業(yè)務(wù)的數(shù)據(jù)源端讀取業(yè)務(wù)數(shù)據(jù)，包括：讀取算子在第二時刻讀取多個數(shù)據(jù)點(diǎn)中的第二數(shù)據(jù)點(diǎn)；當(dāng)?shù)诙?shù)據(jù)點(diǎn)是第一計(jì)算邏輯所需數(shù)據(jù)之外的數(shù)據(jù)時，輸出算子基于計(jì)算結(jié)果和第二數(shù)據(jù)，向業(yè)務(wù)的數(shù)據(jù)目標(biāo)端輸出業(yè)務(wù)的處理結(jié)果，包括：輸出算子基于計(jì)算結(jié)果和第二數(shù)據(jù)點(diǎn)，向業(yè)務(wù)的數(shù)據(jù)目標(biāo)端輸出處理結(jié)果。

18、在一種可能的實(shí)現(xiàn)方式中，業(yè)務(wù)的計(jì)算邏輯是基于業(yè)務(wù)的結(jié)構(gòu)化查詢語言sql語句得到的。

19、在該實(shí)現(xiàn)方式中，可以基于業(yè)務(wù)的sql語句得到業(yè)務(wù)的計(jì)算邏輯，并將業(yè)務(wù)的計(jì)算邏輯配置到讀取算子，由此，讀取算子可以基于業(yè)務(wù)的計(jì)算邏輯在業(yè)務(wù)數(shù)據(jù)中識別業(yè)務(wù)的計(jì)算邏輯所需的數(shù)據(jù)。

20、在一種可能的實(shí)現(xiàn)方式中，第一計(jì)算算子是基于業(yè)務(wù)的sql語句編排得到的。

21、在該實(shí)現(xiàn)方式中，可以基于業(yè)務(wù)的sql得到業(yè)務(wù)的計(jì)算邏輯，然后，可基于業(yè)務(wù)的計(jì)算邏輯，編排承載業(yè)務(wù)的計(jì)算邏輯的算子。其中，編排得到的第一計(jì)算算子用于承載業(yè)務(wù)的第一計(jì)算邏輯，即第一計(jì)算算子用于按照第一計(jì)算邏輯進(jìn)行數(shù)據(jù)計(jì)算，從而使得業(yè)務(wù)得到處理。

22、第二方面，提供了一種流式計(jì)算裝置，流式計(jì)算裝置包括讀取算子、第一計(jì)算算子和輸出算子，第一計(jì)算算子用于基于業(yè)務(wù)的第一計(jì)算邏輯進(jìn)行數(shù)據(jù)計(jì)算；其中，讀取算子用于從業(yè)務(wù)的數(shù)據(jù)源端讀取業(yè)務(wù)數(shù)據(jù)；讀取算子用于在業(yè)務(wù)數(shù)據(jù)中識別業(yè)務(wù)的計(jì)算邏輯需要的數(shù)據(jù)，得到計(jì)算所需數(shù)據(jù)；其中，計(jì)算所需數(shù)據(jù)包括第一計(jì)算邏輯需要的第一數(shù)據(jù)；讀取算子用于將計(jì)算所需數(shù)據(jù)發(fā)送至第一計(jì)算算子，使得第一計(jì)算算子基于第一計(jì)算邏輯對第一數(shù)據(jù)進(jìn)行計(jì)算，得到計(jì)算結(jié)果；輸出算子用于基于計(jì)算結(jié)果和業(yè)務(wù)數(shù)據(jù)，向業(yè)務(wù)的數(shù)據(jù)目標(biāo)端輸出業(yè)務(wù)的處理結(jié)果。

23、在一種可能的實(shí)現(xiàn)方式中，流式計(jì)算裝置對應(yīng)供讀取算子和輸出算子訪問的存儲空間；其中，讀取算子還用于將非計(jì)算所需數(shù)據(jù)存儲至存儲空間，非計(jì)算所需數(shù)據(jù)是業(yè)務(wù)數(shù)據(jù)中除計(jì)算所需數(shù)據(jù)之外的數(shù)據(jù)；輸出算子還用于從存儲空間中讀取非計(jì)算所需數(shù)據(jù)；輸出算子還用于基于非計(jì)算所需數(shù)據(jù)和計(jì)算結(jié)果，向數(shù)據(jù)目標(biāo)端輸出處理結(jié)果。

24、在一種可能的實(shí)現(xiàn)方式中，流式計(jì)算裝置對應(yīng)供讀取算子和輸出算子訪問的存儲空間；其中，讀取算子還用于將業(yè)務(wù)數(shù)據(jù)存儲至存儲空間；輸出算子還用于從存儲空間中讀取業(yè)務(wù)數(shù)據(jù)。

25、在一種可能的實(shí)現(xiàn)方式中，流式計(jì)算裝置包括第二計(jì)算算子，第二計(jì)算算子用于按照業(yè)務(wù)的第二計(jì)算邏輯進(jìn)行數(shù)據(jù)計(jì)算；在業(yè)務(wù)的數(shù)據(jù)流向上，第二計(jì)算算子位于第一計(jì)算算子之后；其中，計(jì)算所需數(shù)據(jù)還包括第二計(jì)算邏輯需要的第二數(shù)據(jù)；第一計(jì)算算子用于將第二數(shù)據(jù)發(fā)送至第二計(jì)算算子，使得第二計(jì)算算子基于第二計(jì)算邏輯對第二數(shù)據(jù)進(jìn)行計(jì)算。

26、在一種可能的實(shí)現(xiàn)方式中，業(yè)務(wù)數(shù)據(jù)包括第一待拼接數(shù)據(jù)、第一待拼接數(shù)據(jù)對應(yīng)的第一拼接鍵、第二待拼接數(shù)據(jù)、第二待拼接數(shù)據(jù)對應(yīng)的第二拼接鍵；第一計(jì)算邏輯包括：判斷第一拼接鍵和第二拼接鍵是否相同；讀取算子用于基于第一計(jì)算邏輯，識別第一拼接鍵和第二拼接為第一數(shù)據(jù)；當(dāng)計(jì)算結(jié)果表示第一拼接鍵和第二拼接鍵相同時，輸出算子用于拼接第一待拼接數(shù)據(jù)和第二待拼接數(shù)據(jù)，得到處理結(jié)果。

27、在一種可能的實(shí)現(xiàn)方式中，業(yè)務(wù)數(shù)據(jù)包括待過濾數(shù)據(jù)、待過濾數(shù)據(jù)對應(yīng)的過濾鍵；第一計(jì)算邏輯包括：判斷過濾鍵是否滿足預(yù)設(shè)的過濾條件；讀取算子用于基于第一計(jì)算邏輯，識別過濾鍵為第一數(shù)據(jù)；當(dāng)計(jì)算結(jié)果表示過濾鍵滿足預(yù)設(shè)的過濾條件時，輸出算子用于將待過濾數(shù)據(jù)作為處理結(jié)果。

28、在一種可能的實(shí)現(xiàn)方式中，業(yè)務(wù)數(shù)據(jù)是由多個數(shù)據(jù)點(diǎn)組成的流式數(shù)據(jù)，多個數(shù)據(jù)點(diǎn)中的每個數(shù)據(jù)點(diǎn)包括至少一個數(shù)據(jù)；其中，讀取算子從數(shù)據(jù)源端讀取多個數(shù)據(jù)點(diǎn)中不同數(shù)據(jù)點(diǎn)的時刻不同；讀取算子用于在第一時刻讀取到多個數(shù)據(jù)點(diǎn)中的第一數(shù)據(jù)點(diǎn)；讀取算子用于基于第一計(jì)算邏輯，識別第一數(shù)據(jù)點(diǎn)為第一數(shù)據(jù)。

29、在一種可能的實(shí)現(xiàn)方式中，讀取算子用于在第二時刻讀取到多個數(shù)據(jù)點(diǎn)中的第二數(shù)據(jù)點(diǎn)；當(dāng)?shù)诙?shù)據(jù)點(diǎn)是第一計(jì)算邏輯所需數(shù)據(jù)之外的數(shù)據(jù)時，輸出算子用于基于計(jì)算結(jié)果和第二數(shù)據(jù)點(diǎn)，向業(yè)務(wù)的數(shù)據(jù)目標(biāo)端輸出處理結(jié)果。

30、在一種可能的實(shí)現(xiàn)方式中，業(yè)務(wù)的計(jì)算邏輯是基于業(yè)務(wù)的結(jié)構(gòu)化查詢語言sql語句得到的。

31、在一種可能的實(shí)現(xiàn)方式中，第一計(jì)算算子是基于業(yè)務(wù)的sql語句編排得到的。

32、第三方面，提供了一種計(jì)算設(shè)備集群，包括至少一個計(jì)算設(shè)備，每個計(jì)算設(shè)備包括處理器和存儲器；至少一個計(jì)算設(shè)備的處理器用于執(zhí)行至少一個計(jì)算設(shè)備的存儲器中存儲的指令，以使得計(jì)算設(shè)備集群執(zhí)行第一方面提供的方法。

33、第四方面，提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，包括計(jì)算機(jī)程序指令，當(dāng)計(jì)算機(jī)程序指令由計(jì)算設(shè)備集群執(zhí)行時，計(jì)算設(shè)備集群執(zhí)行第一方面提供的方法。

34、第五方面，提供了一種包含指令的計(jì)算機(jī)程序產(chǎn)品，當(dāng)指令被計(jì)算機(jī)設(shè)備集群運(yùn)行時，使得計(jì)算機(jī)設(shè)備集群執(zhí)行第一方面提供的方法。

35、第二方面至第五方面的有益效果可參考上文對第一方面的有益效果的介紹，在此不再贅述。