本發(fā)明涉及數(shù)據(jù)處理,具體涉及一種基于數(shù)據(jù)處理的產(chǎn)品價(jià)格指數(shù)分析方法、系統(tǒng)及裝置。
背景技術(shù):
1、產(chǎn)品價(jià)格指數(shù)是反映不同時期產(chǎn)品或服務(wù)價(jià)格水平變化的一種經(jīng)濟(jì)指標(biāo),用于衡量價(jià)格變動的程度和趨勢。目前產(chǎn)品價(jià)格指數(shù)的計(jì)算方法大多依賴于平均價(jià)格進(jìn)行加權(quán),將加權(quán)結(jié)果作為價(jià)格指數(shù)來表示價(jià)格指數(shù)的波動,此類方法本質(zhì)上仍然是一種產(chǎn)品平均價(jià)格的趨勢表達(dá),并非產(chǎn)品的價(jià)格指數(shù)。另外當(dāng)前的產(chǎn)品價(jià)格指數(shù)的最大適用區(qū)域僅為市級,并且是由一家或多家聯(lián)合,通過有限的數(shù)據(jù)通過分析制定得到的產(chǎn)品價(jià)格指數(shù),存在數(shù)據(jù)不足且不全面的問題。因此,即使當(dāng)前的產(chǎn)品價(jià)格指數(shù)能夠在一定程度上反映產(chǎn)品價(jià)格的變動趨勢,但存在預(yù)測精度低且對突發(fā)事件反應(yīng)遲緩,無法有效處理大量數(shù)據(jù)的問題。
2、同時,隨著市場數(shù)據(jù)的快速變化,現(xiàn)有的產(chǎn)品價(jià)格指數(shù)無法準(zhǔn)確反映出產(chǎn)品的實(shí)時價(jià)格動態(tài),因此,需要一種更加全面、精確且實(shí)時性強(qiáng)的價(jià)格指數(shù)計(jì)算方法,保證計(jì)算效率的同時,提升產(chǎn)品價(jià)格指數(shù)的預(yù)測精度,適應(yīng)快速變化的產(chǎn)品市場環(huán)境。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明針對現(xiàn)有技術(shù)中的缺點(diǎn),提供了一種基于數(shù)據(jù)處理的產(chǎn)品價(jià)格指數(shù)分析方法、系統(tǒng)及裝置。
2、為了解決上述技術(shù)問題,本發(fā)明通過下述技術(shù)方案得以解決:
3、一種基于數(shù)據(jù)處理的產(chǎn)品價(jià)格指數(shù)分析方法,包括以下步驟:
4、獲取產(chǎn)品相關(guān)數(shù)據(jù)集并進(jìn)行預(yù)處理,得到預(yù)處理產(chǎn)品數(shù)據(jù)集,其中,產(chǎn)品相關(guān)數(shù)據(jù)包括產(chǎn)品價(jià)格數(shù)據(jù)、市場需求數(shù)據(jù)、產(chǎn)品庫存數(shù)據(jù)及產(chǎn)品產(chǎn)量數(shù)據(jù);
5、對預(yù)處理產(chǎn)品數(shù)據(jù)進(jìn)行綜合特征提取,形成產(chǎn)品綜合特征集,其中,產(chǎn)品綜合特征包括產(chǎn)銷特征、供需特征、區(qū)域特征、波動特征及趨勢特征;
6、建立指數(shù)權(quán)重分析預(yù)訓(xùn)練模型,指數(shù)權(quán)重分析預(yù)訓(xùn)練模型通過價(jià)格學(xué)習(xí)器,對產(chǎn)品綜合特征進(jìn)行分析及預(yù)測,得到價(jià)格指數(shù)權(quán)重,其中,價(jià)格指數(shù)權(quán)重包括區(qū)域指數(shù)權(quán)重、品類指數(shù)權(quán)重及等級指數(shù)權(quán)重;
7、通過產(chǎn)品價(jià)格數(shù)據(jù)得到品類價(jià)格數(shù)據(jù)及等級價(jià)格數(shù)據(jù),結(jié)合品類指數(shù)權(quán)重及等級指數(shù)權(quán)重,得到不同區(qū)域價(jià)格數(shù)據(jù),結(jié)合不同區(qū)域價(jià)格數(shù)據(jù)及對應(yīng)的區(qū)域指數(shù)權(quán)重,得到產(chǎn)品均價(jià)數(shù)據(jù);
8、預(yù)設(shè)時間周期并獲取對應(yīng)的產(chǎn)品數(shù)量數(shù)據(jù),結(jié)合產(chǎn)品均價(jià)數(shù)據(jù),通過鏈?zhǔn)嚼焦竭M(jìn)行分析,得到初始價(jià)格指數(shù)數(shù)據(jù);
9、構(gòu)建波動價(jià)格預(yù)訓(xùn)練模型,對歷史產(chǎn)品價(jià)格數(shù)據(jù)及歷史波動價(jià)格因子進(jìn)行分析,得到產(chǎn)品價(jià)格關(guān)系方程,進(jìn)而得到波動價(jià)格因子,基于波動價(jià)格因子對初始價(jià)格指數(shù)數(shù)據(jù)進(jìn)行校正,得到價(jià)格指數(shù)數(shù)據(jù)。
10、作為一種可實(shí)施方式,所述獲取產(chǎn)品相關(guān)數(shù)據(jù)集并進(jìn)行預(yù)處理,得到預(yù)處理產(chǎn)品數(shù)據(jù)集,包括以下步驟:
11、對產(chǎn)品相關(guān)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗及去噪,得到初始預(yù)處理數(shù)據(jù);
12、對初始預(yù)處理數(shù)據(jù)進(jìn)行缺失值分析及異常值分析,得到缺失數(shù)據(jù)及異常數(shù)據(jù);
13、預(yù)設(shè)數(shù)據(jù)閾值,以缺失數(shù)據(jù)及異常數(shù)據(jù)為中心,分別獲取數(shù)據(jù)閾值范圍內(nèi)的產(chǎn)品相關(guān)數(shù)據(jù)即得到第一相鄰相關(guān)數(shù)據(jù);
14、預(yù)設(shè)時間閾值,獲取時間閾值內(nèi)的缺失數(shù)據(jù)及異常數(shù)據(jù)對應(yīng)的產(chǎn)品相關(guān)數(shù)據(jù)即第二相鄰相關(guān)數(shù)據(jù);
15、基于第一相鄰相關(guān)數(shù)據(jù)及第二相鄰相關(guān)數(shù)據(jù),通過雙線性差值,對缺失數(shù)據(jù)及異常數(shù)據(jù)進(jìn)行補(bǔ)充,以實(shí)現(xiàn)對初始預(yù)處理數(shù)據(jù)的修正,進(jìn)而得到預(yù)處理產(chǎn)品數(shù)據(jù)。
16、作為一種可實(shí)施方式,所述通過價(jià)格學(xué)習(xí)器,對產(chǎn)品綜合特征進(jìn)行分析及預(yù)測,得到價(jià)格指數(shù)權(quán)重,包括以下步驟:
17、對產(chǎn)品綜合特征進(jìn)行分析,得到對應(yīng)的邊際貢獻(xiàn)數(shù)據(jù),表示如下:
18、
19、基于產(chǎn)品綜合特征對應(yīng)的邊際貢獻(xiàn)數(shù)據(jù),獲取價(jià)格學(xué)習(xí)器的學(xué)習(xí)器權(quán)重,基于學(xué)習(xí)器權(quán)重及價(jià)格學(xué)習(xí)器對產(chǎn)品綜合特征進(jìn)行分析,得到初始價(jià)格數(shù)據(jù),表示如下:
20、
21、基于初始價(jià)格數(shù)據(jù)及真實(shí)的產(chǎn)品價(jià)格數(shù)據(jù),構(gòu)建價(jià)格損失函數(shù),表示如下:
22、
23、基于價(jià)格損失函數(shù)對初始價(jià)格數(shù)據(jù)進(jìn)行梯度分析,并通過梯度分析結(jié)果建立價(jià)格學(xué)習(xí)器,其中,梯度分析結(jié)果及價(jià)格學(xué)習(xí)器,表示如下:
24、
25、
26、通過價(jià)格學(xué)習(xí)器及價(jià)格損失函數(shù)進(jìn)行迭代分析,得到指數(shù)權(quán)重分析模型,基于指數(shù)權(quán)重分析模型對待分析產(chǎn)品綜合特征進(jìn)行推理,得到價(jià)格指數(shù)權(quán)重;
27、其中,表示特征預(yù)測貢獻(xiàn)數(shù)據(jù),表示不包含第個產(chǎn)品綜合特征的特征子集,表示特征子集的大小,表示產(chǎn)品綜合特征集,表示包含第個產(chǎn)品綜合特征的特征子集的模型預(yù)測值,表示產(chǎn)品綜合特征總數(shù)的階乘,表示初始價(jià)格數(shù)據(jù),表示價(jià)格學(xué)習(xí)器的數(shù)量,表示學(xué)習(xí)器權(quán)重,表示第個價(jià)格學(xué)習(xí)器,表示價(jià)格損失函數(shù),表示真實(shí)的產(chǎn)品價(jià)格數(shù)據(jù),表示梯度分析結(jié)果。
28、作為一種可實(shí)施方式,所述通過產(chǎn)品價(jià)格數(shù)據(jù)得到品類價(jià)格數(shù)據(jù)及等級價(jià)格數(shù)據(jù),結(jié)合品類指數(shù)權(quán)重及等級指數(shù)權(quán)重,得到不同區(qū)域價(jià)格數(shù)據(jù),結(jié)合不同區(qū)域價(jià)格數(shù)據(jù)及對應(yīng)的區(qū)域指數(shù)權(quán)重,得到產(chǎn)品均價(jià)數(shù)據(jù),包括以下步驟:
29、對品類價(jià)格數(shù)據(jù)、品類指數(shù)權(quán)重、等級價(jià)格數(shù)據(jù)及等級指數(shù)權(quán)重進(jìn)行分析,得到不同區(qū)域價(jià)格數(shù)據(jù),表示如下:
30、
31、通過不同區(qū)域價(jià)格數(shù)據(jù)及對應(yīng)的區(qū)域指數(shù)權(quán)重進(jìn)行分析,得到產(chǎn)品均價(jià)數(shù)據(jù),表示如下:
32、
33、其中,表示不同區(qū)域價(jià)格數(shù)據(jù),表示品類指數(shù)權(quán)重,表示品類價(jià)格數(shù)據(jù),表示等級指數(shù)權(quán)重,表示等級價(jià)格數(shù)據(jù),表示產(chǎn)品均價(jià)數(shù)據(jù),表示地區(qū)指數(shù)權(quán)重,表示不同區(qū)域價(jià)格數(shù)據(jù)。
34、作為一種可實(shí)施方式,所述預(yù)設(shè)時間周期并獲取對應(yīng)的產(chǎn)品數(shù)量數(shù)據(jù),結(jié)合產(chǎn)品均價(jià)數(shù)據(jù),通過鏈?zhǔn)嚼焦竭M(jìn)行分析,得到初始價(jià)格指數(shù)數(shù)據(jù),包括以下步驟:
35、獲取不同時間周期對應(yīng)的產(chǎn)品數(shù)量數(shù)據(jù);
36、通過產(chǎn)品數(shù)量數(shù)據(jù)及產(chǎn)品均價(jià)數(shù)據(jù),采用鏈?zhǔn)嚼焦竭M(jìn)行分析,得到初始價(jià)格指數(shù)數(shù)據(jù),其中,鏈?zhǔn)嚼焦奖硎救缦拢?/p>
37、
38、其中,表示第個時間周期對應(yīng)的初始價(jià)格指數(shù)數(shù)據(jù),表示第個時間周期對應(yīng)的初始價(jià)格指數(shù)數(shù)據(jù),、表示第、個時間周期對應(yīng)的產(chǎn)品均價(jià)數(shù)據(jù),表示第期個時間周期對應(yīng)的產(chǎn)品數(shù)量數(shù)據(jù),表示時間周期的數(shù)量。
39、作為一種可實(shí)施方式,所述波動價(jià)格因子,通過以下步驟得到:
40、通過波動價(jià)格預(yù)訓(xùn)練模型對歷史產(chǎn)品價(jià)格數(shù)據(jù)及歷史波動價(jià)格因子進(jìn)行分析,得到產(chǎn)品價(jià)格關(guān)系方程,表示如下:
41、
42、基于產(chǎn)品價(jià)格關(guān)系方程構(gòu)建產(chǎn)品誤差函數(shù),并基于最小二乘法對產(chǎn)品價(jià)格關(guān)系方程進(jìn)行求解,得到價(jià)格回歸因子,具體求解過程表示如下:
43、
44、
45、基于價(jià)格回歸因子及產(chǎn)品價(jià)格數(shù)據(jù)進(jìn)行分析,得到初始波動價(jià)格因子;
46、構(gòu)建波動價(jià)格預(yù)訓(xùn)練模型的波動損失函數(shù),并對波動價(jià)格預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練,得到波動價(jià)格模型,基于產(chǎn)品價(jià)格數(shù)據(jù)進(jìn)行推理分析,得到波動價(jià)格因子,其中,波動損失函數(shù)表示如下:
47、
48、其中,表示波動損失函數(shù),表示價(jià)格損失函數(shù),表示正則化系數(shù),表示初始波動價(jià)格因子,表示波動價(jià)格因子的數(shù)量,表示歷史波動價(jià)格因子,表示截距項(xiàng),、表示價(jià)格回歸因子,、表示歷史產(chǎn)品價(jià)格數(shù)據(jù),表示誤差項(xiàng),表示產(chǎn)品誤差函數(shù),表示第個歷史波動價(jià)格因子,表示第個歷史波動價(jià)格因子的預(yù)測值,表示歷史波動價(jià)格因子的數(shù)量。
49、作為一種可實(shí)施方式,還包括通過數(shù)據(jù)分區(qū)及并行計(jì)算對指數(shù)權(quán)重分析預(yù)訓(xùn)練模型及波動價(jià)格預(yù)訓(xùn)練模型進(jìn)行效率優(yōu)化,其中,經(jīng)過效率優(yōu)化后的模型處理時間,表示如下:
50、
51、其中,表示效率優(yōu)化后的模型處理時間,表示效率優(yōu)化前的處理時間,表示效率優(yōu)化前的核心數(shù)或并行度,表示效率優(yōu)化后的核心數(shù)或并行度。
52、一種基于數(shù)據(jù)處理的產(chǎn)品價(jià)格指數(shù)分析系統(tǒng),包括數(shù)據(jù)預(yù)處理模塊、綜合特征提取模塊、指數(shù)權(quán)重計(jì)算模塊、產(chǎn)品均價(jià)計(jì)算模塊、產(chǎn)品價(jià)格分析模塊及價(jià)格指數(shù)校正模塊;
53、所述數(shù)據(jù)預(yù)處理模塊,獲取產(chǎn)品相關(guān)數(shù)據(jù)集并進(jìn)行預(yù)處理,得到預(yù)處理產(chǎn)品數(shù)據(jù)集,其中,產(chǎn)品相關(guān)數(shù)據(jù)包括產(chǎn)品價(jià)格數(shù)據(jù)、市場需求數(shù)據(jù)、產(chǎn)品庫存數(shù)據(jù)及產(chǎn)品產(chǎn)量數(shù)據(jù);
54、所述綜合特征提取模塊,對預(yù)處理產(chǎn)品數(shù)據(jù)進(jìn)行綜合特征提取,形成產(chǎn)品綜合特征集,其中,產(chǎn)品綜合特征包括產(chǎn)銷特征、供需特征、區(qū)域特征、波動特征及趨勢特征;
55、所述指數(shù)權(quán)重計(jì)算模塊,建立指數(shù)權(quán)重分析預(yù)訓(xùn)練模型,指數(shù)權(quán)重分析預(yù)訓(xùn)練模型通過價(jià)格學(xué)習(xí)器,對產(chǎn)品綜合特征進(jìn)行分析及預(yù)測,得到價(jià)格指數(shù)權(quán)重,其中,價(jià)格指數(shù)權(quán)重包括區(qū)域指數(shù)權(quán)重、品類指數(shù)權(quán)重及等級指數(shù)權(quán)重;
56、所述產(chǎn)品均價(jià)計(jì)算模塊,通過產(chǎn)品價(jià)格數(shù)據(jù)得到品類價(jià)格數(shù)據(jù)及等級價(jià)格數(shù)據(jù),結(jié)合品類指數(shù)權(quán)重及等級指數(shù)權(quán)重,得到不同區(qū)域價(jià)格數(shù)據(jù),結(jié)合不同區(qū)域價(jià)格數(shù)據(jù)及對應(yīng)的區(qū)域指數(shù)權(quán)重,得到產(chǎn)品均價(jià)數(shù)據(jù);
57、所述產(chǎn)品價(jià)格分析模塊,預(yù)設(shè)時間周期并獲取對應(yīng)的產(chǎn)品數(shù)量數(shù)據(jù),結(jié)合產(chǎn)品均價(jià)數(shù)據(jù),通過鏈?zhǔn)嚼焦竭M(jìn)行分析,得到初始價(jià)格指數(shù)數(shù)據(jù);
58、所述價(jià)格指數(shù)校正模塊,構(gòu)建波動價(jià)格預(yù)訓(xùn)練模型,對歷史產(chǎn)品價(jià)格數(shù)據(jù)及歷史波動價(jià)格因子進(jìn)行分析,得到產(chǎn)品價(jià)格關(guān)系方程,進(jìn)而得到波動價(jià)格因子,基于波動價(jià)格因子對初始價(jià)格指數(shù)數(shù)據(jù)進(jìn)行校正,得到價(jià)格指數(shù)數(shù)據(jù)。
59、一種計(jì)算機(jī)可讀存儲介質(zhì),所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如下所述的方法:
60、獲取產(chǎn)品相關(guān)數(shù)據(jù)集并進(jìn)行預(yù)處理,得到預(yù)處理產(chǎn)品數(shù)據(jù)集,其中,產(chǎn)品相關(guān)數(shù)據(jù)包括產(chǎn)品價(jià)格數(shù)據(jù)、市場需求數(shù)據(jù)、產(chǎn)品庫存數(shù)據(jù)及產(chǎn)品產(chǎn)量數(shù)據(jù);
61、對預(yù)處理產(chǎn)品數(shù)據(jù)進(jìn)行綜合特征提取,形成產(chǎn)品綜合特征集,其中,產(chǎn)品綜合特征包括產(chǎn)銷特征、供需特征、區(qū)域特征、波動特征及趨勢特征;
62、建立指數(shù)權(quán)重分析預(yù)訓(xùn)練模型,指數(shù)權(quán)重分析預(yù)訓(xùn)練模型通過價(jià)格學(xué)習(xí)器,對產(chǎn)品綜合特征進(jìn)行分析及預(yù)測,得到價(jià)格指數(shù)權(quán)重,其中,價(jià)格指數(shù)權(quán)重包括區(qū)域指數(shù)權(quán)重、品類指數(shù)權(quán)重及等級指數(shù)權(quán)重;
63、通過產(chǎn)品價(jià)格數(shù)據(jù)得到品類價(jià)格數(shù)據(jù)及等級價(jià)格數(shù)據(jù),結(jié)合品類指數(shù)權(quán)重及等級指數(shù)權(quán)重,得到不同區(qū)域價(jià)格數(shù)據(jù),結(jié)合不同區(qū)域價(jià)格數(shù)據(jù)及對應(yīng)的區(qū)域指數(shù)權(quán)重,得到產(chǎn)品均價(jià)數(shù)據(jù);
64、預(yù)設(shè)時間周期并獲取對應(yīng)的產(chǎn)品數(shù)量數(shù)據(jù),結(jié)合產(chǎn)品均價(jià)數(shù)據(jù),通過鏈?zhǔn)嚼焦竭M(jìn)行分析,得到初始價(jià)格指數(shù)數(shù)據(jù);
65、構(gòu)建波動價(jià)格預(yù)訓(xùn)練模型,對歷史產(chǎn)品價(jià)格數(shù)據(jù)及歷史波動價(jià)格因子進(jìn)行分析,得到產(chǎn)品價(jià)格關(guān)系方程,進(jìn)而得到波動價(jià)格因子,基于波動價(jià)格因子對初始價(jià)格指數(shù)數(shù)據(jù)進(jìn)行校正,得到價(jià)格指數(shù)數(shù)據(jù)。
66、一種基于數(shù)據(jù)處理的產(chǎn)品價(jià)格指數(shù)分析裝置,包括存儲器、處理器以及存儲在所述存儲器中并在所述處理器上運(yùn)行的計(jì)算機(jī)程序,所述處理器執(zhí)行所述計(jì)算機(jī)程序時實(shí)現(xiàn)如下所述的方法:
67、獲取產(chǎn)品相關(guān)數(shù)據(jù)集并進(jìn)行預(yù)處理,得到預(yù)處理產(chǎn)品數(shù)據(jù)集,其中,產(chǎn)品相關(guān)數(shù)據(jù)包括產(chǎn)品價(jià)格數(shù)據(jù)、市場需求數(shù)據(jù)、產(chǎn)品庫存數(shù)據(jù)及產(chǎn)品產(chǎn)量數(shù)據(jù);
68、對預(yù)處理產(chǎn)品數(shù)據(jù)進(jìn)行綜合特征提取,形成產(chǎn)品綜合特征集,其中,產(chǎn)品綜合特征包括產(chǎn)銷特征、供需特征、區(qū)域特征、波動特征及趨勢特征;
69、建立指數(shù)權(quán)重分析預(yù)訓(xùn)練模型,指數(shù)權(quán)重分析預(yù)訓(xùn)練模型通過價(jià)格學(xué)習(xí)器,對產(chǎn)品綜合特征進(jìn)行分析及預(yù)測,得到價(jià)格指數(shù)權(quán)重,其中,價(jià)格指數(shù)權(quán)重包括區(qū)域指數(shù)權(quán)重、品類指數(shù)權(quán)重及等級指數(shù)權(quán)重;
70、通過產(chǎn)品價(jià)格數(shù)據(jù)得到品類價(jià)格數(shù)據(jù)及等級價(jià)格數(shù)據(jù),結(jié)合品類指數(shù)權(quán)重及等級指數(shù)權(quán)重,得到不同區(qū)域價(jià)格數(shù)據(jù),結(jié)合不同區(qū)域價(jià)格數(shù)據(jù)及對應(yīng)的區(qū)域指數(shù)權(quán)重,得到產(chǎn)品均價(jià)數(shù)據(jù);
71、預(yù)設(shè)時間周期并獲取對應(yīng)的產(chǎn)品數(shù)量數(shù)據(jù),結(jié)合產(chǎn)品均價(jià)數(shù)據(jù),通過鏈?zhǔn)嚼焦竭M(jìn)行分析,得到初始價(jià)格指數(shù)數(shù)據(jù);
72、構(gòu)建波動價(jià)格預(yù)訓(xùn)練模型,對歷史產(chǎn)品價(jià)格數(shù)據(jù)及歷史波動價(jià)格因子進(jìn)行分析,得到產(chǎn)品價(jià)格關(guān)系方程,進(jìn)而得到波動價(jià)格因子,基于波動價(jià)格因子對初始價(jià)格指數(shù)數(shù)據(jù)進(jìn)行校正,得到價(jià)格指數(shù)數(shù)據(jù)。
73、本發(fā)明由于采用了以上技術(shù)方案,具有顯著的技術(shù)效果:
74、本發(fā)明通過采集產(chǎn)品相關(guān)數(shù)據(jù)集并進(jìn)行預(yù)處理,進(jìn)而通過綜合特征提取得到產(chǎn)品綜合特征集,對產(chǎn)品綜合特征集進(jìn)行分析及預(yù)測得到價(jià)格指數(shù)權(quán)重,并通過計(jì)算得到產(chǎn)品均價(jià)數(shù)據(jù),構(gòu)建波動價(jià)格預(yù)訓(xùn)練模型并通過分析得到波動價(jià)格因子,進(jìn)而通過校正得到價(jià)格指數(shù)數(shù)據(jù)。通過本發(fā)明的方法對多維度的產(chǎn)品數(shù)據(jù)進(jìn)行分析及特征提取,有效提高價(jià)格指數(shù)的預(yù)測精度,并提高了計(jì)算效率,降低價(jià)格指數(shù)數(shù)據(jù)計(jì)算過程中的累積誤差,提供更加及時、更準(zhǔn)確的市場趨勢預(yù)測。