本發(fā)明涉及不合規(guī)數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理裝置及方法。

背景技術(shù)：

首先，當(dāng)客戶端中的應(yīng)用程序，具有數(shù)據(jù)采集的功能，具體的，可以通過爬蟲進(jìn)行數(shù)據(jù)的爬取，以達(dá)到數(shù)據(jù)采集的目的。而實際應(yīng)用中，采集到的數(shù)據(jù)不一定完全符合預(yù)設(shè)的要求，這部分的數(shù)據(jù)稱之為不合規(guī)數(shù)據(jù)。

如，數(shù)據(jù)的時間不符，例如客戶端時間錯誤從而導(dǎo)致爬蟲爬取到的數(shù)據(jù)的時間與規(guī)定時間，如北京時間等，不相符合，這部分的不合規(guī)數(shù)據(jù)可能就會直接丟棄。具體的，不合規(guī)數(shù)據(jù)也可以是用戶進(jìn)行自定義的規(guī)定，將不合乎規(guī)定的數(shù)據(jù)稱之為不合規(guī)數(shù)據(jù)。

由于現(xiàn)有技術(shù)中，對于不合規(guī)數(shù)據(jù)直接丟棄，而沒有分析數(shù)據(jù)采集端產(chǎn)生不合規(guī)數(shù)據(jù)的原因。

技術(shù)實現(xiàn)要素：

本發(fā)明的主要目的在于提出一種數(shù)據(jù)處理裝置及方法，旨在解決現(xiàn)有技術(shù)中客戶端收集到了不合規(guī)數(shù)據(jù)，對不合規(guī)數(shù)據(jù)進(jìn)行處理，以實現(xiàn)在統(tǒng)計學(xué)的角度去發(fā)現(xiàn)客戶端可能存在的問題。

為實現(xiàn)上述目的，本發(fā)明提供了一種數(shù)據(jù)處理裝置，應(yīng)用于客戶端，所述裝置包括：

收集模塊，用于針對預(yù)設(shè)規(guī)則，收集不合規(guī)數(shù)據(jù)；

處理模塊，用于將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行處理。

可選的，所述不合規(guī)數(shù)據(jù)為：具有時間戳錯誤的數(shù)據(jù)、和/或與預(yù)設(shè)格式不完全匹配的數(shù)據(jù)、和/或亂碼的數(shù)據(jù)。

可選的，處理模塊，包括：

第一處理子模塊，用于將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行過濾處理；

第二處理子模塊，用于將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行預(yù)設(shè)字段的提取處理。

可選的，所述第一處理子模塊，具體用于：

將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行預(yù)設(shè)屬性的校驗處理，其中，所述預(yù)設(shè)屬性的校驗處理包括但不限于：數(shù)據(jù)采集時間的有效性、數(shù)據(jù)采集應(yīng)用標(biāo)識的有效性；

所述第二處理子模塊，具體用于：

將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行用戶標(biāo)識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數(shù)據(jù)、應(yīng)用標(biāo)識以及數(shù)據(jù)上報字段的提取處理。

可選的，所述裝置還包括：

發(fā)送模塊，用于發(fā)送數(shù)據(jù)分類指令，以使所述服務(wù)器對處理后的數(shù)據(jù)按照預(yù)設(shè)分類規(guī)則進(jìn)行分類。

相較于現(xiàn)有技術(shù)，本發(fā)明所提出的數(shù)據(jù)處理裝置，通過客戶端采集不合規(guī)數(shù)據(jù)，并將采集到的不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器進(jìn)行處理。通過服務(wù)器處理后的、大量的不合規(guī)數(shù)據(jù)，以實現(xiàn)在統(tǒng)計學(xué)的角度去發(fā)現(xiàn)客戶端可能存在的問題，從而解決現(xiàn)有技術(shù)中對采集到的不合規(guī)數(shù)據(jù)進(jìn)行直接丟棄，而無法從中發(fā)現(xiàn)產(chǎn)生不合規(guī)數(shù)據(jù)的具體原因。

此外，為實現(xiàn)上述目的，本發(fā)明還提出一種數(shù)據(jù)處理方法，應(yīng)用于客戶端，所述方法包括：

針對預(yù)設(shè)規(guī)則，收集不合規(guī)數(shù)據(jù)；

將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行處理。

可選的，所述不合規(guī)數(shù)據(jù)為：具有時間戳錯誤的數(shù)據(jù)、和/或與預(yù)設(shè)格式不完全匹配的數(shù)據(jù)、和/或亂碼的數(shù)據(jù)。

可選的，所述將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行處理，包括：

將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行過濾處理和預(yù)設(shè)字段的提取處理。

可選的，所述將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行過濾處理，包括：

將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行預(yù)設(shè)屬性的校驗處理，其中，所述預(yù)設(shè)屬性的校驗處理包括但不限于：數(shù)據(jù)采集時間的有效性、數(shù)據(jù)采集應(yīng)用標(biāo)識的有效性；

所述將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行預(yù)設(shè)字段的提取處理，包括：

將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行用戶標(biāo)識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數(shù)據(jù)、應(yīng)用標(biāo)識以及數(shù)據(jù)上報字段的提取處理。

可選的，所述方法還包括：

發(fā)送數(shù)據(jù)分類指令，以使所述服務(wù)器對處理后的數(shù)據(jù)按照預(yù)設(shè)分類規(guī)則進(jìn)行分類。

相較于現(xiàn)有技術(shù)，本發(fā)明所提出的數(shù)據(jù)處理裝置，通過客戶端采集不合規(guī)數(shù)據(jù)，并將采集到的不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器進(jìn)行處理。通過服務(wù)器處理后的、大量的不合規(guī)數(shù)據(jù)，以實現(xiàn)在統(tǒng)計學(xué)的角度去發(fā)現(xiàn)客戶端可能存在的問題，從而解決現(xiàn)有技術(shù)中對采集到的不合規(guī)數(shù)據(jù)進(jìn)行直接丟棄，而無法從中發(fā)現(xiàn)產(chǎn)生不合規(guī)數(shù)據(jù)的具體原因。

相較于現(xiàn)有技術(shù)，本發(fā)明所提出的數(shù)據(jù)處理裝置，通過客戶端采集不合規(guī)數(shù)據(jù)，并將采集到的不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器進(jìn)行處理。通過服務(wù)器處理后的、大量的不合規(guī)數(shù)據(jù)，以實現(xiàn)在統(tǒng)計學(xué)的角度去發(fā)現(xiàn)客戶端可能存在的問題，從而解決現(xiàn)有技術(shù)中對采集到的不合規(guī)數(shù)據(jù)進(jìn)行直接丟棄，而無法從中發(fā)現(xiàn)產(chǎn)生不合規(guī)數(shù)據(jù)的具體原因。

附圖說明

圖1為實現(xiàn)本發(fā)明各個實施例中一可選的移動終端的硬件結(jié)構(gòu)示意圖；

圖2為如圖1所示的移動終端的無線通信系統(tǒng)示意圖；

圖3為本發(fā)明實施例所述的數(shù)據(jù)處理裝置的第一種功能模塊示意圖；

圖4為本發(fā)明實施例所述的數(shù)據(jù)處理裝置的第二種功能模塊示意圖；

圖5為本發(fā)明實施例所述的數(shù)據(jù)處理裝置的第三種功能模塊示意圖；

圖6為本發(fā)明實施例所述的數(shù)據(jù)處理方法的第一種流程示意圖；

圖7為本發(fā)明實施例所述的數(shù)據(jù)處理方法的第二種流程示意圖；

圖8為本發(fā)明實施例所述的數(shù)據(jù)處理方法的第三種流程示意圖；

圖9為本發(fā)明所述的終端采集到不合規(guī)數(shù)據(jù)并發(fā)送至服務(wù)器示意圖。

附圖標(biāo)記：

本發(fā)明目的的實現(xiàn)、功能特點及優(yōu)點將結(jié)合實施例，參照附圖做進(jìn)一步說明。

具體實施方式

應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

現(xiàn)在將參考附圖描述實現(xiàn)本發(fā)明各個實施例的移動終端。在后續(xù)的描述中，使用用于表示元件的諸如“模塊”、“部件”或“單元”的后綴僅為了有利于本發(fā)明的說明，其本身并沒有特定的意義。因此，"模塊"與"部件"可以混合地使用。

移動終端可以以各種形式來實施。例如，本發(fā)明中描述的終端可以包括諸如移動電話、智能電話、筆記本電腦、數(shù)字廣播接收器、pda(個人數(shù)字助理)、pad(平板電腦)、pmp(便攜式多媒體播放器)、導(dǎo)航裝置等等的移動終端以及諸如數(shù)字tv、臺式計算機等等的固定終端。下面，假設(shè)終端是移動終端。然而，本領(lǐng)域技術(shù)人員將理解的是，除了特別用于移動目的的元件之外，根據(jù)本發(fā)明的實施方式的構(gòu)造也能夠應(yīng)用于固定類型的終端。

圖1為實現(xiàn)本發(fā)明各個實施例的移動終端的硬件結(jié)構(gòu)示意。

移動終端100可以包括無線通信單元110、輸入單元120、用戶輸入單元130、感測單元140、輸出單元150、存儲器160、接口單元170、控制器180和電源單元190等等。圖1示出了具有各種組件的移動終端，但是應(yīng)理解的是，并不要求實施所有示出的組件。可以替代地實施更多或更少的組件。將在下面詳細(xì)描述移動終端的元件。

無線通信單元110通常包括一個或多個組件，其允許移動終端100與無線通信系統(tǒng)或網(wǎng)絡(luò)之間的無線電通信。例如，無線通信單元可以包括廣播接收模塊、移動通信模塊、無線互聯(lián)網(wǎng)模塊、短程通信模塊和位置信息模塊中的至少一個。

廣播接收模塊經(jīng)由廣播信道從外部廣播管理服務(wù)器接收廣播信號和/或廣播相關(guān)信息。廣播信道可以包括衛(wèi)星信道和/或地面信道。廣播管理服務(wù)器可以是生成并發(fā)送廣播信號和/或廣播相關(guān)信息的服務(wù)器或者接收之前生成的廣播信號和/或廣播相關(guān)信息并且將其發(fā)送給終端的服務(wù)器。廣播信號可以包括tv廣播信號、無線電廣播信號、數(shù)據(jù)廣播信號等等。而且，廣播信號可以進(jìn)一步包括與tv或無線電廣播信號組合的廣播信號。廣播相關(guān)信息也可以經(jīng)由移動通信網(wǎng)絡(luò)提供，并且在該情況下，廣播相關(guān)信息可以由移動通信模塊來接收。廣播信號可以以各種形式存在，例如，其可以以數(shù)字多媒體廣播(dmb)的電子節(jié)目指南(epg)、數(shù)字視頻廣播手持(dvb-h)的電子服務(wù)指南(esg)等等的形式而存在。廣播接收模塊可以通過使用各種類型的廣播系統(tǒng)接收信號廣播。特別地，廣播接收模塊可以通過使用諸如多媒體廣播-地面(dmb-t)、數(shù)字多媒體廣播-衛(wèi)星(dmb-s)、數(shù)字視頻廣播-手持(dvb-h)，前向鏈路媒體(mediaflo^@)的數(shù)據(jù)廣播系統(tǒng)、地面數(shù)字廣播綜合服務(wù)(isdb-t)等等的數(shù)字廣播系統(tǒng)接收數(shù)字廣播。廣播接收模塊可以被構(gòu)造為適合提供廣播信號的各種廣播系統(tǒng)以及上述數(shù)字廣播系統(tǒng)。經(jīng)由廣播接收模塊接收的廣播信號和/或廣播相關(guān)信息可以存儲在存儲器160(或者其它類型的存儲介質(zhì))中。

移動通信模塊將無線電信號發(fā)送到基站(例如，接入點、節(jié)點b等等)、外部終端以及服務(wù)器中的至少一個和/或從其接收無線電信號。這樣的無線電信號可以包括語音通話信號、視頻通話信號、或者根據(jù)文本和/或多媒體消息發(fā)送和/或接收的各種類型的數(shù)據(jù)。

無線互聯(lián)網(wǎng)模塊支持移動終端的無線互聯(lián)網(wǎng)接入。該模塊可以內(nèi)部或外部地耦接到終端。該模塊所涉及的無線互聯(lián)網(wǎng)接入技術(shù)可以包括wlan(無線lan)(wi-fi)、wibro(無線寬帶)、wimax(全球微波互聯(lián)接入)、hsdpa(高速下行鏈路分組接入)等等。

短程通信模塊是用于支持短程通信的模塊。短程通信技術(shù)的一些示例包括藍(lán)牙^tm、射頻識別(rfid)、紅外數(shù)據(jù)協(xié)會(irda)、超寬帶(uwb)、紫蜂^tm等等。

位置信息模塊是用于檢查或獲取移動終端的位置信息的模塊。位置信息模塊的典型示例是gps(全球定位系統(tǒng))。根據(jù)當(dāng)前的技術(shù)，gps模塊計算來自三個或更多衛(wèi)星的距離信息和準(zhǔn)確的時間信息并且對于計算的信息應(yīng)用三角測量法，從而根據(jù)經(jīng)度、緯度和高度準(zhǔn)確地計算三維當(dāng)前位置信息。當(dāng)前，用于計算位置和時間信息的方法使用三顆衛(wèi)星并且通過使用另外的一顆衛(wèi)星校正計算出的位置和時間信息的誤差。此外，gps模塊能夠通過實時地連續(xù)計算當(dāng)前位置信息來計算速度信息。

輸入單元120用于接收音頻或視頻信號。輸入單元120可以包括相機121和麥克風(fēng)122，相機121對在視頻捕獲模式或圖像捕獲模式中由圖像捕獲裝置獲得的靜態(tài)圖片或視頻的圖像數(shù)據(jù)進(jìn)行處理。處理后的圖像幀可以顯示在顯示單元151上。經(jīng)相機121處理后的圖像幀可以存儲在存儲器160(或其它存儲介質(zhì))中或者經(jīng)由無線通信單元110進(jìn)行發(fā)送，可以根據(jù)移動終端的構(gòu)造提供兩個或更多相機121。麥克風(fēng)122可以在電話通話模式、記錄模式、語音識別模式等等運行模式中經(jīng)由麥克風(fēng)接收聲音(音頻數(shù)據(jù))，并且能夠?qū)⑦@樣的聲音處理為音頻數(shù)據(jù)。處理后的音頻(語音)數(shù)據(jù)可以在電話通話模式的情況下轉(zhuǎn)換為可經(jīng)由移動通信模塊發(fā)送到移動通信基站的格式輸出。麥克風(fēng)122可以實施各種類型的噪聲消除(或抑制)算法以消除(或抑制)在接收和發(fā)送音頻信號的過程中產(chǎn)生的噪聲或者干擾。

用戶輸入單元130可以根據(jù)用戶輸入的命令生成鍵輸入數(shù)據(jù)以控制移動終端的各種操作。用戶輸入單元130允許用戶輸入各種類型的信息，并且可以包括鍵盤、鍋仔片、觸摸板(例如，檢測由于被接觸而導(dǎo)致的電阻、壓力、電容等等的變化的觸敏組件)、滾輪、搖桿等等。特別地，當(dāng)觸摸板以層的形式疊加在顯示單元151上時，可以形成觸摸屏。

感測單元140檢測移動終端100的當(dāng)前狀態(tài)，(例如，移動終端100的打開或關(guān)閉狀態(tài))、移動終端100的位置、用戶對于移動終端100的接觸(即，觸摸輸入)的有無、移動終端100的取向、移動終端100的加速或減速移動和方向等等，并且生成用于控制移動終端100的操作的命令或信號。例如，當(dāng)移動終端100實施為滑動型移動電話時，感測單元140可以感測該滑動型電話是打開還是關(guān)閉。另外，感測單元140能夠檢測電源單元190是否提供電力或者接口單元170是否與外部裝置耦接。感測單元140可以包括聲紋感測器，用于采集用戶的聲紋信息。

接口單元170用作至少一個外部裝置與移動終端100連接可以通過的接口。例如，外部裝置可以包括有線或無線頭戴式耳機端口、外部電源(或電池充電器)端口、有線或無線數(shù)據(jù)端口、存儲卡端口、用于連接具有識別模塊的裝置的端口、音頻輸入/輸出(i/o)端口、視頻i/o端口、耳機端口等等。識別模塊可以是存儲用于驗證用戶使用移動終端100的各種信息并且可以包括用戶識別模塊(uim)、客戶識別模塊(sim)、通用客戶識別模塊(usim)等等。另外，具有識別模塊的裝置(下面稱為"識別裝置")可以采取智能卡的形式，因此，識別裝置可以經(jīng)由端口或其它連接裝置與移動終端100連接。接口單元170可以用于接收來自外部裝置的輸入(例如，數(shù)據(jù)信息、電力等等)并且將接收到的輸入傳輸?shù)揭苿咏K端100內(nèi)的一個或多個元件或者可以用于在移動終端和外部裝置之間傳輸數(shù)據(jù)。

另外，當(dāng)移動終端100與外部底座連接時，接口單元170可以用作允許通過其將電力從底座提供到移動終端100的路徑或者可以用作允許從底座輸入的各種命令信號通過其傳輸?shù)揭苿咏K端的路徑。從底座輸入的各種命令信號或電力可以用作用于識別移動終端是否準(zhǔn)確地安裝在底座上的信號。輸出單元150被構(gòu)造為以視覺、音頻和/或觸覺方式提供輸出信號(例如，音頻信號、視頻信號、警報信號、振動信號等等)。輸出單元150可以包括顯示單元151、音頻輸出模塊152、警報單元153等等。

顯示單元151可以顯示在移動終端100中處理的信息。例如，當(dāng)移動終端100處于電話通話模式時，顯示單元151可以顯示與通話或其它通信(例如，文本消息收發(fā)、多媒體文件下載等等)相關(guān)的用戶界面(ui)或圖形用戶界面(gui)。當(dāng)移動終端100處于視頻通話模式或者圖像捕獲模式時，顯示單元151可以顯示捕獲的圖像和/或接收的圖像、示出視頻或圖像以及相關(guān)功能的ui或gui等等。

同時，當(dāng)顯示單元151和觸摸板以層的形式彼此疊加以形成觸摸屏?xí)r，顯示單元151可以用作輸入裝置和輸出裝置。顯示單元151可以包括液晶顯示器(lcd)、薄膜晶體管lcd(tft-lcd)、有機發(fā)光二極管(oled)顯示器、柔性顯示器、三維(3d)顯示器等等中的至少一種。這些顯示器中的一些可以被構(gòu)造為透明狀以允許用戶從外部觀看，這可以稱為透明顯示器，典型的透明顯示器可以例如為toled(透明有機發(fā)光二極管)顯示器等等。根據(jù)特定想要的實施方式，移動終端100可以包括兩個或更多顯示單元(或其它顯示裝置)，例如，移動終端可以包括外部顯示單元(未示出)和內(nèi)部顯示單元(未示出)。觸摸屏可用于檢測觸摸輸入壓力以及觸摸輸入位置和觸摸輸入面積。

音頻輸出模塊152可以在移動終端處于呼叫信號接收模式、通話模式、記錄模式、語音識別模式、廣播接收模式等等模式下時，將無線通信單元110接收的或者在存儲器160中存儲的音頻數(shù)據(jù)轉(zhuǎn)換音頻信號并且輸出為聲音。而且，音頻輸出模塊152可以提供與移動終端100執(zhí)行的特定功能相關(guān)的音頻輸出(例如，呼叫信號接收聲音、消息接收聲音等等)。音頻輸出模塊152可以包括揚聲器、蜂鳴器等等。

警報單元153可以提供輸出以將事件的發(fā)生通知給移動終端100。典型的事件可以包括呼叫接收、消息接收、鍵信號輸入、觸摸輸入等等。除了音頻或視頻輸出之外，警報單元153可以以不同的方式提供輸出以通知事件的發(fā)生。例如，警報單元153可以以振動的形式提供輸出，當(dāng)接收到呼叫、消息或一些其它進(jìn)入通信(incomingcommunication)時，警報單元153可以提供觸覺輸出(即，振動)以將其通知給用戶。通過提供這樣的觸覺輸出，即使在用戶的移動電話處于用戶的口袋中時，用戶也能夠識別出各種事件的發(fā)生。警報單元153也可以經(jīng)由顯示單元151或音頻輸出模塊152提供通知事件的發(fā)生的輸出。

存儲器160可以存儲由控制器180執(zhí)行的處理和控制操作的軟件程序等等，或者可以暫時地存儲己經(jīng)輸出或?qū)⒁敵龅臄?shù)據(jù)(例如，電話簿、消息、靜態(tài)圖像、視頻等等)。而且，存儲器160可以存儲關(guān)于當(dāng)觸摸施加到觸摸屏?xí)r輸出的各種方式的振動和音頻信號的數(shù)據(jù)。

存儲器160可以包括至少一種類型的存儲介質(zhì)，所述存儲介質(zhì)包括閃存、硬盤、多媒體卡、卡型存儲器(例如，sd或dx存儲器等等)、隨機訪問存儲器(ram)、靜態(tài)隨機訪問存儲器(sram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、可編程只讀存儲器(prom)、磁性存儲器、磁盤、光盤等等。而且，移動終端100可以與通過網(wǎng)絡(luò)連接執(zhí)行存儲器160的存儲功能的網(wǎng)絡(luò)存儲裝置協(xié)作。

控制器180通?？刂埔苿咏K端的總體操作。例如，控制器180執(zhí)行與語音通話、數(shù)據(jù)通信、視頻通話等等相關(guān)的控制和處理。另外，控制器180可以包括用于再現(xiàn)(或回放)多媒體數(shù)據(jù)的多媒體模塊181，多媒體模塊181可以構(gòu)造在控制器180內(nèi)，或者可以構(gòu)造為與控制器180分離。控制器180可以執(zhí)行模式識別處理，以將在觸摸屏上執(zhí)行的手寫輸入或者圖片繪制輸入識別為字符或圖像。

電源單元190在控制器180的控制下接收外部電力或內(nèi)部電力并且提供操作各元件和組件所需的適當(dāng)?shù)碾娏Α?/p>

這里描述的各種實施方式可以以使用例如計算機軟件、硬件或其任何組合的計算機可讀介質(zhì)來實施。對于硬件實施，這里描述的實施方式可以通過使用特定用途集成電路(asic)、數(shù)字信號處理器(dsp)、數(shù)字信號處理裝置(dspd)、可編程邏輯裝置(pld)、現(xiàn)場可編程門陣列(fpga)、處理器、控制器、微控制器、微處理器、被設(shè)計為執(zhí)行這里描述的功能的電子單元中的至少一種來實施，在一些情況下，這樣的實施方式可以在控制器180中實施。對于軟件實施，諸如過程或功能的實施方式可以與允許執(zhí)行至少一種功能或操作的單獨的軟件模塊來實施。軟件代碼可以由以任何適當(dāng)?shù)木幊陶Z言編寫的軟件應(yīng)用程序(或程序)來實施，軟件代碼可以存儲在存儲器160中并且由控制器180執(zhí)行。

至此，己經(jīng)按照其功能描述了移動終端。下面，結(jié)合本發(fā)明，所述移動終端為一具有顯示功能的顯示終端，以下所描述的顯示終端即為該移動終端100。本發(fā)明能夠應(yīng)用于任何類型的顯示終端，并且不限于移動式顯示終端。

如圖1中所示的移動終端100可以被構(gòu)造為利用經(jīng)由幀或分組發(fā)送數(shù)據(jù)的諸如有線和無線通信系統(tǒng)以及基于衛(wèi)星的通信系統(tǒng)來操作。

現(xiàn)在將參考圖2描述其中根據(jù)本發(fā)明的移動終端能夠操作的通信系統(tǒng)。

這樣的通信系統(tǒng)可以使用不同的空中接口和/或物理層。例如，由通信系統(tǒng)使用的空中接口包括例如頻分多址(fdma)、時分多址(tdma)、碼分多址(cdma)和通用移動通信系統(tǒng)(umts)(特別地，長期演進(jìn)(lte))、全球移動通信系統(tǒng)(gsm)等等。作為非限制性示例，下面的描述涉及cdma通信系統(tǒng)，但是這樣的教導(dǎo)同樣適用于其它類型的系統(tǒng)。

參考圖2，cdma無線通信系統(tǒng)可以包括多個移動終端100、多個基站(bs)270、基站控制器(bsc)275和移動交換中心(msc)280。msc280被構(gòu)造為與公共電話交換網(wǎng)絡(luò)(pstn)290形成接口。msc280還被構(gòu)造為與可以經(jīng)由回程線路耦接到基站270的bsc275形成接口?；爻叹€路可以根據(jù)若干己知的接口中的任一種來構(gòu)造，所述接口包括例如e1/t1、atm，ip、ppp、幀中繼、hdsl、adsl或xdsl。將理解的是，如圖2中所示的系統(tǒng)可以包括多個bsc2750。

每個bs270可以服務(wù)一個或多個分區(qū)(或區(qū)域)，由多向天線或指向特定方向的天線覆蓋的每個分區(qū)放射狀地遠(yuǎn)離bs270?；蛘?，每個分區(qū)可以由用于分集接收的兩個或更多天線覆蓋。每個bs270可以被構(gòu)造為支持多個頻率分配，并且每個頻率分配具有特定頻譜(例如，1.25mhz，5mhz等等)。

分區(qū)與頻率分配的交叉可以被稱為cdma信道。bs270也可以被稱為基站收發(fā)器子系統(tǒng)(bts)或者其它等效術(shù)語。在這樣的情況下，術(shù)語"基站"可以用于籠統(tǒng)地表示單個bsc275和至少一個bs270?；疽部梢员环Q為"蜂窩站"?；蛘?，特定bs270的各分區(qū)可以被稱為多個蜂窩站。

如圖2中所示，廣播發(fā)射器(bt)295將廣播信號發(fā)送給在系統(tǒng)內(nèi)操作的移動終端100。如圖1中所示的廣播接收模塊111被設(shè)置在移動終端100處以接收由bt295發(fā)送的廣播信號。在圖2中，示出了幾個全球定位系統(tǒng)(gps)衛(wèi)星300。衛(wèi)星300幫助定位多個移動終端100中的至少一個。

在圖2中，描繪了多個衛(wèi)星300，但是理解的是，可以利用任何數(shù)目的衛(wèi)星獲得有用的定位信息。如圖1中所示的gps模塊115通常被構(gòu)造為與衛(wèi)星300配合以獲得想要的定位信息。替代gps跟蹤技術(shù)或者在gps跟蹤技術(shù)之外，可以使用可以跟蹤移動終端的位置的其它技術(shù)。另外，至少一個gps衛(wèi)星300可以選擇性地或者額外地處理衛(wèi)星dmb傳輸。

作為無線通信系統(tǒng)的一個典型操作，bs270接收來自各種移動終端100的反向鏈路信號。移動終端100通常參與通話、消息收發(fā)和其它類型的通信。特定基站270接收的每個反向鏈路信號被在特定bs270內(nèi)進(jìn)行處理。獲得的數(shù)據(jù)被轉(zhuǎn)發(fā)給相關(guān)的bsc275。bsc提供通話資源分配和包括bs270之間的軟切換過程的協(xié)調(diào)的移動管理功能。bsc275還將接收到的數(shù)據(jù)路由到msc280，其提供用于與pstn290形成接口的額外的路由服務(wù)。類似地，pstn290與msc280形成接口，msc與bsc275形成接口，并且bsc275相應(yīng)地控制bs270以將正向鏈路信號發(fā)送到移動終端100。

基于上述移動終端硬件結(jié)構(gòu)以及通信系統(tǒng)，提出本發(fā)明系統(tǒng)各個實施例。

首先，本發(fā)明提出一種數(shù)據(jù)請求處理裝置400。

如圖3所示，本發(fā)明所述的數(shù)據(jù)處理裝置的功能模塊示意圖。在本實施例中，所述數(shù)據(jù)處理裝置400可以被分割成一個或多個模塊，所述一個或多個模塊被存儲于所述存儲器160中，并由一個或多個控制器(本實施例中的所述控制器180)所執(zhí)行，以完成本發(fā)明。例如，在圖3中，所述數(shù)據(jù)處理400可以被分割成收集模塊401、處理模塊402。本發(fā)明所稱的模塊是指一種能夠完成特定功能的一系列計算機程序指令段，以下將就上述各功能模塊401-402的具體功能進(jìn)行詳細(xì)描述。

收集模塊401，用于針對預(yù)設(shè)規(guī)則，收集不合規(guī)數(shù)據(jù)。

具體地，所述移動終端100可以作為客戶端，用于服務(wù)器進(jìn)行通信。示例性的，軟件開發(fā)工具包(softwaredevelopmentkit，簡稱：sdk)，具有數(shù)據(jù)采集的功能，而sdk往往集成在客戶端安裝的app中。

在本發(fā)明實施例的一種實現(xiàn)方式中，具有數(shù)據(jù)收集功能的sdk通過api(applicationprogramminginterface，應(yīng)用編程接口)與聊天軟件進(jìn)行集成。因此，該聊天軟件就能達(dá)到一個具有具有數(shù)據(jù)采集功能的app的目的。具體的，sdk與應(yīng)用程序通過api進(jìn)行連接以達(dá)到集成的作用，是現(xiàn)有技術(shù)，本發(fā)明實施例在此不對其進(jìn)行贅述。

在本發(fā)明實施例的另一種實現(xiàn)方式中，可以是應(yīng)用程序的代碼中直接嵌入sdk，已達(dá)到應(yīng)用程序具有數(shù)據(jù)采集功能的目的。

具體的，不合規(guī)數(shù)據(jù)可以為：具有時間戳錯誤的數(shù)據(jù)、和/或與預(yù)設(shè)格式不完全匹配的數(shù)據(jù)、和/或、亂碼的數(shù)據(jù)。

示例性的，采集到的不合規(guī)數(shù)據(jù)的時間戳比比預(yù)設(shè)時間大2min，例如sdk采集的數(shù)據(jù)時間為：2017年3月2日10時40分至2017年3月2日10時42分，而采集到的數(shù)據(jù)的時間為：2017年3月2日10時42分至2017年3月2日10時44分。相對于預(yù)設(shè)的數(shù)據(jù)采集時間來說，實際的數(shù)據(jù)是時間為將來的時間值，即：采集到的數(shù)據(jù)對應(yīng)的時間戳錯誤，因此，不能直接作為數(shù)據(jù)進(jìn)行使用，即不能作為合規(guī)的數(shù)據(jù)，將其作為不合規(guī)數(shù)據(jù)。

示例性的，預(yù)設(shè)的數(shù)據(jù)格式為：時間、事件、類型、所有者；而采集到的數(shù)據(jù)格式為：時間、事件、所有者、數(shù)據(jù)所屬項目，因此，采集到的數(shù)據(jù)的格式和預(yù)設(shè)的數(shù)據(jù)格式存在類型和數(shù)據(jù)所述項目的不同，數(shù)據(jù)不完全匹配的數(shù)據(jù)格式。另外，如果采集到的數(shù)據(jù)格式與預(yù)設(shè)的數(shù)據(jù)格式?jīng)]有任何一個相同的格式，則為完全不匹配的數(shù)據(jù)格式。因為不完全匹配包括：部分匹配和完全不匹配，則采集到的數(shù)據(jù)也屬于不合規(guī)數(shù)據(jù)。

另外，亂碼的數(shù)據(jù)也可以作為不合規(guī)數(shù)據(jù)，將其作為不合規(guī)數(shù)據(jù)，可以根據(jù)大量的統(tǒng)計獲得亂碼數(shù)據(jù)的規(guī)律，進(jìn)行亂碼數(shù)據(jù)的原因分析。本發(fā)明實施例中的具有時間戳錯誤的數(shù)據(jù)、和/或與預(yù)設(shè)格式不完全匹配的數(shù)據(jù)、和/或亂碼的數(shù)據(jù)作為不合規(guī)數(shù)據(jù)是最為常見的不合規(guī)數(shù)據(jù)形式，也是比較能夠體現(xiàn)客戶端出現(xiàn)的數(shù)據(jù)問題的形式，因此，才用著三種數(shù)據(jù)形式中的一種或者多種組合能夠很好的實現(xiàn)客戶端的問題的解析。

另外，本發(fā)明實施例中所述的不合規(guī)數(shù)據(jù)僅僅是示例性的，不構(gòu)成對本發(fā)明實施例的具體限定。

處理模塊402，用于將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行處理。

可以理解的是，客戶端將收集發(fā)哦的不合規(guī)數(shù)據(jù)發(fā)送至指定的服務(wù)器，由服務(wù)器對不合規(guī)數(shù)據(jù)進(jìn)行存儲并處理。

示例性的，在本發(fā)明實施例的另一種實現(xiàn)方式中，服務(wù)器直接存儲所有不合規(guī)的數(shù)據(jù)，并對不合規(guī)的數(shù)據(jù)進(jìn)行分類，例如，得到的不合規(guī)數(shù)據(jù)中時間戳錯誤的數(shù)據(jù)最多，那么可以通過得到客戶端的時間設(shè)置上存在問題。

示例性的，在本發(fā)明實施例的另一種實現(xiàn)方式中，還可以通過概率分布的統(tǒng)計，計算出來不合規(guī)數(shù)據(jù)的分布情況。具體的，概率分布可以為二項分布、泊松分布、均勻分布、指數(shù)分布和正太分布等。例如在二項分布中，通過期望和方差可以得到占比較大的不合規(guī)數(shù)據(jù)。

具體的不合規(guī)數(shù)據(jù)的處理方式，還可以為其他形式，本發(fā)明實施例中的概率分布和簡單的不合規(guī)數(shù)據(jù)分類僅僅是示例性的，不構(gòu)成對本發(fā)明實施例中對不合規(guī)數(shù)據(jù)的具體處理形式的限定。

由此可見，應(yīng)用本發(fā)明圖3所示的實施例，本發(fā)明所提出的數(shù)據(jù)處理裝置，通過客戶端采集不合規(guī)數(shù)據(jù)，并將采集到的不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器進(jìn)行處理。通過服務(wù)器處理后的、大量的不合規(guī)數(shù)據(jù)，以實現(xiàn)在統(tǒng)計學(xué)的角度去發(fā)現(xiàn)客戶端可能存在的問題，從而解決現(xiàn)有技術(shù)中對采集到的不合規(guī)數(shù)據(jù)進(jìn)行直接丟棄，而無法從中發(fā)現(xiàn)產(chǎn)生不合規(guī)數(shù)據(jù)的具體原因。

可以理解的是，客戶端發(fā)送至服務(wù)器的不合規(guī)數(shù)據(jù)可能是來自不同的應(yīng)用程序的，例如可以來自聊天軟件、購物軟件等等，且不合規(guī)數(shù)據(jù)可以是數(shù)據(jù)格式的匹配問題，也可以是時間的有效性問題。如果服務(wù)器直接對所有的不合規(guī)數(shù)據(jù)進(jìn)行統(tǒng)一的處理，在面對大量數(shù)據(jù)的時候，會由于不合規(guī)數(shù)據(jù)的種類較多且雜亂，會導(dǎo)致處理的效率較低。

為解決上述技術(shù)問題，本發(fā)明實施例提供了一種實施方式，參見圖4所示，圖4為本發(fā)明實施例所述的第二種功能模塊示意圖，具體的，所述處理模塊402，可以包括：第一處理子模塊402a、第二處理子模塊402b。

第一處理子模塊402a，用于將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行過濾處理。

示例性的，在服務(wù)器存儲不合規(guī)數(shù)據(jù)之前需要增加一層數(shù)據(jù)過濾層。具體地，可以首先需要對不合規(guī)數(shù)據(jù)進(jìn)行預(yù)設(shè)屬性的校驗處理，包括但不限于數(shù)據(jù)格式是否正確、數(shù)據(jù)采集時間的有效性、數(shù)據(jù)采集應(yīng)用標(biāo)識的有效性等。

進(jìn)一步，將過濾出來的不合規(guī)數(shù)據(jù)進(jìn)行匯總，然后分發(fā)到服務(wù)器中專門的不合規(guī)數(shù)據(jù)處理程序，用于進(jìn)一步處理。第一處理子模塊402a主要用于在服務(wù)器的數(shù)據(jù)存儲之前按照預(yù)設(shè)的規(guī)則對不合規(guī)數(shù)據(jù)進(jìn)行一次過濾的工作，入某一類不合規(guī)的數(shù)據(jù)較少，或者信息不完整，及時對不合規(guī)數(shù)據(jù)進(jìn)行分析可能也無法獲得有效的信息，因此可以進(jìn)行過濾掉，以節(jié)省對不合規(guī)數(shù)據(jù)的分析時間，提高不合規(guī)數(shù)據(jù)的處理效率。

第二處理子模塊402b，用于將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行預(yù)設(shè)字段的提取處理。

可以理解的是，將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行用戶標(biāo)識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數(shù)據(jù)、應(yīng)用標(biāo)識以及數(shù)據(jù)上報字段的提取處理。

具體的，服務(wù)器可以嘗試提取以上所有字段，但是每個字段都提供對應(yīng)的默認(rèn)值，如果獲取不到則使用默認(rèn)值；如果獲取到了，則將提取出來的信息填入對應(yīng)字段。

另外，具體地，還可以將不合規(guī)數(shù)據(jù)進(jìn)行持久化處理，所謂持久化，持久化是將程序數(shù)據(jù)在持久狀態(tài)和瞬時狀態(tài)間轉(zhuǎn)換的機制。通俗的講，就是瞬時數(shù)據(jù)(比如內(nèi)存中的數(shù)據(jù)，是不能永久保存的)持久化為持久數(shù)據(jù)(比如持久化至數(shù)據(jù)庫中，能夠長久保存)。

可以理解的是，將處理后的不合規(guī)數(shù)據(jù)可以存儲到與正常數(shù)據(jù)相同的數(shù)據(jù)庫中，我們采用hive進(jìn)行存儲。存儲到相同的數(shù)據(jù)庫中的好處是可以進(jìn)行關(guān)聯(lián)檢索分析。比如我們查詢到某個應(yīng)用程序標(biāo)識(appid)的數(shù)據(jù)存在問題，那可以關(guān)聯(lián)查詢一下該appid的基本信息或者其正常數(shù)據(jù)具有什么特點等。

應(yīng)用本發(fā)明圖4所示的實施例，能夠通過第一處理子模塊402a進(jìn)行存儲前的數(shù)據(jù)過濾，以及第二處理子模塊402b進(jìn)行預(yù)設(shè)字段的提取，將所有不合規(guī)數(shù)據(jù)轉(zhuǎn)化成一定格式的數(shù)據(jù)，便于進(jìn)行統(tǒng)一的存儲于分析，能夠進(jìn)一步提高不合規(guī)數(shù)據(jù)的處理效率。

示例性的，如圖5所示，圖5為本發(fā)明實施例所述的第三種功能模塊示意圖，在圖3所示實施例的基礎(chǔ)上增加發(fā)送模塊501；

具體的，發(fā)送模塊501，用于發(fā)送數(shù)據(jù)分類指令，以使所述服務(wù)器對處理后的數(shù)據(jù)按照預(yù)設(shè)分類規(guī)則進(jìn)行分類。

進(jìn)一步的，可以通過客戶端發(fā)送一個數(shù)據(jù)分類的指令，服務(wù)器端通過預(yù)先建立的定時分析任務(wù)，通過該分析任務(wù)需要將一段時間內(nèi)的不合規(guī)數(shù)據(jù)按照應(yīng)用標(biāo)識與錯誤類別進(jìn)行分組歸類，并持久化到報表。

具體的，該分析任務(wù)可設(shè)置為一天執(zhí)行一次。通過技術(shù)人員的多次研究和嘗試，一天執(zhí)行一次的分析能過及時發(fā)現(xiàn)不合規(guī)數(shù)據(jù)反映的問題，且分析頻率不至于過高，較為合理。當(dāng)然，也可以設(shè)置為一天執(zhí)行一次，兩天執(zhí)行一次等等，本發(fā)明實施例在此不對其進(jìn)行具體限定。

示例性的，數(shù)據(jù)處理裝置可以應(yīng)用于手機端，通過sdk用于收集數(shù)據(jù)，該sdk需要集成在具體的應(yīng)用app中。進(jìn)一步地，手機端sdk將數(shù)據(jù)上報到數(shù)據(jù)中心的服務(wù)端，服務(wù)端將對數(shù)據(jù)進(jìn)行過濾分發(fā)。在提取出有效字段后，該系統(tǒng)將不合規(guī)數(shù)據(jù)存儲于hive中建立的trash表，能夠幫助技術(shù)人員快速分析出多次對接的應(yīng)用app程序出現(xiàn)埋點錯誤的問題。

因此，應(yīng)用本發(fā)明圖5所示的實施例，通過接收客戶端發(fā)送的分類指令，將不合規(guī)數(shù)據(jù)按照預(yù)設(shè)的分類規(guī)則進(jìn)行分類，能夠方便技術(shù)人員及時的了解預(yù)設(shè)類別中不合規(guī)數(shù)據(jù)的數(shù)量和具體問題，進(jìn)一步有助于分析不合規(guī)數(shù)據(jù)的產(chǎn)生原因。

進(jìn)一步地，本發(fā)明還提供了一種數(shù)據(jù)處理方法，應(yīng)用于客戶端，如圖6所示，是本發(fā)明所述的數(shù)據(jù)處理方法流程示意圖。在本實施例中，所述數(shù)據(jù)處理方法可以分為以下步驟：

s601，針對預(yù)設(shè)規(guī)則，收集不合規(guī)數(shù)據(jù)。

s602，將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行處理。

具體的，所述不合規(guī)數(shù)據(jù)為：具有時間戳錯誤的數(shù)據(jù)、和/或與預(yù)設(shè)格式不完全匹配的數(shù)據(jù)、和/或亂碼的數(shù)據(jù)。

具體地，所述移動終端100可以作為客戶端，用于服務(wù)器進(jìn)行通信。示例性的，軟件開發(fā)工具包(softwaredevelopmentkit，簡稱：sdk)，具有數(shù)據(jù)采集的功能，而sdk往往集成在客戶端安裝的app中。

在本發(fā)明實施例的一種實現(xiàn)方式中，具有數(shù)據(jù)收集功能的sdk通過api(applicationprogramminginterface，應(yīng)用編程接口)與聊天軟件進(jìn)行集成。因此，該聊天軟件就能達(dá)到一個具有具有數(shù)據(jù)采集功能的app的目的。具體的，sdk與應(yīng)用程序通過api進(jìn)行連接以達(dá)到集成的作用，是現(xiàn)有技術(shù)，本發(fā)明實施例在此不對其進(jìn)行贅述。

在本發(fā)明實施例的另一種實現(xiàn)方式中，可以是應(yīng)用程序的代碼中直接嵌入sdk，已達(dá)到應(yīng)用程序具有數(shù)據(jù)采集功能的目的。

示例性的，采集到的不合規(guī)數(shù)據(jù)的時間戳比比預(yù)設(shè)時間大2min，例如sdk采集的數(shù)據(jù)時間為：2017年3月2日10時40分至2017年3月2日10時42分，而采集到的數(shù)據(jù)的時間為：2017年3月2日10時42分至2017年3月2日10時44分。相對于預(yù)設(shè)的數(shù)據(jù)采集時間來說，實際的數(shù)據(jù)是時間為將來的時間值，即：采集到的數(shù)據(jù)對應(yīng)的時間戳錯誤，因此，不能直接作為數(shù)據(jù)進(jìn)行使用，即不能作為合規(guī)的數(shù)據(jù)，將其作為不合規(guī)數(shù)據(jù)。

示例性的，預(yù)設(shè)的數(shù)據(jù)格式為：時間、事件、類型、所有者；而采集到的數(shù)據(jù)格式為：時間、事件、所有者、數(shù)據(jù)所屬項目，因此，采集到的數(shù)據(jù)的格式和預(yù)設(shè)的數(shù)據(jù)格式存在類型和數(shù)據(jù)所述項目的不同，數(shù)據(jù)不完全匹配的數(shù)據(jù)格式。另外，如果采集到的數(shù)據(jù)格式與預(yù)設(shè)的數(shù)據(jù)格式?jīng)]有任何一個相同的格式，則為完全不匹配的數(shù)據(jù)格式。因為不完全匹配包括：部分匹配和完全不匹配，則采集到的數(shù)據(jù)也屬于不合規(guī)數(shù)據(jù)。

另外，亂碼的數(shù)據(jù)也可以作為不合規(guī)數(shù)據(jù)，將其作為不合規(guī)數(shù)據(jù)，可以根據(jù)大量的統(tǒng)計獲得亂碼數(shù)據(jù)的規(guī)律，進(jìn)行亂碼數(shù)據(jù)的原因分析。本發(fā)明實施例中的具有時間戳錯誤的數(shù)據(jù)、和/或與預(yù)設(shè)格式不完全匹配的數(shù)據(jù)、和/或亂碼的數(shù)據(jù)作為不合規(guī)數(shù)據(jù)是最為常見的不合規(guī)數(shù)據(jù)形式，也是比較能夠體現(xiàn)客戶端出現(xiàn)的數(shù)據(jù)問題的形式，因此，才用著三種數(shù)據(jù)形式中的一種或者多種組合能夠很好的實現(xiàn)客戶端的問題的解析。

另外，本發(fā)明實施例中所述的不合規(guī)數(shù)據(jù)僅僅是示例性的，不構(gòu)成對本發(fā)明實施例的具體限定。

可以理解的是，客戶端將收集發(fā)哦的不合規(guī)數(shù)據(jù)發(fā)送至指定的服務(wù)器，由服務(wù)器對不合規(guī)數(shù)據(jù)進(jìn)行存儲并處理。

示例性的，在本發(fā)明實施例的另一種實現(xiàn)方式中，服務(wù)器直接存儲所有不合規(guī)的數(shù)據(jù)，并對不合規(guī)的數(shù)據(jù)進(jìn)行分類，例如，得到的不合規(guī)數(shù)據(jù)中時間戳錯誤的數(shù)據(jù)最多，那么可以通過得到客戶端的時間設(shè)置上存在問題。

示例性的，在本發(fā)明實施例的另一種實現(xiàn)方式中，還可以通過概率分布的統(tǒng)計，計算出來不合規(guī)數(shù)據(jù)的分布情況。具體的，概率分布可以為二項分布、泊松分布、均勻分布、指數(shù)分布和正太分布等。例如在二項分布中，通過期望和方差可以得到占比較大的不合規(guī)數(shù)據(jù)。

具體的不合規(guī)數(shù)據(jù)的處理方式，還可以為其他形式，本發(fā)明實施例中的概率分布和簡單的不合規(guī)數(shù)據(jù)分類僅僅是示例性的，不構(gòu)成對本發(fā)明實施例中對不合規(guī)數(shù)據(jù)的具體處理形式的限定。

應(yīng)用本發(fā)明圖6所示的實施例，本發(fā)明所提出的數(shù)據(jù)處理方法，通過客戶端采集不合規(guī)數(shù)據(jù)，并將采集到的不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器進(jìn)行處理。通過服務(wù)器處理后的、大量的不合規(guī)數(shù)據(jù)，以實現(xiàn)在統(tǒng)計學(xué)的角度去發(fā)現(xiàn)客戶端可能存在的問題，從而解決現(xiàn)有技術(shù)中對采集到的不合規(guī)數(shù)據(jù)進(jìn)行直接丟棄，而無法從中發(fā)現(xiàn)產(chǎn)生不合規(guī)數(shù)據(jù)的具體原因。

具體的，如圖7所示，圖7為本發(fā)明實施例提供的數(shù)據(jù)處理方法的第二種流程示意圖，具體的，在圖6所示實施例的基礎(chǔ)上步驟s602可以為s701；其中，

s701，將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行過濾處理和預(yù)設(shè)字段的提取處理。

進(jìn)一步的，s701可以包括：

將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行預(yù)設(shè)屬性的校驗處理，其中，所述預(yù)設(shè)屬性的校驗處理包括但不限于：數(shù)據(jù)采集時間的有效性、數(shù)據(jù)采集應(yīng)用標(biāo)識的有效性；

以及，

將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行用戶標(biāo)識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數(shù)據(jù)、應(yīng)用標(biāo)識以及數(shù)據(jù)上報字段的提取處理。

示例性的，在服務(wù)器存儲不合規(guī)數(shù)據(jù)之前需要增加一層數(shù)據(jù)過濾層。具體地，可以首先需要對不合規(guī)數(shù)據(jù)進(jìn)行預(yù)設(shè)屬性的校驗處理，包括但不限于數(shù)據(jù)格式是否正確、數(shù)據(jù)采集時間的有效性、數(shù)據(jù)采集應(yīng)用標(biāo)識的有效性等。

進(jìn)一步，將過濾出來的不合規(guī)數(shù)據(jù)進(jìn)行匯總，然后分發(fā)到服務(wù)器中專門的不合規(guī)數(shù)據(jù)處理程序，用于進(jìn)一步處理。第一處理子模塊402a主要用于在服務(wù)器的數(shù)據(jù)存儲之前按照預(yù)設(shè)的規(guī)則對不合規(guī)數(shù)據(jù)進(jìn)行一次過濾的工作，入某一類不合規(guī)的數(shù)據(jù)較少，或者信息不完整，及時對不合規(guī)數(shù)據(jù)進(jìn)行分析可能也無法獲得有效的信息，因此可以進(jìn)行過濾掉，以節(jié)省對不合規(guī)數(shù)據(jù)的分析時間，提高不合規(guī)數(shù)據(jù)的處理效率。

可以理解的是，將所述不合規(guī)數(shù)據(jù)發(fā)送至服務(wù)器，以使所述服務(wù)器對所述不合規(guī)數(shù)據(jù)進(jìn)行用戶標(biāo)識、時間發(fā)生時間、采集時間名稱、不合規(guī)原因、原始日志數(shù)據(jù)、應(yīng)用標(biāo)識以及數(shù)據(jù)上報字段的提取處理。

具體的，服務(wù)器可以嘗試提取以上所有字段，但是每個字段都提供對應(yīng)的默認(rèn)值，如果獲取不到則使用默認(rèn)值；如果獲取到了，則將提取出來的信息填入對應(yīng)字段。

另外，具體地，還可以將不合規(guī)數(shù)據(jù)進(jìn)行持久化處理，所謂持久化，持久化是將程序數(shù)據(jù)在持久狀態(tài)和瞬時狀態(tài)間轉(zhuǎn)換的機制。通俗的講，就是瞬時數(shù)據(jù)(比如內(nèi)存中的數(shù)據(jù)，是不能永久保存的)持久化為持久數(shù)據(jù)(比如持久化至數(shù)據(jù)庫中，能夠長久保存)。

可以理解的是，將處理后的不合規(guī)數(shù)據(jù)可以存儲到與正常數(shù)據(jù)相同的數(shù)據(jù)庫中，我們采用hive進(jìn)行存儲。存儲到相同的數(shù)據(jù)庫中的好處是可以進(jìn)行關(guān)聯(lián)檢索分析。比如我們查詢到某個應(yīng)用程序標(biāo)識(appid)的數(shù)據(jù)存在問題，那可以關(guān)聯(lián)查詢一下該appid的基本信息或者其正常數(shù)據(jù)具有什么特點等。

應(yīng)用本發(fā)明圖7所示的實施例，能夠通過s701進(jìn)行存儲前的數(shù)據(jù)過濾，以及進(jìn)行預(yù)設(shè)字段的提取，將所有不合規(guī)數(shù)據(jù)轉(zhuǎn)化成一定格式的數(shù)據(jù)，便于進(jìn)行統(tǒng)一的存儲于分析，能夠進(jìn)一步提高不合規(guī)數(shù)據(jù)的處理效率。

參見圖8，圖8為本發(fā)明實施例提供的數(shù)據(jù)處理方法的第三種流程示意圖，在圖6所示實施例的基礎(chǔ)上增加步驟s801；具體的，

s801，發(fā)送數(shù)據(jù)分類指令，以使所述服務(wù)器對處理后的數(shù)據(jù)按照預(yù)設(shè)分類規(guī)則進(jìn)行分類。

進(jìn)一步的，可以通過客戶端發(fā)送一個數(shù)據(jù)分類的指令，服務(wù)器端通過預(yù)先建立的定時分析任務(wù)，通過該分析任務(wù)需要將一段時間內(nèi)的不合規(guī)數(shù)據(jù)按照應(yīng)用標(biāo)識與錯誤類別進(jìn)行分組歸類，并持久化到報表。

具體的，該分析任務(wù)可設(shè)置為一天執(zhí)行一次。通過技術(shù)人員的多次研究和嘗試，一天執(zhí)行一次的分析能過及時發(fā)現(xiàn)不合規(guī)數(shù)據(jù)反映的問題，且分析頻率不至于過高，較為合理。當(dāng)然，也可以設(shè)置為一天執(zhí)行一次，兩天執(zhí)行一次等等，本發(fā)明實施例在此不對其進(jìn)行具體限定。

示例性的，數(shù)據(jù)處理裝置可以應(yīng)用于手機端，通過sdk用于收集數(shù)據(jù)，該sdk需要集成在具體的應(yīng)用app中。進(jìn)一步地，手機端sdk將數(shù)據(jù)上報到數(shù)據(jù)中心的服務(wù)端，服務(wù)端將對數(shù)據(jù)進(jìn)行過濾分發(fā)。在提取出有效字段后，該系統(tǒng)將不合規(guī)數(shù)據(jù)存儲于hive中建立的trash表，能夠幫助技術(shù)人員快速分析出多次對接的應(yīng)用app程序出現(xiàn)埋點錯誤的問題。

應(yīng)用本發(fā)明圖8所示的實施例，通過接收客戶端發(fā)送的分類指令，將不合規(guī)數(shù)據(jù)按照預(yù)設(shè)的分類規(guī)則進(jìn)行分類，能夠方便技術(shù)人員及時的了解預(yù)設(shè)類別中不合規(guī)數(shù)據(jù)的數(shù)量和具體問題，進(jìn)一步有助于分析不合規(guī)數(shù)據(jù)的產(chǎn)生原因。

圖9為本發(fā)明所述的終端采集到不合規(guī)數(shù)據(jù)并發(fā)送至服務(wù)器示意圖，在終端手機到不合規(guī)數(shù)據(jù)以后可以通過詢問管理人員或者用戶，是否發(fā)送至服務(wù)器進(jìn)行處理，可以通過選擇進(jìn)行處理，以保證用戶的隱私設(shè)置等。

上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)(如rom/ram、磁碟、光盤)中，包括若干指令用以使得一臺終端設(shè)備(可以是手機，計算機，服務(wù)器，空調(diào)器，或者網(wǎng)絡(luò)設(shè)備，機器人等)執(zhí)行本發(fā)明各個實施例所述的方法。

以上僅為本發(fā)明的優(yōu)選實施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。