- 相關(guān)推薦
移動(dòng)通信數據倉庫接口與ETL2設計論文
摘要：針對地市級移動(dòng)通信的實(shí)際需求，數據集市的接口需要進(jìn)行數據倉庫接口設計和ETL2設計。數據倉庫接口設計通過(guò)用戶(hù)接口、業(yè)務(wù)量接口、帳務(wù)接口等設計來(lái)實(shí)現，ETL2設計通過(guò)抽取、FTP、清除和加載過(guò)程來(lái)實(shí)現。研究表明，該設計能夠減少對數據倉庫的影響和壓力，并可以作為數據倉庫擴展的重要補充。
關(guān)鍵詞：移動(dòng)通信；數據倉庫；接口；ETL2；
中圖分類(lèi)號:TP303 文獻標識碼:A DOI：10.3969/j.issn.1003-6970.2015.12.050
0引言
在地市級移動(dòng)通信數據集市的建設中，數據集市的接口設計主要通過(guò)數據倉庫接口和ETL2設計來(lái)實(shí)現。數據倉庫的接口由用戶(hù)接口、業(yè)務(wù)量接口、帳務(wù)接口、新業(yè)務(wù)接口、大客戶(hù)接口和競爭接口組成，并通過(guò)對相關(guān)表的設計具體實(shí)現。
1實(shí)驗方法
在數據集市ETL的設計中，有兩種思路：一是庫到庫的直接傳輸，不經(jīng)過(guò)文件，直接從數據倉庫的表中，把對應的記錄插入到對應地市的數據集市的表中；二是從數據倉庫生成各個(gè)地市文件，分別插入到對應地市數據集市的表中[1]。第一種方法，可以采用數據倉庫工具來(lái)輔助完成；第二種方法，通過(guò)ETL過(guò)程來(lái)實(shí)現，生成各個(gè)地市文件，然后FTP到數據集市的服務(wù)器里，再進(jìn)行加載，本文主要討論第二種方法的設計。
2數據倉庫接口
2.1用戶(hù)接口設計
2.1.1月表設計（1）DMD_PRODUCT_EXTFAMILYNO_YYYYMM：本表定義GSM語(yǔ)音服務(wù)用戶(hù)的親情號碼，最多允許定義5個(gè)親情號碼，對應于用戶(hù)狀態(tài)為當前有效的GSM語(yǔ)音用戶(hù)；（2）DMD_PRODUCT_EXPIP_YYYYMM：為IP直通車(chē)用戶(hù)綁定固定電話(huà)用戶(hù)附屬屬性表；（3）DMD_PRODUCT_EXTFUNC_YYYYMM：為用戶(hù)功能產(chǎn)品信息，包括用戶(hù)的主服務(wù)；（4）DMD_PRODUCT_EXTFUNCNEXT_MS：為DWD層用戶(hù)程控功能產(chǎn)品信息下周期生效表；（5）DMD_PRODUCT_EXTGPS_YYYYMM：本表定義每個(gè)用戶(hù)使用GPS所對應的附屬屬性信息表；（6）DMD_PRODUCT_PROMOTION_YYYYMM：本表定義每個(gè)用戶(hù)對應的促銷(xiāo)信息，一個(gè)用戶(hù)可以有多個(gè)促銷(xiāo)；2.1.2日表設計（1）DMD_PRODUCT_YYYYMMDD：為用戶(hù)資料的日全量表，只存放到本日為止在網(wǎng)的所有用戶(hù)資料，每日全量抽取在網(wǎng)用戶(hù)資料。（2）DM_PRODUCT_YYYYMMDD：為用戶(hù)日寬表，包括到本日為止所有在網(wǎng)用戶(hù)和本月初到本日為止的離網(wǎng)用戶(hù)。（3）DWD_PRODUCT_EXTFUNC_YYYYMMDD：為用戶(hù)程控功能產(chǎn)品信息日表，保存一日數據，每日全量抽取。
2.2業(yè)務(wù)量接口設計
�。�1）詳單相關(guān)表：主要包括語(yǔ)音詳單、漫入詳單以及相對應的滯后詳單。語(yǔ)音詳單表（CDR_CALL_XX_YYYYMMDD），本表按照“日+地市”的分表原則在數據倉庫中存放，同時(shí)開(kāi)放到數據集市；滯后語(yǔ)音詳單表（CDR_LATER_CALL_XX_YYYYMM），存放每日滯后的語(yǔ)音詳單；漫入詳單表（CDR_CALL_ROAMIN_YYYYMMDD），記錄其它省用戶(hù)漫入到本省的詳單；（2）業(yè)務(wù)量級別相關(guān)數據表：主要包括兩類(lèi)數據表，一類(lèi)是業(yè)務(wù)量明細表，主要記錄用戶(hù)業(yè)務(wù)量級的數據，例如用戶(hù)的長(cháng)途漫游等情況的明細數據，是一個(gè)用戶(hù)一天存放多條記錄的信息表，包括語(yǔ)音話(huà)單用戶(hù)業(yè)務(wù)量日統計表（DM_CALL_XX_YYYYMMDD）和語(yǔ)音話(huà)單用戶(hù)業(yè)務(wù)量月統計表（DM_CALL_XX_YYYYMM）。另一類(lèi)是呼轉明細表，主要記錄詳單分離出來(lái)的和呼轉相關(guān)的明細數據信息，包括用戶(hù)呼轉日明細表（DM_PRODUCT_CALLFW_YYYYMMDD）和用戶(hù)呼轉月表（DM_PRODUCT_CALLFW_YYYYMM）；（3）用戶(hù)級業(yè)務(wù)量相關(guān)表：主要記錄用戶(hù)的業(yè)務(wù)量，一個(gè)用戶(hù)一條記錄，包含用戶(hù)業(yè)務(wù)量日明細及累計表（DM_PRODUCT_CALL_YYYYMMDD）和用戶(hù)業(yè)務(wù)量月明細表（DM_PRODUCT_CALL_YYYYMM）；
2.3帳務(wù)接口設計
2.3.1三級賬單表（1）當前月帳單表：是指當月出帳、抵銷(xiāo)預存后剛形成的帳單，本帳單等待用戶(hù)在下個(gè)繳費周期繳費單，因此后付費用戶(hù)不算在欠費用戶(hù)中，同時(shí)由于本帳單和歷史帳單的意義不同而單獨存放，以便于數據處理和查詢(xún)。包括帳戶(hù)當前月帳單表（Dmd_Acct_Bill_yyyymm）、用戶(hù)當前月帳單表（Dmd_Acct_Userbill_yyyymm）和用戶(hù)明細當前月帳單表（Dmd_Acct_UserbillItem_yyyymm）。（2）歷史月帳單表：是指除當前出帳月的帳單之外的其它月的帳單，本部分帳單是后付費用戶(hù)欠費計算的主要來(lái)源表。包括帳戶(hù)當前月帳單表（Dmd_Acct_Bill_H_yyyymm）、用戶(hù)當前月帳單表（Dmd_Acct_Userbill_H_yyyymm）、用戶(hù)明細當前月帳單表（Dmd_Acct_UserbillItem_H_yyyymm）。（3）預付費用戶(hù)帳單表：是指全球通預付費用戶(hù)的帳單，由于全球通預付費用戶(hù)是實(shí)時(shí)扣費的，因此本部分帳單和預付費用戶(hù)的帳單分開(kāi)存放。包括預付費用戶(hù)帳戶(hù)當前月帳單表（Dmd_Acct_PreBill_yyyymm）、用戶(hù)當前月帳單表（Dmd_Acct_UserPrebill_yyyymm）、用戶(hù)明細當前月帳單表（Dmd_Acct_UserPrebillItem_yyyymm）。2.3.2帳務(wù)繳費表帳務(wù)繳費表主要包括繳費信息表、銀行繳費信息表和用戶(hù)資金平衡記錄表。（1）繳費信息表由兩張主表構成，一張是繳費記錄表，記錄用戶(hù)繳費時(shí)的記錄信息，一筆繳費一條記錄；另一張是繳費明細表，記錄具體沖賬的記錄明細表。例如一個(gè)客戶(hù)為三部手機繳納3個(gè)月的欠費，那么在本表則記錄9條記錄信息，包括用戶(hù)繳費記錄表（DMD_ACCT_BUSIREC_YYYYMM）和用戶(hù)繳費明細表（DMD_ACCT_BUSIFEE_YYYYMM）；（2）銀行繳費信息表（DMD_ACCT_BANKREC_YYYYMM），本表同時(shí)在繳費記錄表中有相應的記載；（3）用戶(hù)資金平衡記錄表（DMD_ACCT_BALANCEREC_YYYYMM），本表記錄用戶(hù)每筆帳務(wù)資金的變化情況，包括每筆繳費以及每一筆的充銷(xiāo)情況。2.3.3帳戶(hù)相關(guān)信息表帳戶(hù)相關(guān)信息表包括全部帳戶(hù)和個(gè)人賬戶(hù)的相關(guān)信息表。具體指：（1）帳戶(hù)資料信息表，本表記錄全部帳戶(hù)包括個(gè)人和公用帳戶(hù)的資料信息表（DMD_ACCT_MSG_YYYYMM）；（2）非公用資金信息表，記錄個(gè)人賬戶(hù)的全部資金信息，包括預付費和后付費的個(gè)人預存信息（DMD_ACCT_PREPAY_YYYYMM）；（3）個(gè)人賬戶(hù)沉淀資金表，記錄個(gè)人賬戶(hù)在離網(wǎng)或者其它異常離網(wǎng)情況下的帳戶(hù)資金情況。2.3.4銷(xiāo)賬相關(guān)信息表銷(xiāo)賬子模塊記錄帳務(wù)銷(xiāo)賬單相關(guān)信息表，主要包括：一是帳戶(hù)銷(xiāo)賬信息表（DMD_ACCT_DERREC_YYYYMM），記錄全部銷(xiāo)帳戶(hù)帳單的數據信息。二是用戶(hù)銷(xiāo)賬信息表（DMD_ACCT_DERITEM_YYYYMM），記錄全部銷(xiāo)用戶(hù)帳單的數據信息。
2.4新業(yè)務(wù)接口設計
�。�1）IP記帳卡業(yè)務(wù)：IP記帳卡業(yè)務(wù)詳單表（DR_IP_XX），包括IP直通車(chē)業(yè)務(wù)，用來(lái)統計IP記賬卡用戶(hù)每日使用情況[2]。包括CDR_IP_YYYYMMDD、CDR_LATER_IP_YYYYMM、DM_NEWBUSI_IP_YYYYMMDD和DM_NEWBUSI_IP_YYYYMM。（2）智能網(wǎng)IP業(yè)務(wù)：包括CDR_PIP_YYYYMMDD、CDR_LATER_PIP_YYYYMM、DM_NEWBUSI_PIP_YYYYMMDD和DM_NEWBUSI_PIP_YYYYMM。（3）企業(yè)PBXVOIP業(yè)務(wù)，包括CDR_PBX_YYYYMMDD、CDR_LATER_PBX_YYYYMM、DM_NEWBUSI_PBX_YYYYMMDD和DM_NEWBUSI_PBX_YYYYMM。
2.5大客戶(hù)接口設計
�。�1）DMD_VIP_CUST_DM_YYYYMM：大客戶(hù)流水日表，保留當前月的大客戶(hù)新增、流失和所有到目前為止的在網(wǎng)大客戶(hù)。（2）DMD_VIP_INFO_YYYYMM：存放所有大客戶(hù)卡信息，包括歷史、在用、注銷(xiāo)。（3）DMD_VIP_MANAGER_YYYYMM：記錄大客戶(hù)和客戶(hù)經(jīng)理的對應關(guān)系。
2.6競爭接口設計
�。�1）競爭對手相關(guān)資料表：主要記錄競爭對手客戶(hù)及大客戶(hù)的相關(guān)信息資料，包括競爭對手客戶(hù)月表（DM_COMP_CUST_YYYYMM）和競爭對手大客戶(hù)資料月表（DM_COMP_VIPCUST_YYYYMM），以存放每月競爭對手的大客戶(hù)資料。（2）競爭對手網(wǎng)間互通相關(guān)信息表：主要包括網(wǎng)間互通月表（DM_COMP_OPPOSITE_YYYYMM）和競爭對手日業(yè)務(wù)量信息表（DM_COMP_ALL_YYYYMMDD）。
3ETL2設計過(guò)程
ETL2通過(guò)抽取、FTP、清除和加載過(guò)程[3]，從數據倉庫中抽取DMD明細數據和DM綜合查詢(xún)數據，生成分地市的數據文件，FTP到指定的服務(wù)器，然后裝載入數據倉庫中。對于詳單文件，直接加載到數據集市中。
3.1抽�。‥xtract）
�。�1）功能描述支持讀取表名和地市代碼配置文件功能；支持表名和地市代碼參數傳入功能，根據參數指定的表名和地市代碼抽取數據；支持批量抽取，可根據配置文件一次分別抽取多個(gè)表、多個(gè)地市的數據；后臺數據庫支持oracle和db2；支持表名自動(dòng)匹配功能，例如配置文件或參數，如果表名帶yyyymmdd或yyyymm，程序將根據傳入的帳務(wù)周期做自動(dòng)替換；地市參數值為999或為空時(shí)，抽取目標表全表的數據。（2）程序設計①抽取oracle數據庫設計[4]。改造現有的e_extract程序，并包裝為extract_mart.tcl，抽取oracle數據時(shí)，調用e_extract程序。目前的e_extract抽取程序不支持分地市抽取，需要對現在的程序改造和包裝以支持分地市抽取機制，并根據不同的地市生成不同的地市目標文件。調用方式如下：其中-ccityid參數是傳入的地市代碼信息，-oconfig_file參數是指抽取表的配置信息文件，文件內容為抽取數據的sql語(yǔ)句。調用e_extract命令抽取生成的文件命名為table_name.cityid.yyyymmdd.mmddhh，與以前添加了cityid信息和程序的-c參數一致。②抽取db2數據時(shí)，有兩種方法支持[5]。一是直接調用db2的抽取工具export，生成的數據文件命名為table_name.cityid.yyyymmdd.mmddhh。二是調用db2版本的extract程序，同時(shí)抽取生成多個(gè)地市文件。其設計思路和調用方法與oracle類(lèi)似。（3）抽取方法批量抽取多個(gè)表、多個(gè)地市的數據①配置環(huán)境變量：MART_DATADIR為生成的數據文件的存放目錄，MART_TRACEDIR為日志文件目錄②配置參數文件，缺省為data_mart.cfg文件格式：settable_nocitylist"user_rightuser_user"settable_list""setcity_list"9990"其中：city_list是需要抽取數據的地市代碼列表table_list是需要抽取數據的表名列表，如果表是按照賬務(wù)周期分表，如dw_call_detail_201201，則在配置文件中表名配置為dw_call_detail_YYYYMMtable_nocitylist：是沒(méi)有city_id字段的表③調用程序extract_mart.tcl抽取數據extract_mart.tcl-d[connstring]-t[op_time]-p[timestamp]–f[file_name]-u[ddh]-v[rwh]如果不指定-f[file_name]參數，直接讀取data_mart.cfg3.2FTP與清除（1）功能描述用于在兩個(gè)服務(wù)器之間的文件傳輸功能，對抽取出的文件，直接傳給目的服務(wù)器。定期FTP源目錄下的所有文件到指定機器上的目的路徑下[6-7]。FTP前根據配置文件檢查數據文件是否完整（文件是否存在、文件大小是否不為零），對缺失的文件或不完整的文件，記錄錯誤日志。FTP完成后，記錄FTP成功日志和錯誤日志。根據FTP成功情況，刪除源目錄下的文件。（2）流程設計FTP與清除流程如圖1所示。（3）程序設計指定源路徑和目的路徑，文件傳輸；傳輸文件前檢查文件個(gè)數和大小，大小=0不傳輸，并記錄日志；刪除FTP成功的文件。
3.3加載（e_load）
數據從數據倉庫抽取成文件傳送到目標服務(wù)器后，需要分別自動(dòng)加載到數據集市的不同表中。數據集市的加載使用開(kāi)發(fā)的ETL產(chǎn)品“e_load_ctl，”它支持Oracle8i、Oracle9i、DB27.2EEE、db28等，可以運行在UNIX操作系統下，兼容IBMAIX、SUNSolaris、HP-UX等系統。在經(jīng)過(guò)完整的ETL2過(guò)程后，數據集市的數據倉庫就建好了，接下來(lái)就是在數據倉庫中做數據挖掘、數據分析的過(guò)程[8]。
4結語(yǔ)
地市級移動(dòng)通信數據集市的接口設計是一個(gè)復雜的過(guò)程，本設計通過(guò)數據倉庫的接口和ETL2設計，初步完成了數據集市系統的接口設計。其優(yōu)勢體現為：第一，對數據集市各地市詳單的加載，采用特殊處理，從清理完的詳單文件進(jìn)行分地市拆分后直接入庫，這樣減少了對數據倉庫的影響和壓力；第二，在數據倉庫中生成的支持數據集市綜合查詢(xún)的數據層（DM層），由數據倉庫完成，并作為數據倉庫擴展的重要補充。當然，隨著(zhù)數據量的日益增加，對數據集市的深層信息還需要進(jìn)一步的數據挖掘和分析。因此，數據集市的接口設計需要不斷地完善，以滿(mǎn)足用戶(hù)日益變化的需要。
參考文獻
[1]王亮.數據集市在電信客戶(hù)關(guān)懷系統中的應用研究[D].西安：西北大學(xué)，2008.
[2]林登奎.計算機網(wǎng)絡(luò )及防范技術(shù)研究[J].軟件，2013，34（1）：144-145.
【移動(dòng)通信數據倉庫接口與ETL2設計論文】相關(guān)文章：
K接口在光纖通信的應用論文10-11
衛星移動(dòng)通信系統的論文10-15
移動(dòng)通信傳輸工程設計特點(diǎn)分析論文06-06
異步串行通信接口的IP核設計08-11
串行通信接口可靠性的研究論文06-12
移動(dòng)通信基站布局規劃研究論文06-24
關(guān)于物聯(lián)網(wǎng)移動(dòng)通信技術(shù)論文10-25
RS232接口轉USB接口的通信方法08-16