概述
目前行業(yè)應(yīng)用數(shù)據(jù)種類繁多，在數(shù)據(jù)治理、共享應(yīng)用的前期，進行各類數(shù)據(jù)收集匯總，構(gòu)建原始數(shù)據(jù)資源池，成為數(shù)據(jù)管理應(yīng)用的重要一環(huán)。通過多源異構(gòu)數(shù)據(jù)通用引接模塊可以實現(xiàn)各類數(shù)據(jù)的收集與管理。
一、在線數(shù)據(jù)接引
在線數(shù)據(jù)接引主要包括數(shù)據(jù)庫接引、API接口接引、實時報文接引。
1、數(shù)據(jù)庫接引
以Python技術(shù)為基礎(chǔ)，集成各類數(shù)據(jù)庫操作組件，構(gòu)建數(shù)據(jù)庫引擎，通過數(shù)據(jù)庫地址、用戶、密碼等信息實現(xiàn)數(shù)據(jù)庫的直接連接。連接測試成功，即可獲取數(shù)據(jù)庫中的數(shù)據(jù)表清單。
用戶根據(jù)具體業(yè)務(wù)需求，選擇需要的數(shù)據(jù)表（部分或全部），確定接引的外部源數(shù)據(jù)。通過本地原始數(shù)據(jù)管理，創(chuàng)建數(shù)據(jù)庫作為接引目標(biāo)庫。支持增量接引和覆蓋接引，支持定時引接和一次性引接。
數(shù)據(jù)庫表接引模型
2、API接口接引
API接口由外部業(yè)務(wù)系統(tǒng)提供，用于獲取相關(guān)數(shù)據(jù)。以Python技術(shù)為基礎(chǔ)，搭建API接口引擎，支持POST、GET等接入方式，實現(xiàn)接口數(shù)據(jù)的獲取。返回結(jié)果為json格式，分為結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。
API接口接引模型
3、實時報文接引
以Python技術(shù)為基礎(chǔ)，針對不同的報文格式進行解析組件開發(fā)，形成解析組件庫，實現(xiàn)數(shù)據(jù)的連接、接收、數(shù)據(jù)解析，形成結(jié)構(gòu)化數(shù)據(jù)集合。
實時報文接引模型
二、離線數(shù)據(jù)接引
支持Excel、Json、離線數(shù)據(jù)庫文件、二進制文件以及其他文檔資料的接引，針對性的設(shè)計接引模型，實現(xiàn)離線數(shù)據(jù)的導(dǎo)入?yún)R聚。
1、Excel類型數(shù)據(jù)接引模型
將Excel文件通過導(dǎo)入功能上傳到服務(wù)器，預(yù)存在文件存儲數(shù)據(jù)庫中，系統(tǒng)根據(jù)數(shù)據(jù)庫表字段對應(yīng)配置，通過調(diào)用Python通用解析組件，將上傳的Excel文件入庫到指定數(shù)據(jù)表及數(shù)據(jù)庫中。
Excel類型數(shù)據(jù)接引模型
2、Json文件接引模型
將Json文件通過導(dǎo)入功能上傳到服務(wù)器，預(yù)存在文件存儲數(shù)據(jù)庫中，系統(tǒng)通過調(diào)用Json通用解析組件，將上傳的Json文件解析為Json結(jié)構(gòu)數(shù)據(jù)，根據(jù)頁面配置需要信息及對應(yīng)表字段，將Json文件數(shù)據(jù)入庫到指定數(shù)據(jù)表及數(shù)據(jù)庫中。
Json文件接引模型
3、DB離線數(shù)據(jù)庫接引模型
將DB離線數(shù)據(jù)通過導(dǎo)入功能上傳到服務(wù)器，預(yù)存在文件存儲數(shù)據(jù)庫中，系統(tǒng)通過調(diào)用DB庫連接實例，將DB文件解析為表及數(shù)據(jù)記錄，根據(jù)指定存儲目標(biāo)表及對應(yīng)字段，入庫到相應(yīng)數(shù)據(jù)庫中。
DB離線數(shù)據(jù)庫接引模型
4、二進制文件接引模型
將二進制文件數(shù)據(jù)通過導(dǎo)入功能上傳到服務(wù)器，預(yù)存在文件存儲數(shù)據(jù)庫中，系統(tǒng)通過調(diào)用特定解析組件，根據(jù)表字段對應(yīng)配置，將二進制文件解析為數(shù)據(jù)記錄，入庫到相應(yīng)數(shù)據(jù)庫中。
二進制文件接引模型
5、文件資料接引模型
將音視頻、圖像、文件資料、其他文件資料等文件數(shù)據(jù)通過導(dǎo)入功能上傳到服務(wù)器，預(yù)存在文件存儲數(shù)據(jù)庫中，系統(tǒng)新增文件資料表，并將文件數(shù)據(jù)存儲在結(jié)構(gòu)化數(shù)據(jù)庫中。
文件資料接引模型
