DTrans數據融合平臺架構
DTrans數據融合平臺架構整體包含數據源、數據集成、API服務、數據資產、系統管理六大模塊,以及最終可以實現的效果,為企業構建數據湖。 其中,數據源模塊支持業務應用系統的數據采集,支持常見關系型、非關系型數據采集,支持API接口數據采集,支持Excel文件的同步采集。通過元數據追溯庫表的血緣關系,從而貫穿整個企業的業務數據流程。 數據集成模塊是平臺的核心,也是打通數據孤島的核心。支持多種數據源的數據ETL過程,支持多個ETL任務組成任務流任務,支持任務日志的查看,支持任務的出錯報警。API服務是平臺的數據服務部分。 API服務將庫表數據以API方式對外提供服務,支持第三方調用平臺自建接口發送數據、接收數據到目標庫。最終,用戶可通過DTrans數據融合平臺搭建企業自身的數據湖,實現企業的業務梳理與數據資產沉淀。
支持第三方調用平臺自建接口發送數據源數據、接收數據到目標庫,并提供接口安全訪問控制限制
支持定時自動更新的數據庫表與API接口的時間增量調度,抽取特定時間段內的數據,優化性能
任務組件包含數據同步任務、文件同步任務組件。支持任務間任意配置依賴關系,支持批量任務的創建及管理
支持南大通用、武漢達夢、人大金倉等國產數據庫;支持常見關系型,非關系型,NoSQL型數據庫;支持API接口;支持消息服務型數據庫Kafka;支持Excel、Csv數據源;支持圖片視頻等非結構化文件數據源
全流程的任務元數據管理包括對數據源、目標數據的結構、轉換規則以及過程的依賴關系等的管理,利于企業數據的梳理,利于數據ETL過程的維護
拖拽式界面設計,降低使用門檻,為用戶帶來良好的操作體驗,讓數據隨心而動,實現數據快速融合