· 手握大量行內外數據,卻未做有效利用或深度分析。
· 疲于應付大量的碎片化,差異化需求。
· 上下游平臺數據異構,兼容工作量大。
· 不知道行內有哪些數據資源可用。
· 數據提取方式復雜多變,造成接口兼容耗時周期較長。
· 源系統性能低下,影響效率。標準不一致,轉碼工作牽一發動全身。
· 數據安全規范以及使用規范制約數據流通。
· 沒有統一的管理體系。
· 數據使用情況無法統計,不清楚哪些數據使用頻率高,可以針對性提供此類型數據的豐度。
神州信息數據交換平臺旨在建立一個面向全行數據采集、交換、共享和開放的標準化的、規范的、高效的、穩定的、可控的數據服務總線,實現批量、準實時或者實時的數據交換要求,提升業務系統間多樣化、可配置、易管理的非實時批量及準實時數據交換能力。
· 有渠道告訴大家自身擁有的數據種類,以及用途。
· 消費者可以自適應獲取這些數據,不要總是新增接口兼容需求。
· 統一數據標準。
· 希望能夠緩沖部分數據,不要頻繁查詢影響本系統性能。
· 直觀的了解行內哪些數據可以使用
· 可以搜索數據,找出自己需要的數據
· 提高數據提供效率,包括傳輸效率
· 降低技術門檻,一種數據能夠多種方式提供
· 有明確的數據安全管控規范和流程
· 清楚數據使用情況,為數據架構決策提供參考
· 能夠分析數據流向和流量,進行改造優化
產品優勢
提供實時/準實時/批量數據方式采集方式,對采集數據進行加工、集成、共享、分發;具備行內數據和外部數據采集/計費能力??沙蔀槿袛祿鬏?、交換、共享與服務中心,實現統一采集、統一管理、統一服務。
支持多種關系型數據庫(如MySql、Oracle、DB2或其他RDBMS),支持對接Hadoop平臺多種組件(Hive、Hdfs、Hase);支持各種文件傳輸(如SFTP)。采用插件化集成機制,針對市面上新出現的各種數據源,可迅速開發Reader端和Writer端程序插件進行集成,保證高擴展性和快速客戶化開發、交付能力。
每一種讀插件都有一種或多種切分策略,都能將作業合理切分成多個Task并行執行,單機多線程執行模型可以讓速度隨并發成線性增長。
交換平臺將復雜的網狀的同步鏈路變成了星型數據鏈路,交換平臺作為中間傳輸載體負責連接各種數據源。
提供了簡單的接口與插件交互,提供簡單的插件接入機制,任意加上一種插件,就能無縫對接其他數據源。
Reader讀取、FrameWork處理、Writer寫入。
支持多種ETL工具,以引擎的方式集成,交換平臺通過界面配置數據交換相關的參數,支持生成各種ETL的腳本并調用,ETL引擎返回執行信息,在這個過程中,交換平臺監控數據交換的執行情況,記錄日志。
提供可視化配置的服務數據、安全的運行環境及保證措施。