神州信息數據探查平臺起源于數據資產管理,指對金融企業數據資源進行盤點,歸納和形式分析的一系列綜合過程,其范圍包含了整個數據湖資源涉及類型,作用是輔助企業全面了解自己數據資源的有效性以及相關質量問題,實現摸清金融企業數據家底的過程。
神州信息數據探查平臺通過血緣分析、元數據管理、數據質量評估、數據標準梳理等主要核心功能,實現對系統、文件服務器、服務接口、中間日志,以及散落數據的自動探查和摸底。
電子文檔
電子數據
......
文件格式與數據歸屬
文件服務器統計
文件元數據信息梳理
應用系統統計
數據字典整合
數據字典獲取
系統數據庫類型統計
內部數據引用情況梳理
外部數據引入情況梳理
......
數據庫日志
中間件日志
應用系統日志
......
利用探查結果,為金融企業應該如何建立數據標準和數據質量檢驗規則提供有效建議,使企業數據標準和質量規則的定義變得更加科學有效。有效避免標準規則制定時的生搬硬套和經驗主義等情況。
通過數據探查,為金融企業開展后續的數據應用開發分析提供了有效的數據參考依據。使得數據開發分析者更加高效的理解所使用的數據資源,提升了工作效率。
數據探查產品采用線上線下結合的模式,以系統自動化處理為主,配合適量人工校驗,完成業務系統信息快速梳理、元數據信息全局搜索、數據質量、數據標準等關鍵內容的初步評估,使數據管理者更加便捷的了解企業數據家底和現狀。
神州信息數據探查產品能夠有效幫助金融企業明確數據資源分布、元數據信息,并通過探查實例數據實際形態,使企業對自身數據擁有全面的認知和理解,從而更好的使用和應用數據資產。
利用數據探查分析結果,能夠更加科學地評估金融企業數據標準和數據質量,為數據管控治理等工作的展開創造了更有利的起步條件。
數據資源是銀行數字化轉型的基石,數據資源探查和盤點的目的是為了全面了解數據資源的現狀,知道有哪些數據是可以使用的。
· 通過數據探查明確銀行數據資源分布情況
· 為數據資源編目(數據目錄)規劃提供設計依據
· 數據資源的元數據信息梳理整合,為數據線上化管理做準備
· 通過線下信息探查。初步預判元數據的質量問題
· 逐一探查數據表、數據字段的數據形態,如:空值率情況、編碼長度分布情況等等
· 為數據建模、標準制定、數據質檢規則制定規劃提供設計依據
某保險數據治理建設
對保險大數據進行探查摸底,建立保險行業企業級數據資產目錄和統一視圖,并對其數據質量問題進行有效地評估和管控,大大提升了該企業的數據使用效率。
某農商銀行數據中臺建設
對核心、信貸等30個業務系統瘦身,歷史數據歸檔,3000+張業務系統數據盤點和入庫。從時間維度和跨系統維度進行歷史數據的處理與整合。實現交易流水秒級查詢。跑批時間,5000+作業,50G+數據處理僅需十幾分鐘。