• 快捷搜索
  • 全站搜索

浦发行数据质量管理实践与创新

2019-02-12 16:15:17作者:上海浦东发展银行信息科技部?朱颖编辑:365bet官网娱_365bet体育在线官网欧美_365bet找不到直播咨询网
本文对大数据时代下的数据质量管理所面临的问题进行了分析探讨,并以此为基础,提出了浦发银行在应对当前形势下的创新实践方法。

行业背景:大数据和人工智能技术正在日新月异地发展并逐渐成熟。商业银行纷纷投入到“数据驱动”的战略发展转型和业务创新中,数据质量管控体系也要顺势优化布局,尽快适应“精、准、快”的数据要求。?“大数据”时代数据质量管控也面临着各种变化。首先是外部监管对数据质量要求日益严格。监管对监管数据要求的变化体现在:数据的粒度不再限于指标类数据,需要账户级、交易级的明细数据,对字段级数据有日益明确的数据质量标准,一旦发现问题,要求快速响应及时整改。此外是内部精细化管理依托于高质量的数据。高级管理人员到一线分析人员均要求有更灵活、丰富的数据来源,不仅限于传统意义的报表、集市,还依托客户标签、外部数据、非结构化数据等更多种数据产品和来源。而基础数据质量决定了顶层决策的精确性,也对数据质量的管理提出了更高挑战。

  应对措施:浦东发展银行根据几年的数据治理经验,针对管控过程中难点和痛点切入,从管理、科技、业务三个方面“融入”数据质量管控机制,遵循“数据管控、人人践行”的理念,研究和尝试建立全覆盖、高效、持续的数据质量管控体系。通过科技引领的数据治理体系,创造数据资产的价值,为“数字化、智能化”战略转型奠定基础。

商业银行数据质量管理面临的问题

  1.“重建设、轻管理”导致基础数据质量薄弱。商业银行层级多、岗位分工复杂,数据不断被加工使用,业务与科技普遍缺乏数据质量预防的意识,整个过程中缺乏数据质量管理,引发大量数据质量问题。在系统建设或数据产生的源头忽视数据质量问题预防和控制,导致基础数据薄弱,后期数据清洗成本大、治理效果差。

  2.数据质量问题响应慢、解决效率低。随着365bet官网娱_365bet体育在线官网欧美_365bet找不到直播创新不断深入,365bet官网娱_365bet体育在线官网欧美_365bet找不到直播业务产品日趋丰富,各类业务呈现出复杂的业务管理关系。部分业务难以界定牵头管理部门,部门间相互推脱。跨部门数据质量问题存在无主责部门、问题解决慢、解决效率低。严重影响了监管的整改时限要求,无法适应快速变化的业务需求。

  3.缺乏持续管理手段,数据质量问题反复出现。365bet官网娱_365bet体育在线官网欧美_365bet找不到直播行业在通过加快转型发展,一些数据高度集中的管理系统、数据平台或标签集市,其数据来源丰富,加工流程复杂,随着新业务产生和上游系统的不断变化,数据质量不稳定,波动较大。仅以数据质量问题驱动为抓手,会不断产生新的问题。缺乏全面的、快速的响应机制及处理流程。

浦发银行数据质量管控实践与创新

  1.“融入”管理,强化高层管理机制。从管理角度来看,随着数据质量评估、监控活动的全面开展,数据质量问题不断涌现,其中不乏需要调动全行力量解决的问题。因此仅依赖于数据质量管理的专职团队,人力投入有限,效果甚微。强化质量管理,即需要建立数据质量的高层决策机制,也要下沉到一线业务人员,形成决策层、管理层、执行层联动,总分行部门间联动机制,保障管理的持续性、高效性。

  浦发银行为解决跨部门的重大数据治理问题,在高级管理层下,成立“数据治理工作领导小组”,形成跨部门数据治理问题的沟通解决机制,为研究和决定数据治理重大决策和重要事项,协调各部门数据治理工作中的重要问题提供平台。各部门通过该平台提出问题,由工作小组进行快速决策,并由工作小组对专项任务的执行情况进行监督管理,提高问题解决的效率。

  浦发银行围绕全行的年度经营绩效工作目标,制订配套的数据质量管理目标,并纳入全行经营绩效考核中。通过数据质量考核管理机制,提高总行部门间及总行分行间的联动,并将质量管理要求传达到一线。实现以“业务价值”为驱动,“以点带面”拉动全行总行各部室及分行共同为数据质量添砖加瓦,使资源投入更集中,治理效果更显着。

  2. “融入”科技,优化开发流程 。科技引领的数据治理机制的核心部分是建立与信息化建设进程紧密契合的数据架构管控机制。通过建立分工明确,配合默契的协作机制,确保项目团队能够准确、高效、规范地从业务需求中识别、捕捉数据相关需求,并转化为包括数据标准、数据质量等数据治理需求,帮助数据需求能够被高质量地得到实现,以确保数据质量从源头、过程上得到有效保障,解决过去数据治理工作中出现的边“建设”、边“污染”、后治理的落实模式。

  (1)数据质量管理融入信息化建设全流程。在浦发银行新一代项目建设中,建立融入信息化全流程的数据管理要求,通过强化数据需求管理、模型设计、投产交付等信息系统建设环节,从源头开展数据治理工作。建立了我行信息系统建设向标准化、数据质量管理规范化的转型标杆,推动了数据资产质量逐步提升。?

  整体过程中,数据需求管控机制是数据治理机制建设中最容易被忽视的部分。俗话说“治不如防”,在业务高度参与的需求阶段,明确数据需求及质量要求,在设计环节加强前台录入控制、逻辑检查、数据清洗等质量控制,在系统投产环节增加数据质量方面的审核,减少对下游系统影响(如图1所示)。

图片4.jpg
切入软件开发全流程的数据质量管控机制

  (2)数据质量管理融入数据全生命周期。从数据全生命周期角度出发,数据质量管理应贯穿数据创建、存储、加工处理、使用和销毁全过程。因此,在数据创建、存储环节增加质量准入检查、数据清洗等工作,在数据加工、使用环节中加强全流程的数据质量监控,在数据销毁后同时撤销质量监控等。

  针对客户标签、大数据平台等数据高度集中的产品、系统或平台,搭建全面、自动化、可视化的数据质量跟踪监控机制尤为重要。确保任何环节数据发生变化,第一时间通知数据使用人员、系统负责人以及数据质量专员,紧急问题及时触发应急预案,一般问题纳入数据质量问题处理流程,重大问题上报高层管理人员。实现数据异常情况“及时发现、及时处理、及时上报”,保持数据生命周期中,数据质量管理的持续性,降低每个环节中潜在的问题的影响,避免影响决策分析等工作(如图2所示)。

图片5.jpg
数据生命周期全流程质量管控体系

  3.“融入”业务,规范业务操作。商业银行数据运用的主体是遍布总分行的各业务部门。“数据取之于业务,用于之于业务”,要充分调动业务部门以积极的心态迎接技术的变化,引导业务调整优化操作流程,将数据治理成果更有效地运用到业务运营管理中去。通过数据治理为业务部门创造直接和间接的价值,形成双赢的局面,才能保证数据质量管理的持续进行。

  (1)“量身定制”全方位宣贯培训,深化质量管控意识。浦发银行定期组织面向多层次受众、开展形式多样的宣贯和培训,促进全行用户对数据治理成果的价值认同。陆续通过行内期刊、网络培训等形式向全行普及数据治理的重要性,并和负责合规监管等部门联合开展业务条线的专项数据质量培训,帮助他们在日常工作中有针对性地加强数据质量管理。

  (2)结合业务流程“差异化”,落实质量管控要求。遵循“主动预防、加强控制、及时处理”的数据质量管控策略,协助业务部门解读相关监管政策中数据质量要求,指导业务部门在制订业务流程规范中加入数据质量管控要求,并在信息系统建设中及时提出配套的数据需求。通过优化业务流程表单设计,建立柜员操作规范加强数据录入审核等手段,减少或避免数据质量问题的发生。同时,围绕“以客户为中心”的业务经营管理需要,制订“数据质量考核评分卡”,将客户信息采集、经营统计分析等与业务操作关系密切的工作纳入总分行数据质量考核中。

实施案例及效果评价

  浦发银行已在关键报表、客户标签、新一代管理会计项目、企业信贷系统、大数据平台等多个重点项目,开展贴身指导实践,并通过“授人以渔”加强审核的方式落实到其他项目建设中。现以新一代管理会计为例,分享一下具体实践经验与效果。

  融入“数据质量”的需求分析,关键在于建立制订管理会计配套的的数据质量标准。采用“自顶向下”的方法,从业务需求中归纳出数据质量要求。管理会计关键指标为经济增加值EVA,从EVA指标下钻,需要满足客户、产品、员工、机构、板块五个维度的基础数据,包括明细账余额、资金转移定价、外部利息收支、手续费收入、资金资本(信用风险、操作风险、市场风险)、资产减值等关键数据。以管理会计数据质量标准为依据,制订数据质量检验规则、加强前台数据录入校验、开展上游源数据评估、对差异问题进行分析,通过清洗等方式提高数据质量,对短期无法处理的问题通过数据对口部门推进改进提升质量,确保数据满足业务需要。数据交付使用后,采取覆盖全流程的持续质量监控方式,为数据质量持续稳定提供保障。从业务手工数据导入、上游系统数据采集、集市数据加工等每个环节建立“数据质量指标”进行可视化监测。结合融合的管理机制,明确数据主责部门、数据使用部门、信息科技部的分工,形成部门联动机制。一旦发现异常情况,及时上报及处理。对严重问题,通过数据治理工作领导小组进行通报并纳入考核打分。

  建立覆盖全流程的数据质量管控机制,不等于没有数据质量问题,而是通过机制可以有效地控制减少问题发生,降低对数据分析应用的影响。根据管理会计数据质量监测及评价,有两方面突出效果。一是从采集到交付各阶段数据质量问题的发现比例显着降低,而不是在数据交付后发现大量问题,大大减少资源投入,增加了业务使用数据的“可信度”。二是通过全流程的“数据质量指标”监测及报告,可快速定位问题,决策层、管理层、执行层对数据质量有直观的掌握,更利于加快推进数据质量问题的解决。数据质量管理效率有明显提升,随着质量控制及问题的持续改进,数据的完整性、准确性、及时性都稳步提升。

(文章来源:365bet官网娱_365bet体育在线官网欧美_365bet找不到直播电子化杂志)

扫码即可手机
阅读转发此文

本文评论

相关文章