数据集市赋能投行业务数字化转型
发布时间: 2024-08-30 作者: 爱游戏平台官方网站入口

  【课题研究机构】华泰联合证券有限责任公司、华泰证券601688)股份有限公司

  【摘要】华泰证券投行云工作组,秉承集团数字化转型的战略发展方针,赋能投行业务经营管理的全新模式升级,通过构建投行业务领域数据集市,推进线上化平台配套产品建设,积极促进投行业务数据治理,统一落地数据底座,规范业务数据标准化。一方面,通过数据集市与BI(商业智能)技术的实践探索,结合数据中台与投行业务平台底层能力,汇集贯通了7类业务系统数据,建设10套“画像应用类”、9个“数据治理类”、7个“数据来源类”数据应用,充分挖掘数据价值,极大地助力赋能投资银行业务数字化转型。另一方面,通过创新研发模式的实践,提升了数据类研发效率30%。通过数据建模与治理,首次在证券公司内树立了投行业务数据标准,也为行业标准的建立贡献力量。

  华泰证券投行业务平台线上化建设初具规模,较好支持了投行客户、项目与产品的线上化管理,沉淀了一批关键结果数据和运营过程数据。随着全面注册制落地,券商职责要求对数字化赋能投行经营管理提出了更高的标准。

  在华泰证券数字化赋能投行业务经营管理的战略背景下,投行业务的数据类需求涉及领域广泛,其中数据分析类需求突增,有必要研究一种快速交付、灵活安全的解决方案支持业务经营管理数据分析。

  经过多年的建设,投行各个业务环节的核心业务系统已基本完成线上化,但由于不同业务条线和部门主导其领域范畴内需求的原因,造成数据标准不统一、数据不一致、数据缺失等问题,跨系统、跨领域,特别是涵盖项目全生命周期的数据分析存在障碍,导致对数据的处理复杂度很高,迫切地需要打通数据孤岛、沉淀数据资产,从而提升研发效率与交付质量。

  随着我们国家资本市场的改革深入,对券商归位尽责要求加强,如何贯彻合规制度,加强投行数据管理方面的合规要求,迫切需要打造系统化、平台化管理能力。运用线上化、智能化的思维方案构建数据安全合规机制,为数据合规管理保驾护航成为趋势。

  综上所述,贯彻合规监管要求,“更好地使用数据”是驱动建设投行数据集市的原始动力和目标,快速支撑全领域业务数据分析、维护数据管理安全合规、持续赋能投行数字化经营管理和提升运营效率具有重要且紧迫的现实意义。

  为了赋能投行业务经营管理的全新模式升级,华泰证券投行云工作组通过搭建投行业务领域数据集市,推进线上化平台配套产品,积极促进投行业务数据治理,统一落地数据底座,规范司内业务数据标准化,助力投行业数据标准。课题内容与目标如下。

  针对投资银行“客户获取、项目执行、发行承销、持续督导”项目完整生命周期,深入分析“立项、内核、上报监管、发行、销售、后督、财务、合规风控”等关键核心业务环节,抽象投行业务建模。

  基于业界建模标准的调研结果,结合业务实际特点,设计建设“项目、产品、主体、事件、资讯、财务、资产、风险、维度”九大投行数据主题域。

  运用数据仓库、数据集市的“分层解耦、聚类复用、快速交付”的方法论,构建投行业务数据集市,快速支撑上层业务数据应用。

  调研投行业务的数据分析需求特点,设计面向投行经营管理层的数据驾驶舱、数据仪表盘、数据报表等集市上层应用。

  符合业务需求的跨系统、多领域、高可信、可组合分析、高容错、自动采集等宏观要求指标的同时,建设10套“画像应用类”、9个“数据治理类”、7个“数据来源类”数据应用。

  基于集团数据中台BI商业智能工具,拉通集市层数据来源与上层数据应用,实现可快速配置、可视化、可拖拽的数据报表。

  投行核心业务系统经过多年建设,各个模块逐步丰富完善,但是目前各个系统模块的数据分散割裂、无法贯通。随之而来的,项目各个阶段的数据也相互割裂,系统中客户、项目执行、项目发行、产品销售、项目存续期等项目完整生命周期数据无法关联对应,迫切地需要打通项目完整生命周期各个板块数据,消除数据孤岛,建设投行业务统一维度层、统一落地数据底座,夯实一体化的平台底座。

  加强投行数据集市的数据安全与合规性,在合规前提下的数据利用与经营成为数据生产、利用、分析、管理等过程中的重要前提。

  夯实建设投行数据集市相关的合规安全审查机制,一方面需要建设信息隔离墙在线自动核查规则、数据安全扫描规则,落地完善投行业务数据同步审批、数据中台数据权限审批等流程的线上化;另一方面,需要加强数据合规内部制度的定期宣导、核查、管理机制,加强数据分析使用的安全合规意识,切实保障投行数据安全合规。

  依托投行业务“客户获取、项目执行、发行承销、持续督导”项目完整生命周期,按照业务核心领域的线上化数据,抽象投行业务建模。在调研证券期货行业数据模型及外部成熟金融数据主题域模型标准的基础上,结合业务现实特点,设计确定了“项目、产品、主体、事件、资讯、财务、资产、风险、维度”九大投行数据主题域。

  按照数据分层分类设计思路,投行数据集市具备“分层解耦、聚类复用、快速交付”的能力,在快速支持上层业务的各种数据应用和数据服务建设的同时,也能复用底层数据资产,提高数据资产应用价值。

  1) 使用分层设计理念,对集市分四层设计:ODS贴源层、DWD明细层、DWS聚合指标层、DWA应用层;

  2) 数据模型在应用层和指标层之间,按照业务需求可复用度和数据沉淀的通用性可以动态调整,随着建设时间的拉长,逐步丰富与沉淀;

  3) 在数据应用层,建设商业智能报表平台,使用低代码可视化研发形式,快速完成数据应用的开发与呈现,敏捷响应投行数据需求的同时,也降低研发成本;

  4) 在数据集市的底层,通过ODS贴源层与投行领域各个业务系统进行数据同步,将多个投行业务系统内的数据在同样的准则和标准下进行抽取、清洗、规整和管理。

  设计面向投行经营管理层的人员画像、数据仪表盘、管理者视图等集市上层应用。

  随着公司数字化转型实践的深入,用数据来呈现、发掘,乃至辅助业务决策,成为新的业务趋势。因此用线上数据来多维度、度量化地刻画投行业务人员,成为重要的手段和必备途径。这里就包含客户服务人员、执行人员画像,涵盖了股权、债券、并购等产品大类,将人员执行工时、拜访工作信息与收入、业务规模数据关联,数据量化呈现人员绩效,支撑人员与项目资源匹配和调度,将最合适的人用到合适的项目中。

  通过数据治理后的客户信息、项目执行、项目发行、项目销售、项目存续期等项目的完整生命周期数据已经进行关联。在打通项目完整生命周期和搭建数据集市能力的基础上,对客户、人员、项目三个维度领域的数据报表进行汇聚与展示,支撑经营管理分析和决策。通过建设管理者视图,多维度展示客户数据全貌,采用报表与图表结合的形式展示客户现状总量、变化量及客户经理情况。

  为更好地引导投资银行业务以优质客户为中心,为客户提供全业务链长期资金市场服务,进一步完善客户管理体系,优化业务部门及员工展业成果评价机制,建设了股权项目价值量管理模块,促进数据沉淀,通过数据集市实现数据自动集成与报表自动生成,同步制定发布配套了管理办法。

  周报填写产生大量投入度数据,包含人员投入度、项目投入度、客户投入度等,这些数据可应用于投入度视图,展现部门、个人、项目、客户等维度的专注度数据分析。通过数据集市和商业智能报表平台,将散落在周报模块各处的数据整理成视图,便于分管领导、业务线管理者、部门管理者时刻关注和随时随地掌握人员、项目、客户的投入情况。

  传统投行业务人员度量数据的收集整理过程中存在数据不完整、汇总不准确、反馈不及时、往返重复等业务痛点,占据较多业务管理成本。报表研发过程也因为部分底层数据未完全打通、上层报表需求频繁变动,而报表数据查看时效性要求又很高,出现了已交付的报表数据不准确、功能过时、数据维护导入困难等问题。

  本课题完成了一套新的产研模式探索实践,首先在需求层面,从五个大方向上梳理、沉淀了投行前线业务人员的刻画维度和一系列的指标集。其次在数据层面,通过数据集市能力打通投行业务领域内、集机构客户领域之间的8个系统之间的关键数据,沉淀了20多个数据模型。最后在应用层面,我们搭建集成一站式运营分析平台与投行云平台能力,构建了债券客户服务人员画像、股权项目价值量等近30张报表和数据看板。

  投行核心业务系统经过多年建设,各个模块逐步丰富完善,但是目前各个系统模块的数据分散割裂、无法贯通。随之而来的,项目各个阶段的数据也相互割裂,系统中客户、项目执行、项目发行、产品营销售卖、项目存续期等项目完整生命周期数据无法关联对应,迫切地需要打通项目完整生命周期各个板块数据,消除数据孤岛,建设投行业务统一维度层、统一落地数据底座,夯实一体化的平台底座。

  我们通过制定核心数据标准和规范,定义元数据和主数据,利用数据治理工具,对各系统的业务数据进行统一清洗和治理,使得各领域数据一致、完整和准确。

  加强投行数据集市的数据安全,在合规前提下完成数据生产、利用、分析、管理等过程至关重要。

  运用数据集市工具类产品,建设投行数据集市相关的合规安全审查机制,并将数据安全、数据合规、数据管理的制度以受控流程的方式固化在线上操作过程中,实现自动化数据稽查与监控。

  首先,建设信息隔离墙在线自动核查规则、数据安全扫描规则、个人信息安全校验规则等一系列合规规则的线下制度并实现配套线上功能,运用规则引擎对规则实现可视化线上动态编排与管理,通过自定定期和不定期的数据稽查事件驱动数据合规安全。

  其次,落地完善投行业务数据同步审批流程、表数据权限审批流程、数据owner管理和移交审批流程、数据研发权限管理流程、元数据管理审批流程等10余套线上化管理流程。

  再次,加强操作与道德风险管控。设置独立的运维管理制度和团队,在中台设置单独的投行hive生产和测试空间,明确和分层控制数据人员运维操作权限。

  最后,加强数据合规内部制度的定期宣导、核查、管理机制。加强数据分析使用的安全合规意识,切实保障投行数据安全合规。

  第一,制定投行实体和属性的命名标准,保证了投行实体和属性命名的一致性和清晰性,使得不同团队或系统中同一实体或属性命名统一,减少混淆和误解;

  第二,制定投行数据领域划分标准,将投行业务运行过程生成或依赖的数据进行领域划分,数据被划分成了九大数据主题域,生成了一份详细的、全局视角的投行数据分类规范;

  第三,按照投行实体和属性命名标准和投行数据领域划分标准,对团队内部系统以及不同团队之间的共用系统,进行综合数据治理。

  基于DataX建设离线数据同步平台,实现了数据同步和数据脱敏两大核心功能。支持各类同构或异构数据库之间的数据同步,目前平台支持11种源数据库、12种目标数据库。改造DataX的Transformer功能,实现数据脱敏功能,自研数据脱敏规则工具包,用户可以使用工具包中现有脱敏规则,也可以自定义新的脱敏规则。建设图形化页面实现数据同步和数据脱敏作业管理以及可视化作业配置,能够极大地降低用户的使用门槛,提升使用体验。

  实现了一套多执行引擎、可视化的代码开发工具,并且还能通过工作流编排、流水线发布实现开发任务的生产部署。主要功能分为代码开发、任务调度和上线、建设实时数据同步平台,提高数据使用效率

  基于CDC采集工具,解析数据库日志,感知源数据库数据变更,实现了实时数据同步平台。支持各类同构和异构数据库之间的数据同步,目前平台支持3种源数据库(包括MySQL、Oracle等)、7种目标数据库(MySQL、Oracle、Kafka等)。

  基于Flink实现了实时数据开发平台,为开发人员提供了一套流计算开发工具。主要功能分为:代码开发、代码调试、任务管理。代码开发支持SQL脚本的在线编辑,支持在页面上对在编辑脚本进行代码提示以及语法纠错;代码调试功能提供了SQL脚本的本地调试和集群调试的功能;任务管理功能实现了可视化任务管理的功能,并且能够实时查看任务的运行日志。

  基于ClickHouse,实现了低代码或无代码的自助式数据分析,用户可以通过简单的拖拽或点击快速构建自己的数据分析报表和仪表盘。平台提供了丰富的图表和分析组件,包括普通表格、透视表、饼图、折线图、雷达图、漏斗图、词云等图表类型,还包括排序、Top N、百分比、同环比等分析组件,除此之外还提供了查询页面供用户直接使用ClickHouse的计算公式进行计算。

  实现了通过向导式、自定义SQL脚本的方式帮助用户快速生成数据API,该API可以获取不同数据源中的数据。此外还提供了API的在线发布功能、API鉴权功能、API熔断功能和API监控告警功能,实现了低代码获取数据的功能,降低了代码开发成本。

  结合华泰联合业务实际特点,抽象设计了“项目、产品、主体、事件、资讯、财务、资产、风险、维度”九大投行数据主题域模型。在这九大基础主题模型之上,经过项目执行、客户服务、项目发行、财务管理等主体业务场景实践迭代,汇集了7类源数据业务系统,160多个原始数据表,建立了约150个明细/汇总表,明确了100多个数据指标。在研发交付方面,基于数据集市的数据应用交付模式相比传统定制开发交付模式提高了研发效能,避免了重复性研发工作。

  传统管理模式下,业务管理者对项目参与人员的贡献度评价较多依赖主观印象、层层反馈,对参与人员缺乏可量化的贡献价值数据支撑。在数字化转型大背景下,通过获取投行项目过程数据、项目库数据、发行系统数据、财务应收和实收等多方面数据,结合万得资讯数据的补充与修正,为人员画像提供重要的数据参考,数据化赋能业务经营管理。自系统上线人次数据多维呈现,涉及100余个项目。

  汇集了股、债大类产品线下所有几百种项目类型的业务数据。打通了从项目客户服务、项目执行、项目发行、项目销售、项目存续期等项目完整生命周期数据,涵盖了投行机构客户管理、项目管理系统、项目发行系统、财务系统、资讯数据来源等七个内外部系统数据。在客户和项目等多个维度查询分析不同部门、不同产品线、不同个人在不同业务阶段的业务规模、财务应收、财务实收、项目阶段性价值量等指标,支持拆分和下钻至明细,支持多维度关联分析并进行汇总。

  为加强完善客户关系管理体系,优化业务部门及员工的绩效评价机制,将相关线下运营模式、实践经验和数据分析过程进行规范并完成数字化,实现了线上数据自动集成沉淀与数据报表制作推送,聚合了项目库、机构客户信息、发行数据、财务数据、资讯信息等源数据信息,按照4类核算指标,计算6种影响因子,覆盖800余个项目。

  股权项目价值量分析报表的建立,使得华泰联合首次能够在线自动生成项目价值量的分析月报,并支持按需生成实时报表,极大缓解了近50+前线业务部门的线下统计、层层上报、汇总计算的数据收集与加工的工作所承受的压力。使得公司在客户价值量计算、项目价值量评估、人员管理、绩效管理、部门业绩计算等多个业务场景下具备量化的认定依据。能够对“客户-项目-人员”资源的匹配与调度建立数据化的沉淀,在此基础上实现的人员标签、客户标签、项目标签之间的推荐调度,最大化资源分配,将合适的资源使用到合适的客户项目中。

  通过数据集市和商业智能报表平台,将散落在周报模块各处的数据整理成视图,便于分管领导、业务线管理者、部门管理者时刻关注和随时随地掌握人员、项目、客户的投入情况。涵盖了股/债业务线人的周报填报记录,展示了项目执行和营销活动两个维度下的汇总报告和明细记录。

  维护数据安全合规措施,数据安全的管控分为4个层面:源数据层、中台管理、报表应用层和制度嵌入。

  央行:2024年二季度末个人住房贷款余额37.79万亿元,同比下降2.1%

  央行:2024年二季度末个人住房贷款余额37.79万亿元,同比下降2.1%

  国家发改委:将在深海、生命健康、人工智能等领域再推出一批市场准入特别措施

  已有112家主力机构披露2024-06-30报告期持股数据,持仓量总计4.54亿股,占流通A股6.24%

  近期的平均成本为12.63元。该公司运营状况尚可,暂时未获得多数机构的显著认同,后续可继续关注。

  限售解禁:解禁1471万股(预计值),占总股本比例0.16%,股份类型:股权激励限售股份。(本次数据根据公告推理而来,真实的情况以上市公司公告为准)

  软件下载法律声明运营许可联系我们友情链接招聘英才用户体验计划有害信息举报涉未成年人违规内容举报

  算法推荐专项举报不良信息举报电话举报邮箱:增值电信业务经营许可证:B2-20090237