行业领先!数据中台实现大数据组件上云!

近日,兴业数金自主研发的数据中台存算分离数据湖项目获得中国信通院联合人民网·人民数据主办的“2022算力云服务领航者计划”技术赋能优秀案例,是该方向中唯一入选的大数据领域案例,标志着我行大数据领域云化工作已经走在同业技术领先地位,具有重要的里程碑意义。

据介绍,数据中台通过存算分离数据湖项目,基于开源技术自主研发实现了大数据组件上云,结合我行云原生底座,已初步落地湖仓一体架构,完成了大数据主要计算组件的信创云原生化。

大数据云原生化是一种前沿的新兴技术,该技术将大数据与云原生相结合,构建出可扩展、高可靠的大数据平台,在分布式计算、大规模存储等方面展现出较大的潜力和优势。存算分离数据湖项目结合了我行信创云原生平台底座,完成了大数据主要计算组件Spark、Flink和Presto的信创云原生化,初步实现了大数据领域的存储与计算分离,支持计算资源的弹性伸缩,以满足不同数据应用和不同计算引擎的隔离要求,提高资源利用率。此外,项目组还研发了云化弹性计算管控平台对大数据云原生集群进行资源管控,实现集群资源按需申请和分配,最大化利用集群资源。

项目上线进一步提升了我行数据中台的能力体系,有助于推进我行金融数字化转型进程,当前支持了数据可视化分析及客户全景视图、资产合同、借据汇总信息等流批一体需求,可极大丰富业务场景。

后续,数据中台在技术上将持续推动大数据平台的云化,提高数据处理效率,降低成本,提高可靠性和灵活性;在业务场景中,通过“五大工程”中大风控数据项目进一步深化湖仓一体、流批一体架构以及联邦查询的场景落地,更好地为业务赋能。