浅谈G行数据湖平台建设-实现数据共享与融合-赋能业务创新 (gr数据)
背景
随着移动互联网的飞速发展,对于短时间内产生的大规模、多种类数据的存储和分析要求越来越高。数据湖是一种支持结构化、半结构化、非结构化等大规模数据存储和计算的系统架构,能够高效地对原始数据进行存储和取用,解决了传统数据仓库需要预先定义数据结构、海量数据加载慢的问题。
系统架构
G行数据湖平台采用采集层、平台层、应用层的三层架构建设方案:
- 采集层:负责对G行原始数据的统一采集管理。
- 平台层:主要完成对入湖数据的存储管理、授权管理、元数据管理、任务管理等功能。
- 应用层:主要基于G行的数据运营、营销拓展、个性化推荐等业务场景,利用Oozie、Spark等组件实现对数据批量任务的调度和加工计算。
![gr数据](https://tyye.cn/zb_users/theme/tpure/style/images/lazyload.png)
平台能力
数据采集
G行数据湖平台实现了对G行将近200个系统1万多张表的原始数据采集,并为约100个下游应用提供数据授权和调用。
数据存储
数据湖共设计了四种入湖模型,包括当日全量数据存储、当日增量数据存储、上日全量数据与当日更新增量数据合并存储、拉链表存储。
数据管理
平台的授权管理基于Ranger实现,让不同系统可通过数据湖进行数据共享。
元数据管理模块可以轻松实现对数据入湖、数据存储方式以及数据下线的管理。
任务管理模块实现了对数据入湖加载任务的状态查询、延迟查询、任务重调、时长统计等功能。
实时数据湖
随着数字化转型的不断深入和业务场景的不断丰富,对于数据分析的时效性要求越来越高。因此,G行建设了数据湖平台实时数据湖子系统,完成了实时数据的统一接入、统一管理和统一服务,同时实现了对T-1离线数据的比对修正,保证了数据一致性。
技术选型
实时数据湖子系统基于Hudi的技术方案,可以高效处理大规模数据集,支持HDFS、S3等多种数据存储方式,支持Spark、Flink计算引擎实时消费Kafka、Pulsar等消息队列的数据后入湖,支持Hive、Presto、Impala等引擎进行数据查询分析,并且通过索引构建,提升了计算引擎的查询性能。
平台建设
G行从作业管理、元数据管理、任务监控方面进行了实时数据湖平台的建设:
- 作业管理:支持批量初始化、实时数据入湖的配置化开发以及数据比对作业提交。
- 元数据管理:采用了基于HiveMetastore的元数据存储,实现元数据的统一管理。
- 任务监控:提供了数据湖流式作业以及服务运行状态和性能的监控,并接入了G行分布式监控系统提供实时故障告警。
总结
G行数据湖平台的建设实践,为海量数据的存储、管理和分析提供了高效、可扩展的技术解决方案。实时数据湖的建设进一步提升了数据分析的时效性,满足了数字化转型和业务发展的需求。
如何夯实数字化转型基础?
新一轮科技革命和产业变革正在迅猛发展,全球经济正处于一个前所未有的变轨期。企业应当加速推进新技术创新、新产品研发、新模式扩散和新业态发展,推动企业更广、更深地融入并完善全球供给体系。随着《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》(简称“‘十四五’规划”)的正式发布,数字化转型也再次迎来热议。在信息技术和数字经济的发展下,企业需要主动把握和引领新一代信息技术变革趋势,通过加快数字化转型重构企业核心竞争力,确保在市场竞争中塑造新优势。近日,Gartner研究副总裁陈勇与高级研究总监季新苏结合“十四五”规划背景,为企业数字化转型以及CIO的发展提出建议。陈勇
Gartner研究副总裁
季新苏
Gartner高级研究总监
顺应政策导向,推动市场高质量发展陈勇指出,在企业推进数字化转型的过程中,CIO在政策层面的工作重点在于“Evaluate”(评估)。CIO应该学习并领会“十四五”规划的具体内容,分析其对于所处行业以及企业产生的影响。当今世界正经历百年未有之大变局,“十四五”规划中提出的诸多举措,包括“双循环”、继续加大改革开放、自主创新建立现代化的工业体系和产品体系、从“高速发展”转变成“高质量可持续的发展”,都是基于这一时代背景提出的。
当前,我国发展的外部环境日趋复杂。防范化解各类风险隐患、积极应对外部环境变化带来的冲击挑战,关键在于提高发展质量,提升国际竞争力,增强国家综合实力和抵御风险能力,有效维护国家安全,实现经济行稳致远。经济、社会、文化、生态等各领域都要体现高质量发展的要求。此外,还要构建以国内大循环为主体、国内国际双循环相互促进的新发展格局,这是提升经济发展水平的战略抉择,也是塑造国际经济合作和竞争新优势的战略抉择。
作为下一个五年及更长远国民经济发展的指引性文件,“十四五”规划既影响宏观经济结构调整,也影响产业及企业的转型升级。企业要着重关注疫情影响下的国内国际双循环及产业安全,切实地聚焦主业;要在经济业务活动中深入洞察科技对业务的影响,累计和提升科技在产业的应用及转化。CIO等企业管理者都需要思考,如何充分运用大数据、5G、区块链等新一代信息技术,做好行业领域和企业范围内的应用创新,推动企业的高质量发展。
把握四大方向,加快产业数字化创新在企业层面,CIO的工作重点在于“Influence”(影响)。CIO要帮助企业或者CEO做出长期的业务战略,利用科技支持业务发展。“十四五”期间,数字化转型是企业发展的重中之重。但对于很多企业来说,“转什么”“怎么转”成为当前最大的困惑。
国务院国资委印发的《关于加快推进国有企业数字化转型工作的通知》提出了四个数字化转型可行的方向,即国有企业要从真正获得转型价值出发,从产品、生产运营、用户服务、产业体系四个方面系统推进数字化转型。
建设银行强势打造智慧生态,全面解析建行非金融场景营销
在这个飞速发展的时代,互联网走进了家家户户的生活。
建行以客户为中心,用心为客户搭建互联网金融生态圈,将银行、客户、第三方服务商融为一体,互惠互利,共存共荣。
除了全渠道的金融服务,建设银行围绕客户衣食住行的生活需求,用互联网思维和技术改造传统商业模式和组织模式,践行综合性、多功能、集约化、创新银行、智慧银行的转型要求,构建全渠道产品和服务高度融合的建行金融生态圈,进一步扩大覆盖客户群体,完善金融服务和非金融服务,优化业务流程,提高服务质量,真正让客户享受到互联网金融发展的成果。
上一篇 《建设银行开启“第二曲线”,构建伙伴式智慧生态》 中,DMA数字化营销咨询团队,通过调研建设银行年度报告、建设银行手机银行APP、善融商务APP、微信公众号(建设银行、龙卡信用卡、建行龙支付等)、微信小程序等渠道的非金融场景生态建设现状,深入了解建设银行在非金融服务方面多功能、交互式的全渠道获客与客户服务模式。
本篇我们将对建行非金融场景生态进行研究分析,为大家继续解析建设银行非金融场景的战略规划与布局。
建设银行坚持纵深推进“三大战略”落地,通过 探索 智能化、场景化业务模式,开拓新金融发展路径,助力发展“第二曲线”。
住房租赁方面,建行以子公司建信住房服务有限责任公司为载体,参与住房租赁市场建设,加大 社会 租赁房源供给。如:
普惠金融方面,为改善农村金融服务“最后一公里”问题,建设银行创新打造乡村振兴综合服务平台“建行裕农通”,为县域乡村客户提供集智慧政务、便民事务、电子商务、金融服务于一体的一站式综合服务。
截至 2019 年末,“建行裕农通”普惠金融服务点已基本覆盖全国行政村,为数千万农户提供便民、政务及金融服务。
金融 科技 方面,建设银行积极推进服务平台建设,以金融 科技 支持业务发展。
在非金融场景生态过程中,住房租赁战略、浦惠金融战略的推进,促进了建设银行与政府、企业建立银企、银政联合服务关系,为进一步构建B端、G端生态奠定了基础。
而金融 科技 战略的推进,以技术驱动渠道平台建设,以平台聚合场景服务能力,以渠道扩大场景覆盖面,真正意义上实现了B端赋能、G端连接。可以说,住房租赁与普惠金融是非金融场景生态建设的业务原型与底层构想,而金融 科技 则是非金融场景生态建设的驱动因素与技术保障。
在构建非金融场景生态的过程中,建设银行采取了 三大措施 :
“善融商务”是建设银行自建的电子商务平台,也是银行业首家电商平台。目前,善融商务商城有个人商城、企业商城两个版本,分别面对个人用户和企业用户。
个人商城作为B2C线上消费平台,通过入驻商户、加盟商家向消费者提供产品、物流及售后服务,能满足个人用户的线上购物、公益扶贫等非金融需求及交易结算、消费分期等金融需求。
企业商城作为B2B电子采购平台,为买卖双方及专业市场管理方提供供求信息展示、企业商铺展示、专业市场展示、资讯展示、推荐信息展示等电商服务及支付、结算、融资等金融服务,很大程度上解决了供采双方在时间和空间上的距离,实现了信息流、物流和资金流“三流合一”。
图:善融商务个人商城
图:善融商务企业商城
智慧城市是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息,从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。
其实质是利用先进的信息技术,实现城市智慧式管理和运行,进而为城市中的人创造更美好的生活,促进城市的和谐、可持续成长。
商业银行作为金融机构,在智慧城市建设过程中向智慧城市服务商、供应商、运营商提供金融服务,这有利于促进银行与非银机构进行深入合作、深度融合。
建设银行以“金融+产品+服务”为抓手,构建起了智慧政务、智慧生活、智慧社区、智慧菜篮、智慧医疗、智慧出行、智慧 旅游 、智慧教育、智慧商业、智慧公益10个领域的智慧生态圈,全方位实现B端赋能、G端链接。
G端方面,建设银行致力于围绕“智慧政务”密切政府 G 端链接。三大战略提出以来,建设银行 探索 新金融模式、利用金融 科技 打造了“智慧政务服务平台”,提供工商注册、公积金社保查询、税务登记、交通罚款缴纳等政务服务。
智慧政务通过银政系统对接的方式整合了“跨地区、跨部门、跨层级”的各类政务服务,在APP、自助终端、裕农通等多渠道实现了人民群众政务事务的“就近办、快速办”,联通了政府(G端)与人民群众(C端)。截至2019年末,智慧政务累计办理业务量超过 3000 万件。
B端方面,建设银行以多元化的智慧+服务实现社区、医疗、教育、 旅游 、出行等多行业外场景批量获客和金融服务输出。以智慧校园为例,建设银行通过对接幼儿园、中小学、大中专高校的缴费系统,向学生群体提供学杂费缴纳、校园一卡通充值等服务,相比传统缴费收费方式,智慧校园缴费具备方便、快捷、易操作等优点。
在智慧城市建设的背景下,银行提供的金融服务不再是单一的金融产品,而是将金融、产品、场景融为一体的场景式解决方案,既有利于在开放共享的模式下提升客户体验,也有利于在“智慧金融”服务中寻求新的业务增长点。
在场景生态建设过程中,建设银行与其他银行一样,也采取了“多方参与、优势互补”的开放式融合共建模式,通过引入第三方服务平台/企业构建场景生态。
通过第三方企业/平台与场景的融合情况来看,建设引入第三方可达成两大目标:
一是优化智慧生态,实现场景化一站式服务。
二是丰富场景类型,满足用户多样化需求。 如引入“管家帮”家政服务平台、“胖虎商城”、“齐家装修”“师傅邦”满足用户的便捷生活需求;引入“饿了么”外卖平台、“摩天轮”票务平台、“花加”鲜花订购服务商满足用户的 美食娱乐 需求。
通过引入外部平台达成智慧生态服务能力提升、场景类型逐渐丰富的目标,既有利于满足存量用户的需求,提升客户体验;又有利于从外部平台获取客户流量,增强场景获客能力。
建设银行场景相关的活动包括两大类,一是手机银行APP内围绕合作商户消费与互联网平台支付的满减活动,以提高持卡用户用卡量与活跃度为目标;二是善融商务APP内“善融寻宝记”活动平台内的签到、 游戏 、抽奖等活动,以APP拉新、促活为目标。
图:善融商务APP善融寻宝记活动平台
整体看来,手机银行APP通过与第三方商户/互联网平台合作推出活动,以满减折扣、限时领取优惠券等形式促进客户用卡,有利于提高信用卡消费量与消费额,但APP拉新、促活及其他场景相关的活动较少,需进一步加大APP运营与场景运营的力度。
善融商务APP围绕“善融寻宝记”活动平台推出系列活动,以新用户免费领取金币活动进行拉新,通过签到、 游戏 、抽奖、做任务等形式促活,同时以虚拟权益“金币”实现用户激励,极大程度上发挥了活动平台的运营价值,但缺乏与缴费、充值、购物等场景相关的活动。
建设银行APP内的权益包括券码、积分和虚拟权益3种。
券码 指在各类场景、活动中获取的商户代金券、优惠券、兑换券等。券码均需在APP内领取获得,在指定商户消费抵扣或兑换使用,能起到APP促活、提高用卡量与龙支付交易量等作用,同时消费成功后还可获取积分,通过权益循环实现了客户激励与促活;
积分 指通过消费、活动等方式获取的信用卡积分。积分权益通过用卡、消费等方式获取,可用于兑换商品或捐赠,与其他商业银行积分权益无甚差别;
虚拟权益 指用户在“善融寻宝记”活动平台中获得的奖励“金币”。虚拟权益“金币”在作为活动平台中的奖品,具有可兑换礼品的实际价值,能实现APP内的用户促活与激励。
从分析结果来看,建设银行在非金融生态建设中具备两大优势:
资源优势。 一方面,建行在多年的经营发展中积累了大量的政府客户、企业客户、零售客户资源,对场景生态的构建起到了重要推动作用;另一方面,建设银行作为国有商业银行,拥有雄厚的资金实力和大量的金融 科技 人才,为场景生态的构建与布局提供了财力、人力、物力等各方面的资源保障。
技术优势。 从数据驱动到能力开放,从渠道建设到场景布局,从打破部门数据壁垒到联动外部信息,人工智能领域、大数据领域、移动互联领域、物联网领域等各方面的技术对建行场景构建起到了重要的驱动、支撑、保障作用。
同时,建设银行在非金融生态建设中在活动运营、权益运营方面也需要进行持续优化:
活动运营。 目前建行APP内的活动主要围绕信用卡特约商户、惠生活商户,以促活与交易提升为目标,缺乏与生活缴费、商旅出行、 美食娱乐 等高频生活场景相关的活动,场景获客的能力没有得到充分发挥,可增设场景相关的优惠、推广活动。
权益运营。 与缺乏场景化活动相对应,建行权益与场景的结合度也有待提升,可针对饮食、 娱乐 等覆盖面广的场景增加一些定时发放的常态化权益,提高APP客户的活跃度;针对车主生态等新布局的成精,可限时发放一些免费权益进行场景拉新,实现存量客户与外部渠道客户的场景获客。
具体来看,通过聚焦用户需求,建立用户多场景网络,持续优化用户体验,各大银行都在积极不断探寻更加适合用户的定制化服务,最终在迭代中实现用户价值的持续挖掘。
免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。