实时的跨微服务数据访问-可信-微服务架构中的数据一致性-保障可靠 (跨服聊天微信例子)
引言
在微服务架构中,多个服务共同协作以执行原子操作。数据一致性是跨越多个服务执行分布式事务时面临的一项挑战。如果涉及分布式事务流程的某个参与者出现故障,可能会导致数据不一致,例如未下订单却向客户收费。挑战
实现微服务之间的数据一致性具有挑战性,因为多个独立的数据存储的存在会导致数据不一致的风险。当前没有业界公认的跨多个数据源自动更新数据的解决方案。传统上,两阶段提交 (2PC) 模式的 XA 协议用于实现数据一致性,但它在现代高规模云应用中表现不佳。解决方案
为了克服 2PC 的缺点,可以采用更灵活的方法,通过牺牲 ACID (原子性、一致性、隔离性和持久性) 换取 BASE (基本可用、软状态和最终一致性)。以下是实现微服务之间的数据一致性的一些模式:Saga 模式
Saga 模式是一种分布式协调机制,将一系列本地事务组织为一个原子业务操作。它允许回滚单个事务并引入补偿操作以处理故障。Saga 模式适用于业务流程定义清晰且失败场景可控的场景。对账
对账是一种协调数据一致性的技术,广泛应用于金融领域。它涉及比较两个或多个系统中的记录以检测差异。对账可以帮助在故障后恢复操作或应用补偿。事件簿
事件簿是一种存储事件的日志,用于记录服务状态和检测故障。事件簿对于复杂的分布式流程非常有用,因为它可以在没有事务状态的情况下提供可见性。其他方法
其他实现数据一致性的方法包括: 分布式事务管理器:一种协调分布式事务的中间件。 最终一致性:一种数据一致性模型,允许数据在一定时间内保持不一致。 分布式锁:一种用于防止并发访问共享资源的机制。选择正确的模式
选择最合适的数据一致性模式取决于以下因素: 业务流程:业务流程的复杂性和失败场景。 系统要求:性能、可用性和一致性级别。 可用资源:开发和维护模式的技能和工具。结论
跨越微服务实现数据一致性是设计分布式系统时面临的一项关键挑战。没有单一的解决方案适合所有情况,选择最合适的模式取决于具体的业务和技术要求。通过仔细考虑挑战和可用选项,工程师可以设计出具有高数据一致性的健壮且可扩展的微服务系统。参考资料
[Understanding Event Sourcing, CQRS, and Saga Patterns]([Building Microservices with Saga Patterns]([Reconciliation in Microservices for Data Consistency]([Event Log for Microservices](微服务架构是什么?现在国内能落地吗?
微服务与SOA架构微服务
维基上对其定义为:一种软件开发技术- 面向服务的体系结构(SOA)架构样式的一种变体,它提倡将单一应用程序划分成一组小的服务,服务之间互相协调、互相配合,为用户提供最终价值。每个服务运行在其独立的进程中,服务与服务间采用轻量级的通信机制互相沟通(通常是基于HTTP的RESTful API)。每个服务都围绕着具体业务进行构建,并且能够独立地部署到生产环境、类生产环境等。另外,应尽量避免统一的、集中式的服务管理机制,对具体的一个服务而言,应根据上下文,选择合适的语言、工具对其进行构建。
微服务概念的由来是怎么样的呢,参考维基百科英文版,简单梳理后的微服务出现的 历史 :
顺便说一句,这几个人都是大名鼎鼎的,名字可能陌生,但是摆出他们的作品,相信多少是有些了解的。 Martin Flower是《重构》、《UML 精粹》的作者;Robert Martin,人称 Bob 大叔,敏捷专家,《代码整洁之道》、《架构整洁之道》的作者。 既然微服务是SOA架构的一种变体,那么,谈微服务,SOA就是一个跨不过去的一个话题。
SOA的全称是“Service Oriented Architecture”,中文翻译是“面向服务架构”,1996年,由Gartner公司最早提出SOA概念。它的诞生是有其 历史 背景的。
同时,基于这样的背景,Gartner公司提出了SOA的概念,并且还给了一个预言,它预言在2008年,SOA会成为一种最流行的、且占有绝对优势的软件工程实践办法。
SOA架构很多时候,我们认为SOA已经消失在江湖,实际上并非如此,许多传统行业,比如物流、仓储行业的系统都是采用SOA架构来构建的。
对于SOA,从图中可以看到,它的每一项业务功能都是一个服务,都需要对外提供服务的能力,来完成企业所需的各项业务功能,也就意味着它具有对外提供开放的能力,这些能力无需定制化就可以实现。为什么无需定制化呢,核心就在于ESB。
看到ESB的功能,是不是觉得它的功能有点似曾相识?是的,它就是微服务所需要的基础服务。
微服务架构简而言之,微服务架构风格 ,是一种 将单个应用程序开发为一组小服务 的方法,每个小服务都 在自己的进程中运行并与轻量级机制(通常是 HTTP 资源 API)进行通信 。 这些服务是围绕业务能力构建的,并且 可以通过全自动部署机制独立部署 。 这些服务的集中管理最少,可以用不同的编程语言编写并使用不同的数据存储技术。
上面一段话是Martin Fowler关于微服务架构论文中的核心片段,从上述片段中,我们提炼出微服务架构的核心有三点:
其一是“ 小服务 ”,将应用拆分为一组小服务;
其二是“ 在自己的进程中运行并与轻量级机制(通常是 HTTP 资源 API)进行通信 ”,微服务是由独立进程且进程之间通过轻量级机制进行通信;
其三是“ 可以通过全自动部署机制独立部署 ”,也就是说每个微服务可以快速独立部署。
其实这已经非常精确、精准的描述出了微服务的基本特征。完全可以作为在微服务架构实践中落地的三个参考依据与检验标准。
微服务与SOA对比对比维度
微服务
举例
技术本质
Smart endpoints and dumb pipes
Smart pipes and dumb endpoints
应用场景
互联网行业
传统行业或企业内部
SOA,企业OA;微服务,电商平台
服务粒度
细
较粗
服务通信
标准化,轻量级
重量级
SOA,ESB;微服务,HTTP,RCP
服务交付
快速
较慢
微服务,服务小容易升级;SOA功能集中,较难升级
应用架构的演化最初的应用都是单体架构,所谓单体架构就是将一系列功能全部集中在一个大的应用中,比如传统行业一般整个财务就做一个系统,将费用管理、账务管理、薪资结算等等都集中在一起,这种架构的局限性非常明显,不适合大规模项目的建设。
随着软件架构的发展,出现SOA架构,SOA将单体架构做了拆分,拆分成粗粒度的服务,同时将部分公共功能独立出来形成ESB,它的优点是
但是由于SOA架构需要一个统一的通信交互(ESB), 导致了接口开发增加工作量。
更进一步发展,微服务架构出现,对服务进一步的拆分,拆分成更细粒度的服务;进一步提供了架构选择的多样性,微服务架构主要优点是
正是因为微服务将服务拆分的更小,它同样也带来了一些挑战,比如多服务运维难度增大、服务通信成本变高、数据一致性保持更难、性能监控要求提升等等。
所以业务在选择架构的时候,应从多方面考量选择更合适的架构。
顺便说一句,这里的架构演化是指整个架构的发展 历史 ,并不是说你的服务就一定要经过这个演化过程,只是更多的架构模式提供更多的选择。我们在做架构演进的时候,更多的是将单体应用演进到SOA架构或者演进到微服务架构。
面向中小企业的微服务产品提供自动应答菜单、微网站生成与管理、微信CRM系统服务、微信公众平台客服服务等综合性的运营管理标准化服务,是多功能的微信运营管理平台。
微信管家是将企业微信公众账号通过技术平台接入、运营管理等方式,帮助企业向微信用户提供更完备服务信息、用户互动体验、营销效果等企业应用解决方案。
为企业客户提供基于微信平台的客户服务、产品推介、互动营销、市场调查、产品订单等运营与系统功能
你好,很开心收到邀请来回答你的问题。
除了云计算、大数据和人工智能三大热门技术之外,Java被称为“编程开发的灵魂”,而微服务架构作为以Java为基础的高阶技能,同样不可忽视。
按照传统的软件开发模式,在开发项目时,通常我们会把项目创造成一个庞然大物,这个庞然大物包括一系列的小模块,比如“用户模块、订单模块、商品模块、支付模块”,一旦有模块掉了链子,整个项目都将Game Over!
为了解决这个问题,我们将一个大项目拆分成许多独立的小项目,每一个独立的小项目被称为服务。服务之间通过接口互相访问。即使某些服务挂掉,也不会影响其它服务的运行。这种项目架构称为微服务架构。
微服架构是整个互联网的框架核心,掌控了整个互联网的主心骨,一个好的架构就能搭建一个完美的互联网平台。因此,具有微服专业能力的架构师人才备受重视。
今年上半年,猎聘发布了《猎聘 2019 上半年中高端人才就业现状大数据报告》,在分领域热招数据统计中,架构师平均达到惊人的 4.28 万元,成为热门领域岗位薪资之最。
微服务架构系统灵活性,健壮性,扩展性好,特别适合需求变化迅速的场景。但系统复杂度高,部署,管理难度大。微服务除了开发期框架之外,还有需要一系列的运行期中间件支撑,如API网关,服务注册中心,统一配置中心等。 目前国内比较成熟的吧,东软有一支团队在做,他们网站是国内商业级RestCloud微服务架构
1、作为企业API调用的统一出口和权限认证中心2、作为轻量级的企业级服务总线替换企业原有的ESB系统3、实现所有API接口的标准化、可视化、统一化管控4、作为微服务架构的核心API网关,集成到企业微服务架构中5、作为企业与供应链及合作伙伴的能力输出接口构建OpenAPI门户6、作为企业调用第三方API(京东、淘宝)等的统一API接入平台7、打通企业内部业务系统与外部业务系统之间的通道8、实现企业已有RestAPI、WebService、Dubbo、Kafka、MQTT等接口的注册和协议转换
微服务架构下的数据一致性
微服务架构的流行源于它能够带来更快的变化响应能力,比如独立部署,每个服务的能力职责是独立的,可以按需独立发布;再比如每个服务可以由不同的开发团队负责,每个服务的技术栈也可以不同,可以选择更快捷合理的方式实现不同的服务。 然而,微服务架构作为分布式架构,躲不开的一个问题就是数据一致性的问题,特别是在技术异构和数据源类型不同的情况下,传统的分布式事务(2PC或3PC)也很难解决微服务架构下的一致性问题。 在微服务架构下,多个服务之间通常会定义明确上下游关系,下游系统可以依赖上游系统,下游系统可以通过API查询或修改上游系统的数据;反过来则不然,上游系统不应该知道下游系统的存在,也就是说上游系统不能依赖下游系统,上游系统的变化只能通过异步事件的方式发出,下游系统监听事件并基于事件做对应的数据状态变化。 在基于上面原则的微服务架构下(见上面图示,本文不考虑服务间循环依赖的场景),在上下游服务间的数据通信(图示中的每个箭头表示一种数据通信)一旦发生问题,都会产生数据不一致的场景,下面我们逐一说明: 举个例子,订单服务是下游服务,库存服务是上游服务,在订单确认时要锁定库存,实现上订单服务在状态变化同时通过同步API修改库存的状态,为了保证数据一致性,在调用库存服务API异常后订单服务会回滚当前的数据状态变更。 在这个场景下,同一个业务流程,需要同时修改两个服务的数据,在以下两种情况下会发生数据不一致的问题: 上游服务每个关键状态变更都可能触发下游服务的一些逻辑链,因此上游服务发布的事件对于下游服务是非常重要的,但这些事件并不影响上游服务自身逻辑,也不影响自身数据状态的变化,因此通常不会设计成阻碍业务流程,那么在事件服务或事件载体(通常是消息队列)与上游服务之间的通信异常,就会导致上游服务的事件发布失败。 这种场景下,上游服务的业务流程已经成功,不可能有再次触发事件的场景,这个事件就丢失了,下游服务因为没有收到上游服务的事件,数据没有做对应的变化而导致数据一致性问题。 同样,下游服务在消费事件时也很有可能因为一些原因,导致事件的消费失败,这些原因可能包括: 上游服务并不关心下游的消费者,所以对于发布出去的事件,上游系统也不关心下游服务是否消费成功,更不会有因某个下游服务消费失败而重发事件的逻辑,这同样会导致类似于场景二的数据一致性问题。 根据CAP理论,分区容错性、可用性和一致性里面必须要牺牲掉一个,而在实际实现过程中,分区容错性和可用性是很难舍弃的,所以通常会舍弃一致性,取而代之会用最终一致性保证数据在可容忍的时长内达到最终一致。 微服务架构也不例外,在服务内部,可以通过本地事务保证数据的强一致性;而当业务发生在多个服务中,我们追求最终一致性。 那么都有哪些措施可以保证跨服务的最终一致性呢? 这是个业务问题,在微服务的架构下,每个服务都是独立的,如果有一个业务功能需要同时修改两个服务的数据,往往这个业务可以拆分成两个步骤,比如场景一种提到的订单和库存的例子,如果我们可以先锁定库存,然后再确认订单看上去这个问题就迎刃而解了。 因此在业务中发现一个功能需要同时修改两个服务的数据,我们首先可以来讨论这个业务设计是否合理;如果业务上很多场景都要求两个服务的数据保持强一致,那可能我们需要看看微服务的划分是否合理。 为了解决场景二和场景三的不一致性问题,需要上游服务和下游服务的共同努力: 上游服务需要尽可能将事件发送出去,比如:先同步发送,如果失败改为异步重试,重试多次仍然失败可以先持久化,通过定时任务来重发或者人工干预重发。 下游服务也要尽可能的把事件处理掉,收到事件后可以考虑先将事件持久化,消费成功后标记事件,如果消费失败可以通过定时任务重试消费。 当我们提到重试,就不得不考虑幂等性的问题,这里的幂等性包括以下两个场景: 即便我们做了很多我们认为万全的准备,在分布式系统的执行链路上,每个节点都有可能失败,加上业务的复杂度,数据不一致的情景也很难彻底解决,而对于那些小概率发生但技术解决起来成本昂贵的问题,我们可以尝试通过对业务的深刻理解设计一些后台的数据维护功能,保证在核心业务数据异常时,可以在一定的规则内进行修复,从而保证业务的顺利进行 数据一致性问题首先是个业务问题,其次才是个技术问题。 在微服务架构下,我们期望每个服务职责单一,这种职责单一体现的是业务价值,如果微服务的拆分过小而导致业务难以实现,那这种拆分是不合理的,业务专家们非常有必要了解系统,从业务侧给出服务拆分的建议。 在数据一致性问题上,我们首先要思考业务设计的合理性,其次是当前架构设计的合理性,然后在一定的约束下,通过最终一致性保证业务价值,除非迫不得已,不建议引入分布式事务框架,一方面成本较高,另一方面也会引入性能等新的问题。
免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。