当前位置:首页 > 数码 > 直面数据库的崖山海战-YashanDB另辟蹊径站上新洼地 (数据库面向)

直面数据库的崖山海战-YashanDB另辟蹊径站上新洼地 (数据库面向)

admin7个月前 (05-15)数码21

回看历史,至暗时辰,中华民族一直不乏挽狂澜于既倒,扶大厦之将倾的勇气与决计。曾在西征中所向无敌的蒙古铁骑受到南宋军队的倔强抵制,尤以崖山战斗最为撼动人心——这场保家卫国之战,见证了民族危殆存亡之时,十万南宋军民义无反顾、宁为玉碎,不为瓦全的精气。

穿梭历史的迷雾,会发如今没有硝烟的战场上,相似崖山海战的严格考验举不胜举。以数据库市场为例:作为IT产业的外围基础软件,数据库的技术翻新与安保可控至关关键,但常年以来,国外品牌的市场份额占据相对长处,再叠加纷简约杂的不确定性要素,数据库的国产化与自主可控势在必行。

渺小的应战也孕育着难得的机会。近几年来,国产数据库掀起守业热潮,据统计国际已有数据库企业逾百家,各类产品更是乱花渐欲诱人眼。不过,选择开源路途的新兴公司仍为干流,很少数据库产品只是外壳不同,内核差异甚微。

基于开源产品启动翻新,会遇到两大难题:一是不可把控开源的演进节拍和开展方向,二是不能深化了解底层架构逻辑,产品的常年竞争力缺乏撑持。理想上,还可以选择另一条少有人走的路,即驳回全自研的形式,从基础通常、技术架构到产品研发、场景落地,成功全方位、系统化的自主翻新。

这条路充溢未知,开拓者的每一步探求都弥足宝贵。崖山数据库(YashanDB)即是其中的典型代表,在守业之初就坚持每一行代码都把握在自己的手上,在自主翻新的路途上树立起值得业界自创的里程碑。

在近日举行的YashanDB2023年度产品颁布会上,YashanDB初次颁布YashanDBforCluster共享集群、YashanDBformax-width="600"/>

据YashanDB产品总监王南引见,在探求崭新研发形式的基础上,YashanDB进一步完善开展门路,借助通常算法、关键技术以及行业场景三驾马车的协同发力,为国产数据库的包围闯出一条新路。

首先,无通常算法层面,YashanDB融入原创的有界计算和跨模融算计算通常,成功大数据变小及废弃结构化数据与非结构化数据的壁垒。同时,驳回自顺应异步并行架构与并发事务调度,达成算法级别的翻新。

其次,在关键技术层面,YashanDBV23.1自研优化器、并行与向量化计算才干、散布式计算才干全场景笼罩,使全外形性能大幅优化,Benchmark测试TPC-H性能是国外某驰名开源数据库的10倍以上,每节点导入性能到达300MB/s。此外,YashanDBV23.1在ARM主机等国产配件平台上继续优化,性能较22.2版本优化30%以上。

尤值一提的是,内行业场景层面,YashanDB基于金融、政务、运营商等多行业的打磨与运行,在兼容性、安保性以及生态工具方面清楚增强。YashanDBV23.1UDT具有灵敏裁减才干,DBLink成功多库协同,组合分区允许集中式和散布式,初级个性的兼容水平获取裁减与深化。

以共享集群产品开拓国产数据库的新洼地

显而易见,YashanDB能在较短的期间内,推出自主内核、笼罩多场景的企业级完整产品体系绝非偶然——特意是在共享集群产品外形上取得实质性停顿,其意义更是非同寻常。

直面数据库的崖山海战

共享集群技术可谓数据库畛域皇冠上的明珠,也是Oracle等国际巨头独步江湖的利器。由于企业级外围系统对业务延续性要求颇高,宿愿缺点复原所需期间短、数据失落量凑近为零,因此能够撑持金融级高可用、性能优秀的集群数据库备受青眼。

不容逃避的是,从零开局构建共享集群数据库复杂度十分高,成熟周期亦远超其余产品,其间会阅历一直的试错、纠偏,这也是诸多新兴数据库公司望而生畏的要素。

做难而正确的事,除了锲而不舍的决计,还要有扎实的积攒。YashanDB的外围团队在数据库畛域有十几年的上班阅历,针对各种业务诉求做过相关的数据库产品,具有了攻克共享集群新洼地的基本条件。

YashanDB集群首席架构师孟凡彬示意:面对期间紧且义务重的状况,咱们对产品研发做出阶段性、有节拍的布局。首先,在早期启动内核设计时,充沛思考了向共享集群外形的演进,事务治理、MVCC机制等外核技术自然适宜共享集群,为后续的裁减打下松软基础;其次,针对全局缓存、集群文件系统、高可用集群治理等技术难点启动长达两年的技术名目验证与单点攻克,而后才进入真正的产品化阶段,做好各个组件的适配,进而从全局验证产品的配置、性能以及高可用等才干。

在从集中式数据库向共享集群产品外形的演进环节中,架构的复杂度呈数量级回升。在整个研发环节中,YashanDB团队也遇到了不少史无前例的应战,他们采取多种措施度过了难关。其中,高可用才干和业务延续性是用户最为关心的疑问,如何保证系统的稳固性和业务的延续性?YashanDB研发团队经过深度定制和优化,构建了片面有效的缺点形式库,系统化梳理一切DDL、DML、DCL流程,同时引入缺点注入打点的工程方法,做到缺点定位准确到每一行代码,极大优化了稳固性;同时为了到达秒级缺点透明切换的才干,搭建多场景的缺点测试框架,真正做到稳固、牢靠、高可用。

经过千磨万砺,面向金融关键行业外围系统的共享集群产品YashanDBforCluster终于锋芒毕露。该外形驳回复数据库多实例架构,一切节点之间以强分歧性形式成功并发读写,为上流外围业务提供了运行透明的高可用、高裁减、高性能数据库才干。

值得关注的是,在等同配件条件下,YashanDB双节点集群的TPCC性能到达210万,超干流商业数据库50%;共享集群架构为运行延续性保驾护航,缺点复原期间(RTO)小于20s,数据失落量(RPO)为零——在颁布会现场拔网线、掐电源等极其操作下,系统即刻极速复原,照旧运转颠簸。

据了解,金融消息化钻研所近期联结YashanDB等多家单位共同启动金融多主数据库运行执行方案,推进国际金融行业外围系统数据库多主架构的更新。在以YashanDBforCluster为代表的重生权利驱动下,数据库共享集群国产代替的号角曾经吹响。

除了共享集群产品,空间数据库也是国产数据库新洼地上的典型代表,在天文消息系统、智慧市区等树立中施展着无足轻重的作用。YashanDBforGIS具有对矢量地图、激光云点、栅格、轨迹、遥感影像等空间数据树立一致存储、查问与剖析的才干,基于原生GIS数据库引擎与GIS引擎+数据库两种形式,构成GIS引擎与SDE引擎双外形协同反击,YashanDB23.1版本的性能是开源空间数据库的3倍以上。

三重生态退化筑就产业未来图景

假设说内核才干和产品外形的跃迁是国产数据库成功超过式生长的殊途同归,那么生态体系的创立与退化则是重生权利减速浸透的关键保证。

从生态体系演进的角度看,技术、商业、产业是层层递进的三大阶梯。技术生态是根基,共同的技术更容易被市场认可,吸引开发者川流不息;商业生态是中流砥柱,经过孵化多元的协作同伴,达成多方共赢;产业生态是终极指标,须要政府、高校、各厂商构成合力。

在技术生态方面,YashanDB与产业链高低游企业启动兼容互认测试,并携手麒麟、海光、统信等近30家干流国产软配件同伴,聚力打破关键外围技术瓶颈,满足客户对数据和业务翻新的一体化需求。

在商业生态维度,YashanDB与不同畛域的协作同伴长处互补、增强协作,共同推进场景落地。在颁布会现场,YashanDB与协作同伴颁布了智慧市区、金融外围、可组装企业级PaaS平台、空间数据治理以及数据交互5大行业处置方案。

以金融行业场景为例:YashanDB联结长亮科技提供了一整套数据治理处置方案。该方案以YashanDB为数据库底座,具有性能稳固、金融级高可用、Oracle语法高度兼容、全栈国产化等长处。这将促成金融外围业务、结算、资产等关键运行减速,片面保证银行外围业务系统数据安保。

目前,YashanDB已在金融、政府、央国企、动力等重点行业外围业务系统上线运行,满足用户对高性能、高可用、高安保性的要求。例如:在某银行CRM系统迁徙环节中,成功十万行存储的平滑迁徙,且大幅降落企业交流改造的老本。

种种迹象标明,YashanDB的商业化进程已进入慢车道,其团体版也正式向一切用户和开发者片面开明下载,每一份介入和反应将是国产数据库迭代更新的原动力。

站在更久远的视角,国产数据库的肥壮开展还要附丽产业生态的鼎力撑持。诚如经济历史学家克里斯·米勒在《芯片抗争》中表白的观念,科技冒险、商战故事、大国博弈往往交织在一同,最终胜出者都不是靠单点打破。YashanDB前行的路上离不开政策的搀扶、学界的滋润以及同伴和用户的相伴偕行,美美与共的未来图景值得等候。


mysql cluster怎么实现故障切换

1.背景MySQL的cluster方案有很多官方和第三方的选择,选择多就是一种烦恼,因此,我们考虑MySQL数据库满足下三点需求,考察市面上可行的解决方案:高可用性:主服务器故障后可自动切换到后备服务器可伸缩性:可方便通过脚本增加DB服务器负载均衡:支持手动把某公司的数据请求切换到另外的服务器,可配置哪些公司的数据服务访问哪个服务器需要选用一种方案满足以上需求。 在MySQL官方网站上参考了几种解决方案的优缺点:综合考虑,决定采用MySQL Fabric和MySQL Cluster方案,以及另外一种较成熟的集群方案Galera Cluster进行预研。 简介:MySQL Cluster 是MySQL 官方集群部署方案,它的历史较久。 支持通过自动分片支持读写扩展,通过实时备份冗余数据,是可用性最高的方案,声称可做到99.999%的可用性。 架构及实现原理:MySQL cluster主要由三种类型的服务组成:NDB Management Server:管理服务器主要用于管理cluster中的其他类型节点(Data Node和SQL Node),通过它可以配置Node信息,启动和停止Node。 SQL Node:在MySQL Cluster中,一个SQL Node就是一个使用NDB引擎的mysql server进程,用于供外部应用提供集群数据的访问入口。 Data Node:用于存储集群数据;系统会尽量将数据放在内存中。 缺点及限制:对需要进行分片的表需要修改引擎Innodb为NDB,不需要分片的可以不修改。 NDB的事务隔离级别只支持Read Committed,即一个事务在提交前,查询不到在事务内所做的修改;而Innodb支持所有的事务隔离级别,默认使用Repeatable Read,不存在这个问题。 外键支持:虽然最新的Cluster版本已经支持外键,但性能有问题(因为外键所关联的记录可能在别的分片节点中),所以建议去掉所有外键。 Data Node节点数据会被尽量放在内存中,对内存要求大。 数据库系统提供了四种事务隔离级别(串行化):一个事务在执行过程中完全看不到其他事务对数据库所做的更新(事务执行的时候不允许别的事务并发执行。 事务串行化执行,事务只能一个接着一个地执行,而不能并发执行。 )。 Read(可重复读):一个事务在执行过程中可以看到其他事务已经提交的新插入的记录,但是不能看到其他其他事务对已有记录的更新。

NewSQL为何使传统关系数据库黯然失色?

传统关系数据库可能永远不会消失——至少不会很快,但其辉煌的日子已经远去。 许多新兴的NoSQL数据库的普及,例如MongnDB和Cassandra。 这很好的弥补了传统数据库系统的局限性。 相对于NoSQL蓬勃发展的情况基于SQL的关系数据库系统确实显得有些死气沉沉。 但这是数据库厂商的错,而不是SQL的错。 关系数据库长期以来一直作为企业部署的关键组成部分,但现在出现了更好的选择,以适应新的数据结构和现代化硬件系统。 如IBM、微软和甲骨文等厂商都将继续使用关系数据库主导其金融交易的核心功能。 但是NoSQL数据库似乎更适应当今的海量数据时代。 如Apache Hadoop和MapReduce技术。 Bloor集团的首席分析师Robin Bloor表示传统的关系数据库已经过时了,其架构需要更新。 Bloor的理由是随着多CPU计算机和固态硬盘技术的不断成熟,访问磁盘的数据已经不再重要。 固态硬盘的速度更快,所以在磁盘和内存之间读取速率将会加强。 明尼苏达州明尼阿波利斯的一位元数据策略顾问Dan McCreary指出SQL数据库的也有自己的问题,例如其不具备很好的伸缩性。 当数据增长超过一台服务器所能承受的极限时,就必须分享或分割数据到多台服务器上,跨越多台服务器是一个复杂的过程。 此外如外部链接带来的问题。 例如多个表中数据的融合,跨越服务器执行一些操作可能会产生一些问题。 NoSQL的崛起和“NewSQL”的出现NoSQL将改变数据的定义范围。 它不再是原始的数据类型,如整数、浮点。 数据可能是整个文件。 NoSQL可能会吓到DBA,因为他们担心失去他们自己的领域。 NoSQL数据库是非关系的、水平可扩展、分布式并且是开源的。 MongoDB的创始人Dwight Merriman表示NoSQL可作为一个Web应用服务器、内容管理器、结构化的事件日志、移动应用程序的服务器端和文件存储的后背存储。 分布式数据库公司VoltDB的首席技术官Michael Stonebraker表示NoSQL数据库可提供良好的扩展性和灵活性,但他们也有自己的不足。 由于不使用SQL,NoSQL数据库系统不具备高度结构化查询等特性。 NoSQL其他的问题还包括不能提供ACID(原子性、一致性、隔离性和耐久性)的操作。 另外不同的NoSQL数据库都有自己的查询语言,这使得很难规范应用程序接口。 Stonebraker表示数据库系统的滞后通常可归结于多项因素。 诸如以恢复日志为目的的数据库系统维持的缓冲区池,以及管理锁定和锁定的数据字段。 在VoltDB的测试中发现以上这些行为消耗系统96%的资源。 RDBMSes处理的数据大约只有16%“虽然关系数据库感觉到了新技术到来的压力,但RDBMS仍然在企业计算中占有一些之地。 目前RDBMS的市场约350亿美元。 其中包括账户的软件许可、服务、技术支持以及维护”,Forrester的分析师Noel Yuhanna说道。 Forrester预计,在企业中的业务数据将有25%是结构化数据,其中至少有65%在使用RDBMS或其他传统关系数据库,而RDBMS在交易数据中,RDBMSes至少有16%的份额。 企业将有75%的业务数据与半结构化文件(如XML、电子邮件和EDI)和非结构化数据(如文档、图片、音频和视频)相结合。 Yuhanna表示,大约有5%的数据驻留在关系数据库之中,其他的都分布在非关系数据库和文件格式之中。 此外,列式数据恐怕将成为数据库领域发生变化的过度候选产品,他们或将使关系数据库产品更简单。 传统的关系型数据厂商比如IBM、微软和Oracle在其RDBMS领域肯定是有新的计划的,他们也不会选择公开自己的计划。 Bloor表示,没有人会注意到RDBMS可能会死去。

免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。

标签: 数据库

“直面数据库的崖山海战-YashanDB另辟蹊径站上新洼地 (数据库面向)” 的相关文章

树之外的其他探索-数据库索引的类型-B

树之外的其他探索-数据库索引的类型-B

数据存储在磁盘或内存中时,我们需要高效的数据结构来访问和获取数据。本文将介绍 8 种常用的数据库索引结构,并讨论它们的优点和缺点。 B 树 B 树是一种流行的基于磁盘的索引数据结构,...

过去一年数据库领域的十大发展趋势 (往年数据)

过去一年数据库领域的十大发展趋势 (往年数据)

作者:朱洁 | 策划:李冬梅 前言 2023年对数据库行业来说是充满挑战的一年。行业信心跌至冰点,各行各业都在艰难恢复,裁员加剧,就业率创新低。但2023年也见证了数据库行业的一些重要...

连接表时出现重复数据的方法-INNER-JOIN-数据库中避免 (表连接类型)

连接表时出现重复数据的方法-INNER-JOIN-数据库中避免 (表连接类型)

在进行 SQL 查询时,我们经常需要联合多个表来获取更全面的数据。在使用 INNER JOIN 连接表时,有时会遇到重复数据的问题,这可能会导致查询结果不准确或者性能下降。 使用 DISTI...

深入了解其核心组件和工作原理-聊聊分布式数据库TDSQL的技术架构 (深入了解其核心经验)

深入了解其核心组件和工作原理-聊聊分布式数据库TDSQL的技术架构 (深入了解其核心经验)

近几年来,随着互联网和云计算的飞速发展,分布式关系型数据库逐渐成为企业核心业务系统的重要支撑。本文将以腾讯云 TDSQL 数据库技术架构为例,深入解析分布式关系型数据库的架构和实现原理,帮助读者深...

vs-数据库-SQL-理解它们之间的关键差异-数据仓库 (Vs数据库打断点)

vs-数据库-SQL-理解它们之间的关键差异-数据仓库 (Vs数据库打断点)

概念定义 数据库软件 一种可见且可操作的软件 实现数据库的逻辑功能 属于物理层 数据库 一种逻辑概念,用于存储数据 通过...

具有高吞吐量-基于Apache-Scylla-Cassandra的分布式NoSQL数据库-低延迟和可扩展性 (具有高吞吐量的企业)

具有高吞吐量-基于Apache-Scylla-Cassandra的分布式NoSQL数据库-低延迟和可扩展性 (具有高吞吐量的企业)

概述 Scylla 是一款高性能、可伸缩的分布式 NoSQL 数据库,基于 Cassandra 项目开发。它以出色的性能和可伸缩性著称,能够处理大规模的数据工作负载。 设计目标 Scyll...

DML-DCL和-TCL-的深化了解-全面把握数据库操作言语-DDL (大米冷冻储存好吗)

DML-DCL和-TCL-的深化了解-全面把握数据库操作言语-DDL (大米冷冻储存好吗)

本篇文章以详细的SQL语句解说了数据库SQL言语四大分类(数据定义言语DDL,数据操作言语DML,数据查问言语DQL,数据控制言语DCL),同时也引见了事务控制言语TCL。 最近与开发和运维讨论数...

嵌入和矢量数据库实操指南 (嵌入和矢量数据的区别)

嵌入和矢量数据库实操指南 (嵌入和矢量数据的区别)

引言 随着生成式人工智能 (AI) 的兴起,处理复杂高维数据已成为一项至关重要的任务。矢量数据库的出现提供了应对这一挑战的突破性解决方案。 矢量数据库的定义 矢量数据库是专门设...