当前位置:首页 > 数码 > 存储系统的可靠性保障实践-千亿级数据防丢指南 (存储系统的可行性分析)

存储系统的可靠性保障实践-千亿级数据防丢指南 (存储系统的可行性分析)

admin7个月前 (04-17)数码39

溯源:vivo存储服务介绍

vivo存储服务包含两个主要板块:存储和数据库产品矩阵,以及周边工具和接收类服务。

  • 存储和数据库产品矩阵:对象存储、文件存储、表格存储等。
  • 周边工具和接收类服务:无状态,提供可用性保证,如SLA。

存储框架

存储框架的核心是以自研的存储引擎为核心,辅以公有云存储,形成统一的存储底座,面向业务提供存储服务和衍生生态服务。

  • 协议转换
  • 衍生产品开发
  • 存储服务
  • 衍生生态服务

运营数据

vivo线上集群容量400亿,存储数量超1,000亿。

归因:存储可靠性原因分析

数据丢失影响因素

  • 软件故障
  • 数据损坏
  • 恶意窃取
  • 人为失误
  • 硬件故障

软件故障和数据损坏

软件故障

  • 软件设计不规范
  • 测试不完善
  • 运维发布操作爆炸半径太高

数据损坏

解决方案相对成熟,包括传输和存储中的数据损坏检测和修复机制。

恶意窃取和人为失误

人为失误

  • 运维人员操作失误
  • 用户误杀或误覆盖

恶意窃取

  • 内部或外部人员窃取或删除数据

硬件故障

硬件故障是存储可靠性原因分析的重点,其解决方案包括:

  • 增加纠删码副本数(K)
  • 减少数据块大小(M)
  • 增加修复带宽

这些解决方案会带来成本和带宽压力的增加,因此vivo提出了一个低冗余度、支持多AZ部署、且修复带宽较少的纠删码优化方案。

建模:存储可靠性量化模型

11个9的由来

11个9是亚马逊在2006年提出的可靠性标准,其量化模型基于以下指标:

存储系统的可靠性保障实践
  • 硬件的平均故障时间(MTBF)
  • 故障的平均修复时长(MTTR)

年平均指标包括:

  • 年平均故障率(AFR)
  • 年平均修复率(ARR)

可靠性模型影响因素

存储可靠性模型的影响因素包括:

  • 修复带宽
  • 数据块大小
  • 副本数
  • 读写比例
  • 故障率和修复率

实践:存储可靠性评估实践

vivo存储可靠性评估实践包括:

  • 基于故障率、修复率、副本数、数据块大小、修复带宽等因素建立可靠性模型。
  • 基于可靠性模型,对存储服务进行仿真、测试和分析,评估其可靠性水平。

思考:存储可靠性评估思考

存储可靠性评估思考包括:

  • 可靠性指标的进一步量化
  • 可靠性评估模型的不断完善
  • 存储可靠性与成本、性能等因素的平衡

Q&A

本次演讲还回答了以下问题:

  • vivo存储服务与公有云存储服务的差异。
  • 存储可靠性评估和运维的协同。
  • 存储可靠性评估的行业趋势。

PPT获取方式:

点击此处 下载PPT。


增强信息安全意识,保障信息系统稳定运行

目前,企业的日常工作越来越依靠信息系统的支撑。 各类系统中保存着企业大量的业务数据,这些数据成为企业经营决策的客观依据,是企业成长发展的宝贵资源。 一旦数据在传输、存储、交换等过程中丢失,便会给企业造成难以估量的损失。 因此,增强信息安全意识,保障信息系统稳定运行,成为国内外企业的普遍共识。 那么,如何保证信息数据安全呢?利用数据存储技术,实现数据合理备份是关键。 笔者认为,理解数据存储技术的内涵是首要前提,选择符合企业需求的数据备份方式是重要途径。 数据存储技术主要包括网络连接存储(NAS)技术、存储局域网(SAN)、IP-SAN技术。 其中,网络连接存储(NAS)技术是一种专业的网络文件存储及文件备份设备,类似于一个专用的文件服务器,可以根据服务器或者客户端计算机发出的指令完成对内在文件的管理。 存储局域网(SAN)是一种通过光纤集线器、光纤路由器、光纤交换机等连接设备,将磁盘阵列、磁带等存储设备与相关服务器连接起来的高速专用子网。 存储局域网(SAN)一方面可以实现大容量存储设备数据共享,另一方面也可以实现高速计算机与高速存储设备的互联,从而提高数据的可靠性和安全性。 IP-SAN技术是一种在传统IP以太网上架构一个SAN存储网络,把服务器与存储设备连接起来的存储技术。 IP-SAN技术采用集中的存储方式,提高了存储空间的利用率。 从实际应用角度分析,随着企业业务数据的增加,传统的存储备份系统已不能满足企业的发展需要。 同时,由于数据量的不断攀升,备份系统对于备份设备的容量、速度、可靠性、性能价格比的要求越来越高。 因此,采用以存储局域网(SAN)架构为主体技术进行系统集成是一个比较合理的选择。 了解了数据存储技术,选择符合需求的数据备份方式也很重要。 一般来说,数据备份的方式有手工备份、自动备份、LAN备份、LAN-Free备份几种。 目前,很多企业在数据存储备份时并没有考虑性能、自动化程度以及现有系统应用可扩展性等方面的因素。 随着数据量的逐年增大,数据维护的复杂程度不断提高,直接影响对业务数据系统的应用。 此外,由于数据备份自动化程度低,出错的几率也较大,不能快速、有效地保护数据,严重时会影响到业务系统的正常运行。 因此,必须立足企业实际,结合目前主流的备份技术及架构方式,选择一种既能有效实现高性能数据保护,又能实现对复杂存储网络便捷化管理的数据存储方式。 一般来说,这种方式应当满足以下十个条件:一是可以适应多种环境,支持多个平台,实现跨平台备份。 二是可以支持多种群集系统。 三是具有扩展性的体系结构。 四是系统恢复时无需重装操作系统。 五是可伸缩性强,易于使用,能为迅速增加的企业数据提供安全保护。 六是备份和介质管理简洁高效。 七是备份与恢复功能支持联机操作。 八是可定义备份用户及权限。 九是备份系统支持存储局域网(SAN)结构,可完成LAN-Free的备份方式。 十是能够实现备份硬件资源在各系统之间的共享和动态分配,实现多服务器多数据流的并行备份。 随着科学技术的快速发展,针对企业数据存储备份技术的新产品不断涌现。 企业应结合自身的特点,以发展的眼光、从全局的角度进行科学规划,选择一种最适合自己的数据存储备份方式。

数据存储主要关注存储容量问题对吗?

数据存储不仅仅涉及存储容量问题,还牵涉到数据的可靠性、保密性、备份和恢复等方面。以下是一些数据存储方面需要关注的问题:

免责声明:本文转载或采集自网络,版权归原作者所有。本网站刊发此文旨在传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及版权、内容等问题,请联系本网,我们将在第一时间删除。同时,本网站不对所刊发内容的准确性、真实性、完整性、及时性、原创性等进行保证,请读者仅作参考,并请自行核实相关内容。对于因使用或依赖本文内容所产生的任何直接或间接损失,本网站不承担任何责任。

标签: 数据

“存储系统的可靠性保障实践-千亿级数据防丢指南 (存储系统的可行性分析)” 的相关文章

数据科学家日常工作中使用的11个基本图表 (数据科学家日常工作)

数据科学家日常工作中使用的11个基本图表 (数据科学家日常工作)

简介 可视化在理解复杂的数据模式和关系中起着至关重要的作用。它们提供了一种简洁的方法来理解统计模型的复杂性、验证模型假设、评估模型性能等等。因此,了解数据科学中最重要和最有用的图表非常重要。...

优化效率的有效妙招!-程序操作海量数据效率太低 (优化效率的有效措施)

优化效率的有效妙招!-程序操作海量数据效率太低 (优化效率的有效措施)

处置海量数据时,咱们通常须要关注几个关键要素:内存经常使用、I/O操作、处置速度以及代码的复杂度。以下是一些在中处置海量数据时提高成果的方法,包含思绪和示例代码。请留意,由于篇幅限度,这里的代码片...

从数据池和数据仓库到数据湖-数据之旅 (数据池和数据湖)

从数据池和数据仓库到数据湖-数据之旅 (数据池和数据湖)

从数据池到数据湖:数据管理的演变 引言 在数据管理领域,数据仓库一直是企业存储和分析海量结构化数据的主要解决方案。随着技术的发展和组织需求的日益复杂,传统数据仓库开始表现出局限性,导致数据湖成为...