作者：朱洁 | 策划：李冬梅

前言

2023年对数据库行业来说是充满挑战的一年。行业信心跌至冰点，各行各业都在艰难恢复，裁员加剧，就业率创新低。但2023年也见证了数据库行业的一些重要趋势和变化，本文将对此进行总结和回顾。

趋势一：HTAP成为主流数据库的基础能力

HTAP（混合事务/分析处理）概念近年来在国内数据库市场火爆，TiDB功不可没。经过几年的发展，行业逐渐形成共识：HTAP是数据库的一项基础能力，而不是一个独立的细分赛道。2023年，各个主流数据库都将HTAP支持作为一项基础能力。

• 腾讯TDSQL-C推出列存索引并将其包装成HTAP能力。
• 百度GaDB 4.0发布，推出列存索引和列存引擎，提升不同规模数据的查询速度。
• 海外虽然HTAP概念提及较少，但AlloyDB正式提出了这个概念，AWS重点宣传的Zero-ETL本质上也是HTAP的能力。

趋势二：Serverless成为头部厂商的共识

Serverless在美国经过AWS十余年的宣传后已深入人心，国内由于不同的市场环境，其发展相对缓慢。但2023年阿里、腾讯、华为等头部厂商纷纷发力Serverless，将其作为主推方向，相信在接下来数据库Serverless会有一个长足的发展。

• 阿里在2023年将Serverless作为主推方向，基本TP、AP、NoSQL各个方向都支持了Serverless。
• 腾讯TDSQL-C支持Serverless，并主打可完全释放存储的差异化点。
• 华为GaussDB for MySQL全面商用，号称相比固定规格，Serverless实例平均可降低使用成本超30%。

趋势三：国内在产品形态上部分开始领先海外

相比HTAP，分布式产品在国内发展更充分，竞争对手更多，因此更值得一提。分布式数据库在国内已形成较完整的生态，部分开始领先海外。

• 国产分布式数据库性能优于海外产品，性价比更高。
• 国内厂商在分布式数据库的生态建设方面也领先海外，如TiDB生态、openGauss生态等。
• 海外厂商在分布式数据库的创新速度较慢，国内厂商可以抓住这一机遇，继续加强创新，进一步扩大领先优势。

趋势四：云数据库市场份额持续扩大

云数据库市场近年来发展迅速，市场份额持续扩大。2023年，这一趋势仍在继续。越来越多的企业将数据库业务迁移到云端，以享受云数据库的弹性、可扩展性和低成本等优势。预计未来几年云数据库市场份额还会进一步扩大。

趋势五：低代码/无代码平台兴起

近年来，随着数据库技术的发展，低代码/无代码平台兴起。这些平台可以极大地降低数据库开发的门槛，让非技术人员也能轻松创建和管理数据库。2023年，低代码/无代码平台在数据库领域获得了广泛关注，预计未来将有更多的企业采用低代码/无代码平台来解决数据库开发和管理问题。

结论

2023年是数据库行业充满挑战的一年，也见证了行业的一些重要趋势和变化。HTAP成为主流数据库的基础能力，Serverless成为头部厂商的共识，国产数据库在产品形态上部分开始领先海外，云数据库市场份额持续扩大，低代码/无代码平台兴起。这些趋势将对数据库行业未来发展产生深远影响。

展望2024年，数据库行业有望继续蓬勃发展。随着技术的发展和市场需求的增长，数据库行业将迎来新的机遇和挑战。让我们拭目以待，期待数据库行业在2024年取得更多突破和发展。

大数据时代,面临的七个挑战和八大趋势

大数据时代,面临的七个挑战和八大趋势

大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战，但前景依然非常乐观。大数据发展的挑战目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失;企业内部数据孤岛严重，导致数据价值不能充分挖掘;数据可用性低，数据质量差，导致数据无法利用;数据相关管理技术和架构落后，导致不具备大数据处理能力;数据安全能力和防范意识差，导致数据泄露;大数据人才缺乏导致大数据工作难以开展;大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。挑战一：业务部门没有清晰的大数据需求很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。挑战二：企业内部数据孤岛严重企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。挑战三：数据可用性低，数据质量差很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。挑战四：数据相关管理技术和架构技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战;(2)很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容;(3)传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力;(4)海量的数据需要很好的网络架构，需要强大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。挑战五：数据安全网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。挑战六：大数据人才缺乏大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。挑战七：数据开放与隐私的权衡在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。大数据发展趋势虽然大数据仍在起步阶段，存在诸多挑战，但未来的发展依然非常乐观。大数据的发展呈现八大趋势：数据资源化，将成为最有价值的资产;大数据在更多的传统行业的企业管理落地;大数据和传统商业智能融合，行业定制化解决方案将涌现;数据将越来越开放，数据共享联盟将出现;大数据安全越来越受重视，大数据安全市场将愈发重要;大数据促进智慧城市发展，为智慧城市的引擎;大数据将催生一批新的工作岗位和相应的专业;大数据在多方位改善我们的生活。趋势一：数据资源化，将成为最有价值的资产随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、网络、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。趋势二：大数据在更多的传统行业的企业管理落地一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用，其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此，我们有理由相信，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学，相信大数据在科学管理企业方面有更显著的促进，让更多拥抱大数据的企业实现智慧企业管理。趋势三：大数据和传统商业智能融合，行业定制化解决方案将涌现来自传统商业智能领域者将大数据当成一个新增的数据源，而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案，即不仅要能收集、处理和分析企业内部的业务数据，还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外，还希望能结合移动设备的位置信息，这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟，无论是大数据还是商业智能，目的都是为分析服务的，数据全面整合起来，更有利于发现新的商业机会，这就是大数据商业智能。同时，由于行业的差异性，很难研发出一套适用于各行业的大数据商业智能分析系统，因此，在一些规模较大的行业市场，大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。趋势四：数据将越来越开放，数据共享联盟将出现大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网，在2013年年底正式开放;上海在2012年启动了政府数据资源开放试点工作，数据涉及地理位置、交通、经济统计和资格资质等数据;2014年，贵州省也加入数据开放之列，10月份云上贵州正式上线。对于不同的行业，数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息，那么就需要全国，甚至全世界的医疗信息共享，从而可以通过平台进行分析，获取更大的价值。我们相信数据会呈现一种共享的趋势，不同领域的数据联盟将出现。趋势五：大数据安全越来越受重视，大数据安全市场将愈发重要随着数据的价值的越来越重要，大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但是其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。趋势六：大数据促进智慧城市发展，为智慧城市的引擎随着大数据的发展，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都是以大数据为基础的的智慧城市应用领域。趋势七：大数据将催生一批新的工作岗位和相应的专业一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如2014年，IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养，建设符合中国教学特色及人才需求的大数据相关学分课程，为未来建设特色专业方向做准备。趋势八：大数据在多方位改善我们的生活大数据不仅用于企业和政府，也应用于我们的生活。在健康方面：我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心;在出行方面：我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优。在居家生活方面：大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如我们的冰箱可能会在每天一大早建议我们当天的菜谱。

数据仓库的未来发展趋势是怎样的？

——预见2024：《2024年中国仓储物流行业全景图谱》(附市场现状、竞争格局和发展趋势等)

行业主要上市公司：华鹏飞()、新宁物流()、飞力达()、宏川智慧()、恒基达鑫()等、

定义

仓储物流业指专门从事货物仓储、货物运输中转仓储，以及以仓储为主的物流配送行业。传统仓储仅仅是指仓储物流企业按照客户要求从事的库存管理和库存控制等仓储物流业务。现代仓储物流业涵义更为广泛，它是指以从事仓储物流业务为主，提供货物储存、保管、中转等传统仓储服务，同时能够提供流通领域的加工、组装、包装、商品配送、信息分析、质押监管融资等增值服务以及仓库基础设施的建设租赁等业务的仓储型物流企业的集群体。

根据仓储中心的不同类型，现代仓储物流行业按功能划分主要可分为集货中心、分货中心、转运中心、加工中心、储调中心、配送中心、物流中心。

行发展趋势预测

1、“实时物流”提升行业运转效率

实时物流(RTL)是指通过使用最新信息技术与现代物流技术来积极地消除物流业务流程中的管理与执行的延迟，从而提高企业整个物流系统反应速度与竞争力，提升物流企业服务水平的当代物流理念。它体现了企业的物流业务能力。在实际操作中，“实时”不代表马上，不仅仅是物流独立作业环节的实时，而是体现的物流系统的实时，体现的是整体的实时。例如运单到了，马上录入就不是实时，而采用自动识别技术及标准化单据，瞬间扫描后即可向系统录入信息，就减少了订单录入的延迟，或者是订单本身就是通过信息系统进行传输的，也才能做到实时。再比如，货车到了，马上开始拣货、配货，就不是实时，而是按计划提前拣货配货，车到时即可实时装货才能更有效率。

实时物流作业系统主要分为实时采集、移动计算、实时传输、实施管理、实时配送、实时追踪六大模块，其各个功能模块所使用的技术可以说是现代物流技术的集中体现，他涉及到了目前最热门的自动识别技术、电子标签技术、移动计算技术、无线传输技术、在线管理技术、GPS卫星定位与追踪技术、电子地图技术等。

所有的实时物流功能性技术都必须是通过网络化技术达到信息共享的，因此互联网、局域网、专网、EDI等已经成为实现实时物流的必要条件，所有的物流软件、物流管理系统也都是以建立在互联网基础上为基本模式。

2、海外仓需求明确

在跨境电商蓬勃发展的大环境下，近三年以来，不管是海外仓还是专线，数量都在持续增长。但疫情期间，在大量国际航班停航等特殊情况下，2020年专线增速与2019年相比有所放缓;相反，海外仓需求爆发，大量物流商涌入建仓。以美国为例，2020年，美国的海外仓不仅是在数量还是增幅上都高于专线，可见美国作为跨境电商卖家的核心市场，受到亚马逊FBA限制入仓政策的影响巨大，不仅有大量直发卖家转第三方海外仓发货，同时也有大量FBA卖家使用第三方海外仓中转补货。

近两年，海外仓的发展也是在我国的发展规划中的。例如十四五发展规划中，均提到了鼓励发展跨境电商，支持海外仓建设和发展等内容。其中，《“十四五”商务发展规划》提出在开展跨境电商“十百千万”专项行动、规则和标准建设专项行动、海外仓高质量发展专项行动的基础上，明确了到2025年，要让跨境电商等新业态的外贸占比提升至10%。

3、市场竞争愈加激烈

整体来看，中国仓储物流市场虽有一定的进入壁垒，但对于有一定地产资源的企业来讲，进入行业较为容易，叠加仓储物流行业部分细分领域发展较为迅速，同时区域间发展存在差异，未来将会有更多市场参与者参与进来，市场竞争加剧。

更多本行业研究分析详见前瞻产业研究院《中国仓储物流行业市场前瞻与投资战略规划分析报告》。