阿里云李飞飞：数据库发展的几个紧张趋势

福临门吊顶

原标题：阿里云李飞飞：数据库发展的几个紧张趋势

图片泉源@视觉中国

文 | 阿里云，分享 | 李飞飞（阿里巴巴团体副总裁）

文 | 阿里云，分享 | 李飞飞（阿里巴巴团体副总裁）

上世纪80年代初，数据库体系渐渐走上信息技能舞台的中心，2000年开始大数据技能鼓起，再到2010年后云盘算热度连续升温。技能的历程走到了本日这个奥妙的节点，看向将来，有几个趋势大概会发生。

仅以此文，分享一些肤见和实践。

三段交织的技能史

已往40年，数据库体系、大数据和云盘算三项技能瓜代鼓起。

起首是数据库体系，成型于上个世纪80年代，是盘算机范畴三大底子软件体系之一。早期的关系型数据库以甲骨文数据库为代表，取得了巨大的贸易乐成。厥后出现了MySQL、PostgreSQL等开源的关系型数据库。

90年代，随着关系型数据库的广泛应用，产生了大量的数据，分析这些布局化的数据对分析型的数据库体系提出了很高的要求，因而在90年代涌现出了一批分析型数据库体系。

世纪更迭，2000年到2010年，大数据技能走上汗青舞台的期间。大数据技能诞生的缘故原由有以下两方面：

一是大数据的产生。随着以谷歌为代表的互联网公司的发展，产生了大量数据。

二是获取、处置惩罚、分析数据的方式不一样。好比说银行最简朴的生意业务、转账，对隔离、同等性、长期性有非常严酷的要求。大数据不一样，单一数据对终极效果没有特殊影响。这种应用场景和传统的联机生意业务关系型数据库完全差别。

于是，大数据体系应运而生，谷歌发表了耳熟能详的分布式文件体系、分布式表格存储、MapReduce三大论文，奠基了本日大数据的整个技能生态圈的基石。

睁开全文

2010年后，另一个趋势是云盘算的热度渐渐升温。云盘算的本质就是使用分布式技能将资源高效池化，而对应用做到透明的会合式摆设。

把云盘算、数据库、以及大数据发展联合起来看，数据体系本质上就是对数据从生产、处置惩罚、消耗、存储的一个全链路的过程。

云盘算对数据处置惩罚体系产生了非常大的影响：

第一， 云原生技能在数据处置惩罚体系深入的应用；

第二， 传统的关系型数据库和传统大数据生态正在快速发生融合。

业界发展的趋势，是资源的池化，资源解耦，以云原生、分布式的技能为底子，打造下一代的数据处置惩罚体系。举例来说，阿里云数据库之以是可以或许支持双11，也是在不停实践基于这些理念的思索。

以双11为例，第一张图是积年双11的零点生意业务峰值的曲线，最新的2020年双11的零点的峰值是58万笔/秒。每一笔生意业务还会有一个拆单的动作，到数据库体系就是每秒几百万TPS。

第二张图是体系零点负载的刹时变革曲线，一秒钟时间内体系负载刹时发作了145倍。假如不是使用云原生的技能，简朴依靠传统技能根本无法满意这种高并发、弹性、高可用的要求。

几个紧张趋势

从架构的角度来看，数据库体系的变革如下图所示：

左边是传统的冯诺依曼架构；右边是分布式架构；中心是云原生的架构，背后大量使用了分布式技能。这种资源池化带来的弹性、高可用的本领显而易见。

这是本日三种差别的架构，有以下几个趋势：

联合阿里云数据库的焦点技能，把以上配景、趋势实例化：

• 云原生关系型数据库PolarDB

PolarDB的每个数据块分成三个物理节点，不消关心分布式带来的挑衅，好比分库分表、分布式的查询，对应用完全透明，读写一份数据，做到了分布式技能透明化、会合式摆设。

PolarDB是阿里云自研的云原生数据库，创新接纳存储与盘算架构分离计划，能在分钟级别摆设一个新的盘算节点、大概扩容存储节点。同时，在性能上做了大量的优化，非常好地兼容了生态，好比100%兼容MySQL和PostgreSQL，高度兼容Oracle。

在现实的客户案例里，使用PolarDB Oracle兼容版更换现有的Oracle，在性能一样的条件下，团体本钱不到原来的三分之一。

除了云原生的架构，也有分布式架构版的PolarDB-X。在每个分区内里做这种三节点的架构，同时三节点使用协议做数据的同等性保障，而且三节点可以做到同城跨AZ摆设。

• 一体化计划是下一代数据分析体系的焦点理念

下一代的体系，是将云原生技能和分布式技能合二为一：上面是分布式，而下面是云原生的方式实现，每个分区都可以享受云原生带来弹性、高可用的本领，同时上面有分布式带来的程度拓展的本领，办理高并发大概带来的瓶颈题目。

• 云原生数据堆栈ADB

云原生的数据堆栈本质上也是云原生的架构，存储池化、盘算池化、存储盘算分离，同时实现海量存储弹性，轻量化摆设。

使用这些技能实现数据处置惩罚和盘算分析的离在线一体化，数据库与大数据一体化。犹如实际生存中的堆栈，全部物品要分门别类放好，以是数据堆栈比力得当已经范式化的数据格式、业务范例比力固定的场景，性价比非常高。

在云原生数仓方面，我们也使用这套架构研发了AnalyticDB(ADB)支持了淘宝天猫对及时生意业务数据举行在线交互式分析和盘算的需求，同时支持复杂的离线ETL与在线分析的融合。

• 数据湖

数据湖，“湖底”的数据乱七八糟，“湖面”却是平的。差别于数据堆栈，数据湖的存储是多源异构的，只必要有一个同一的界面临这些数据举行分析、处置惩罚。

以阿里云的云原生Serverless数据湖办理方案DLA为例，基于对象存储，对多源异构的数据存储举行同一的盘算和分析，使用云原生的Serverless技能可以用非常低本钱的实现弹性高可用的本领，而且满意安全性的要求。

• 多模、智能化和安全可信

在管控这一层实现非常检测、安全诊断，通过K8S这套编排技能，把多源异构的资源管理起来，打造智能化的运维管控平台。

我们做了全加密的数据库，数据进入内核以后不必要解密。使用安全硬件技能做了全加密的流程和掩护，实现了不解密也能举行数据加工和处置惩罚。

数据业务的多样化带来了除了布局化数据之外的多模数据，比方文本、时序、图片、图数据等非布局化数据。针对多模数据，我们计划研发了基于云原生架构的多模数据库Lindorm以及云原生内存数据库Tair来支持多模数据处置惩罚。

末了是生态工具，从传输、备份到管理。传输接纳DTS，做端到端数据的同步，用DBS数据备份做多云多端的逻辑备份、物理备份，DMS做企业级的开辟建模流程, ADAM做针对基于传统数据库和数据堆栈开辟的应用评估和迁徙。

本年疫情期间，各行各业有一个非常大的变革——传统的离线业务和在线业务在快速融合，线上线下的界限越来越含糊。

这带来的挑衅是，业务波峰波谷的变革越来越剧烈。这是疫情带来的一定变革，数字化的转型也是一个一定发生的究竟。在这种配景下，云原生数据库、云原生数仓等产物，将会服务越来越多“线上线下界限含糊”的各行各业。

【钛媒体作者简介：李飞飞，现任阿里巴巴团体副总裁、高级研究员，阿里云智能数据库奇迹部总负责人。美国盘算机协会ACM良好科学家，参加阿里巴巴之前为美国犹他大学盘算机系终身传授。】

更多出色内容，关注钛媒体微信号（ID：taimeiti），大概下载钛媒体App返回搜狐，检察更多

责任编辑：