分库又分表,吞吐要爆表

发布于 2021-09-07 10:32 ，所属分类：2021面试经验技巧分享

“你们最大的表，有多少数据量？”


圈子里几个常玩的伙伴，聚在一起吃火锅，或者喝咖啡，通常都会问些特技术范儿的问题。上面这个，就是常问的问题之一。


其实，倒也不是真对数据量感兴趣，而是量大了之后，碰到什么特别有意思的事情，以及，用了什么特别的方法解决。


上亿了之后，怎么解决；上 TB 级别的存储量，又怎么解决。


就这样的问题，如果是在星巴克，大家伙儿都能吹到下半夜去。我记得，最带劲的刘哥，一言不合，就打开黑乎乎的 shell, 给我们演示。


像这样的大表场景，如果分库分表，就是最终杀器。刚开始，几个外企和民企的朋友，还经常吵嘴。一波人说分库分表，另一波说 sharding, partitioning, 吵来吵去，都是一个意思。


如果大家都看过《Designing Data-Intensive Application》，就不会有这种问题。



这露天电影有个难受的地方，前排的人，耳朵炸聋，后排的人，啥都听不见。观影体验贼差，所以整场下来，只有小孩和真正的影迷，能坚持到最后。其他人中途都跑了。

所以戏班子想了个法儿，在村头村尾各搭个舞台。这样容纳的人就多了。有些村实在口人太大，那就村东村西，再放两个舞台。这样村子里所有人，都可以照顾到了。而实现这个目的，就只需复刻 3 份胶卷。




这就是数据库复制原理所在。把数据复刻多份的时候，就可以供更多人读取。

所谓“做人留一线，日后好相见”。看个电影而已，没必要伤害乡里乡亲的感情。大家为了抢一个好位置，最后结局只能是谁都看得不爽。所以这里看不了，我就去别的场地看。

复制技术出来之后，读数据就不抢占一个库了。这台服务器读请求，在排队，那就去另一台服务器。假设网络里，服务器够多，那么总有一台能读到数据。

SQL Server 可以支持 8 台服务器同时服务读，而 MySQL 通过中间件，则可以支持更多，比如 MySQL Proxy, MySQL Cat, MySQL DAL等等。



写入时代大爆炸



之前欣赏电影，只能在电影院，生产这些电影，往往都是大团队。那时，看电影，纯属于消费时代。

但4G, 5G来了之后，消费时代悄然变化了。小团队，甚至个人，开始制作电影。小众视频，胜在长尾效应。比如 Youtube, B 站，这个时代，人人兼可创作。

如此之多的视频，仅靠电影制片厂，是完全来不及生产了。网民集体的创作狂热，必须由民间力量，B站，爱奇艺，腾讯视频等等，来 Hold 住。

就像，你的数据库，在经历了 7， 8年的发展后，受众越来越多，大家写入的热情也越来越高涨。此时，数据库，也将面临跟视频网站一样的困扰，究竟该如何支撑主这些 “洪流”？

经历了大爆炸后，视频平台痛下决心，把视频服务器分散，开到全国去。在全国各个重要的大城市，组建视频中心，让周围的视频创作者，把视频传到这些服务器上。

这就是分库分表的模式。


虽然华东南西北中，是相互独立的，但它们的视频始终都以逻辑整体存在。一个VLOG作者，在北京上传了个视频，如果坐飞机到了广州，他就访问不到在北京上传的那个视频，那怎么也说不过去。

所以，所有这些视频，都是维护在一张逻辑表中。根据这些视频的上传者GIS地址，传到最近的服务器上。这就是分库分表常用的，按 Key 值分区策略。虽然这样的策略，会有一系列问题，但暂且这么理解。

分库分表好处非常明显，一来可以容纳更多数据量，二来访问更快捷。


怎么实现分库分表呢？



有人说，可以用客户端代码来控制访问数据库；也有人说，我就爱写中间件，让服务器自动支持分库分表，并且没有语言限制，也很极客；还有人说，用云原生，程序员负责实现逻辑，运维这档子事交给供应商。

当然，统统都可以。但是本文还是着重讲讲中间件。毕竟，供应商费银子，客户端费脑子，只有中间件，可以一劳永逸。

分享 2 种方法：

Percona XtraDB Cluster方案


Percona XtraDB Cluster简称PXC。Percona Xtradb Cluster的实现是在原mysql代码上通过Galera包将不同的mysql实例连接起来，实现了multi-master的集群架构。


上图中有三个实例，组成了一个集群，而这三个节点与普通的主从架构不同，它们都可以作为主节点，三个节点是对等的，这种一般称为multi-master架构，当有客户端要写入或者读取数据时，随便连接哪个实例都是一样的，读到的数据是相同的，写入某一个节点之后，集群自己会将新数据同步到其它节点上面，这种架构不共享任何数据，是一种高冗余架构。
作者：罗阿红 出处：http://www.cnblogs.com/luoahong/


MySQLDAL （Data Access Layer ）

当年手机之家高春辉领导开发的产品。它解决了单台计算机容量有限的难题。真正实现了分库分表的优势。

DAL 有三大组件，Java Netty 框架，ZooKeep 控态，SQL 处理模块（ 通过分解 SQL 生成语法树，依据 SQL 路由表，生成对应的执行路径）

由于 MySQL DAL 是闭源产品，相关的实现没有源码可看。但我看到这篇论文有提及部分原理：


嗯，上次有群水友问，数据库开发与数据库开发有什么区别。大概在这里，可以说的明白了。

一类人，是做CRUD应用系统的开发，比如做个报表，写个ETL；另一类数据库开发，是实现数据库的某项功能，比如分库分表组件。



--完--





往期精彩：


本号精华合集（三）

外企一道 SQL 面试题，刷掉 494 名候选人

我在面试数据库工程师候选人时，常问的一些题

零基础 SQL 数据库小白，从入门到精通的学习路线与书单








相关资源