sharding-jdbc

垂直分表

将一个表按照字段分成多个表,每个表存储其中一部分字段。
它带来的提升:
1、为了避免IO争抢并减少锁表的几率,查看详情的用户与商品信息浏览互不影响。
2、充分发挥热门数据的操作效率,商品信息的操作的高效不会被商品描述的低效率所拖累。

为什么大字段的IO效率低?
由于数据量本身大,需要更长的读取时间;
跨页,页是数据库存储单位,很多查找及定位操作都是以页为单位的,单页内的数据行越多数据库整体性能越好,而大字段占用空间大,单页内存储行少,因此IO效率较低。
数据库以行为单位将数据加载到内存中,这样表中字段长度较短且访问频率较高,内存能加载更多的数据,命中率更高,减少了磁盘IO,从而提升了数据库性能。

一般来说,某业务实体中的各个数据项的访问频次是不一样的,部分字段可能是占用存储空间比较大的BLOB或TEXT。例如商品描述。所以,当表数据量很大时,可以将表按
字段切开,将热门字段、冷门字段分来放置在不同表中,这些表可以放在不同的存储设备上,避免IO争抢。垂直切分带来的性能提升主要集中在热门数据的操作效率上,而且
磁盘争用情况减少。

通常我们按以下原则进行垂直拆分:
1、把不常用的字段单独放在一张表;
2、把text、blob 等大字段拆分出来放置在附表中;
3、经常组合查询的列放在一张表中。

垂直分库

通过垂直分表性能得到了一定程度的提升,但是还没有达到要求,并且磁盘空间也快不够了,因为数据始终在一台服务器,垂直分表只解决了单一表数据量过大问题,但没有将表
分布到不同的服务器上,因此每个表还是竞争同一个物理机的CPU、内存、网络IO、磁盘。
根据业务可以拆分为用户库、商品库、订单库。并把这些库分散到不同服务器上。

垂直分库是指按照业务将表进行分类,分布到不同的数据库上,每个库可以放在不同的服务器上,它的核心理念是专库占用。
它带来的提升是:
1、解决业务层面的耦合,业务清晰;
2、能对不同业务对数据进行分级管理、维护、监控、扩展等
3、在高并发场景下,垂直分库一定程度的提升IO、数据库连接数、降低单机硬件资源的瓶颈。

垂直分库通过将表按业务分类,然后分布在不同数据库,并且可以将这些数据库部署在不同服务器上,从而达到多个服务器共同分摊压力的效果,
但是依然没有解决单表数据量过大的问题。

水平分库

水平分库是把同一个表的数据按一定的规则拆分到不同的数据库中,每个库可以放在不同的服务器上。
它带来的提升是:
1、解决了单库大数据、高并发的性能瓶颈。
2、提高了系统的稳定性及可用性(稳定性体现在IO冲突减少,锁定减少,可用性是指某个库出问题,部分可用)。

水平分表

水平分表是在同一个数据库内,把同一个表的数据按一定的规则拆分到多个表中。
它带来的提升是:
1、优化单一表数据量过大而产生的性能瓶颈
2、避免IO争抢并减少锁表的几率。
库内的水平分表,解决了单一表数据量过大的问题,分出来的小表中只包含一部分数据,从而使得单个表的数据量变小,提高检索性能。

总结:

  • 垂直分表:可以把一个宽表的字段按访问的频次、是否是大字段的原则拆分为多个表,这样既能使业务清晰,还能提高部分性能。拆分后,尽量从业务角度
    避免联查,否则性能方面将得不偿失。

  • 垂直分库:可以把多个表按业务耦合松紧归类,分别存放在不同的库,这些库可以分布在不同服务器,从而使访问压力被多服务器负载,大大提升性能,
    同时能提高整体架构的业务清晰度,不同的业务库可根据自身情况定制优化方案。但是它需要解决跨库带来的所有复杂问题。

  • 水平分库:可以把一个表的数据(按数据行)分到不同的库,每个库只有这个表的部分数据,这些库可以分布在不同服务器,从而使访问压力被多服务器
    负载,大大提升性能。它不仅需要解决跨库带来的所有复杂问题,还要解决数据路由问题。

  • 水平分表:可以把一个表的数据(按数据行)分到同一个库的多张表中,每个表只有这个表的部分数据,这样能小幅提升性能,它仅仅作为水平分库的一个
    补充优化。

一般来说,在系统设计阶段就应该根据业务耦合松紧来确定垂直分库,垂直分表方案。在数据量及访问压力不是特别大的情况下,首先考虑缓存、读写分离、
索引技术等方案。若数据量极大,且持续增长,再考虑水平分库、水平分表方案。

分库分表带来的问题

分库分表能有效的缓解单机和单库带来的性能瓶颈和压力,突破网络IO、硬件资源、连接数的瓶颈,同时也带来了一些问题。

  • 事务一致性问题
    由于分库分表把数据分布在不同库甚至不同服务器,不可避免会带来分布式事务问题。

  • 跨节点关联查询
    在没有分库前,可以通过SQL关联查询,但垂直分库后的数据不在一个数据库,甚至不在一台服务器,无法进行关联查询。
    解决方案:可以将原关联查询分为两次查询,第一次查询的结果集中找出关联数据id,然后根据id发起第二次请求得到关联数据,最后将获得的数据进行拼接。

坚持原创技术分享,您的支持将鼓励我继续创作!