小型数据中心进化演变

v1

优点:

  • 报表定制简单
  • 结果实时性好

缺点:

  • 随着数据量的增多,查询耗时,页面频发502
  • 部分查询锁表对线上业务影响较重

v2

优点:

  • 实现了数据可视化
  • 报表灵活性提高
  • 隔离了线上业务(可以重建索引)

缺点:

  • 数据延时(但可接受)
  • BI框架对业务部门门槛较高
  • 中间表需要维护,且同步耗时
  • BI框架对MySQL聚合查询仍表现不理想

v3

优点:

  • 报表改为逻辑实现,提高灵活性
  • 降低了其他业务部门的使用门槛
  • 隔离了线上业务
  • 引入ClickHouse列式数据库,显著提高实时查询性能

缺点:

  • 数据延时(但可接受)
  • 定时同步数据表时对生产库瞬时压力较大

v4

优点:

  • 报表改为逻辑实现,提高灵活性
  • 降低了其他业务部门的使用门槛
  • 隔离了线上业务
  • 引入ClickHouse列式数据库,显著提高实时查询性能
  • 引入FlinkCDC实现全/增量同步,减少对生产库的压力

缺点:

  • 数据延时(但可接受)
  • 数据落地链路较长

v5(目标)

优点:

  • 报表改为逻辑实现,提高灵活性
  • 降低了其他业务部门的使用门槛
  • 隔离了线上业务
  • 引入ClickHouse列式数据库,显著提高实时查询性能
  • 引入FlinkCDC实现全/增量同步,减少对生产库的压力
  • 利用Flink可实现数据打宽、数据清洗、准实时统计
  • 缩短数据流转链路,减少额外的数据落地(降低成本)

缺点:

  • 改造时间较长
  • Flink需要更多Java知识
Author: thinkwei

1 thought on “小型数据中心进化演变

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注