v1
优点:
- 报表定制简单
- 结果实时性好
缺点:
- 随着数据量的增多,查询耗时,页面频发502
- 部分查询锁表对线上业务影响较重

v2
优点:
- 实现了数据可视化
- 报表灵活性提高
- 隔离了线上业务(可以重建索引)
缺点:
- 数据延时(但可接受)
- BI框架对业务部门门槛较高
- 中间表需要维护,且同步耗时
- BI框架对MySQL聚合查询仍表现不理想

v3
优点:
- 报表改为逻辑实现,提高灵活性
- 降低了其他业务部门的使用门槛
- 隔离了线上业务
- 引入ClickHouse列式数据库,显著提高实时查询性能
缺点:
- 数据延时(但可接受)
- 定时同步数据表时对生产库瞬时压力较大

v4
优点:
- 报表改为逻辑实现,提高灵活性
- 降低了其他业务部门的使用门槛
- 隔离了线上业务
- 引入ClickHouse列式数据库,显著提高实时查询性能
- 引入FlinkCDC实现全/增量同步,减少对生产库的压力
缺点:
- 数据延时(但可接受)
- 数据落地链路较长

v5(目标)
优点:
- 报表改为逻辑实现,提高灵活性
- 降低了其他业务部门的使用门槛
- 隔离了线上业务
- 引入ClickHouse列式数据库,显著提高实时查询性能
- 引入FlinkCDC实现全/增量同步,减少对生产库的压力
- 利用Flink可实现数据打宽、数据清洗、准实时统计
- 缩短数据流转链路,减少额外的数据落地(降低成本)
缺点:
- 改造时间较长
- Flink需要更多Java知识

1 thought on “小型数据中心进化演变”