小型数据中心进化演变

v1

优点：

• 报表定制简单
• 结果实时性好

缺点：

• 随着数据量的增多，查询耗时，页面频发502
• 部分查询锁表对线上业务影响较重

v2

优点：

• 实现了数据可视化
• 报表灵活性提高
• 隔离了线上业务（可以重建索引）

缺点：

• 数据延时（但可接受）
• BI框架对业务部门门槛较高
• 中间表需要维护，且同步耗时
• BI框架对MySQL聚合查询仍表现不理想

v3

优点：

• 报表改为逻辑实现，提高灵活性
• 降低了其他业务部门的使用门槛
• 隔离了线上业务
• 引入ClickHouse列式数据库，显著提高实时查询性能

缺点：

• 数据延时（但可接受）
• 定时同步数据表时对生产库瞬时压力较大

v4

优点：

• 报表改为逻辑实现，提高灵活性
• 降低了其他业务部门的使用门槛
• 隔离了线上业务
• 引入ClickHouse列式数据库，显著提高实时查询性能
• 引入FlinkCDC实现全/增量同步，减少对生产库的压力

缺点：

• 数据延时（但可接受）
• 数据落地链路较长

v5（目标）

优点：

• 报表改为逻辑实现，提高灵活性
• 降低了其他业务部门的使用门槛
• 隔离了线上业务
• 引入ClickHouse列式数据库，显著提高实时查询性能
• 引入FlinkCDC实现全/增量同步，减少对生产库的压力
• 利用Flink可实现数据打宽、数据清洗、准实时统计
• 缩短数据流转链路，减少额外的数据落地（降低成本）

缺点：

• 改造时间较长
• Flink需要更多Java知识