Flink 实时写入数据到 ElasticSearch 性能调优

  • 时间:
  • 浏览:1

作者:张刘毅

线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据突然出现 backpressure,数据积压严重。单次 bulk 的写入量为:1150/150mb/150s,并行度为 48。针对该疑问,为了处置影响线上业务申请了一一个多多多与线上集群配置相同的 ES 集群。本着复现疑问进行优化就能处置的思路进行调优测试。

从压测结果来看,集群层面的平均写入性能离米 在每秒 10 w+ 的 doc。