容错
正如文档中所解释的那样,
启用 Flink 的检查点后,Flink Kafka Consumer 将使用主题中的记录,并以一致的方式定期检查其所有 Kafka 偏移以及其他操作的状态。如果作业失败,Flink 会将流式程序恢复到最新检查点的状态,并从存储在检查点中的偏移量开始重新使用来自 Kafka 的记录。
因此,绘制检查点的间隔定义了程序在发生故障时最多可以返回多少。
要使用容错 Kafka 使用者,你需要使用 enableCheckpointing
方法在执行环境中启用检查点:
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(5000); // checkpoint every 5 seconds