腾讯云消息队列 CKafka - 数据处理相关问题
文档简介：
数据处理过程中，因格式问题处理失败的数据会怎么处理？
数据处理过程中，因格式问题处理失败或不满足过滤器规则的数据会流向“失败处理”策略。
咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！
微信咨询
免费试用、价格特惠
数据处理过程中，因格式问题处理失败的数据会怎么处理？
数据处理过程中，因格式问题处理失败或不满足过滤器规则的数据会流向“失败处理”策略。
“失败处理”策略包括：
1. “丢弃”策略即丢弃处理失败的原始数据；
2. “保留”策略会保留处理失败的原始数据，并将原始数据和处理失败信息封装成新的消息体，投递到目标Topic；
3. “死信队列”策略会保留处理失败的原始数据，并将原始数据和处理失败信息封装成新的消息体，投递到死信队列。
数据处理过程如何知道处理的性能不足？
数据处理的流程分为3个阶段，分别是：
1. 消费数据源 Topic 的数据；
2. 对原始数据进行处理；
3. 将处理后数据投递到数据目标Topic。
其中，我们可以通过消费者的消息积压程度和消费速度的监控来查看阶段1消费能力的性能，以及目标 Topic 的生产速度的监控来查看阶段3生产能力的性能。
一般我们可以通过提高数据源 Topic 的分区数，从而提高任务可扩容的并发度上限，以达到提升任务整体性能的效果。
