Kinesis基础知识及优化指导

1、数据存放
1)每个PutRecords请求最多可支持500条记录。
2)请求中的每条记录可以大到1 MiB,整个请求的最大限制为5 MiB,包括分区键。
3)每个分片可以支持每秒最多1,000条记录的写入,最大数据写入总量为每秒1 MiB。

2、数据处理
1)每个分片均提供 2 MiB/秒的读取吞吐量。
2)每个分片每秒可支持多达 5 个读取事务。每个读取事务可提供多达 10,000 个记录,每个事务的上限为 10 MiB。
3)每个分片可以通过 GetRecords 支持每秒 2 MiB 的最大总数据读取速率。如果对 GetRecords 的调用返回 10 MiB,则在接下来的五秒内发出的后续调用将会引发异常。因4)此将 idleTimeBetweenReadsInMillis 属性设置为少于 200ms 可能导致您的应用程序观察到 ProvisionedThroughputExceededException 异常。
5)在使用 KCL 时,您应确保实例的数量不超过分片的数量(故障待机除外)。每个分片正好由一个 KCL 工作程序处理并且正好有一个对应的记录处理器,因此您永远不需要多个实例来处理一个分片。但是,一个工作程序可处理任意数量的分片,因此分片的数量超过实例的数量没有关系。


3、使用者应用程序的读取速率比预期的慢,读取吞吐量低于预期的最常见原因如下:
1)多个使用者应用程序的总读取量超过每个分片的限制。有关更多信息,请参阅 Kinesis Data Streams 限制。在这种情况下,请增加 Kinesis data stream 中的分片数。
2)指定每个调用的最大 GetRecords 数的 limit 可能已配置为较低的值。如果您正在使用 KCL,您可能已经使用一个较低的 maxRecords 属性值配置了工作程序。一般来说,我们推荐对此属性使用系统默认值。
3)出于很多可能的原因,您的 processRecords 调用内的逻辑花费的时间可能超过预期;该逻辑可能是 CPU 使用率高、I/O 阻止或同步出现瓶颈。要测试是否如此,请对空的记录处理器进行测试运行并比较读取吞吐量。有关如何跟踪传入数据的信息,请参阅重新分片、扩展和并行处理。


4、重新分片、扩展和并行处理
1)例如,如果您的应用程序正在 1 个 EC2 实例上运行,并且正在处理 1 个包含 4 个分片的 Kinesis data stream。这 1 个实例包含 1 个 KCL 工作程序和 4 个记录处理器(每个分片有 1 个记录处理器)。这 4 个记录处理器在同一进程内并行运行。
2)接下来,如果您扩展应用程序以使用其他实例,您将有 2 个处理 1 个包含 4 个分片的流的实例。当 KCL 工作程序在第二个实例上启动时,它会与第一个实例进行负载均衡,以便让每个实例现在处理两个分片。
3)如果您随后决定将 4 个分片拆分为 5 个分片。KCL 会再次跨实例协调处理:一个实例处理 3 个分片,另一个实例处理 2 个分片。类似协调在合并分片时出发生。
4)当重新分片增加了流中的分片数时,记录处理器的数量的相应增加会增加托管处理器的 EC2 实例上的负载。如果实例为 Auto Scaling 组的一部分,并且负载增加得足够多,则 Auto Scaling 组会添加更多实例来处理增加的负载。您应在启动时配置用来启动 Amazon Kinesis Data Streams application的实例,以便让其他工作程序和记录处理器在新实例上立即激活。
5)重新分片通常是由监控分片数据处理指标的管理应用程序执行的。尽管 KCL 本身不启动重新分片操作,但它能够适应由于重新分片而生成的分片的数量的变化。

5、要扩展您的应用程序中的处理,您应测试以下方法的组合:
1)增加实例大小(因为所有记录处理器都在进程内并行运行)
2)增加实例的数量,最多为开放分片的最大数量(因为分片可以单独处理)
3)增加分片的数量(这会提高并行机制的级别)


6、其他建议
1)建议针对每个应用程序每秒轮询每个分片一次。这使您能够具有并行处理流的多个使用者应用程序,而不会达到每秒 5 次 GetRecords 调用的 Amazon Kinesis Data Streams 限制。流的吞吐量在分片级别进行配置。每个分片具有一个 最多 每秒 5 次交易 可用于读取,最多可达的最大总数据读取速率为 每秒 2 MB 的读取吞吐量。如果您发现您的应用程序一直受到限制,则应考虑增加流的分片的数量。

2)若要处理大批量的数据,降低您的应用程序中的网络和其他下游延迟时往往更高效。

原文地址:https://www.cnblogs.com/husbandmen/p/10033945.html