最佳实践设计模式:优化 Amazon S3 性能

最佳实践设计模式:优化 Amazon S3 性能

当从 Amazon S3 上传和检索存储时,您的应用程序可以轻松地实现每秒数千个事务的请求性能。Amazon S3 会自动扩展至高请求速率。例如,您的应用程序可以在存储桶中实现至少每秒每个前缀 3,500 个 PUT/COPY/POST/DELETE 请求和 5,500 个 GET/HEAD 请求。对存储桶中的前缀数量没有限制。您可以通过并行读取来增加读取或写入性能。例如,如果您在 Amazon S3 存储桶中创建 10 个前缀以并行处理读取,则可以将读取性能扩展到每秒 55,000 个读取请求。

Amazon S3 上的某些数据湖应用程序对于运行超过 PB 级数据的查询扫描数百万或数十亿个对象。这些数据湖应用程序实现的单一实例传输速率可最大限度地提高 Amazon EC2 实例的网络接口利用率,这在单一实例上可高达 100 Gb/s。然后,这些应用程序跨多个实例聚合吞吐量,以获得每秒多个 Tb 的级别。

可以理解为prefix可以使得object会分布存储在不同的磁盘上,这将提高bucket的IOPS。

原文地址:https://www.cnblogs.com/cloudrivers/p/11236589.html