mongodb压力测试工具ycsb

mongodb安装

这里以安装单机版为例,rpm包方式安装

wget https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.4/x86_64/RPMS/mongodb-org-server-4.4.7-1.el7.x86_64.rpm 
wget https://repo.mongodb.org/yum/redhat/7/mongodb-org/4.4/x86_64/RPMS/mongodb-org-mongos-4.4.7-1.el7.x86_64.rpm
rpm -ivh mongodb-org-server-4.4.7-1.el7.x86_64.rpm 
rpm -ivh mongodb-org-mongos-4.4.7-1.el7.x86_64.rpm

启动 ​systemctl start mongod 

YCSB压测工具安装

这里不采用网上大多说的maven方式源码安装,因为只需要mongo相关的压测工具,故直接下载对应的包即可

wget https://github.com/brianfrankcooper/YCSB/releases/download/0.17.0/ycsb-mongodb-binding-0.17.0.tar.gz
tar zxvf ycsb-mongodb-binding-0.17.0.tar.gz
cd ycsb-mongodb-binding-0.17.0

数据准备

这里准备测试数据,同时也是测试insert的压力数据

--异步驱动异常,连接会报错
./bin/ycsb load mongodb-async -s -target 5000 -threads 10 -P workloads/workloada -p mongodb.url="mongodb://test:vG5fmBwKOn@192.168.15.145:27005/testdb"

--同步方式,正常使用
./bin/ycsb load mongodb -s -target 5000 -threads 10 -P workloads/workloada -p mongodb.url="mongodb://test:vG5fmBwKOn@192.168.15.145:27005/testdb"

压测

编辑压测参数文件,workloads目录下提供了多种模板,这里以workloada模板为例

table=usertable (压测时的集合名称)
recordcount = 1000000(表示load和run操作中,使用的YCSB实例记录数)
operationcount = 1000000(表示load和run操作中,使用的YCSB实例操作数)
workload = com.yahoo.ycsb.workloads.CoreWorkload(要使用的工作负载类)
readproportion = 0.5(默认是0.95,表示的是进行read的操作占所有操作的比例)
updateproportion = 0.5(默认是0.05,表示的是进行update的操作占所有操作的比例)
insertproportion = 0(默认是0,表示的是进行insert的操作占所有操作的比例)
scanproportion = 0(默认是0,表示的是进行scan的操作占所有操作的比例)
requestdistribution = zipfian(默认是uniform,应该使用什么分布来选择要操作的记录:uniform, zipfian, hotspot, sequential, exponential 和 latest)
readallfields = true(默认值是1,应该读取读取所有字段(true),只读取一个(false))

执行压测

-threads 控制客户端连接数

./bin/ycsb run mongodb -s -threads 100 -P workloads/workloada -p mongodb.url="mongodb://test:vG5fmBwKOn@192.168.15.145:27005/testdb"

分片集群压测

若要压测分片集群,需手工提前建立测试集合,并设置好分片键,然后进行压测即可

mongos> use testdb;
mongos> db.createCollection("usertable")
mongos> sh.shardCollection("testdb.usertable",{"_id":"hashed"})

 

原文地址:https://www.cnblogs.com/Before/p/15090797.html