python操作memcached

简介

Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap。其守护进程(daemon )是用C写的,但是客户端可以用任何语言来编写,并通过memcached协议与守护进程通信。

特点
memcached作为高速运行的分布式缓存服务器,具有以下的特点。
· 协议简单
· 基于libevent的事件处理
· 内置内存存储方式
· memcached不互相通信的分布式
· 为了提高性能,memcached中保存的数据都存储在memcached内置的内存存储空间中。由于数据仅存在于内存中,因此重启memcached、重启操作系统会导致全部数据消失。另外,内容容量达到指定值之后,就基于LRU(Least Recently Used)算法自动删除不使用的缓存。memcached本身是为缓存而设计的服务器,因此并没有过多考虑数据的永久性问题。

安装memcached

wget http://memcached.org/latest
memcached-1.5.7.tar.gz
tar zxf memcached-1.5.7.tar.gz
cd memcached-1.5.7
./configure && make && make test && make install

安装memcached的python客户端

pip install python-memcached

启动memcached

memcached -d -m 10 -u root -l 127.0.0.1 -p 12000 -c 256 -P /var/log/memcache/memcache.pid

参数详解:
-p 指定端口号(默认11211)  
-m 指定最大使用内存大小(默认64MB)  
-t 线程数(默认4)  
-l 连接的IP地址, 默认是本机  
-d 以后台守护进程的方式启动
-c 最大同时连接数,默认是1024
-P 制定memecache的pid文件
-h 打印帮助信息

支持集群

python-memcachd模块原生支持集群操作,其原理是在内存维护一个主机列表,且集群中主机的权重值和主机在列表中重复出现的次数成正比。
主机 权重
1.1.1.1 1
1.1.1.2 2
1.1.1.3 1

#那么在内存中主机列表为:
host_list=['1.1.1.1','1.1.1.2','1.1.1.2','1.1.1.3',]

python操作memcache集群

mc = memcache.Client([('1.1.1.1:12000', 1), ('1.1.1.2:12000', 2), ('1.1.1.3:12000', 1)], debug=True)
mc.set('k1', 'v1')

Memcache常用操作

存储命令: set、add、replace、append、prepend、cas
获取命令: get、gets
其他命令: delete、stats

add方法

import memcache
mc = memcache.Client(['192.168.48.128:11211'], debug=True)
# mc.set("foo", "bar")
# ret = mc.get("foo")
mc.add('k1','v1')
mc.add('k1','v1')
print(ret)

replace方法

replace修改某个key的值,如果key不存在,则异常。

import memcache
mc = memcache.Client(['192.168.48.128:11211'], debug=True)
# mc.set("foo", "bar")
# ret = mc.get("foo")
mc.add('k1','v1')
# mc.add('k1','v1')
# print(ret)
mc.replace("k1", "hello")
print(mc.get("k1"))
结果:
hello

set和set_multi方法

set :设置一个键值对,如果key不存在,则创建,如果key存在,则修改;
set_multi:设置多个键值对,如果key不存在,则创建,如果key存在,则修改。

import memcache

mc = memcache.Client(['192.168.48.128:11211'], debug=True)
mc.set("k10", "v10")
mc.set_multi({"k11": "v11", "k12": "v12"})

set方法和add方法的区别

set = add + replace

delete和delete_multi方法

delete:在Memcached中删除指定的一个键值对;
delete_multi:在Memcached中删除指定的多个键值对。

import memcache

mc = memcache.Client(['192.168.48.128:11211'], debug=True)
# mc.set("k10", "v10")
# mc.set_multi({"k11": "v11", "k12": "v12"})
#
mc.delete("k10")
mc.delete_multi(["k11", "k12"])

get和get_multi方法

get : 获取一个键值对;
get_multi:获取多个键值对。

import memcache
mc = memcache.Client(['192.168.48.128:11211'], debug=True)
mc.set("k10", "v10")
mc.set_multi({"k11": "v11", "k12": "v12"})
val = mc.get('k1')
print(val)
 
item_dict = mc.get_multi(['k11', 'k12'])
print(item_dict)

append和prepend方法

append:修改指定key的值,在该值后面追加内容;
prepend:修改指定key的值,在该值前面插入内容。

import memcache
mc = memcache.Client(['127.0.0.1:12000'], debug=True)
mc.append('k1','after')
val1 = mc.get('k1')
print(val1)
mc.prepend('k1','brefore')
val2 = mc.get('k1')
print(val2)
#结果:
v1afterafter
breforev1afterafter

stats

查看历史操作

gets 和 cas

使用缓存系统共享数据资源就必然绕不开数据争夺和脏数据(数据混乱)的问题。
假设商城某件商品的剩余个数保存在memcache中,product_count = 900
A用户刷新页面从memecache中读取到product_count = 900
B用户刷新页面从memecache中读取到product_count = 900
A,B用户均购买商品,并修改product_count的值
A修改后,product_count = 899
B修改后,product_count = 899
然而正确数字应该是898,数据就混乱了。
如果想要避免这种情况的发生,则可以使用 gets 和 cas
注意: 要在Client中增加cache_cas参数

import memcache

mc = memcache.Client(['192.168.48.131'],cache_cas=True)
mc.set('count',"100")
print(mc.gets("count"))
# mc.set("count", '1000')
result = mc.cas("count", "99")
print(result)
print(mc.get("count"))

总结

import memcache

mc = memcache.Client(['192.168.48.136:12000'])
print(mc)
mc.set("aaa", "hello world")
print(mc.get("aaa"))

# set(key, value)
# get(key)
# repalce(key, new_value)
# set = add + replace()
# delete(key)
# get_multi([k1, k2, k3])
# delete_multi([k1, k2, k3])
# set_multi({"k1": "v1", "k2": "v2"})
# append(k, appendvalue)
# prepend(k, prependvalue)
mc.add("mctestadd", "nihaoma")
print(mc.get("mctestadd"))
mc.append("aaa", " 321")
print(mc.get("aaa"))
mc.prepend("aaa", "123 ")
print(mc.get("aaa"))
print(mc.stats)
原文地址:https://www.cnblogs.com/yangjian319/p/9058026.html