一篇文章让你了解并掌握memcached

第一章 memcached简介

1.1为什么引入memcached

随着数据量的增大，访问的集中，REBMS负担加重，数据库响应恶化。

Memcached是高性能的分布式内存缓存服务器，目的是通过缓存数据库查询结果，减少数据库的访问次数，以提高动态web应用的速度，提高扩展性。

1.2memcached作为高速运行的分布式缓存服务器具有的特点

具有以下特点：

（1）协议简单：基于文本的协议，最终使用二进制协议代替文本协议，提高memcached的性能，减少文本协议漏洞。从1.3版本开始支持二进制协议。

（2）基于libevent的事件处理：所以能在linux、BSD、Solaris等操作系统上发挥其高性能。

（3）内置内存存储方式：memcached保存的数据都存储在memcached内置的内存存储空间中，重启memcached或重启系统，都会导致数据全部消失。几户不占用CPU。

（4）memcached不互通信的分布式：memcached尽管是分布式缓存服务器，但是服务器端并没有分布式功能。各个memcached不会互相通信以共享信息。他的分布式主要是通过客户端来实现。

第二章 memcached内存管理

2.1 Slab Allocator内存管理

Memcached采用Slab Allocator来进行内存管理。

Slab Allocator基本原理：按照预先规定的大小，将分配的内存分割成特定长度的块。已完全解决内存碎片问题。

Slab Allocator缺点：由于分配的是特定长度的内存，因此无法有效利用分配的内存。例如将100字节的数据缓存到128字节的chunk中，剩余的28字节就浪费了。可以通过growth factor选项，调节slab class大小的差别。

2.2 memcached中的数据删除

删除数据时并不会真正从memcached中消失，memcached也不会释放已分配的内存。记录超时后，客户端无法查看该记录（透明的），其存储空间即可重复利用。

Memcached采用的是lazy expiration，内部不会监视记录是否过期，而是get时查看记录的时间戳，检查记录是否过期。

缓存容量满时的删除机制，需要考虑多种机制。一方面是按队列机制，一方面应该对应缓存对象本省的优先级，根据缓存对象的优先级进行对象的删除。

第三章 memcached分布式

3.1memcached分布式

Memcached虽然称为分布式缓存服务器，但是服务器端并没有分布式功能。Memcached的分布式完全由客户端实现。

例如：下面假设memcached服务器有node1～node3三台，应用程序要保存键名为“tokyo”“kanagawa”“chiba”“saitama”“gunma” 的数据。

首先向memcached中添加“tokyo”。将“tokyo”传给客户端程序库后，客户端实现的算法就会根据“键”来决定保存数据的memcached服务器。服务器选定后，即命令它保存“tokyo”及其值。同样，“kanagawa”“chiba”“saitama”“gunma”都是先选择服务器再保存。

接下来获取保存的数据。获取时也要将要获取的键“tokyo”传递给函数库。函数库通过与数据保存时相同的算法，根据“键”选择服务器。使用的算法相同，就能选中与保存时相同的服务器，然后发送get命令。只要数据没有因为某些原因被删除，就能获得保存的值。

这样，将不同的键保存到不同的服务器上，就实现了memcached的分布式。 memcached服务器增多后，键就会分散，即使一台memcached服务器发生故障无法连接，也不会影响其他的缓存，系统依然能继续运行。

第四章缓存多副本

4.1缓存失效情况

（1）缓存超时被移除

（2）缓存由于存储空间限制被移除

（3）由于缓存节点变化而导致的缓存失效

4.2缓存多副本作用

缓存多副本主要是用于在缓存数据时存放缓存的多个副本，以防止缓存失效，同时，缓存多个副本可以作分布式并行读。

第五章缓存的一致性问题

5.1缓存的一致性问题

对于读的情况下，如果存在数据变化，一种是同时更新缓存和数据库，另一种是直接对缓存进行失效处理。

缓存数据尽量只读，缓存本省不适合大量写和更新操作的数据场景。

第六章 memcached与spring整合

Memcached在项目中使用有两种方式，一种是使用工具类进行操作，另外一种是通过配置application.xml文件来进行操作。不论哪种方式，都需要先安装memcached.exe，启动服务后才可以在项目中进行操作。

6.1memcached.exe安装

（1）安装memcached.exe，解压后放在c盘的memcached文件下。

（2）cmd下，安装memcached

c:/memcached/memcached.exe –d install

（3）cmd下，启动memcached服务

c:/memcached/memcached.exe –d start

6.2使用工具类进行操作

（1）引入java_memcached-release_2.0.1.jar

（2）编写memcached工具类

  1 package com.cmcc.core.Util; 
  2 
  3 import java.util.Date;
  4 
  5 import com.danga.MemCached.MemCachedClient;
  6 
  7 import com.danga.MemCached.SockIOPool;
  8 
  9  
 10 
 11 public class MemcachedUtil {
 12 
 13    
 14 
 15     protected static MemCachedClient mcc = new MemCachedClient();
 16 
 17  
 18 
 19     protected static MemcachedUtil memCached = new MemcachedUtil();
 20 
 21  
 22 
 23    
 24 
 25     static {
 26 
 27       
 28 
 29        String[] servers = { "127.0.0.1:11211" };
 30 
 31        Integer[] weights = { 3 };
 32 
 33  
 34 
 35        //获取连接池的实例
 36 
 37        SockIOPool pool = SockIOPool.getInstance();
 38 
 39  
 40 
 41        //设置连接服务器和权重
 42 
 43        pool.setServers(servers);
 44 
 45        pool.setWeights(weights);
 46 
 47  
 48 
 49        pool.setInitConn(5);//设置初始连接数
 50 
 51        pool.setMinConn(5);//设置最小连接数
 52 
 53        pool.setMaxConn(250);//设置最大连接数
 54 
 55        pool.setMaxIdle(1000 * 60 * 60 * 6);//设置最大处理时间
 56 
 57  
 58 
 59        pool.setMaintSleep(30);//设置连接池守护线程的睡眠时间
 60 
 61  
 62 
 63        //设置TCP参数，连接超时
 64 
 65        pool.setNagle(false);
 66 
 67        pool.setSocketTO(3000);
 68 
 69        pool.setSocketConnectTO(0);
 70 
 71  
 72 
 73        //初始化并启动线程池
 74 
 75        pool.initialize();
 76 
 77  
 78 
 79        //压缩设置，超过指定大小的都压缩
 80 
 81        mcc.setCompressEnable(true);
 82 
 83        mcc.setCompressThreshold(64 * 1024);
 84 
 85     }
 86 
 87  
 88 
 89     /**
 90 
 91      * 构造函数
 92 
 93      *
 94 
 95      */
 96 
 97     protected MemcachedUtil() {
 98 
 99  
100 
101     }
102 
103  
104 
105     /**
106 
107      * 获取memcached实例
108 
109      *
110 
111      * @return
112 
113      */
114 
115     public static MemcachedUtil getInstance() {
116 
117        return memCached;
118 
119     }
120 
121  
122 
123     /**
124 
125      * 退出
126 
127      */
128 
129     public static void shutDown() {
130 
131        memCached.shutDown();
132 
133     }
134 
135  
136 
137     /**
138 
139      * 添加
140 
141      *
142 
143      * @param key
144 
145      * @param value
146 
147      * @return
148 
149      */
150 
151     public boolean add(String key, Object value) {
152 
153        return mcc.add(key, value);
154 
155     }
156 
157  
158 
159     public boolean add(String key, Object value, Date expiry) {
160 
161        return mcc.add(key, value, expiry);
162 
163     }
164 
165  
166 
167     public boolean replace(String key, Object value) {
168 
169        return mcc.replace(key, value);
170 
171     }
172 
173  
174 
175     public boolean replace(String key, Object value, Date expiry) {
176 
177        return mcc.replace(key, value, expiry);
178 
179     }
180 
181  
182 
183     /**
184 
185      * 根据键取值
186 
187      *
188 
189      * @param key
190 
191      * @return
192 
193      */
194 
195     public Object get(String key) {
196 
197        return mcc.get(key);
198 
199     }
200 
201  
202 
203     public static void main(String[] args) {
204 
205        MemcachedUtil cache = MemcachedUtil.getInstance();
206 
207        cache.add(" hello ", 234);
208 
209        System.out.print(" get value :  " + cache.get(" hello "));
210 
211     }
212 
213 }

（3）如果需要缓存自定义对象，则该类必须实现Serializable接口。

6.3 spring配置文件中进行配置

（1）引入java_memcached-release_2.0.1.jar

（2）编写memcache.properties文件

memcache.server=127.0.0.1:11211

memcache.weights=1

memcache.initConn=1

memcache.minConn=1

memcache.maxConn=50

memcache.maintSleep=3000

memcache.nagle=false

memcache.socketTO=3000

（3）修改spring配置文件

 1 <!-- 数据库配置文件读取 -->
 2 
 3 <bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> 
 4 
 5     <property name="order" value="1"/> 
 6 
 7     <property name="ignoreUnresolvablePlaceholders" value="true"/>
 8 
 9     <property name="locations"> 
10 
11         <list> 
12 
13             <value>classpath:com/cmcc/core/Config/database.properties</value>
14 
15             <value>classpath:com/cmcc/core/Log/memcache.properties</value>
16 
17         </list> 
18 
19       </property>
20 
21 </bean>

 1 <!-- memecached配置 -->
 2 
 3 <bean id="memcachedPool" class="com.danga.MemCached.SockIOPool" factory-method="getInstance"
 4 
 5       init-method="initialize" destroy-method="shutDown">
 6 
 7        <constructor-arg><value>memCachedPool</value></constructor-arg>
 8 
 9        <property name="servers"><list><value>${memcache.server}</value></list></property>
10 
11        <property name="weights"><list><value>${memcache.weights}</value></list></property>
12 
13        <property name="initConn"><value>${memcache.initConn}</value></property>
14 
15        <property name="minConn"><value>${memcache.minConn}</value></property>
16 
17        <property name="maxConn"><value>${memcache.maxConn}</value></property>
18 
19        <property name="maintSleep"><value>${memcache.maintSleep}</value></property>
20 
21        <property name="nagle"><value>${memcache.nagle}</value></property>
22 
23        <property name="socketTO"><value>${memcache.socketTO}</value></property>
24 
25 </bean>
26 
27  
28 
29 <bean id="memCacheClient" class="com.danga.MemCached.MemCachedClient">
30 
31         <constructor-arg><value>memCachedPool</value></constructor-arg>
32 
33 </bean>

（4）在业务逻辑中可以直接自动注入使用memCacheClient操作。