solrcloud集群部署

Zookeeper安装

Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.

注意防火墙和selinux，关闭后进行如下配置,由于是Java写的，solr和tomcat所在的机器要安装jdk。

安装jdk

1.先查询系统已经安装的
[root@test /]# rpm -qa|grep java
tzdata-java-2013g-1.el6.noarch
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

2.卸载
[root@test /]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
[root@test /]# rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
[root@test /]# rpm -e --nodeps tzdata-java-2013g-1.el6.noarch

3.解压缩
[root@test software]# tar -xzvf ./jdk-7u51-linux-x64.tar.gz

4.移动到想要放置的目录
[root@test software]# mv ./jdk1.7.0_51/ /usr/local/jdk7

5.设置环境变量
[root@test software]# vi /etc/profile
按i键，在末尾增加
export JAVA_HOME=/usr/local/jdk7
export JRE_HOME=/usr/local/jdk7/jre
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export JAVA_HOME JRE_HOME PATH CLASSPATH
然后按esc，输入:wq，保存退出。

立即生效
[root@test software]# source /etc/profile

6.查看安装
[root@test jdk7]# java -version
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build 1.7.0_51-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)

版本号

zookeeper-3.4.6.tar.gz,jdk-7u51-linux-x64.tar.gz。

单机模式

点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:

1 tickTime=2000    
2 dataDir=/data/zookeeper/data    
3 dataLogDir=/data/zookeeper/logs    
4 clientPort=4180   　

参数说明:

  • tickTime: zookeeper中使用的基本时间单位, 毫秒值.
  • dataDir: 数据目录. 可以是任意目录.
  • dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
  • clientPort: 监听client连接的端口号.

至此, zookeeper的单机模式已经配置好了. 启动server只需运行脚本:

  1 bin/zkServer.sh start  

Server启动之后, 就可以启动client连接server了, 执行脚本:

 1 bin/zkCli.sh -server localhost:4180  

伪集群模式

将zookeeper的目录拷贝3份:

1 |--zookeeper0  
2 |--zookeeper1  
3 |--zookeeper2

更改zoo_sample.cfg为zoo.cfg

1 tickTime=2000    
2 initLimit=5    
3 syncLimit=2    
4 dataDir=/data/zookeeper/data5 dataLogDir=/data/zookeeper/logs    
6 clientPort=4180  
7 server.0=127.0.0.1:8880:7770    
8 server.1=127.0.0.1:8881:7771    
9 server.2=127.0.0.1:8882:7772

新增了几个参数, 其含义如下:

  • initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower. initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime, 即5*2000=10000ms=10s.
  • syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.
  • server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口. 由于配置的是伪集群模式, 所以各个server的B, C参数必须不同.

参照zookeeper0/conf/zoo.cfg, 配置zookeeper1/conf/zoo.cfg, 和zookeeper2/conf/zoo.cfg文件. 只需更改dataDir, dataLogDir, clientPort参数即可.

在之前设置的dataDir中新建myid文件, 写入一个数字, 该数字表示这是第几号server. 该数字必须和zoo.cfg文件中的server.X中的X一一对应.
/Users/apple/zookeeper0/data/myid文件中写入0, /Users/apple/zookeeper1/data/myid文件中写入1, /Users/apple/zookeeper2/data/myid文件中写入2.

分别进入/Users/apple/zookeeper0/bin, /Users/apple/zookeeper1/bin, /Users/apple/zookeeper2/bin三个目录, 启动server.
任意选择一个server目录, 启动客户端:

bin/zkCli.sh -server localhost:4180

集群模式

集群模式的配置和伪集群基本一致.
由于集群模式下, 各server部署在不同的机器上, 因此各server的conf/zoo.cfg文件可以完全一样.
下面是一个示例:

1 tickTime=2000    
2 initLimit=5    
3 syncLimit=2    
4 dataDir=/data/zookeeper1/data    
5 dataLogDir=/data/zookeeper1/logs    
6 clientPort=4180  
7 server.1=10.1.39.43:2888:3888  
8 server.2=10.1.39.47:2888:3888    
9 server.3=10.1.39.48:2888:3888

示例中部署了3台zookeeper server, 分别部署在10.1.39.43, 10.1.39.47, 10.1.39.48上. 需要注意的是, 在目/data/zookeeper1/data/目录下创建myid文件中的数字必须不同.

10.  1.39.43 server的myid为1, 10.1.39.47 server的myid为2, 10.1.39.48 server的myid为3.

 常用命令如下：

启动
1) ./bin/zkServer.sh start
查看状态
2) ./bin/zkServer.sh status
重启
3) ./bin/zkServer.sh restart
关闭
4) ./bin/zkServer.sh stop

在其中一台用客户端链接： 

./bin/zkCli.sh -server IP:端口号

查看链接日志

cat zookeeper.out(与启动命令在同一目录下)

正常启动效果如下：

1。

  由于我这里是集群环境所以是Mode:leader(领导者)

2.

    Mode:follower(跟随者)

3.

   Mode:follower(跟随者)

集群同步配置：

/var/local/server/zookeeper/bin/zkCli.sh -server  IP:2181   连接此机器客户端

create /project  zookeeper_project  创建节点

get /project 查询节点

同时去其他两台机器查询，不管follower,leader,都会同步，到此集群搭建成功。

solr介绍

1.

Solr也是Apache下一个项目，它是使用java开发的，它是基于Lucene的全文搜索服务器。Solr如何进行索引和搜索索引：客户端（可以是浏览器可以是java程序）发送post请求到solr服务器，发给solr服务器一个文档（xml、json），就可以进行一个添加索引删除索引、修改索引的操作。搜索：客户端（可以是浏览器可以是java程序）发送get请求到solr服务器，请求solr服务器给它响应一个结果文档（xml、json），程序员拿到这些文档就可以对其进行解析。进行视图渲染。

solr和lucene的区别

2.

solr和lucene的区别Lucene是一个全文检索的工具包，它是一堆jar包，不能单独运行，即不能独立对外提供服务。Solr是一个全文搜索服务器，它可以独立运行，它能独立对外提供搜索和索引服务。使用lucene开发站内搜索的话，程序员编写的代码量会比较大，而且在搜索和索引流程得考虑他的性能。使用solr开发站内搜索的话，程序员只需编写少量的代码，快速的搭建出来站内搜索功能。而且性能方面不需要程序员去考虑，solr对它已经进行了处理。通常solr会结合一个web容器进行使用，他的默认是通过jetty这个容器启动，(jetty,是一个比tomcat轻量的webserver),这次我使用的是tomcat,把solr放在tomcat里进行使用。

3.

solr安装及配置

此次安装所需要的包solr-5.4.0/，apache-tomcat-6.0.45.tar.gz

1.

tar xvfz solr-5.4.0.tgz

2.复制solr-5.4.0/server/solr-webapp/webapp到tomcat下的webapps目录下，改名为solr。

cp -r /home/developer/solr5/solr-5.4.0/server/solr-webapp/webapp /home/developer/tomcat7/webapps/
mv webapp solr

3.将solr-5.4.0/server/lib/ext/目录下的所有jar包复制到tomcat/webapps/solr/WEB-INF/lib/下

cp -r /home/developer/solr5/solr-5.4.0/server/lib/ext/* /home/developer/tomcat7/webapps/solr/WEB-INF/lib/

4.将solr-5.4.0/server/solr目录复制到tomcat目录下并重命名为solr_home(存放检索数据)

cp -r /home/developer/solr5/solr-5.4.0/server/solr/ /home/developer/tomcat7/
mv solr solrhome

5.将solr-5.4.0/server/resouce下的log4j.properties文件复制到tomcat/weapps/solr/WEB-INF/classes目录下，如果没有则新建

cp /home/developer/solr5/solr-5.4.0/server/resources/log4j.properties /home/developer/tomcat7/webapps/solr/WEB-INF/classes/
1

6.将solr-5.4.0/dist目录下的solr-dataimporthandler-5.4.0.jar和solr-dataimporthandler-extras-5.4.0.jar复制到tomcat/webapps/solr/WEB-INF/lib/下，这个是为了以后导入数据库表数据

cp /home/developer/solr5/solr-5.4.0/dist/solr-dataimporthandler-5.4.0.jar /home/developer/tomcat7/webapps/solr/WEB-INF/lib/ 
cp /home/developer/solr5/solr-5.4.0/dist/solr-dataimporthandler-extras-5.4.0.jar /home/developer/tomcat7/webapps/solr/WEB-INF/lib/

7.mkdir /usr/local/solr/solrhome  (solrhome可以随意创建)

8.修改solrhome路径

web.xml:
cd /usr/local/tomcat/webapps/solr/WEB-INF/web.xml
 
<env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>/usr/local/solr/solrhome/</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>

9.

设置solr 日志路径： 在此文件下设置log4j.properties
访问地址http://10.143.47.33:8080/solr/admin.html#/ ----solr的控制界面

10.整合solr和tomcat

11、修改solrhome下的solr.xml

12、使用zookeeper统一管理配置文件。需要把solrhome下的collection1/的conf文件夹上传至zookeeper。

执行下边的命令将/home/solr/conf下的配置文件上传到zookeeper（此命令为单条命令，虽然很长o(╯□╰)o）。此命令在solr-4.10.3/example/scripts/cloud-scripts/目录下：

./zkcli.sh -zkhost 192.168.25.150:2181,192.168.25.150:2182,192.168.25.150:2183 -cmd upconfig -confdir /usr/local/solrcloud/solrhome1/collection1/conf -confname myconf

13. 如果务器出现报错，一定首先要看日志，以下为在启动时出现的报错。、

14.告诉solr服务zookeeper集群的位置。

修改每一台solr的tomcat 的 bin目录下catalina.sh文件中加入DzkHost指定zookeeper服务器地址：

JAVA_OPTS="-DzkHost=192.168.25.150:2181,192.168.25.150:2182,192.168.25.150:2183"

（可以使用vim的查找功能查找到JAVA_OPTS的定义的位置，然后添加）

 

通常zookeeper集群的机器个数为单数，leade,是在集群中通过投票的方式选出来的，具体的原理与架构，请看我的另一篇博客http://www.cnblogs.com/huangxu/p/5985274.html,如有错误及时通知，欢迎大家交流讨论QQ291716830。

　　

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/huangxu/p/5630188.html