系统结构综合实践-第四次作业（5.18更新）

1.使用Docker-compose实现Tomcat+Nginx负载均衡

（1）docker-compose.yml文件还有nginx配置文件的编写

首先看到本次项目的结构

Tomcat是一个web应用服务器，index.html用于显示登录到服务器上时页面显示的内容，用于区分不同的Tomcat。

docker-compose.yml

version: "3"
services:
    nginx:
        image: nginx
        container_name: ex4ngx
        ports:
            - "80:80"
        volumes:
            - ./nginx/default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
        depends_on:
            - tomcat01
            - tomcat02
            - tomcat03

    tomcat01:
        image: tomcat
        container_name: ex4tc1
        volumes:
            - ./tomcat1:/usr/local/tomcat/webapps/ROOT # 挂载web目录

    tomcat02:
        image: tomcat
        container_name: ex4tc2
        volumes:
            - ./tomcat2:/usr/local/tomcat/webapps/ROOT

    tomcat03:
        image: tomcat
        container_name: ex4tc3
        volumes:
            - ./tomcat3:/usr/local/tomcat/webapps/ROOT

nginx配置文件

upstream tomcats {
    server ex4tc1:8080; # 主机名:端口号
    server ex4tc2:8080; # tomcat默认端口号8080
    server ex4tc3:8080; # 默认使用轮询策略
}

server {
    listen 80;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

运行docker-compose up并登录到localhost查看配置是否正确

显示的内容为Tomcat1里面index.html的内容，说明配置没有问题 ，可以开始接下来的测试了。

（2）负载均衡测试：轮询策略

由于一遍遍刷新浏览器有点麻烦，在加上Ubuntu的Linux系统自带python3，所以我们编写一个简单的python脚本用于测试负载均衡的轮询策略。

testBalance1.py

import requests

url="http://localhost"

for i in range(0,10):
	reponse=requests.get(url)
	print(reponse.text)

使用终端运行脚本查看结果

(3)负载均衡测试：权重策略

修改defaul.conf文件然后重启nginx

upstream tomcats {
    server ex4tc1:8080 weight=5; # 主机名:端口号
    server ex4tc2:8080 weight=3; # tomcat默认端口号8080
    server ex4tc3:8080 weight=2; # 默认使用轮询策略
}

server {
    listen 80;
    server_name localhost;

    location / {
        proxy_pass http://tomcats; # 请求转向tomcats
    }
}

testBalance2.py

import requests

url="http://localhost"

context={}
for i in range(0,100):
	response=requests.get(url)
	
	if response.text in context:
		context[response.text]+=1
	else:
		context[response.text]=1

print(context)

可以看到在100次请求返回的结果中，与我们在nginx配置文件中的权重的比值是基本一致的（5:3:2)。

2.使用Docker搭建大数据集群环境

（1）首先进入到Ubuntu容器中

（2）更新系统源，下载vim和sshd

在bashrc文件末尾加上

/etc/init.d/ssh start

自动开启sshd服务器

(3)配置ssh无密码连接本地sshd服务

ssh-keygen -t rsa #一直按回车键即可
cat id_rsa.pub >> authorized_keys

（4）安装JDK

下载jdk用时接近50分钟，坚持就是胜利，奥里给~

vim ~./bashrc 在文件末尾配置java环境变量

检查环境变量是否配置成功

（5）保存安装完JDK的镜像文件

（6）安装Hadoop

进入到安装好JDK的Ubuntu容器当中

docker run -it -v /home/wayne/ex4-3:/root/build --name ubuntu-jdkinstalled ubuntu/jdkinstalled
# -v 挂载

将预先下载好的压缩包放到创建的目录（容器宿主机共享目录）下以便后续安装

cd /root/build
tar -zxvf hadoop-3.1.3.tar.gz -C /usr/local
cd /usr/local/hadoop-3.1.3
./bin/hadoop version # 验证安装

(7)配置Hadoop集群

先进入配置文件存放目录：

cd /usr/local/hadoop-3.1.3/etc/hadoop

hadoop_env.sh

vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ #任意位置添加

core-site.xml

<?xml version="1.0" encoding="UTF-8" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/usr/local/hadoop-3.1.3/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<configuration>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/namenode_dir</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop-3.1.3/datanode_dir</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

mapred-site.xml

<?xml version="1.0" ?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl" ?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=/usr/local/hadoop-3.1.3</value>
    </property>
    <property>
      	<name>mapreduce.map.memory.mb</name>
      	<value>2048</value>
	</property>
	<property>
      	<name>mapreduce.reduce.memory.mb</name>
      	<value>2048</value>
	</property>

</configuration>

由于后面运行实例是发现出现内存不足的问题，后面两个property内容是教程中没有的，额外配置的。

yarn-site.xml

<?xml version="1.0" ?>
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodename.vmem-pmem-ratio</name>
        <value>2.7</value>
    </property>
</configuration>

修改脚本

先进入脚本文件存放目录：

cd /usr/local/hadoop-3.1.3/sbin

在start-dfs.sh和 stop-dfs.sh文件中的function{}后添加：

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh和 stop-yarn.sh文件中的function{}后添加：

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

（8）保存配置好Hadoop的Ubuntu容器

（9）运行Hadoop集群

打开三个终端

# 第一个终端
docker run -it -h master --name master ubuntu/hadoopinstalled
# 第二个终端
docker run -it -h slave01 --name slave01 ubuntu/hadoopinstalled
# 第三个终端
docker run -it -h slave02 --name slave02 ubuntu/hadoopinstalled

修改/etc.hosts

为三台主机配置对方的地址信息，他们才能找到彼此。三个终端分别修改/etc/hosts:

vim /etc/hosts # 查看各终端的IP并修改

内容均修改成如下形式即可，多余的可以删去：

172.17.0.2      master
172.17.0.3      slave01
172.17.0.4      slave02

测试ssh

我们可以用如下命令来检测下master是否可以连上slave01和slave02

ssh slave01
ssh slave02

修改workers文件

vim /usr/local/hadoop-3.1.3/etc/hadoop/workers # 旧版为slaves

将localhost修改为：

slave01
slave02

在master节点上

cd /usr/local/hadoop-3.1.3
bin/hdfs namenode -format # 格式化文件系统
sbin/start-dfs.sh # 开启NameNode和DataNode服务
sbin/start-yarn.sh # 开启ResourceManager和NodeManager服务
jps # 查看服务状态

在slave01上：

在slave02上：

说明分布式文件系统hdfs正确的启动了！！！

继续在master节点上输入：

./bin/hdfs dfs -mkdir -p /user/root/input
./bin/hdfs -put ./etc/hadoop/*.xml /user/root/input # 将xml复制到input下，作为示例程序输入
./bin/hdfs dfs -ls /user/root/input

这里说明一下由于后面在测试实例时发现/user/hadoop/input不能正确的找到文件，故改为/user/root/input

这里沿用的是发现这个bug前的图片

（10）运行Hadoop示例程序

./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+' # 运行示例
./bin/hdfs dfs -cat output/*

3. 使用Docker-compose部署javaweb运行环境

使用的是作业博客中提供的项目进行Java-web的部署

修改IP地址

为项目配置nginx反向代理

在原先的docker-compose.yml文件的基础上做一定的修改

version: '3'
services:
  tomcat:
    image: tomcat:7
    hostname: lzz
    container_name: lzz
    ports:
     - "5050:8080"
    volumes:
     - "$PWD/webapps:/usr/local/tomcat/webapps"
    networks:
      webnet:
        ipv4_address: 15.22.0.15
  mymysql:
    build: .
    image: mymysql:test
    container_name: mymysql
    ports:
      - "3309:3306"
    command: [
            '--character-set-server=utf8mb4',
            '--collation-server=utf8mb4_unicode_ci'
    ]
    environment:
      MYSQL_ROOT_PASSWORD: "123456"
    networks:
      webnet:
        ipv4_address: 15.22.0.6
  nginx:
      image: nginx
      container_name: "nginx-to-tomcat"
      ports:
          - 8080:8080
      volumes:
          - ./default.conf:/etc/nginx/conf.d/default.conf # 挂载配置文件
      tty: true
      stdin_open: true
      networks:
       webnet:
        ipv4_address: 15.22.0.7
networks:
 webnet:
   driver: bridge
   ipam:
     config:
       - subnet: 15.22.0.0/24      

然后就可以使用

localhost:8080/ssmgrogshop_war

登录到项目中

登录成功，说明nginx配置没有问题

遇到的问题

1.

显示input的路径错误

解决办法

将/user/hadoop/input目录改为/user/root/input就可以正确的找到路径了

2.

显示所需的虚拟内存不足

解决办法

首先，尝试调高虚拟内存

参考了博客对于yarn-site.xml配置的介绍

https://blog.csdn.net/u010670689/article/details/78204557

加上最后一个property

	<property>
        <name>yarn.nodename.vmem-pmem-ratio</name>
        <value>2.7</value>
   </property>

运行之后还是一样的报错，于是调整mapred-site.xml的配置

加上两个property

	<property>
      	<name>mapreduce.map.memory.mb</name>
      	<value>2048</value>
	</property>
	<property>
      	<name>mapreduce.reduce.memory.mb</name>
      	<value>2048</value>
	</property>

参考了博客对于mapred-site.xml配置的介绍

https://www.cnblogs.com/yjt1993/p/9476573.html

这里配置每个map Task和每个reduce Task所需的内存量

配置完成后成功运行！

这里每次调整配置文件时都需要先停止hdfs然后再重新启动，三个节点都要调整

#先停止hdfs
sbin/stop-all.sh
#再重新启动
sbin/start-dfs.sh
sbin/start-yarn.sh

3.

tomcat无法连接到数据库

解决办法：

首先查看数据库的日志：

docker logs 容器名

发现是docker-entrypoint.sh权限不够导致无法登录

接下来回到主目录下，给项目增加权限:

docker-compose down
docker rmi 数据库镜像ID
sudo chmod 777 项目文件夹名

再重新compose-up问题就解决了

总结一哈

1.什么是war包

这是在学习javaweb时查阅资料看到的，觉得写的不错，放在这里。

war是一个可以直接运行的web模块，通常用于网站，打成包部署到容器中。以Tomcat来说，将war包放置在其webapps目录下，然后启动Tomcat，这个包就会自动解压，就相当于发布了。

war包是Sun提出的一种web应用程序格式，与jar类似，是很多文件的压缩包。war包中的文件按照一定目录结构来组织。根据其根目录下包含有html和jsp文件，或者包含有这两种文件的目录，另外还有WEB-INF目录。通常在WEB-INF目录下含有一个web.xml文件和一个classes目录，web.xml是这个应用的配置文件，而classes目录下则包含编译好的servlet类和jsp，或者servlet所依赖的其他类（如JavaBean）。通常这些所依赖的类也可以打包成jar包放在WEB-INF下的lib目录下。

简单来说，war包是JavaWeb程序打的包，war包里面包括写的代码编译成的class文件，依赖的包，配置文件，所有的网站页面，包括html，jsp等等。一个war包可以理解为是一个web项目，里面是项目的所有东西。

2.花费的时间

没有具体的计算过

查阅资料+实验+debug+写博客大约用了26小时
(星期一又折腾了一天TAT)