本地开发一个新闻站的数据分析平台，花三天时间终于成功部署在linux平台上。
几年前，实施过linux的web服务器，对linux的操作只了解一些皮毛，这次部署也是按部就班、战战兢兢，参考了许多网友大牛的技术资料，也踩过了好多坑，现在整理一下。
基础条件：centos7.8
1.系统更新，安装基础环境
yum update -y yum -y groupinstall "Development tools" yum install openssl-devel bzip2-devel expat-devel gdbm-devel readline-devel sqlite-devel
2.安装python3.6 (和开发环境保持一致)
cd /usr/local wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz
如报错可能还需要
yum install gcc
./configure --prefix=/usr/local/python3 ./configure --enable-optimizations make make install
3.建立虚拟目录和应用目录
mkdir -p /data/env
mkdir -p /data/wwwroot
4.激活虚拟环境
pip3 install virtualenv
virtualenv --python=/usr/local/bin/python3 itda2
cn /data/env/itda2/bin/ source activate
5.虚拟环境中安装django和uwsgi
pip3 install django (安装了最新版，3.0.8) pip3 install uwsgi 留意：uwsgi要安装两次，先在系统里安装一次，然后进入对应的虚拟环境安装一次。
6.建立django的测试环境会出现
raise ImproperlyConfigured('SQLite 3.8.3 or later is required (found %s).' %Database.sqlite_version)
解决办法：https://www.cnblogs.com/hszstudypy/p/11512244.html
cd /usr/local
wget https://www.sqlite.org/2020/sqlite-autoconf-3320300.tar.gz tar zxvf sqlite-autoconf-3250300.tar.gz
cd sqlite-autoconf-3250300 sudo ./configure sudo make && make install
更改全局的sqlite版本并验证
## 查看有哪几个 sqlite3 find /usr/ -name sqlite3 ## 查看旧版本Centos7自带的sqlite3版本 /usr/bin/sqlite3 -version 3.7.17 2013-05-20 00:56:22 ## 最新安装的sqlite3版本 /usr/local/bin/sqlite3 -version 3.27.2 2019-02-25 16:06:06 # 备份旧的sqlite3 mv /usr/bin/sqlite3 /usr/bin/sqlite3_old # 软链接将新的sqlite3设置到/usr/bin目录下 ln -s /usr/local/bin/sqlite3 /usr/bin/sqlite3 # 查看当前全局sqlite3的版本 sqlite3 --version 3.27.2 2019-02-25 16:06:06 ＃将路径传递给共享库 # 设置开机自启动执行，可以将下面的export语句写入 ~/.bashrc 文件中，如果如果你想立即生效，可以执行source ~/.bashrc 将在每次启动终端时执行 export LD_LIBRARY_PATH="/usr/local/lib" # 查看python环境中sqlite3 是否已经更新 [root@localhost]# python3 >>> import sqlite3 >>> sqlite3.sqlite_version '3.27.2'
或者在django中的settings.py是注释掉sqlite部分也可以正常启动，如果你不计划用sqlite的话。
7.安装nginx
cd /usr/local wget http://nginx.org/download/nginx-1.19.0.tar.gz tar -zxvf nginx-1.13.7.tar.gz mv nginx-1.13.7 nginx cd nginx ./configure make make install
在/usr/local/nginx/conf/中先备份一下nginx.conf文件，以防意外。
cp nginx.conf nginx.conf.bak
然后打开nginx.conf，把原来的内容删除，直接加入以下内容，完全参考网友建议，但有一个坑
worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; server { listen 80; server_name www.django.cn; charset utf-8; location / { include uwsgi_params; uwsgi_pass 127.0.0.1:8997; uwsgi_param UWSGI_SCRIPT mysite.wsgi; uwsgi_param UWSGI_CHDIR /data/wwwroot/mysite; } location /static/ { alias /data/wwwroot/mysite/static/; #应该是完整路径，data前应该用/,我原先参考的资料中没有 } } }
其实原来的conf也可以使用，只需要修改几个关键地方即可，其实的基本都被注释了
进入/usr/local/nginx/sbin/目录，启动nginx
./nginx
8.迁移数据平台和爬虫程序
在本地将依赖生成文本
pip freeze > requirements.txt
本地分别打包平台和程序的rar，并上传到/data/wwwroot
系统中安装rarlinux-x64-5.3.0
在/data/wwwroot中
rar x itda.rar
rar x syxw.rar
9.修改配置
程序中修改原来win方式的路径
在/data/wwwroot/itda2/itda2/setting.py中增加，方便以后nginx对静态资源的支持
STATIC_ROOT = '/data/wwwroot/itda2/static/'
在/data/wwwroot/itda2/itda2.xml中创建
<uwsgi> <socket>127.0.0.1:8997</socket><!-- 内部端口，自定义 --> <chdir>/data/wwwroot/itda2/</chdir><!-- 项目路径 --> <module>itda2.wsgi</module> <processes>4</processes> <!-- 进程数 --> <daemonize>uwsgi.log</daemonize><!-- 日志文件 --> <home>/data/env/itda2</home> #这是另外一个坑，使得uwsgi -x itda2.xml </uwsgi>
其中的home项是后面加的，网上大多数是用ini的方式来支持，我想xml方式应该也是可以，实践证明，两个是同理的，只是书写的调用的方式不同，都是用来定义应用的虚拟环境路径
10.测试程序
利用python3 manage.py runserver 0.0.0.0:81
报错不能装postsql的库psycopg2
只能二进制装
https://pypi.org/project/psycopg2-binary/#files
下载2.8.5 寻找对应的python版本号
psycopg2_binary-2.8.5-cp36-cp36m-manylinux1_x86_64.whl (2.9 MB)
在虚拟环境中安装
pip install psycopg2_binary-2.8.2-cp37-cp37m-manylinux1_x86_64.whl
问题解决
11.安装mongodb(爬虫数据保存)
参考：https://www.jianshu.com/p/994bc7b19b26
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-4.2.8.tgz
下载了最新版
$ tar zxvf mongodb-linux-x86_64-rhel62-4.2.8.tar.gz $ mv mongodb-linux-x86_64-rhel62-4.2.8 mongodb
vi /etc/profile
在 export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL 一行的上面添加如下内容:
#Set Mongodb
export PATH=/usr/mongodb/bin:$PATH
保存后，使配置生效
$ cd ~
$ source /etc/profile
$ cd /usr/local/mongodb
$ touch mongodb.conf
$ mkdir db
$ mkdir log
$ cd log
$ touch mongodb.log
配置mongodb
vim /usr/mongodb/mongodb.conf
添加以下内容
port=27017 #端口 dbpath= /usr/mongodb/db #数据库存文件存放目录 logpath= /usr/mongodb/log/mongodb.log #日志文件存放路径 logappend=true #使用追加的方式写日志 fork=true #以守护进程的方式运行，创建服务器进程 maxConns=100 #最大同时连接数 noauth=true #不启用验证 journal=true #每次写入会记录一条操作日志（通过journal可以重新构造出写入的数据）。 #即使宕机，启动时wiredtiger会先将数据恢复到最近一次的checkpoint点，然后重放后续的journal日志来恢复。 storageEngine=wiredTiger #存储引擎有mmapv1、wiretiger、mongorocks bind_ip = 0.0.0.0 #这样就可外部访问了，例如从win10中去连虚拟机中的MongoDB
设置权限
$ cd /usr/local/mongodb $ chmod 777 db $ chmod 777 log
启动
$ cd ~
$ mongod -f /usr/local/mongodb/mongodb.conf
本地使用MongoDB Compass，远程连接并创建新数据库，一切顺利，舒服
在远程使用过程 中，可以临时将系统防火墙关闭，减少干扰，后期再调整，风险自己把握
12.安装redis(分布式爬虫使用)
You need tcl 8.5 or newer in order to run the Redis test
安装redis6.0.5 版本太新的了，报错，gcc版本低不匹配
https://blog.csdn.net/zhangchaoyang/article/details/104456978
查看gcc版本，果然低
gcc -v
wget http://mirror.centos.org/centos/7/os/x86_64/Packages/tcl-8.5.13-8.el7.x86_64.rpm rpm -ivh tcl-8.5.13-8.el7.x86_64.rpm
make && make test 过程挺慢的
13.django的样式问题
1、在settings.py尾部：
STATIC_ROOT = '/data/wwwroot/itda2/static' #设置一个目录，把后台CSS样式放到这个目录里
2、收集CSS样式，在终端输入：
python manage.py collectstatic
运行这个命令之后，就会自动把后台CSS样式收集到/static/目录下。
3、重启服务，成功。
14.启动
uwsgi
cd /data/wwwroot/itda2
uwsgi -x itda2.xml
nginx
cd /usr/local/nginx/sbin/
./nginx
redis
cd /usr/local/redis/bin
./redis-server redis.conf
mongodb
cd /usr/local/mongodb
./mongod -f /usr/local/mongodb/mongodb.conf
大致的安装过程记录如上
在实际操作中，环境都安装好之后，需要反复启动程序，观察uwsgi.log，nginx/error.log，日志文件往往可以给你很好的提示信息。
pip install psycopg2_binary-2.8.2-cp37-cp37m-manylinux1_x86_64.whl