搭建 Watchdog（信息收集）

安装所需环境

详细参考：https://github.com/CTF-MissFeng/Watchdog

#  安装 Python
sudo apt-get install python3 python3-pip -y
#  安装 Python 相关环境
sudo apt install build-essential libssl-dev libffi-dev python3-dev -y

#  安装 Nmap
sudo apt install nmap -y
#  安装 Chromium 浏览器
sudo apt-get install chromium-browser -y

#  下载环境
cd /
sudo git clone https://github.com/CTF-MissFeng/Watchdog.git
#  安装文件内的库
sudo pip3 install -r /Watchdog/requirements.txt

安装数据库

#  安装 PostgreSQL数据库
sudo apt install postgresql postgresql-contrib -y
#  指定 postgres 用户打开客户端工具 psql
sudo -u postgres psql
#  设置 postgres 用户密码（设置完后按 Ctrl + z 退出）
password postgres

#  备份 PostgreSQL数据库 配置文件
sudo cp -a /etc/postgresql/10/main/postgresql.conf /etc/postgresql/10/main/postgresql.conf.bak_2021.2.8

#  设置 PostgreSQL 数据库允许远程访问
sudo sed -i "60i listen_addresses = '*'" /etc/postgresql/10/main/postgresql.conf
sudo sed -i "88i host  all  all 0.0.0.0/0 md5" /etc/postgresql/10/main/pg_hba.conf

#  查看是否写入
sed -n "58,62p" /etc/postgresql/10/main/postgresql.conf
sudo sed -n "86,89p" /etc/postgresql/10/main/pg_hba.conf

修改 Watchdog 配置文件

修改 web 数据库连接设置

#  备份配置文件
sudo cp -a /Watchdog/web/config.py /Watchdog/web/config.py.bak_2021.2.8
#  修改 web 数据库连接设置
sudo sed -i 's/postgres:w+/postgres:admin/g' /Watchdog/web/config.py
sudo sed -i 's/127.0.0.1/src/127.0.0.1/g' /Watchdog/web/config.py

修改 client 数据库连接配置

#  备份配置文件
sudo cp -a /Watchdog/client/database.py /Watchdog/client/database.py.bak_2020.2.8
#  修改 client 数据库连接配置
sudo sed -i 's/postgres:w+/postgres:admin/g' /Watchdog/client/database.py
sudo sed -i 's/127.0.0.1/src/127.0.0.1/g' /Watchdog/client/database.py

#  重启数据库服务
sudo systemctl restart postgresql

添加 shodan api

#  备份配置文件
sudo cp -a /Watchdog/client/subdomain/oneforall/config.py /Watchdog/client/subdomain/oneforall/config.py.bak_2021.2.8
#  在域名扫描的工具模块内添加 shodan api（将此处命令中的 test 替换成 api）
sudo sed -i 's/xxxxxx/test/g' /Watchdog/client/subdomain/oneforall/config.py

启动环境

#  修改测试账户的密码为12345678（测试账户密码需大于或等于 8 位，否则将无法登陆 web）
sudo sed -i 's/qazxsw@123/12345678/g' /Watchdog/app.py
#  配置环境变量
cd /Watchdog
export FLASK_APP=app.py:APP
#  查看帮助文档
sudo flask --help
#  创建数据库
sudo flask createdb
#  创建测试账户（如没修改账号跟密码则默认为：root/qazxsw@123）
sudo flask createuser
#  启动服务（需确保端口没被占用）
sudo flask run -p 8080 -h 0.0.0.0

#  后台运行（需确保端口没被占用）
sudo nohup flask run -p 8080 -h 0.0.0.0 > web.log 2>&1 &
#  查看日志
cat web.log

运行脚本

添加厂商

运行脚本前需添加厂商

子域名扫描

# 启动子域名扫描
cd /Watchdog/client/subdomain/oneforall
sudo python3 -u sbudomain_run.py

#  后台运行
sudo nohup python3 -u sbudomain_run.py > dns.log 2>&1 &
# 查看日志
cat dns.log

端口扫描

# 启动端口扫描
cd /Watchdog/client/portscan
sudo python3 -u portscan_run.py

#  后台运行
sudo nohup python3 -u portscan_run.py > port.log 2>&1 &
#  查看日志
cat port.log

url 扫描

# 启动url扫描
cd /Watchdog/client/urlscan/url_probe  
sudo python3 -u urlscan_run.py

#  后台运行
sudo nohup python3 -u urlscan_run.py > url.log 2>&1 &
#  查看日志
cat url.log

xray

# 启动xray
cd /Watchdog/client/urlscan/xray
sudo python3 -u xray_run.py

#  后台运行
sudo nohup python3 -u xray_run.py > xray.log 2>&1 &
#  查看日志
cat xray.log

重置环境

#  重置数据库
sudo flask resetdb
#  创建数据库
sudo flask createdb
#  创建测试账户
sudo flask createuser
#  启动服务（需确保端口没被占用）
sudo flask run -p 8080 -h 0.0.0.0

#  后台运行（需确保端口没被占用）
sudo nohup flask run -p 8080 -h 0.0.0.0 > web.log 2>&1 &
#  查看日志
cat web.log