windows下PostgreSQL数据库定时自动非全量备份及还原指南 【完整探索版】

一、环境及背景

1、环境

本文系统环境为windows7，pgsql版本为10.17。

2、背景

　　progreSQL的各种管理工具中对数据库的备份都是整库全量备份，而项目库中某几个表是只读表，而且这几个表的数据量巨大(上亿条，大约45G)。此前提下采用全量备份无疑会对服务器的存储空间提出较高的要求。在存储有限的条件下需要寻求一种仅对业务表(或者与业务联系较密切的表)进行定时备份的解决方案。

二、备份

打开win命里提示符终端，执行pg_dump备份命令，单表备份为例。

参数提前说明：

-U postgres 数据库用户名称
--role postgres 数据库用户角色
-f "E:Program FilesPostgreSQL10backup	est.backup" 备份文件输出位置
-d Test_BeidouVehicle 备份数据库BeidouVehicle
-t BVEFence备份数据库指定表BVEFence

其他参数详见【五、附录】。

1、第一次尝试

pg_dump -h localhost -p 5432 -U postgres --role postgres -F c -b -v -f "E:Program FilesPostgreSQL10backup	est.backup" -d Test_BeidouVehicle -t BVEFence

 

2、第二次尝试：指定pg_dump运行程序路径

"E:Program FilesPostgreSQL10inpg_dump.exe" -h localhost -p 5432 -U postgres  --role postgres -F c -b -v -f "E:Program FilesPostgreSQL10backup	est.backup" -d Test_BeidouVehicle -t BVEFence

 

3、第三次尝试：将table用双引号括起来

"E:Program FilesPostgreSQL10inpg_dump.exe" -h localhost -p 5432 -U postgres  --role postgres -F c -b -v -f "E:Program FilesPostgreSQL10backup	est.backup" -d Test_BeidouVehicle -t "BVEFence"

 

4、第四次尝试：查询后发现要转义 ”tableName”

"E:Program FilesPostgreSQL10inpg_dump.exe" -h localhost -p 5432 -U postgres  --role postgres -F c -b -v -f "E:Program FilesPostgreSQL10backup	est.backup" -d Test_BeidouVehicle -t "BVEFence"

 

输入密码，备份成功。

多个表的话，最后 -t table1  -t table2 追加即可。

四、还原

执行pg_restore命令，还原备份。此处的备份文件包含结构和数据。

1、第一次尝试

pg_restore -h localhost -p 5432  -d Test_BeidouVehicle -U postgres "E:Program FilesPostgreSQL10backup	est.backup"

2、第二次尝试：指定pg_restore的文件目录

"E:Program FilesPostgreSQL10inpg_restore.exe" -h localhost -p 5432 -d Test_BeidouVehicle -U postgres "E:Program FilesPostgreSQL10backup	est.backup"

输入口令，运行弹了3个警告。

这是因为，备份文件中包含数据库、表的结构及数据，前两个警告分别是数据库建库时已存在、表建表时已存在警告。第三个警告是因为：在表数据备份完后，数据并没做任务处理，全部数据都还存在，数据存在报的警告。

此时如果先清空数据，再还原第三个警告便不会再报。

3、第三次尝试：先清空BVEFence表数据，再执行2中语句

 

我们看到第三个警告就没有了。前两个警告没有问题。

四、备份的自动化

在第<二>部分中我们成功备份了表的数据及结构，但是过程中需要手动输入数据库口令即密码，要自动化处理的话肯定不行。首先要解决口令输入问题。接下来要解决的是定时执行问题。

1、postgreSQL在windows下备份自动输入密码

①第一次尝试：参照五、附录中，链接选项增加参数 -w

"E:Program FilesPostgreSQL10inpg_dump.exe" -h localhost -p 5432 -U postgres -w --role postgres -F c -b -v -f "E:Program FilesPostgreSQL10backup	est.backup" -d Test_BeidouVehicle -t "BVEFence"

 

因为没输入密码，故连接失败。这里-w仅仅是不提示，不代表不输入。

②第二次尝试： 修改数据库的pg_hba.conf配置文件内容，可以这样设置针对某个ip进行trust。

# IPv4 local connections:
host all  all   127.0.0.1/32  md5

改成：

host all  all   127.0.0.1/32  trust

改外之后重启pgsql服务(当然如果方便的话直接重启计算机也行)，再执行命令。

 

依然链接失败。

③将语句写入批处理文件，并执行。

bat文件内容：

@echo off & setlocal EnableDelayedExpansion
"E:Program FilesPostgreSQL10inpg_dump.exe" -h localhost -p 5432 -U postgres -w --role postgres -F c -b -v -f "E:Program FilesPostgreSQL10backup	est.backup" -d Test_BeidouVehicle -t "BVEFence"
pause

依然链接失败。

④在bat文件中设置数据库链接密码 set PGPASSWORD=password

bat完整内容：

@echo off & setlocal EnableDelayedExpansion
::数据库密码
set PGPASSWORD=1234
"E:Program FilesPostgreSQL10inpg_dump.exe" -h localhost -p 5432 -U postgres -w --role postgres -F c -b -v -f "E:Program FilesPostgreSQL10backup	est.backup" -d Test_BeidouVehicle -t "BVEFence"
pause 

终于成功了!

接下来又分别测试了PGPASSWORD参数不区分大小写。

然后将上边改②中修改的配置参数修改回来，重启。再执行依然成功。

去掉参数中的-w 依然不提示输入口令。

set PGPASSWORD=password 先执行后，可以理解为PGPASSWORD以环境变量的形式存在，后续需要输入PGPASSWORD的时候自动获取。

2、定时执行

采用windows定时任务的方式，脱离项目独立运行。

首先打开Windows系统的“开始”菜单，从中依次点选“程序”/“附件”/“系统工具”/“任务计划程序”命令。

①常规信息：任务名及安全选项。

 

②触发器：设置触发条件

 

③操作：指向编辑好的批处理文件，此处以“测试.bat”为测试脚本。成功会在其所在文件夹下传建一个名称以“test_yyyy-MM-dd_hhmm”为格式的文件夹。

值得注意的是：脚本文件中不能存在pause语句，否则执行完一次后会一直阻塞在任务队列中。

 

④条件：根据需要选择条件

 

⑤设置：“请求后任务还在运行，强行将其停止”如果发生以外上一次没执行成功，后一次执行可以将其清理掉。不然会一直阻塞在任务队列中。

⑥确定：当前账号如果没有设置密码，可能会报错，类似于策略保护之类的，应该也可以在策略中配置以绕过，此处不做尝试。

 

⑦结果：

 

注：实际配置根据具体情况去配置。

------------------------- 以上--------------------------

五、附录

pg_dump命令参数说明

pg_dump 把一个数据库转储为纯文本文件或者是其它格式.

用法:

  pg_dump [选项]... [数据库名字]

一般选项:
  -f, --file=FILENAME          输出文件或目录名
  -F, --format=c|d|t|p         输出文件格式 (定制, 目录, tar)
                               明文 (默认值))
  -v, --verbose                详细模式
  -V, --version                输出版本信息，然后退出
  -Z, --compress=0-9           被压缩格式的压缩级别
  --lock-wait-timeout=TIMEOUT  在等待表锁超时后操作失败
  -?, --help                   显示此帮助, 然后退出

控制输出内容选项:
  -a, --data-only              只转储数据,不包括模式
  -b, --blobs                  在转储中包括大对象
  -c, --clean                  在重新创建之前，先清除（删除）数据库对象
  -C, --create                 在转储中包括命令,以便创建数据库
  -E, --encoding=ENCODING      转储以ENCODING形式编码的数据
  -n, --schema=SCHEMA          只转储指定名称的模式
  -N, --exclude-schema=SCHEMA  不转储已命名的模式
  -o, --oids                   在转储中包括 OID
  -O, --no-owner               在明文格式中, 忽略恢复对象所属者

  -s, --schema-only            只转储模式, 不包括数据
  -S, --superuser=NAME         在明文格式中使用指定的超级用户名
  -t, --table=TABLE            只转储指定名称的表
  -T, --exclude-table=TABLE    不转储指定名称的表
  -x, --no-privileges          不要转储权限 (grant/revoke)
  --binary-upgrade             只能由升级工具使用
  --column-inserts             以带有列名的INSERT命令形式转储数据
  --disable-dollar-quoting     取消美元 (符号) 引号, 使用 SQL 标准引号
  --disable-triggers           在只恢复数据的过程中禁用触发器
  --exclude-table-data=TABLE   不转储指定名称的表中的数据
  --inserts                    以INSERT命令，而不是COPY命令的形式转储数据
  --no-security-labels         不转储安全标签的分配
  --no-tablespaces             不转储表空间分配信息
  --no-unlogged-table-data     不转储没有日志的表数据
  --quote-all-identifiers      所有标识符加引号，即使不是关键字
  --section=SECTION            备份命名的节 (数据前, 数据, 及 数据后)
  --serializable-deferrable    等到备份可以无异常运行
  --use-set-session-authorization
                               使用 SESSION AUTHORIZATION 命令代替
                ALTER OWNER 命令来设置所有权

联接选项:
  -h, --host=主机名        数据库服务器的主机名或套接字目录
  -p, --port=端口号        数据库服务器的端口号
  -U, --username=名字      以指定的数据库用户联接
  -w, --no-password        永远不提示输入口令
  -W, --password           强制口令提示 (自动)
  --role=ROLENAME          在转储前运行SET ROLE

如果没有提供数据库名字, 那么使用 PGDATABASE 环境变量
的数值.

报告错误至 <pgsql-bugs@postgresql.org>.