像对待数据库中的数据那样对待日志,对删务必敏感 本地删除 异地备份

像对待数据库中的数据那样对待日志,对删务必敏感

[root@a ~]# ll -as /data/visitlog/
total 52630052
20 drwxr-xr-x 2 nginx nginx 20480 Oct 15 00:00 .
4 drwxr-xr-x 12 root root 4096 Oct 12 09:41 ..
985872 -rw-r--r-- 1 nginx nginx 1009527916 Sep 18 23:59 visit-2018-09-18
1346020 -rw-r--r-- 1 nginx nginx 1378319378 Sep 19 23:59 visit-2018-09-19
1250328 -rw-r--r-- 1 nginx nginx 1280329392 Sep 20 23:59 visit-2018-09-20
1369172 -rw-r--r-- 1 nginx nginx 1402026444 Sep 21 23:59 visit-2018-09-21
1548520 -rw-r--r-- 1 nginx nginx 1585678868 Sep 22 23:59 visit-2018-09-22
1328632 -rw-r--r-- 1 nginx nginx 1360510981 Sep 23 23:59 visit-2018-09-23
1321628 -rw-r--r-- 1 nginx nginx 1353341507 Sep 24 23:59 visit-2018-09-24
1679996 -rw-r--r-- 1 nginx nginx 1720308093 Sep 25 23:59 visit-2018-09-25
1560552 -rw-r--r-- 1 nginx nginx 1597997752 Sep 26 23:59 visit-2018-09-26
1544816 -rw-r--r-- 1 nginx nginx 1581885507 Sep 27 23:59 visit-2018-09-27
1815720 -rw-r--r-- 1 nginx nginx 1859292019 Sep 28 23:59 visit-2018-09-28
2741468 -rw-r--r-- 1 nginx nginx 2807256234 Sep 29 23:59 visit-2018-09-29
2247692 -rw-r--r-- 1 nginx nginx 2301630011 Sep 30 23:59 visit-2018-09-30
2040428 -rw-r--r-- 1 nginx nginx 2089390614 Oct 1 23:59 visit-2018-10-01
2156160 -rw-r--r-- 1 nginx nginx 2207902395 Oct 2 23:59 visit-2018-10-02
1873876 -rw-r--r-- 1 nginx nginx 1918844644 Oct 3 23:59 visit-2018-10-03
1961620 -rw-r--r-- 1 nginx nginx 2008691908 Oct 4 23:59 visit-2018-10-04
1916092 -rw-r--r-- 1 nginx nginx 1962070436 Oct 5 23:59 visit-2018-10-05
1914748 -rw-r--r-- 1 nginx nginx 1960694119 Oct 6 23:59 visit-2018-10-06
1956248 -rw-r--r-- 1 nginx nginx 2003191142 Oct 7 23:59 visit-2018-10-07
2572468 -rw-r--r-- 1 nginx nginx 2634202239 Oct 8 23:59 visit-2018-10-08
2758136 -rw-r--r-- 1 nginx nginx 2824325952 Oct 9 23:59 visit-2018-10-09
2567976 -rw-r--r-- 1 nginx nginx 2629600805 Oct 10 23:59 visit-2018-10-10
2170540 -rw-r--r-- 1 nginx nginx 2222627612 Oct 11 23:59 visit-2018-10-11
2138972 -rw-r--r-- 1 nginx nginx 2190296747 Oct 12 23:59 visit-2018-10-12
2122564 -rw-r--r-- 1 nginx nginx 2173499577 Oct 13 23:59 visit-2018-10-13
2058104 -rw-r--r-- 1 nginx nginx 2107483397 Oct 14 23:59 visit-2018-10-14
1681680 -rw-r--r-- 1 nginx nginx 1722033649 Oct 15 18:31 visit-2018-10-15
[root@a ~]#

目前看,按之前的处理方式,需要将阿里云的2个服务(日志上传+dataworks处理日志写入mysql)再跑下,最后可能再写入mongo才结束;

由于访客日志被同事错误地全部删除,而不是在不影响磁盘空间的正常使用的情况下的最小化的本地删除且没有异地备份,故数据永久无法恢复。

原文地址:https://www.cnblogs.com/rsapaper/p/9792829.html