更新日志(建议升级到2017.1.18a) && 更新程序的方法

更新程序的步骤:

1,在控制面板里点击备份当前数据库文件到磁盘,把当天获取的信息从内存写到磁盘/存储卡。
2,下载最新版的源码

wget -O "infopi.zip" "https://github.com/animalize/infopi/archive/master.zip"

3,解压源码,出提示后输入A覆盖所有文件

unzip infopi.zip

4,sudo reboot重启系统

备注:

如果是2016.07.20以前安装的,且使用了regex模块,需要升级regex模块,升级方法见下文。

如果是2015.05.09以前安装的,请注意解压出来的目录名有变,从infopi/改名为infopi-master/,可照此文重新部署一番。注意备份cfg目录和database目录。

如果是2014.10.28以前安装的,需要安装tornado模块,安装方法见下文。

2017.1.26a

新增list_callback回调代码,整个列表作为infos变量传入list_callback。

callback代码:新增便利函数funcs.datetime(),返回当前日期时间的一个NamedTuple。

2017.1.18a

callback代码:使用一个funcs对象汇总所有便利函数,如:funcs.hasher、funcs.unixtime。注:旧的方式将仍然可用。

callback代码:新增两个便利函数,见此文callback部分的表格:

  1. funcs.resub,用正则表达式的替换功能处理字符串。
  2. funcs.research,用正则表达式在字符串中查找,找到返回True,没找到返回False。

给信息源增加max_len、max_db字段,分别用于控制:获取条数、数据库保留条数,见此文

这些worker(html_re、html_json、rss_atom)会删除文本中的U+200B(零宽空格),确保正常处理新浪微博

2016.12.17

Python 3.6.0的sqlite3模块有bug,改动程序使之能在Python 3.6.0运行。

html_re可以捕获内容到temp属性,这和html_json保持一致。

子信息源可以不指定worker,此时使用父信息源的worker。

增强test_source.py的功能。

电脑版页面的左侧目录,每隔5分钟用ajax显示异常数。

版块信息页面,使用ajax提交刷新信息。

增加一个紧凑数据库主键的小工具。基本没用,只是防备出现极端情况。

2016.07.20

重新加载配置时,不再获取所有信息源,仅获取新增、修改过、刷新间隔改变的信息源。

重新加载配置时,不再读取sqlite3数据库。

在版块信息页面,可以刷新一个版块的信息源。

改进PAD版、手机版的配色。

改进编码字典。

如果使用了regex模块(新的正则表达式引擎),现在要求regex版本不小于2016.07.14,Linux下用此命令升级regex模块:

sudo pip3.4 install -U regex

Windows下用此命令升级regex模块:

pip install -U regex

2016.04.07

增加一个worker:html_re_rev,用法和html_re完全相同,最终获得一个逆顺序的html_re列表。

修复:极小概率下rss_atom解析XML文件失败。

改善:信息源出错时的流程处理及提示信息。

2015.12.27

优先使用regex(Version 1模式)作为正则表达式引擎。详见此文的regex模块介绍。

listall显示最后一条信息的获取时间,用于筛查长久没更新的信息源。

2015.10.31d

新增一个用户选项:不在列表里显示异常信息,防止用户被频繁的异常信息打扰。用法见演示配置文件的admin.txt。

手机版、大屏手机版:如果有异常信息,在版块目录显示一个链接,可跳转查看。

改进“web端异常记录文件”的显示,并可清空已有记录。

记录不正常的登录信息到“web端异常记录文件”,提醒有黑客暴力试探密码。

2015.09.20

关闭wz_tooltip.js的调试模式。

优先使用cchardet模块做编码检测。先尝试import cchardet,再尝试import chardet。

(cchardet比以前的chardet性能更快、占用内存更小。需要另外安装,见此文

2015.08.15a

用户配置里的刷新时间,可以进行四则运算,比如24 * 7表示刷新间隔为7天,10 / 60则表示10分钟。

pad版、大屏手机版不再使用交替的背景颜色。

2015.07.29

改进html_json,更全面的用法见演示配置里的park:yuanby。

在管理员的控制面板可单独刷新异常信息源。

简易PAD版改为大屏手机版,并可设置每页显示数目,设置方法见演示配置。

调整网页tooltip的配色。

防止内容过长把html表格撑开。

2015.07.16

增加一个worker:html_json,用于从json提取信息。用法类似于html_re,见演示配置里的book:sinashuxun。

callback回调代码增加unixtime(string)函数,用于把unix时间戳转化为日期时间字符串。

可以单独刷新指定信息源。

2015.07.10a

信息源可以从父信息源继承callback代码。

普通账号的控制面板,不再显示程序启动时间和配置加载时间。

修正worker的两个decorator,自定义worker时可以复用已有worker的函数。

加上简易pad版的链接。

callback回调代码增加hasher(string)函数,用于计算字符串的散列值,返回一个散列值的字符串。

2015.06.26d

增加PAD版页面。

(可以设置PAD版每页显示的信息数目,详见/document/demo_cfg.zip里的config.ini和admin.txt)

(想调整字体大小,在pad.html里修改body{-webkit-text-size-adjust的两个值,但不是对所有浏览器都有效)

还增加了一个简易PAD版(大屏手机也可用),但没加链接,登录后访问http://127.0.0.1:5000/p即可。

callback函数增加posi变量,详见此文

listall.html显示共有多少用户。

半年(180天)前的获取时间显示为“年-月-日”。

异常信息前面显示一个e以示区分

修复6月引入的一个bug:无法保存web端异常记录文件。

2015.06.12a

增加:“挂起”。挂起之后,后端进程的定时器不再执行任何任务,用户只能进行web浏览。

增加:“数据库维护间隔时间”。适用于在电力不稳定的环境下使用tmpfs。

(以上两点的用法详见document/demo_cfg.zip里的config.ini)

增强:大大改进编码检测

增加:用户配置里,刷新时隔允许用小数(单位小时)

增加:weberr.txt里记录超时的任务

2015.06.06

增加:以https协议运行web服务器

增加:查看信息源的“最近有效刷新时间”

优化:异常信息的显示

增强:内部处理数据时使用令牌

polish

2015.06.01

增加“手动执行数据库每日维护”

polish

2015.05.25a

每日数据库维护时,增加删除每个信息源的多于一定数目的旧信息。(详见演示配置的config.ini)

更新演示配置demo_cfg.zip

优化html

2015.05.23

信息源的<url>标签支持errors属性,用法和Python解码的errors参数相同:

<url errors='strict'> 这是默认值,表示对解码错误零容忍,将引发一个异常

<url errors='ignore'> 忽略解码错误

<url errors='replace'> 解码出错时用?替换

2015.05.10a

新增:查看全部启用的信息源

修正:当database目录中无数据库文件、并且当前数据库没有改变时,不会备份到磁盘。

细微优化

2015.02.24

改进:解文本编码时的异常处理

2015.01.25

增强获取数据时的健壮性

2015.01.22a

修正:小概率情况下web端出现异常

其它:优化性能

2015.01.14

公共账号、普通账号也显示异常信息

2014.12.12

一些细微修改

2014.11.19

修正:显示的刷新间隔可能有误

修正:处理异常信息时可能出错

2014.11.08

修正:错误地处理异常信息。这个错误已经影响到正常使用了,真抱歉。

2014.11.06

一堆小改进

2014.10.31

修正:每月最后一天载入配置会出错

2014.10.28

使用tornado代替flask内置的wsgi服务器,据文档描述后者可用于开发调试、但不适合用在最终产品里。

以前InfoPi偶尔出现无法响应http请求的现象、只能重启系统,换成tornado后这个问题被解决了。

这次升级需要安装tornado,在linux下安装tornado的命令:

sudo pip3.4 install tornado

在windows下安装tornado的命令:

pip install tornado

2014.10.21

增强载入信息源定义时的编码检测能力

修改了html界面

2014.10.18

html_re增加自动拼接url的选项urljoin

(给maprules的url元素加上urljoin='true'属性即可自动拼接url)

2014.10.15

1、再修正:去除重复suid时的bug

2、修正:执行任务列表可能不完全

2014.10.14a

1、修正:去除重复suid时的bug

2、限制一段时间内的登录尝试次数,防止暴力试探密码。

3、整理控制面板页面

2014.10.8

rss_atom默认使用source.name作为信息的author,这个行为与html_re一致。

rss_atom增加use_feed_author选项,可以使用item自身提供的出处作为author,适用于聚合类的feed。

2014.10.6

fetcher可以下载deflate压缩的网页

2014.10.5

1、如果安装了第三方模块lxml,可以解析一些有缺陷的xml文件。

安装第三方模块的方法见此文:http://www.cnblogs.com/infopi/p/4007089.html

2、fetcher可以下载重定向时要求cookies的网络文件。

2014.10.3

如果安装了第三方模块chardet,可以自动检测网页编码

2014.10.1

修正:无法获取atom的链接

原文地址:https://www.cnblogs.com/infopi/p/4004818.html