比古数据采集器 - 关于数据采集软件的一点思路 .

对于刚刚成立的小网站,需要大量数据补充。数据录入是个非常耗时而缓慢的过程。于是数据采集诞生了。

数据采集一般有以下两种方法:

1.get方式

直接通过URL访问数据。这个数据的获取是最简单的。就像读别人电脑上文本文件一样。很多网站都是这样显示的。一般用普通的webrequest 就可以读取。

2.post方式

这种一般需要传递用户的信息到后台进行验证。需要有POST动作。抓取比较麻烦。通常要采用webrequest + webbrower 结合使用。

由于采集的数据页面和格式会有一定的差别,为了高效的采集数据,该软件需要定制。根据采集的难度和精度,收费50-500元不等。有意可以留言我。

文章转载自:http://me-yes.cn/blog/?p=30

原文地址:https://www.cnblogs.com/gg_lihui/p/3396411.html