ubuntu下编译、运行larbin

   larbin是一个法国人写的网络爬虫,在一台普通pc机上,只要带宽足够,可以一天爬500万网页。下面简单介绍在Ubuntu下的编译运行。

    通过新立得或者命令行(sudo apt-get install softname)安装gcc、g++、make、xutils-dev。

   注释掉adns下internal.h的569-571行。

    下载larbin(http://larbin.sourceforge.net/index-eng.html),解压缩后进入该目录执行

  

   ./configure

   make

  通过./larbin执行。

 

  默认情况下larbin不执行任何输出,可通过修改larbin.conf和option.h修改配置参数,部分参数亦可通过修改types.h文件。

 修改option.h和types.h文件需要重新编译。

 另:我通过Cygwin在windows上成功编译了larbin,虽然可以成功运行但是却不抓网页,初步判断是因为laibin所使用的adns异步DNS解析库不能解析,不知道是Cygwin的问题还是windows需要什么特别的设置~~~~~

原文地址:https://www.cnblogs.com/phoenixnudt/p/2382203.html