PHP爬虫之queryList

根据queryList 自己花了一个下午的时间写了一个爬星座数据的类，完全手写。附上代码

  1 <?php
  2 
  3 require '../vendor/autoload.php';
  4 use QLQueryList;
  5 class phpCrawl
  6 {
  7     //在程序执行的时候，就先判断一下是否爬过数据了，因为这个数据是每日才会更新一次。所以判断条件就是，今天是否执行过，如果今天已经执行过程序，那么今天无论之后是否执行程序，都不允许爬取数据了。直接抛出异常【爬取也是重复的，没意义】，只有今天第一次执行程序，才有爬取的意义。然后是否爬取每周，每月，每年的数据在程序里需要另行判断。
  8     protected static $crawlStatus = false;  //false表示没有爬取， 为了让程序每次执行的时候，状态保持住，需要使用静态变量。 如果今天爬取过了，将状态改为true。
  9 
 10     // 对待爬取的url进行区分，例如：年度的只爬起一次即可，每月的，每周的，url列表进行优化
 11     public $fortune_name = ['aries', 'taurus', 'gemini', 'cancer', 'leo', 'virgo', 'libra', 'scorpio', 'sagittarius', 'capricorn', 'aquarius', 'pisces'];
 12     public $baseUrl = 'https://www.xzw.com/fortune/';  //列表url，内容页的url只需要在此基础上进行拼接
 13     public $rules = [];  //爬虫规则
 14     public $data = [];
 15     private static $execTime;  //存储每天程序第一次执行的时间，并保存在session中。当然如果这个时间想要永久保存还是写在文件里比较好，毕竟session有过期时间的，虽然可以设置永久，但是感觉不太好吧，默认session有效期1440秒，24分钟
 16 
 17     public function __construct(array $rules)
 18     {
 19         session_start();
 20         $this->rules = $rules;
 21         //程序开始初始化的时候，就要判断时间并设置crawlStatus，是否能够爬虫
 22         $this->checkDate();
 23     }
 24 
 25     public function run()
 26     {
 27         // 如果今天爬过数据了，就终止执行。 走if判断也行，走异常也行，二选一
 28         // if($this->getCrawlStatus() === true){
 29         //     return '今天已经爬过数据了，请明天再爬~';
 30         // }
 31         try{
 32             if($this->getCrawlStatus() === true)
 33                 //试试异常，此处抛出异常，然后在run方法里捕获异常。异常不会终止程序执行，exit，die终止程序执行。
 34                 throw new Exception("今天已经爬过数据了，请明天再爬~", 1);
 35         }
 36         catch(Exception $e){
 37             echo $e->getMessage();
 38             exit; //不加exit，程序会继续向下执行的
 39         }
 40 
 41         $_SESSION['execTime'] = time();   //记录程序每天第一次执行的时间
 42         //开始爬
 43         $this->startCrawl($this->linkUrl());
 44         //处理数据
 45         $result = $this->handleData();
 46         
 47         return $result;
 48     }
 49 
 50     //设置爬虫状态
 51     public function setCrawlStatus($bool)
 52     {
 53         self::$crawlStatus = $bool;
 54     }
 55 
 56     public function getCrawlStatus()
 57     {
 58         return self::$crawlStatus;
 59     }
 60 
 61     /**
 62      * 爬虫规则，返回一个对象
 63      * @param rules array 爬虫规则
 64      * @return object
 65      */
 66     public function rule()
 67     {
 68         return QueryList::rules($this->rules);
 69     }
 70 
 71     //开始爬取页面数据
 72     public function startCrawl($urls)
 73     {
 74         foreach ($urls as $url) {
 75             $this->data[] = $this->rule()
 76                 ->get($url)  //queryList的方法
 77                 ->query()
 78                 ->getData();
 79             // 释放资源，销毁内存占用
 80             $this->rule()->destruct();
 81         }
 82     }
 83 
 84     //处理数据
 85     public function handleData()
 86     {
 87         $pattern = '/[0-9]{2}/';
 88         $res = [];
 89         foreach ($this->data as $key => $value) {
 90             foreach ($value as $k => $v) {
 91                 $res[$key][$k]['overall_opportunities'] = $this->extract_num($pattern, $v['overall_opportunities'], 'overall_opportunities', $key, $k);
 92                 $res[$key][$k]['love_fortune'] = $this->extract_num($pattern, $v['love_fortune'], 'love_fortune', $key, $k);
 93                 $res[$key][$k]['underprise'] = $this->extract_num($pattern, $v['underprise'], 'underprise', $key, $k);
 94                 $res[$key][$k]['wealth'] = $this->extract_num($pattern, $v['wealth'], 'wealth', $key, $k);
 95                 $res[$key][$k]['overall_opportunities_t'] = $v['overall_opportunities_t'];
 96                 $res[$key][$k]['love_fortune_t'] = $v['love_fortune_t'];
 97                 $res[$key][$k]['underprise_t'] = $v['underprise_t'];
 98                 $res[$key][$k]['wealth_t'] = $v['wealth_t'];
 99             }
100         }
101         return $res;
102     }
103 
104     //检测是不是今天已经爬过了
105     protected function checkDate()
106     {
107         self::$execTime = isset($_SESSION['execTime']) ? $_SESSION['execTime'] : 0;
108         if(date('Y-m-d', self::$execTime) == date('Y-m-d')){
109             //今天执行过了
110             $this->setCrawlStatus(true);
111             
112         }else{
113             $this->setCrawlStatus(false);
114         }
115     }
116 
117     //拼接要爬取的url，根据年月周
118     public function linkUrl()
119     {
120         $urls = [];
121         foreach ($this->fortune_name as $value) {
122             $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/');
123         }
124         if(!$this->isSameWeek(self::$execTime, time())){
125             //不在同一周
126             foreach ($this->fortune_name as $value) {
127                 $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/').'/'.'2.html';
128             }
129         }
130         //判断是否在同一月
131         if(date('Ym', self::$execTime) != date('Ym', time())){
132             //不在同一月
133             foreach ($this->fortune_name as $value) {
134                 $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/').'/'.'3.html';
135             }
136         }
137         return $urls;
138     }
139 
140     //判断是否在同一周, 返回true表示同一周，false不在同一周
141     public function isSameWeek($pretime,$aftertime)
142     {
143         $monday = strtotime('last Monday', $pretime); //离当前时间戳$pretime最近的上一个周一的时间戳，如果当前时间$pretime是周一，$monday存储的仍然是上周一
144         //判断如果当前给定时间戳就是周一，那么就返回当前时间戳给$monday
145         if(date('w', $pretime) == 1){
146             $monday = $pretime;
147         }
148         $sunday = $monday+24*3600*7; //周日时间戳
149         if($aftertime >= $sunday){
150             return false;
151         }
152         
153         if( $aftertime <= $monday ){
154             return false;
155         }
156         return true;
157     }
158 
159     //处理运势指数，把属性值转换成指数
160     public function extract_num($pattern, $string)
161     {
162         preg_match($pattern, $string, $match);
163         switch($match[0]){
164             case 16:
165                 $num = 1;
166                 break;
167             case 32:
168                 $num = 2;
169                 break;
170             case 48:
171                 $num = 3;
172                 break;
173             case 64:
174                 $num = 4;
175                 break;
176             case 80:
177                 $num = 5;
178                 break;
179         }
180         return $num;
181     }
182 }
183 
184 //
185 $rule = [
186     'overall_opportunities'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(1) > span > em', 'style'),
187     'love_fortune'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(2) > span > em', 'style'),
188     'underprise'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(3) > span > em', 'style'),
189     'wealth'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(4) > span > em', 'style'),
190     'overall_opportunities_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(1) > span','text'),
191     'love_fortune_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(2) > span','text'),
192     'underprise_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(3) > span','text'),
193     'wealth_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(4) > span','text'),
194 ];
195 $ql = new phpCrawl($rule);
196 $data = $ql->run();
197 print_r($data);

View Code

爬到的数据打印如下，存储在数组里了。下一步就可以存在数据库里了。

View Code

安装queryList使用composer，queryList v4版本。PHP>=7.0

composer require jaeger/querylist

如果爬取一些js 动态渲染的页面，使用phantomJS来辅助完成。参考链接：https://blog.kieng.cn/1088.html