搜索程序

一、引言

  古语有云:“活到老学到老”。表达出一种“生命不止,学习不止”的学习进取精神,是一种乐观的激励!作为程序员更应该如此,否则就会被淘汰。今天我所要讲的不是如何去学习,而是怎么在网上找到我们所需求的资源。

二、百度网盘搜索方法

  找资源的方法有很多,如:百度,谷歌搜索。而我讲的是如何搜索“百度网盘”里面的资源。

  具体方法:在搜索引擎中搜索:site:pan.baidu.com 关键词,如下图。亲测必应谷歌可以。

  

三、写了一个程序

  为了自己搜索方便,索性写了一个程序去爬取必应的搜索结果,如下图。演示地址:http://139.129.12.162/ResourcesCrawl

  

四、程序介绍

   1、通过抓包工具,分析必应搜索的url,如下图。我们最终可以获取到:http://cn.bing.com/search?q=关键词&first=第几条开始

   2、向此url(http://cn.bing.com/search?q=site:pan.baidu.com 关键词&first=第几条开始)发起Http请求(GET方式),得到html,通过正则表达式和xPath解析源代码,提取信息。

  3、代码概览。

  

*DotNet.Http.Core:Http请求专用库。

*Resouces.Crawl.Common:一些.Net扩展方法。

*Resource.Crawl.Services:解析Html源代码,并返回信息的库。

*Resource.Crawl.Web:展示层。

五、源码下载(Visual Studio 2013)

  百度网盘搜索程序

原文地址:https://www.cnblogs.com/Leo_wl/p/5037538.html