C#制作网盘搜索工具(简单的爬虫）

最近学习C#编程，在网上发现一篇winform下制作百度网盘搜索器的文章，故而下载源码学习一二。无奈原博所用的网址失效，故而自己改写了网址和相关源代码，也进行了实现。因为初学，接触的知识较多，为免忘记，进行整理复习。

1.知识点：

思路：主要是利用HttpWebRequest，HttpWebResponse进行http模拟请求，然后利用HtmlAgilityPack+XPath语法对html dom进行元素获取，将截取到的相关内容在datagridview中展示，最后利用process.start()方法进行点击访问。

2.具体实现：

2.1关于请求头的获取：

本例子使用网址为：http://www.pansoso.com/

分析上述网址的请求头进行模拟：

查看具体请求头信息：

根据获取的request url分析出其请求地址的规律为：所搜索的关键字：hello直接利用get方法添加到了url的最后，其中页数规律为hello_1,hello_2。。。（每页十条记录）

2.2关于结果的获取：

结果的获取，直接利用对response网页的分析截取关键信息即可。

3.代码实现：

using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;

namespace 百度网盘资源搜索
{
class HttpHelper
{
   
    static readonly string urlTemplate = "http://www.pansoso.com/zh/{0}";
    public static string Requset(string key)
    { 
        string url = string.Format(urlTemplate, key);
        //Console.WriteLine(url);
        HttpWebRequest httpRequest = (HttpWebRequest)WebRequest.Create(url);
        httpRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8";
        httpRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36";
        httpRequest.Host = "www.pansoso.com";
        httpRequest.Referer = "http://www.pansoso.com/zh/" + Uri.EscapeUriString(key);
        try
        {
            HttpWebResponse httpResponse = (HttpWebResponse)httpRequest.GetResponse();
            Stream s = httpResponse.GetResponseStream();
            StreamReader sr = new StreamReader(s);
            string jsonString = sr.ReadToEnd();
           
            
            //Console.WriteLine(jsonString);
            //string jsonProcessed = null;
            //if ((jsonProcessed = JsonPreProcessing(jsonString)) != null)
            //{
             //  SearchResult searchResult = UtilityClass.GetObject<SearchResult>(jsonProcessed);
            //    return searchResult;
            //}
            return jsonString;
        }
        catch
        {
            return null;
        }
    }
    public static SearchResult dodata(string str)
    {
        SearchResult searchResult = UtilityClass.GetObject<SearchResult>(str);
        return searchResult;
        
    }
   
        //if (doc.DocumentNode.SelectNodes("//comment()") != null)
        //{
        //    foreach (var commet in doc.DocumentNode.SelectNodes("//comment"))
        //    {
        //        commet.Remove();
        //    }
        //}

   
    public static string JsonPreProcessing(string jsonString)
    {
        int startIndex = jsonString.IndexOf("(");
        if (startIndex > 0)
        {
            string json = jsonString.Substring(startIndex + 1);
            return "{"resources":" + json.Remove(json.Length - 3) + "}";
        }
        else
        {
            return null;
        }
    }
}
}

Utility.Class

using System;
using System.Collections.Generic;
using System.IO;
//using System.Linq;
using System.Runtime.Serialization.Json;
using System.Text;

namespace 百度网盘资源搜索
{
    class UtilityClass
    {
    public static T GetObject<T>(string json)
    {
        DataContractJsonSerializer serializer = new DataContractJsonSerializer(typeof(T));
        MemoryStream ms = new MemoryStream(Encoding.UTF8.GetBytes(json));
        T obj = (T)serializer.ReadObject(ms);
        return obj;
    }
    }
}

JSontoObject.cs

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;

namespace 百度网盘资源搜索
{
public class SearchResult
{
    public BDWPResource[] resources { get; set; }
}

public class BDWPResource
{
    public string title { get; set; }
    public string content { get; set; }
    public string unescapedUrl { get; set; }
}

}