玩世不恭----准备篇

先介绍下自己,从事Net软件工程师8年有余,前面几年一直在ERP,金融软件等传统领域徘徊,直到一次偶然的机会接触创业,到一事无成,血本无归后,发现自己的思想还是跟不上这般聪明人的套路。然后就走上了移动互联网的不归路。

废话不多说,接下来讲点重点,为什么叫玩世不恭,因为很多东西我都喜欢自己动手,这样就会发现一些很好玩的东西,今天以及下面讲的这一系列都是我最近完成的这个App的一些问题解决和有意思的趣事。

我很早之前就接触磁力,磁力搜索等,发现很不方便,需要下载,才能播放,文件很大,下载很费劲,等我下载下来以后,我已经没有兴趣观看了,所以老歪脑筋想着,能不能自己做一款 磁力搜索,在线播放的软件,于是开始了资料收集。我开始找了很多磁力搜索的网站,

比如:http://www.yunbosou.cc   http://www.btboot.com    https://cn.torrentkitty.tv/

这中间就走了很多弯路,开始想着怎么把这些数据搞到手,后面想了想,玩互联网的人大部分不能这么搞,用得用共享的心态去做,然后我就用了HtmlAgilityPack 用来抓取,爬虫数据。每次用户搜索,我就从我的接口中去爬虫,不做数据库,完全爬虫这些网站的数据,根据Hash去重,然后接口反馈出来。这样一来,我这个App就完成了我认为比较重要的一步。数据已经有了。

爬虫部分Demo代码:

  

HtmlWeb webClient = new HtmlWeb();

  HtmlDocument doc = webClient.Load(dthyunbosouurl);

  var rootNode = doc.DocumentNode;

  HtmlNodeCollection categoryNodeList = rootNode.SelectNodes("//html[1]/body[1]/div[@id='wrapper']/div[@id='container']/div[@class='main']/ul[@class='mlist']/li");

      if (categoryNodeList != null)

            {

                foreach (var item in categoryNodeList)

                {

                    List<string> AHref = GetTagsValue(item.InnerHtml, "href");

                    if (AHref.Count > 0)

                    {

                        if (AHref[0].IndexOf("http:") <= -1)

                        {

                            AHref[0] = "http://www.yunbosou.cc/" + AHref[0];

                        }

                        GetChild(AHref[0]);

                    }

                }

            }

准备篇就讲那么多,其实,写起来貌似就那么几句话,前期准备的时候,各个网站去找资料,参考一下有没有同类的App,磁力解析怎么玩,怎么搜索,到整出磁力数据的由来,希望能有人支持我,把整款App的经历,全写出来。

福利App QQ交流群:485247202

原文地址:https://www.cnblogs.com/maxiaoming/p/7410530.html