android 开发:网页爬虫获取腾讯财经滚动新闻

服务器端做爬虫我是使用Jsoup这个jar包来对网页源码进行分析,但是在使用getElementsByClass获取新闻列表的时候,却始终为空。我直接查看了网页源码,发现源码上根本没有新闻列表的信息。然后我使用firebug去分析新闻列表的ajax地址,直接访问改地址,Access denied。。。

使用firebug分析请求头信息发现居然还有我的qq号在Cookie属性里面,直接复制请求头的所有信息,放入HttpURLconnection的setProperty里面,再次访问,成功获取qq新闻列表的json格式信息。

原文地址:https://www.cnblogs.com/jackwuyongxing/p/4389092.html