| 这个作业属于哪个课程 | https://edu.cnblogs.com/campus/fzzcxy/2018SE1 |
|---|---|
| 这个作业要求在哪里 | https://edu.cnblogs.com/campus/fzzcxy/2018SE1/homework/11250 |
| 作业目标 | 学会使用爬虫技巧获取云班课上的成绩 |
| 作业源代码 | https://gitee.com/xjjzzy/pair |
| 赵泽阳 | 学号：211803388 |
| 邱建杰 | 学号：211808332 |
| 需求分析 | cookie模拟登陆以及正则（预估） |
|---|---|
| 学习时间 | 1.5天 |
| 分析时间 | 4h |
| 编码时间 | 9h |
| 代码量 | 190行 |
一.我和他!!!
二.这次结对的过程！！！
三.项目需求以及分析
四.记录不会的知识的学习过程、记录修改优化的过程
由于是初学爬虫教程，所遇到的问题还是不少的，但经过两天的学习终是弄懂了不少。
【1】：首先就是解析html保存本地，分析页面代码。
依据html中课堂完成部分的class，来获得某个页面的urlElements es2 = element1.getElementsByAttributeValue("class", "interaction-row");
【2】：开始考虑的时候仅仅只考虑到了同学们已经参与课堂完成部分的经验值的提取，并没有考虑最终经验值为0（学生未参与这种情况的存在）导致开始的统计可能存在一些偏差。
【3】：这段代码分两段，前一段是模拟登陆，后一段是解析html主页，在这段代码中发起了两次请求，第一次请求是模拟登陆获取到 cookie，第二次请求时携带第一次模拟登陆后获取的cookie，这【1】：首先就是解析html保存本地，分析页面代码。
依据html中课堂完成部分的class，来获得某个页面的url
Elements es2 = element1.getElementsByAttributeValue("class", "interaction-row");
for (Element element2 : es2) {
if (element2.toString().contains("课堂完成部分")) {
//获得课堂完成活动页面的URL
String url = element2.attr("data-url");
}
}
}
【2】：开始考虑的时候仅仅只考虑到了同学们已经参与课堂完成部分的经验值的提取，并没有考虑最终经验值为0（学生未参与这种情况的存在）导致开始的统计可能存在一些偏差。样也可以访问需要登陆的页面，修改 main 方法
【4】：login 中获取到登录成功之后的cookies之后，构造访问个人中心的请求的问题也是这次作业过程的一点难点，通过云班课资源找到了一些请求的构造方法。
结对照片！
五.最终的结果和git记录
：git的记录过程：：
