java课程设计——博客作业教学数据分析系统（201521123083 戴志斌）

(题外话，终于可以用markdown建目录)

一、团队课程设计博客链接

网络爬虫技术，爬所有学生博客作业的分数链接,并用数据库表示

爬去每个人每次作业队的连接，成绩，提交时间以及将他们写入数据库。首先是数据的爬去，本来我的预想应该是访问成绩界面用正则匹配

图片.png

但是当我去访问的时候却找不到源代码来匹配，这时候我想到可能是利用AJAX来传递数据，于是抓了个包，发现

图片.png

这里面id和链接的地址一样

图片.png

所以就动态传进id。拿获取id 的方式就是通过

![Uploading 图片_059662.png . . .]

这样通过正则来实现匹配每次作业的链接就可以了。
开始写代码

图片.png

这里的任务是抓出每次作业的链接集合

图片.png

根据每次作业的链接匹配出每个人的成绩，提交时间等
然后建库

图片.png

然后代码实现，这里使用DAO模式

图片.png

#######测试与改进

数据库的链接信息采用配置文件

图片.png

采用多线程增加速度

图片.png

测试结果

图片.png

时间仓促，这周三个考试加课设，可能做得不是很理想，很多需求没时间实现。（强烈建议安排在20周那种考完试的，一身轻松来写代码）这是一个可以长期做下去的项目，后期可以继续改进
第一次尝试这么多人共同实现一个项目，各个分工，感觉到自己的JAVA知识还很浅，甚至还没入门，以后要学习的东西有很多