5组Alpha冲刺5/6

一、基本情况

队名：奶茶命运共同体

组长博客：https://www.cnblogs.com/pat-chou-li/p/15563768.html

小组人数：9

二、冲刺概况汇报

吴振溢：

  • 过去两天完成了哪些任务

    • 省份政策热词排名及占比表组件封装。

    • 展示GitHub当日代码/文档签入记录

  • 接下来的计划

    • 模拟接口注入数据。

  • 还剩下哪些任务

    • 接口接入

  • 燃尽图

  • 遇到了哪些困难

    dataV自带chart数据结构冗余复杂

  • 有哪些收获和疑问

    进一步学习了dataV的使用。

    抽象数据结构并封装

  • PSP & 学习进度条（学习进度条每周追加）

    PSP：

    PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
    Planning 计划
    · Estimate · 估计这个任务需要多少时间 5 5
    Development 开发
    · Analysis · 需求分析 (包括学习新技术) - -
    · Design Spec · 生成设计文档 - -
    · Design Review · 设计复审 - -
    · Coding Standard · 代码规范 (为目前的开发制定合适的规范) - -
    · Design · 具体设计 - -
    · Coding · 具体编码 120 80
    · Code Review · 代码复审 10 10
    · Test · 测试（自我测试，修改代码，提交修改） 10 10
    Reporting 报告
    · Test Repor · 测试报告 - -
    · Size Measurement · 计算工作量 - -
    · Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 5 5
    · 合计 150 110

    学习进度表：

    第N次 新增代码（行） 累计代码（行） 本次学习耗时（小时） 累计学习耗时（小时） 重要成长
    1 168 168 2.5 2.5 完成标题和财政收入排名图
    2 262 430 2 4.5 完成政策总数数字翻牌器
    3 215 645 2 6.5 完成全国高频政策词汇排名动态轮播图
    4 122 767 2 8.5 完成全国热词TOP5动态环图
    5 144 911 2.5 11 完成省份政策热词排名及占比表

黄朝威：

  • 过去两天完成了哪些任务

    • 对浙江省接口的重新分析，整合有效参数尝试爬取有效数据

    • 对上海市接口的分析，尝试爬取有效数据以及

    • 展示GitHub当日代码/文档签入记录

  • 接下来的计划

    • 对于浙江省爬取中获得的经验推广至剩余省份

  • 还剩下哪些任务

    • 各种省份及其部门的数据规范爬取。
    • 对应部分省份的不同地级市的数据爬取。

  • 燃尽图

  • 遇到了哪些困难

    浙江省的爬取又给我上了一堂课，之前是爬取过所有的数据，经过分析之前的爬取结果后发现数据缺失了非常多，后来对每次爬取相同页数发现一个问题，尽管爬取参数一致，但返回的数据不完全一致，经过不断调整参数和删除无用头后确认应该就是返回不同数据，部分重复数据可能在不同请求中复现，这将导致重复数据抓取，而原先的请求可能又有不同的数据，这使得要获得完整性数据将有挑战性。

  • 有哪些收获和疑问

    • 又又又进一步加强了Debugger能力，进一步加强了对PyCharm各种工具的使用，以及我的评价是PyCharm的git操作还真方便，准确来说是git图形化操作就便捷，又进一步熟悉了如何通过网页开发者工具获取部分有用信息，了解基本逆向JS和基本的参数。
    • 在尝试更改参数中无意触发返回数据带有完整文本内容，先前爬取的数据均不带有完整文本内容，需要跳转页面重新对文本内容进行分析，这将过滤和筛选部分重复文本内容较为麻烦，但浙江的部分参数提供了我参考的方向。
    • 疑问在于浙江请求的设计，相同参数情况下返回内容不一致，对于访问者可能会疑问到为什么政策更新速度这么快？

  • PSP & 学习进度条（学习进度条每周追加）

    PSP：

    PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
    Planning 计划 5 15
    · Estimate · 估计这个任务需要多少时间 5 5
    Development 开发
    · Analysis · 需求分析 (包括学习新技术) 20 30
    · Design Spec · 生成设计文档 - -
    · Design Review · 设计复审 - -
    · Coding Standard · 代码规范 (为目前的开发制定合适的规范) 30 20
    · Design · 具体设计 10 60
    · Coding · 具体编码 100 60
    · Code Review · 代码复审 10 10
    · Test · 测试（自我测试，修改代码，提交修改） 10 50
    Reporting 报告
    · Test Repor · 测试报告 - -
    · Size Measurement · 计算工作量 5 10
    · Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 5 10
    · 合计 200 270

    学习进度表：

    第N次 新增代码（行） 累计代码（行） 本次学习耗时（小时） 累计学习耗时（小时） 重要成长
    1 325 325 12 12 成功抓取特定的数据，完成对于项目可行性的分析。
    2 132 457 8 20 完善对福建单一省份的数据爬取方式，为后续其它省份提供参考代码将极大简化工作。
    3 298 755 11 31 又对福建省单一省份数据抓取方式进行更新，以及推广至广东省使用。
    4 175 930 8 39 对广东省数据抓取方式不断更新迭代，不断处理存在的异常。
    5 188 1118 5 44 对浙江省抓取中意外通过某种方式直接获得对应文本内容

周伟杰

  • 过去俩天完成了哪些任务

    • 学习了异常的统一处理
    • 暂无github签入记录

  • 接下来的计划

    • 进一步的学习

  • 还剩下哪些任务

    • 完成返还省份活跃度排名的接口
    • 服务器部署上线

  • 燃尽图

  • 遇到哪些困难

    • 这周考俩门，要寄了

  • 有哪些收获与疑问

    • 基本了解后端开发流程

  • PSP&学习进度条

    • PSP表格

      PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
      Planning 计划 10 10
      Estimate 估计这个任务需要多少时间 10 10
      Development 开发 200 220
      Analysis 需求分析 &ppt&(包括学习新技术) 200 220
      Design Spec 生成设计文档 - -
      Design Review 设计复审 - -
      Coding Standard 代码规范 (为目前的开发制定合适的规范) - -
      Design 具体设计 - -
      Coding 具体编码 - -
      Code Review 代码复审 - -
      Test 测试（自我测试，修改代码，提交修改） - -
      Reporting 报告 10 15
      Test Report 测试报告 - -
      100Size Measurement 计算工作量 - -
      Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 10 15
      Total 合计 220 245
      • 学习进度表
      第N轮次 新增代码（行） 累计代码（行） 本次学习耗时(小时) 累计学习耗时(小时) 重要成长
      1 0 0 6 6 掌握了后端开发基础知识
      2 0 0 5 11 了解了mybatis-plus的使用
      3 500 500 6 17 环境基本搭建
      4 100 600 6 23 接口编写50%
      5 0 600 2 2 学习了springboot的异常处理

张乐芃：

  • 过去两天完成了哪些任务：

    • 搜索模块（90%）

  • 接下来计划：

    • 搜索模块剩余

  • 还剩下哪些任务：

    • api封装
    • 各模块交互
    • 前后端联调
    • 部署上线

  • 燃尽图：

  • 遇到了哪些困难：
    • 好多考试，时间分配不过来
  • 有哪些收获和疑问：
    • 收获：emmm普普通通加深了开发印象
    • 疑问：我的考试能帮帮我吗
  • PSP表格
PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划 20 10
Estimate 估计这个任务需要多少时间 5 10
Development 开发 - -
Analysis 需求分析 &ppt&(包括学习新技术) 30 40
Design Spec 生成设计文档 - -
Design Review 设计复审 - -
Coding Standard 代码规范 (为目前的开发制定合适的规范)
Design 具体设计 30 60
Coding 具体编码 70 90
Code Review 代码复审 20 20
Test 测试（自我测试，修改代码，提交修改） - -
Reporting 报告 - -
Test Repor 测试报告 - -
100Size Measurement 计算工作量 5 5
Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 10 10
Total 合计 150 245
  • 学习进度表
第N轮次 新增代码（行） 累计代码（行） 本次学习耗时(小时) 累计学习耗时(小时) 重要成长
1 450 450 3.5 3.5 重新用上了vue，算是一次复建吧
2 600 1050 4 7.5 佛系ant design vue玩家
3 500 1550 4.5 12 学习滑轮插件，整理布局
4 100 1650 4 16 整理数据，重构代码结构
5 400 2050 4 20 搜索模块

周浩东：

  • 过去两天完成了哪些任务：

    • RDF三元组转化

  • github签入记录

  • 接下来计划：
    • 本体知识推理
    • 进行知识抽取
  • 还剩下哪些任务：
    • 知识推理
    • 知识抽取
    • 部署上线
    • 知识融合
  • 燃尽图

  • 遇到了哪些困难：
    • 本体建模知识多，工具不易读
  • 有哪些收获和疑问：
    • RDF三元组转化为nt格式
  • PSP表格
PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划 20 10
Estimate 估计这个任务需要多少时间 20 20
Development 开发 - -
Analysis 需求分析 &ppt&(包括学习新技术) 10 10
Design Spec 生成设计文档 - -
Design Review 设计复审 - -
Coding Standard 代码规范 (为目前的开发制定合适的规范)
Design 具体设计 10 5
Coding 具体编码 60 30
Code Review 代码复审 30 30
Test 测试（自我测试，修改代码，提交修改） - -
Reporting 报告 - -
Test Repor 测试报告 - -
100Size Measurement 计算工作量 5 5
Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 10 10
Total 合计 95 100
  • 学习进度表
第N轮次 新增代码（行） 累计代码（行） 本周学习耗时(小时) 累计学习耗时(小时) 重要成长
1 100 100 10 10 学习了知识的表示形式
2 0 100 10 10 学习了知识本体建模
3 0 100 10 10 实践知识本体建模
4 215 315 10 10 MYSQL转化RDF三元组
5 0 315 10 10 RDF三元组转化为nt格式

潘春佳：

  • 过去两天完成了哪些任务：

    • 看视频学知识

    • GitHub签入记录：

  • 接下来计划：
    博客文档编辑、制作UI界面图

  • 还剩下哪些任务：
    后期UI设计，ppt报告编写

  • 燃尽图

  • 遇到了哪些困难：
    考试临近，时间安排困难

  • 有哪些收获和疑问：
    学会了Button和Textview的用法

  • PSP表格

PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划 - -
Estimate 估计这个任务需要多少时间 300 300
Development 开发 - -
Analysis 需求分析 (包括学习新技术) 180 200
Design Spec 生成设计文档 100 100
Design Review 设计复审 0 0
Coding Standard 代码规范 (为目前的开发制定合适的规范) 0 0
Design 具体设计 0 0
Coding 具体编码 0 0
Code Review 代码复审 0 0
Test 测试（自我测试，修改代码，提交修改） 0 0
Reporting 报告 - -
Test Report 测试报告 0 0
Size Measurement 计算工作量 0 0
Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 0 0
Total 合计 280 300
  • 学习进度表
第N次 新增代码（行） 累计代码（行） 本次学习耗时（小时） 累计学习耗时（小时） 重要成长
1 0 0 3 3 学习新知识
2 0 0 3 6 看视频学东西
3 50 50 4 10 尝试界面制作
4 63 113 4 14 布局调整
5 0 113 3 17 看视频学知识

蔡树峰：

  • 过去两天完成了哪些任务

    • 撰写博客

    • 组织第五次会议，进行会议记录

    • 展示GitHub当日代码/文档签入记录

  • 接下来的计划

    • 继续写博客
    • 在实践中继续学习

  • 还剩下哪些任务

    • 写博客
    • 做视频

  • 燃尽图

  • 遇到了哪些困难

    过去两天两场考试。

  • 有哪些收获和疑问

    学习springboot框架

  • PSP & 学习进度条（学习进度条每周追加）

    PSP：

    PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
    Planning 计划 10 10
    · Estimate · 估计这个任务需要多少时间 5 5
    Development 开发 40 60
    · Analysis · 需求分析 (包括学习新技术) 10 10
    · Design Spec · 生成设计文档 - -
    · Design Review · 设计复审 - -
    · Coding Standard · 代码规范 (为目前的开发制定合适的规范) - -
    · Design · 具体设计 - -
    · Coding · 具体编码 - -
    · Code Review · 代码复审 - -
    · Test · 测试（自我测试，修改代码，提交修改） - -
    Reporting 报告 40 40
    · Test Repor · 测试报告 - -
    · Size Measurement · 计算工作量 5 5
    · Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 5 5
    · 合计 115 135

    学习进度表：

    第N次 新增代码（行） 累计代码（行） 本次学习耗时（小时） 累计学习耗时（小时） 重要成长
    1 0 0 2 2 数据库操作
    2 100 100 1.5 3.5 -
    3 0 100 3 6.5 -
    4 0 100 2 8.5 -
    5 120 220 3 11.5 -

林蒋辉：

  • 过去两天完成了哪些任务：

    • 安装，配置，测试solr
    • github签入记录

  • 通过solr实现热点词汇功能

  • 还剩下哪些任务：

    • 通过solr完成热点词汇接口

  • 燃尽图：

img

  • 遇到了哪些困难：

    • 陌生的框架，需要摸索

  • 有哪些收获和疑问：

    • 尝试实现一种开发中重要的常用功能

  • PSP表格

    PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
    Planning 计划 30 30
    Estimate 估计这个任务需要多少时间 10 10
    Development 开发 400 360
    Analysis 需求分析 &ppt&(包括学习新技术) 400 400
    Design Spec 生成设计文档 - -
    Design Review 设计复审 - -
    Coding Standard 代码规范 (为目前的开发制定合适的规范) - -
    Design 具体设计 - -
    Coding 具体编码 - -
    Code Review 代码复审 - -
    Test 测试（自我测试，修改代码，提交修改） - -
    Reporting 报告 10 15
    Test Repor 测试报告 - -
    100Size Measurement 计算工作量 5 5
    Postmortem & Process Improvement Plan 事后总结, 并提出过程改进计划 5 10
    Total 合计 860 830

    • 学习进度表

      第N轮次 新增代码（行） 累计代码（行） 本次学习耗时(小时) 累计学习耗时(小时) 重要成长
      1 0 0 6 6 参考了长文本存储的数据库设计，对检索功能的实现有了一定的想法
      2 107 107 1 1
      3 0 0 5 11 了解了一种web开发中一种重要功能的实现
      4 450 557 5 16 学会使用一个新的框架
      5 100 100 2 18 学会使用一个新的框架

陈宇扬：

  • 过去两天完成了哪些任务：

    • 更新已爬取信息的数据格式
      image

  • 接下来计划：

    • 完成目前正在爬取的省份政策文件的获取。

  • 还剩下哪些任务：

    • 其他省份政策相关获取；
    • 其他省份下属地级市相关政策获取；

image

  • 遇到了哪些困难：

    • 对接数据库时发现自己爬取的数据有一些出现了乱码
    • 同样，对政府网站请求过快网站会断开连接，导致在一段时间内没有爬到信息

  • 有哪些收获和疑问：

    • 重新爬取了某些政策文件库，更新爬取代码
    • 设置sleep时间，来控制对url的访问间隔，可以减少被主动断开连接的可能

  • PSP表格

PSP2.1 Personal Software Process Stages 预估耗时（分钟） 实际耗时（分钟）
Planning 计划
· Estimate · 估计这个任务需要多少时间 20 15
Development 开发
· Analysis · 需求分析 (包括学习新技术) 100 120
· Design Spec · 生成设计文档 - -
· Design Review · 设计复审 - -
· Coding Standard · 代码规范 (为目前的开发制定合适的规范) 10 10
· Design · 具体设计 - -
· Coding · 具体编码 100 120
· Code Review · 代码复审 10 10
· Test · 测试（自我测试，修改代码，提交修改） 5 5
Reporting 报告
· Test Repor · 测试报告 - -
· Size Measurement · 计算工作量 10 10
· Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 10 15
合计 265 305
  • 学习进度表
第N轮次 新增代码（行） 累计代码（行） 本周学习耗时(小时) 累计学习耗时(小时) 重要成长
1(alpha) 280 280 6.75 6.75 学习了爬虫技术，完成了一些内容的初步爬取。
2(alpha) 200 480 5.41 12.16 完成广东省一部分内容的爬取
3(alpha) 240 720 6.25 18.41 完成大部分广东省政策文件的获取
4(alpha) 110 830 5.25 23.66 更新上海市爬取代码
5(alpha) 180 1010 5.08 28.74 更新数据格式

三、冲刺成果展示

  • 展示组内最新成果

    • 爬取广东省和福建省的数据并导入数据库

  • 站立会议合照

  • 会议耗时记录（每次追加记录）

第N次会议 耗时（分钟）
1 10
2 8
3 10
4 10
5 10
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/pat-chou-li/p/15563768.html