业务系统中有一个定时任务，需要每天两个时间点进行数据监控
场景如下：
需要监控全部在线的页面的内容中，指定某一类链接，是否有失效风险或者已经失效，这类链接本身也是我们维护的。
假如有10w个页面，常规做法是
定时拉取10w个页面内容，
实时解析页面，
分析出链接，
进行校验
这种做法存在很多问题：
1.定时任务的时间点本身可配置，意味着频率也是可以配置的，如果频率高了，这种做法一定会出现上一个任务还未执行过半，新任务又开始了
2.导致问题1的风险增高的点：10w个页面拉取内容，本身是直接读取的redis缓存，这个时间不长，但是解析10w个页面，分析出链接，这个时间相对不可控，假如一个页面需要500ms，执行完也需要5w秒，这个时间已经很长很长了
3.页面内容如果未更新过，也需要每次解析链接，这是一种资源的浪费，也会显著增加时长
5.单个线程处理这种任务无疑是可怕的，因此任务分布式执行也是不可避免的
以下是优化后的方式：
1.单线程读出10w个在线页面的id，没100个id生成一条消息，通过mq分发任务
2.mq的consumer端多实例执行任务
3.解析链接的过程放到生成链接的时候，只有内容有变，就自然重新生成链接列表，缓存到redis中，过期时间为页面结束时间
4.单个mq消费端那到消息体100个id后，顺序执行，从redis中获取id对应的链接列表，处理链接失效行
通过这个方法，保证了任务的快速执行与执行效率