本文记录个人平时工作中一些浅显的见识，学到了新的技巧，关于编程的一些思考，持续更新。虽然现在还是一颗幼苗，但它会不断成长。
做事情，技巧是一方面，主要还是贵在坚持。
（1107）
1. 爬虫时，去重问题需要随时记得
2. 正则的效率问题。
正则其内部也是一种循环，你给的越精确，循环越少，效率越快。给的范围越大，循环越多，效率越慢。
3. 程序优化：
1. 尽量简洁
2. 重复代码用函数或类进行封装
4. 工作中，不要跟领导或同事讲，数据可能差不多，程序应该没问题。程序有没有问题，跑完再说，有问题及时改，没问题更好。
（1108）
5. 保持头脑清醒。
6. 不使用selenium
（1116）
7. 相同的功能，不同的代码效率真是个问题。
8. 汉字表达法。。。将要实现的功能逻辑，用文字表示出来，然后一步一步用代码构造出整块内容，逻辑清晰，方便编写。而且写完了代码，注释也有了。初级时可以试试。
（1119）
9. 代理IP是真好用
（1120）
10. 代理IP不是万能的。。。打脸了
11. 公司不养闲人。
（1123）
12. requests库timeout参数问题，timeout最好自己设定。
python的requests库是没有默认请求超时时间的，有一次。。哈哈，自己的坑自己填吧。总之最好显示设定超时时间，防止意外发生。源码部分，自己去找也可以，有空我会找出来贴在这里。
（1127）
13. 写程序要进步。
（1211）
14. 有问题，一定要解决，加班也要解决，不能跳过去，也不能拖着
15. 建数据库，索引很重要啊。。以前真是傻逼。。索引
转眼2019年了。。。
0106：
16. 最近爬虫所遇到的问题，除验证码外，大都最终指向同一个问题，js。
0124
17. 关于函数封装这一部分，感觉以前做的不好。因为我总是用返回值的形式，将上一个函数，直接连接到下一个函数。个人认为比较好的做法是，一个功能封装成一个函数，用到哪个功能，就调用哪个函数。
0504:
18. 也许这是这篇博客更新的最后一段话。数据抓取终究不是长久之计，做爬虫工程师以来，数据的抓取难度越来越大，数据加密方式越来越严密，验证码的处理，十有八九都用上了第三方平台。当然我们也可以使用第三方验证码处理平台，但是依赖于别人的处理方式极为被动。所以，要想寻求更长远的发展，一定要做好打算，爬虫工程师的下一步是。。。