crawler jd

[北京]360招聘:数据挖掘,爬虫开发,安全开发,病毒分析,编译优化工

2.高级爬虫开发工程师  
工作职责:  
参与爬虫架构设计和研发  
参与爬虫核心算法和策略优化研究  
技能要求:  
3年以上Linux环境下C/C++开发经验, 熟练使用一门以上脚本语言(PHP/PYTHON/PERL等)  
熟悉多线程、多进程、网络通信编程相关知识  
2年以上大规模网页爬虫开发经验, 熟悉JS,ajax,网页消重  
能够总结分析不同网站,网页的结构特点及规律  
有分布式爬虫架构经验优先  
有新闻/垂直领域爬虫开发经验优先  
PS:需要排序,自然语言处理和抓取方向的,HC不限  

原文地址:https://www.cnblogs.com/lexus/p/2512908.html