1.数据采集系统和分布式爬虫系统的架构设计和开发
2.对接外部数据服务商提供的数据及资讯服务，实现数据的'有效沉淀，建立数据服务评估机制
3.负责大规模文本、图像、视频数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作
4.研究各种目标网站的形态，互联征挖掘，发现它们的特点和规律
Copyright © 2019- 99spj.com 版权所有 湘ICP备2022005869号-5
违法及侵权请联系：TEL:199 18 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务