www.bhdu.cn-夜肉伦伦影院无码 ,国产精品www夜色视频,3d动漫精品啪啪一区二区免费,久久婷婷综合缴情亚洲狠狠

一、崗位職責(zé)：

1.負(fù)責(zé)分布式爬蟲系統(tǒng)的架構(gòu)設(shè)計與開發(fā)；

2.設(shè)計爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗證碼、app反爬等難點攻克；

3.設(shè)計爬蟲系統(tǒng)的監(jiān)測和報警系統(tǒng)，實時監(jiān)控頁面結(jié)構(gòu)變動和數(shù)據(jù)異常。

4.負(fù)責(zé)網(wǎng)頁信息抽取、清洗、消重和結(jié)構(gòu)化處理等工作，提升平臺的抓取效率；

5.爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略。

二、任職資格：

1. 計算機相關(guān)專業(yè)，本科以上學(xué)歷，3年以上爬蟲開發(fā)相關(guān)經(jīng)驗，編程語言不限，熟悉JavaScript；
2. 熟練整個爬蟲的設(shè)計及實現(xiàn)流程，熟練使用正則表達(dá)式、css path、xpath等，能夠從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；
3. 掌握 web/app 常見的反爬機制，精通各種反爬破解，包括但不限于：hook、Js防護(hù)、混淆、逆向分析、App防破解、防逆向、加固技術(shù)等技能；
4.具有圖像識別，訓(xùn)練技能，對頂象，易盾，極驗，騰訊，阿里云等第三方驗證碼的破解能力
5.熟練掌握fiddler、charles，Wireshark等抓包工具的使用。
6. 快速學(xué)習(xí)能力，工作積極主動，有創(chuàng)業(yè)熱情和良好的團隊協(xié)助能力。
7. 需要有大量數(shù)據(jù)爬取以及高難度反爬經(jīng)驗，沒有相關(guān)經(jīng)驗的勿擾。