崗位職責(zé):
1、負責(zé)爬蟲策略和防屏蔽規(guī)則設(shè)計,后臺爬蟲數(shù)據(jù)存儲設(shè)計以及代碼實現(xiàn);
2、負責(zé)網(wǎng)頁采集任務(wù)的分析及采集方案設(shè)計及實現(xiàn)。
崗位要求:
1、本科及以上學(xué)歷,2年以上開發(fā)工作經(jīng)驗,Python基礎(chǔ)扎實;
2、熟悉多線程、多進程、協(xié)程開發(fā)、網(wǎng)絡(luò)編程,精通網(wǎng)頁抓取原理及技術(shù)的實現(xiàn)細節(jié);
3、掌握HTML、CSS、JQuery、RESTful 相關(guān)技術(shù);
4、具有良好的站點分析經(jīng)驗,能獨立處理基于(session, cookie)、(Access Token, Token)、(selenium, splash)、(訪問量, 訪問頻率)的反爬自主設(shè)計爬取流程;
5、熟悉基于規(guī)則的網(wǎng)頁信息定位,精通正則表達式,xpath語法;
6、精通原生Python urllib爬取方式、精通原生Python requests爬取方式、精通框架Python scrapy的爬取方式、熟悉Python aiohttp 異步請求框架的爬取方式;
7、熟悉掌握一種或多種熱門關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫、熟練使用版本管理工具;
8、熱愛互聯(lián)網(wǎng),對搜索技術(shù)和探索未知領(lǐng)域有濃厚興趣;
9、能夠高效地溝通,并與團隊或跨團隊同事有效地協(xié)作辦公。
深圳 - 南山
深圳市有限元科技有限公司深圳 - 龍崗
外企德科數(shù)字技術(shù)有限公司深圳 - 寶安
深圳市邁拓斯電子信息科技有限責(zé)任公司深圳 - 南山
大連斯銳信息技術(shù)有限公司深圳 - 寶安
伊頓(中國)投資有限公司(EATON)深圳 - 龍崗
合肥市跨境云鏈電子商務(wù)有限公司