職位描述
Python分布式爬蟲爬蟲開發(fā)數(shù)據(jù)清洗
崗位職責(zé)：
1、負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式爬蟲和調(diào)度系統(tǒng)，爬蟲核心算法和調(diào)度策略優(yōu)化；
2、負(fù)責(zé)部分網(wǎng)站驗(yàn)證碼破解和現(xiàn)有爬蟲系統(tǒng)效率的提升；
3、負(fù)責(zé)網(wǎng)絡(luò)數(shù)據(jù)抓取規(guī)劃和數(shù)據(jù)鏈路規(guī)劃、高效且穩(wěn)定爬取指定網(wǎng)站的數(shù)據(jù)；
4、構(gòu)建高可用性、高可擴(kuò)展性的網(wǎng)絡(luò)信息搜集平臺(tái)；
5、優(yōu)化現(xiàn)有數(shù)據(jù)清洗，數(shù)據(jù)提取，結(jié)構(gòu)化，入庫等過程；
6、深度思考并參與業(yè)務(wù)等數(shù)據(jù)瓶頸，并有效解決；
7、項(xiàng)目中遇到其他問題。
任職要求
1、計(jì)算機(jī)相關(guān)專業(yè)，python語言，三年以上爬蟲經(jīng)驗(yàn)；
2、有獨(dú)立負(fù)責(zé)過爬蟲平臺(tái)搭建、爬蟲系統(tǒng)處理經(jīng)驗(yàn)，爬蟲項(xiàng)目規(guī)劃能力；；
3、熟悉Scrapy、Pyspider、nutch、webmagic等主流爬蟲框架使用，了解js引擎技術(shù)等優(yōu)先考慮；
4、熟悉js逆向，混淆原理，js語法樹，客戶端常用簽名算法等。
5、具備web挖掘等搜索引擎相關(guān)知識(shí)，有豐富的網(wǎng)絡(luò)爬蟲、網(wǎng)頁去重、網(wǎng)頁信息抽取的經(jīng)驗(yàn)，
6、掌握網(wǎng)頁抓取原理及技術(shù)，包括基于Cookie的登錄管理，基于headless的采集，熟悉正則表達(dá)式、XPath、Jsoup等網(wǎng)頁信息抽取技術(shù)。
7、熟悉Linux平臺(tái)開發(fā)、常用操作及命令，良好的編碼習(xí)慣，有獨(dú)立思考的能力，善于解決問題。
8、具備較強(qiáng)的團(tuán)隊(duì)協(xié)作精神，工作責(zé)任心強(qiáng)，良好的溝通、理解和執(zhí)行能力。
工作地點(diǎn)
朝暉商務(wù)8樓
相似職位
- 網(wǎng)絡(luò)爬蟲工程師8000元/月
石家莊 - 裕華
河北聯(lián)創(chuàng)軟件有限公司 - 爬蟲工程師-中級(jí)1.2萬-1.8萬
石家莊 - 裕華
中數(shù)智創(chuàng)科技有限公司 - 爬蟲4千-6千
石家莊 - 橋西
兔兔辦商務(wù)服務(wù)(河北)有限公司 - 高級(jí)爬蟲python工程師1萬-1.5萬
石家莊 - 長安
中數(shù)智創(chuàng)科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
梁女士/人資經(jīng)理
三日內(nèi)活躍立即溝通
中數(shù)智創(chuàng)科技有限公司中數(shù)智創(chuàng)科技有限公司是國家級(jí)高新技術(shù)企業(yè)、專精特新企業(yè)，立足河北、面向全國，產(chǎn)品涉及智慧招采、智慧金融、行業(yè)數(shù)據(jù)賦能等多個(gè)領(lǐng)域服務(wù)遍及國內(nèi)廣大政銀企客戶。公司研發(fā)實(shí)力雄厚，擁有超兩百人的技術(shù)研發(fā)團(tuán)隊(duì)，以云技術(shù)為基礎(chǔ)，結(jié)合微服務(wù)、大數(shù)據(jù)、人工智能、區(qū)塊鏈、隱私計(jì)算等先進(jìn)技術(shù)，自主建立了技術(shù)基架的3+N模式，基于3大基礎(chǔ)框架＋N個(gè)揚(yáng)景實(shí)例的理念為全國上百家政府機(jī)構(gòu)和企業(yè)搭建數(shù)字化平臺(tái)，為20多家金融機(jī)構(gòu)創(chuàng)新金融科技產(chǎn)品。公司通過CCRC信息安全服務(wù)資質(zhì)（安全運(yùn)維、軟件開發(fā)、安全集成）二級(jí)、ITSS信息技術(shù)服務(wù)運(yùn)行維護(hù)標(biāo)準(zhǔn)三級(jí)、 CMMl3、雙軟認(rèn)證等。企業(yè)文化經(jīng)營理念：客戶至上、高效團(tuán)隊(duì)、創(chuàng)新發(fā)展、合作共贏企業(yè)使命：以科技創(chuàng)新，技術(shù)賦能政銀企數(shù)字化轉(zhuǎn)型企業(yè)愿景：成為政銀企數(shù)字化轉(zhuǎn)型與科技創(chuàng)新的開拓者企業(yè)精神：開放、務(wù)實(shí)、進(jìn)取、拼搏
公司主頁