崗位職責(zé):
1. 熟悉搜索引擎和網(wǎng)絡(luò)爬蟲相關(guān)技術(shù),有爬蟲系統(tǒng)開發(fā)經(jīng)驗;
2. 熟練掌握網(wǎng)頁抓取原理及技術(shù),熟悉網(wǎng)頁解析過程,具備數(shù)據(jù)的過濾、清洗、去重、結(jié)構(gòu)化導(dǎo)入經(jīng)驗;
3. 熟悉分布式爬蟲應(yīng)用和調(diào)度策略,掌握各類網(wǎng)站的反爬機制和驗證碼機制;
4. 熟悉TCP/IP協(xié)議及HTTP協(xié)議,了解基本的前端技術(shù),HTML、CSS、JS、Ajax等;
5. 熟練使用mysql,mongodb等數(shù)據(jù)庫,熟悉mysql的各種存儲引擎,熟悉索引工作原理。
任職要求:
1. 大學(xué)本科及以上學(xué)歷,計算機相關(guān)專業(yè),基礎(chǔ)扎實;
2. 具有Python開發(fā)工作經(jīng)驗,熟悉Python常用函數(shù)庫和包;
3. 熟練掌握python,熟悉常用爬蟲框架中的一種或多種,熟悉Scrapy、Pyspider框架中的至少一種;
4. 熟悉MySql、Redis、MongoDB等數(shù)據(jù)庫,對SQL優(yōu)化有一定的經(jīng)驗;
5.熟悉網(wǎng)頁抓取原理及技術(shù),熟練掌握正則表達式、XPath、CSS等網(wǎng)頁信息抽取技術(shù);
6.具有優(yōu)秀的團隊合作和溝通協(xié)作能力,善于學(xué)習(xí),能承受較大的工作壓力。
北京 - 海淀
拓爾思信息技術(shù)股份有限公司北京 - 門頭溝
北京邁迪培爾信息技術(shù)有限公司北京 - 海淀
首聘(北京)科技有限公司北京 - 海淀
深圳市潤迅數(shù)智科技有限公司北京 - 西城
海峰科技北京 - 海淀
武漢佰鈞成技術(shù)有限責(zé)任公司