崗位職責(zé):
1、負(fù)責(zé)爬蟲(chóng)核心技術(shù)的設(shè)計(jì)和開(kāi)發(fā);
2、設(shè)計(jì)爬取、調(diào)度和抽取算法,優(yōu)化系統(tǒng);
3、設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量;
4、對(duì)指定網(wǎng)站、移動(dòng)端App進(jìn)行數(shù)據(jù)抓取工作;
5、及時(shí)解決爬蟲(chóng)抓取過(guò)程中出現(xiàn)的問(wèn)題并不斷維護(hù)、優(yōu)化程序。
任職要求:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
2、5年以上爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn);熟悉MySQL數(shù)據(jù)庫(kù),能協(xié)助檢查數(shù)據(jù)入庫(kù)環(huán)節(jié);有多線程開(kāi)發(fā)經(jīng)驗(yàn);會(huì)處理電商或其他網(wǎng)站反爬問(wèn)題者優(yōu)先;
3、熟悉整個(gè)爬蟲(chóng)的設(shè)計(jì)及實(shí)現(xiàn)流程,精通網(wǎng)頁(yè)抓取原理及技術(shù),精通正則表達(dá)式、HTML,JS,AJAX等網(wǎng)頁(yè)信息抽取技術(shù),從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
4、有海量數(shù)據(jù)爬取經(jīng)驗(yàn)者優(yōu)先,有大數(shù)據(jù)量、大并發(fā)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先,有互聯(lián)網(wǎng)、電商平臺(tái)、移動(dòng)端數(shù)據(jù)爬取技術(shù)經(jīng)驗(yàn)者優(yōu)先;
5、有良好的代碼編寫習(xí)慣、溝通、協(xié)作能力,有責(zé)任心。