工作職責(zé)
1、維護現(xiàn)有爬蟲任務(wù),確保現(xiàn)有采集任務(wù)的正常調(diào)度以及當(dāng)網(wǎng)站改版能夠及時修復(fù)采集程序。
2、新的數(shù)據(jù)采集網(wǎng)站需求開發(fā),針對特定的網(wǎng)站能夠自行進行抓包和破解,從而基于頁面接口拿到需求指定數(shù)據(jù)。
任職資格
1、本科及以上學(xué)歷。
2、熟悉Python編程語言。
3、熟悉linux系統(tǒng)的操作。
4、熟悉MySQL數(shù)據(jù)庫。
5、熟悉爬蟲的設(shè)計及實現(xiàn)流程,有過網(wǎng)站請求抓包的經(jīng)驗,了解正則表達式、HTML,JS,AJAX等網(wǎng)頁信息抽取技術(shù)。
● 具備團隊合作精神,能夠與多個部門合作,共同完成項目和任務(wù)。
● 有良好的學(xué)習(xí)能力和自我驅(qū)動力,能夠及時跟進新技術(shù)和行業(yè)動態(tài)。