兼職崗位,按量發(fā)放工資,介意勿投!!!
崗位職責(zé):
1、負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)設(shè)計(jì),搭建系統(tǒng)框架,開(kāi)發(fā)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng);
2、負(fù)責(zé)數(shù)據(jù)的抓取、提取、數(shù)據(jù)分析等工作,滿(mǎn)足業(yè)務(wù)部門(mén)對(duì)數(shù)據(jù)的需求。
3、設(shè)計(jì)和優(yōu)化數(shù)據(jù)抓取策略,能夠應(yīng)對(duì)各種反爬策略,提高數(shù)據(jù)抓取的效率和質(zhì)量。
任職要求:
1、計(jì)算機(jī)相關(guān)專(zhuān)業(yè),有2年以上爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)。
2、精通Python語(yǔ)言,至少熟練掌握主流爬蟲(chóng)框架中的一種;
3、熟悉常見(jiàn)反爬機(jī)制,驗(yàn)證碼識(shí)別,IP代理池、應(yīng)用Ip池、headers認(rèn)證和cookie等;
4、有處理大規(guī)模數(shù)據(jù)的經(jīng)驗(yàn),對(duì)分布式爬蟲(chóng)有實(shí)際操作經(jīng)驗(yàn)者優(yōu)先。