職位描述
數(shù)據(jù)爬蟲分布式爬蟲反爬蟲數(shù)據(jù)抽取數(shù)據(jù)埋點
工作職責(zé)：
1.配置火車頭采集任務(wù)，從互聯(lián)網(wǎng)采集數(shù)據(jù)并入庫，涉及數(shù)據(jù)種類包含但不限于新聞/論壇/博客等。
2.維護(hù)火車頭采集腳本，保證站點架構(gòu)變動后數(shù)據(jù)的正常采集。
3.搜集站點以及評測站點的可采集性，依據(jù)客戶及產(chǎn)品需求。
4.設(shè)計采集源數(shù)據(jù)庫（MySQL/Oracle），對數(shù)據(jù)清洗關(guān)聯(lián)及簡單分析，包含建表/存儲過程/觸發(fā)器/事件等。
5.日常監(jiān)測數(shù)據(jù)采集相應(yīng)服務(wù)的正常運行。
6.編碼采集網(wǎng)站內(nèi)容。
1.配置火車頭采集任務(wù)，從互聯(lián)網(wǎng)采集數(shù)據(jù)并入庫，涉及數(shù)據(jù)種類包含但不限于新聞/論壇/博客等。
2.維護(hù)火車頭采集腳本，保證站點架構(gòu)變動后數(shù)據(jù)的正常采集。
3.搜集站點以及評測站點的可采集性，依據(jù)客戶及產(chǎn)品需求。
4.設(shè)計采集源數(shù)據(jù)庫（MySQL/Oracle），對數(shù)據(jù)清洗關(guān)聯(lián)及簡單分析，包含建表/存儲過程/觸發(fā)器/事件等。
5.日常監(jiān)測數(shù)據(jù)采集相應(yīng)服務(wù)的正常運行。
6.編碼采集網(wǎng)站內(nèi)容。
任職要求：
1.熟練使用火車頭采集器。
2.熟悉html標(biāo)簽。
3.熟悉javascript相關(guān)內(nèi)容。
4.熟練使用json數(shù)據(jù)解析以及提取。
5.熟練使用xpath，正則表達(dá)式等提取內(nèi)容。
6.熟悉http協(xié)議。
7.熟練使用mysql或者oracle數(shù)據(jù)庫。
8.至少會java或者python其中一門語言。
9.了解數(shù)據(jù)采集原理以及代理等。
1.熟練使用火車頭采集器。
2.熟悉html標(biāo)簽。
3.熟悉javascript相關(guān)內(nèi)容。
4.熟練使用json數(shù)據(jù)解析以及提取。
5.熟練使用xpath，正則表達(dá)式等提取內(nèi)容。
6.熟悉http協(xié)議。
7.熟練使用mysql或者oracle數(shù)據(jù)庫。
8.至少會java或者python其中一門語言。
9.了解數(shù)據(jù)采集原理以及代理等。
工作地點
龍崗路51號院
相似職位
- 數(shù)據(jù)接入工程師8千-1.4萬
北京 - 西城
北京博興高科科技有限公司 - 數(shù)據(jù)采集專員6千-9千
北京 - 海淀
北京壹據(jù)技術(shù)有限公司 - 北京數(shù)據(jù)采集7千-1萬
北京 - 朝陽
上海至信信息科技有限公司 - 數(shù)據(jù)采集崗100-150/天
北京 - 朝陽
北京首都科技發(fā)展集團(tuán)有限公司 - 實習(xí)生（數(shù)據(jù)采集）120-200/天
北京 - 海淀
中咨海外咨詢有限公司 北京 - 通州
河北云啟科創(chuàng)企業(yè)服務(wù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
王女士/HR
立即溝通
宸瑞股份北京宸瑞科技股份有限公司創(chuàng)立于2009年，是一家聚焦于大數(shù)據(jù)應(yīng)用、全球網(wǎng)絡(luò)資源監(jiān)測、開源信息分析、人機智能交互等核心技術(shù)，為軍警政企行業(yè)提供技術(shù)+信息+服務(wù)的科技型研發(fā)企業(yè)。多年來，宸瑞股份圍繞核心業(yè)務(wù)進(jìn)行持續(xù)不斷的研發(fā)創(chuàng)新，研發(fā)出多個自己的核心大數(shù)據(jù)產(chǎn)品，獲得了國家高新技術(shù)企業(yè)、中關(guān)村高新技術(shù)企業(yè)、北京市專精特新技術(shù)企業(yè)等多個榮譽資質(zhì)。在數(shù)據(jù)采集、建倉、建模、應(yīng)用、后期綜合信息能力供給等方面，獲得70余項發(fā)明專利和創(chuàng)新著作權(quán)登記，先后取得軟件能力成熟度集成模型三級證書CMMI-3、ISO9001等多個國家相關(guān)認(rèn)證。
公司主頁