雇員點評標(biāo)簽
職位描述
Python爬蟲開發(fā)數(shù)據(jù)清洗ScrapyMySQLPostgreSQLMongoDBlinuxSPLASH
后端開發(fā)工程師( ID: TPG-數(shù)據(jù)與知識平臺部-010)，5個HC
工作內(nèi)容：
1.設(shè)計和實現(xiàn)高效的網(wǎng)絡(luò)爬蟲，用于抓取結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
2.處理和解析各種數(shù)據(jù)格式，包括HTML、XML和JSON。
3.優(yōu)化爬蟲性能，確保數(shù)據(jù)抓取的效率和準(zhǔn)確性。
4.實現(xiàn)數(shù)據(jù)去重和清洗邏輯，提高數(shù)據(jù)質(zhì)量。
5.監(jiān)控爬蟲運行狀態(tài)，及時處理異常和失敗情況。
6.與團隊合作，不斷改進(jìn)爬蟲策略和工具。
1.設(shè)計和實現(xiàn)高效的網(wǎng)絡(luò)爬蟲，用于抓取結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
2.處理和解析各種數(shù)據(jù)格式，包括HTML、XML和JSON。
3.優(yōu)化爬蟲性能，確保數(shù)據(jù)抓取的效率和準(zhǔn)確性。
4.實現(xiàn)數(shù)據(jù)去重和清洗邏輯，提高數(shù)據(jù)質(zhì)量。
5.監(jiān)控爬蟲運行狀態(tài)，及時處理異常和失敗情況。
6.與團隊合作，不斷改進(jìn)爬蟲策略和工具。
崗位要求：
1.計算機科學(xué)或相關(guān)專業(yè)的學(xué)士學(xué)位。
2.必須有爬蟲開發(fā)經(jīng)驗，熟悉splash/Scrapy/Selenium優(yōu)先
3.精通Python
4.熟悉至少一種數(shù)據(jù)庫技術(shù)，例如 MySQL、PostgreSQL 或 MongoDB。
5.熟悉 Linux 操作系統(tǒng)。
6.良好的溝通和團隊合作能力。
7.工作經(jīng)驗2年及以上
1.計算機科學(xué)或相關(guān)專業(yè)的學(xué)士學(xué)位。
2.必須有爬蟲開發(fā)經(jīng)驗，熟悉splash/Scrapy/Selenium優(yōu)先
3.精通Python
4.熟悉至少一種數(shù)據(jù)庫技術(shù)，例如 MySQL、PostgreSQL 或 MongoDB。
5.熟悉 Linux 操作系統(tǒng)。
6.良好的溝通和團隊合作能力。
7.工作經(jīng)驗2年及以上
工作地點
中關(guān)村軟件園2期百度科技園
相似職位
- 爬蟲8千-1.5萬
北京 - 豐臺
北京榮邦瑞明投資管理有限責(zé)任公司 - 爬蟲數(shù)據(jù)抓取工程師8千-1.2萬
北京 - 海淀
深圳市潤迅數(shù)智科技有限公司 - 后端開發(fā)工程師爬蟲1.5萬-1.6萬
北京 - 海淀
博彥科技承德有限公司 - 金融爬蟲工程師（python/PHP/JS）1萬-1.2萬
北京 - 海淀
深圳市潤迅數(shù)智科技有限公司 - 爬蟲數(shù)據(jù)抓取工程師8千-1.2萬
北京 - 海淀
深圳市潤迅數(shù)智科技有限公司 - 爬蟲數(shù)據(jù)采集工程師9千-1.6萬
北京 - 海淀
拓爾思信息技術(shù)股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
馮女士/招聘主管
武漢佰鈞成技術(shù)有限責(zé)任公司
武漢佰鈞成技術(shù)有限責(zé)任公司（以下簡稱“佰鈞成”）正式成立于2006年6月，主要業(yè)務(wù)是面向歐美、日本以及國內(nèi)市場的制造業(yè)、金融、電信、能源、IT及政府和公共服務(wù)行業(yè)提供 ITO、BPO服務(wù)。背靠武漢地區(qū)豐富的人才優(yōu)勢及良好的技術(shù)研發(fā)能力，佰鈞成現(xiàn)已成為IBM、華為、Google、Alcatel-Lucent、NTT Data等近十家世界500強企業(yè)的核心供應(yīng)商，并已與HP、CBS、Honeywell、亞信聯(lián)創(chuàng)、南瑞等一大批知名企業(yè)結(jié)成了戰(zhàn)略合作伙伴。佰鈞成連續(xù)三年被評為“中國軟件服務(wù)外包前20強”，于2009年通過ISO 9001認(rèn)證，2010年通過ISO 27001認(rèn)證，并于2004年通過CMML-3認(rèn)證，計劃于2012年通過CMMI-4體系評估。佰鈞成被陸續(xù)評為技術(shù)先進(jìn)型企業(yè)、國家高新技術(shù)企業(yè)、省重點服務(wù)外包企業(yè)。2011年11月，佰鈞成收購原東南融通信息科技(蘇州)有限公司，其正式成為佰鈞成全資子公司，佰鈞成作為華為全領(lǐng)域供應(yīng)商，向全球客戶提供高質(zhì)量、專業(yè)化的軟件外包服務(wù)。佰鈞成現(xiàn)已有員工4500余人，其中技術(shù)員工占總數(shù)的87%。佰鈞成已建成多個大型離岸外包中心（ODC），包括有華為移動互聯(lián)軟件開發(fā)ODC，華為電信ODC，CBS數(shù)據(jù)挖掘ODC，富士施樂遠(yuǎn)程開發(fā)中心，谷歌地圖ODC及IBM MF技術(shù)開發(fā)ODC等。成熟的離岸外包服務(wù)模式，創(chuàng)建為客戶提供高效率、低成本服務(wù)的交付平臺。此外，佰鈞成作為武漢服務(wù)外包協(xié)會（簡稱WSOA）的理事長單位，在協(xié)會內(nèi)領(lǐng)導(dǎo)建立了完善的人才共享機制與人才培養(yǎng)模式，在幫助企業(yè)匯聚區(qū)域優(yōu)勢的同時，有效解決了單個企業(yè)成長中遇到的人才、市場、成本等問題，為帶動武漢地區(qū)軟件外包服務(wù)行業(yè)的整體發(fā)展水平起到了積極的推動作用！佰鈞成，以“服務(wù)全球，交付信任”為價值理念，以不斷創(chuàng)新為生命力，立足中部優(yōu)勢，不斷優(yōu)化資源配置，持續(xù)提升其在產(chǎn)業(yè)價值鏈的地位和作用，致力于成為全球卓越的軟件外包服務(wù)商！
公司主頁