職位描述
1、負責分布式網絡爬蟲系統(tǒng)平臺的架構設計與開發(fā)（如抓取調度，多樣化抓取，頁面解析和結構化抽取，海量數據存儲和讀取等）、技術選型；
2、研究爬蟲策略和防屏蔽規(guī)則，解決封賬號、封IP、驗證碼、頁面跳轉等難點攻克，提升網頁抓取的效率和質量；
3、利用主流的大數據相關技術，對抓取后的網頁數據進行清洗、存儲等；并持續(xù)優(yōu)化平臺，以便滿足各種爬取業(yè)務需求；
4、把握網絡爬蟲核心技術研究方向，研究優(yōu)化算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性；
職位要求：
1、熟悉scrapy框架，分布式系統(tǒng)，python爬蟲。
2、熟悉http協(xié)議，kafka，linux基本命令，金融基礎知識。
3、熟悉javascript .熟悉css.xpath.正則提取,mysql增刪改差，sql優(yōu)化,js逆向，redis，mongodb。
4、精通爬蟲和反爬技術，精通http底層協(xié)議；精通深度抓取、動態(tài)網頁技術抓取、瀏覽器模擬抓取、APP抓取等技術；
5、有很強的學習能力和技術鉆研能力，積極主動，思維靈活開放，有良好的溝通能力，善于跨團隊合作。
職位福利：定期體檢、員工旅游、節(jié)日福利、帶薪年假、五險一金、彈性工作、定期團建
工作地點
車公莊大街乙5號鴻儒大廈
相似職位
- 爬蟲數據采集工程師9千-1.6萬
北京 - 海淀
拓爾思信息技術股份有限公司 - python爬蟲工程師（互聯網大廠）1.6萬-1.7萬
北京 - 海淀
武漢佰鈞成技術有限責任公司 - 爬蟲數據抓取工程師8千-1.2萬
北京 - 海淀
深圳市潤迅數智科技有限公司 - python爬蟲工程師1.7萬-1.8萬
北京 - 海淀
首聘(北京)科技有限公司 - 數據開發(fā)工程師2萬-4萬
北京 - 海淀
廣州眾山精密科技有限公司 - Python爬蟲工程師1萬-1.6萬
北京 - 西城
海峰科技
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
海峰科技/招聘專員
立即溝通
海峰科技北京海峰科技有限責任公司，注冊成立于2014年底，是國內獨立的第三方私募基金外包業(yè)務服務機構，主要發(fā)起人來自高盛、瑞銀、Bridgewater Associates和工行等專業(yè)金融機構有平均15年以上的經驗，獲得美國風險投資公司IDG投資，是中國證券基金業(yè)協(xié)會公示的第二批私募基金外包服務機構公司發(fā)展：成立于2014年，同年獲得美國風險投資控制公司IDG的投資，并于2015年6月8日正式完成中國基金協(xié)會登記備案，2019年7月3日正式拿到份額登記業(yè)務牌照。業(yè)務覆蓋基金外包服務的基金估值核算及風險控制等。2017年獲得國家高新技術企業(yè)證書和中關村高新技術企業(yè)證書。行業(yè)地位：國內獨立第三方私募基金外包服務機構。公司現狀：總部北京，滬深分部，員工80+人，500+付費客戶。我們在整個私募合規(guī)生命周期中，提供一站式合規(guī)服務。合規(guī)專業(yè)的人做專業(yè)合規(guī)的事，最終成為私募合規(guī)領域的風向標。
公司主頁