招聘需求:爬蟲工程師(Python)
招聘人數(shù):2人
崗位職責(zé):
1. 負(fù)責(zé)高效的數(shù)據(jù)抓取,爬蟲開發(fā)等,從各種網(wǎng)站和數(shù)據(jù)源中提取有價(jià)值的數(shù)據(jù)。
2. 負(fù)責(zé)對(duì)抓取數(shù)據(jù)的清洗、格式化和去噪處理。
3. 參與應(yīng)用程序的設(shè)計(jì)、開發(fā)、測(cè)試工作。
4. 對(duì)數(shù)據(jù)敏感,有良好的邏輯思維和數(shù)據(jù)分析能力。
5. 對(duì)數(shù)據(jù)庫(kù)進(jìn)行設(shè)計(jì)、優(yōu)化和管理,確保數(shù)據(jù)的安全性和完整性。
任職要求:
1. 熟練掌握 Python 編程,具備良好的編碼風(fēng)格與常見數(shù)據(jù)結(jié)構(gòu)、算法的應(yīng)用能力。
2. 熟悉常見的爬蟲框架和工具,如 Scrapy、BeautifulSoup、Selenium 等。
3. 熟悉常用的數(shù)據(jù)清洗與處理庫(kù),如 Pandas、NumPy 等,能夠高效處理抓取到的海量數(shù)據(jù)。
4. 熟悉常見的 Web 開發(fā)框架(如 Flask、Django)與 RESTful API 設(shè)計(jì)。
5. 掌握爬蟲腳本,具有獨(dú)立爬取信息的能力。
6. 掌握數(shù)據(jù)庫(kù)操作,如 MySQL 等,能夠?qū)ψト〉臄?shù)據(jù)進(jìn)行存儲(chǔ)和管理。
7. 深入理解常見的反爬蟲技術(shù),如:驗(yàn)證碼、動(dòng)態(tài)加載、IP封禁等。
8. 對(duì) AI 大模型有一定了解者優(yōu)先。
工作地點(diǎn):中海國(guó)際中心A座21層