北京
應(yīng)屆畢業(yè)生
本科
最近更新
468人關(guān)注
職位描述
該職位還未進行加V認證，請仔細了解后再進行投遞！
【保定總部工作】
1. 負責(zé)定向數(shù)據(jù)的采集與爬取、解析處理、入庫及備份等數(shù)據(jù)日常工作；
2. 研究主流網(wǎng)站的爬取方法及數(shù)據(jù)清洗處理，負責(zé)非定向數(shù)據(jù)的清洗、整理、整合及合并等工作；
3. 參與分布式爬蟲的框架的維護與開發(fā)；負責(zé)公司采集系統(tǒng)架構(gòu)開發(fā)和性能優(yōu)化；爬蟲框架工具化，使數(shù)據(jù)采集人員簡單適用，高效采集數(shù)據(jù)；
4. 及時解決生產(chǎn)上的系統(tǒng)問題，并對用戶提供技術(shù)支持；并能根據(jù)項目安排采集指定站點數(shù)據(jù)；
5. 其他部門內(nèi)數(shù)據(jù)相關(guān)工作。
任職資格：
1. 本科以上學(xué)歷，計算機相關(guān)專業(yè)；
2. 5年以上Python開發(fā)經(jīng)驗，至少2個以上完整的中大型爬蟲開發(fā)經(jīng)驗；
3. 熟練掌握基于爬蟲框架Selenuim、Scrapy、PySpider、Crawley，puppeteer；
4. 熟悉瀏覽器運行原理，懂得js逆向，熟悉web端常用反爬技術(shù)；
5. 熟悉抓包工具(Wireshark、Fiddler、charles等)；
6. 熟練使用一種以上數(shù)據(jù)庫(Doris/MySQL/mongodb)與消息中間件kafka；7. 具有反爬解決經(jīng)驗，對Js逆向、封IP 、復(fù)雜驗證碼、模擬Cookie 登錄等，有過實際經(jīng)驗；
注：聯(lián)系我時，請說是在江蘇人才網(wǎng)上看到的。
工作地點
地址：北京大興區(qū)北京-大興區(qū)亦城時代北京大興區(qū)亦城時代廣場T5-16層
??
點擊查看地圖
詳細位置，可以參考上方地址信息
求職提示：用人單位發(fā)布虛假招聘信息，或以任何名義向求職者收取財物（如體檢費、置裝費、押金、服裝費、培訓(xùn)費、身份證、畢業(yè)證等），均涉嫌違法，請求職者務(wù)必提高警惕。
