python爬蟲工程師
薪資：1.8萬-3萬
學歷：本科
經(jīng)驗：不限
人數(shù)：若干
2024-05-17
崗位職責：
崗位職責：
1、設(shè)計、開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進行多平臺信息的抓取和分析工作:
2、優(yōu)化數(shù)據(jù)庫結(jié)構(gòu)，確保數(shù)據(jù)的有效性、嚴謹性、高性能;
3、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；提升平臺的抓取效率;
4、實時監(jiān)控爬蟲的進度和警報反饋，并處理爬蟲異常;
5、分析爬蟲系統(tǒng)瓶頸設(shè)計實現(xiàn)相應策略和算法，提升爬蟲的抓取效率和質(zhì)量。持續(xù)進行算法和策略優(yōu)化，提升爬蟲的抓取效率和質(zhì)量
6、參與業(yè)務藍圖設(shè)計、業(yè)務需求、系統(tǒng)設(shè)計、代碼規(guī)范等評審工作；
任職資格：
1、精通API接口對接、高效對接相關(guān)業(yè)務系統(tǒng);有數(shù)據(jù)清洗、數(shù)據(jù)加工工作經(jīng)驗;
2、具備數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗；對數(shù)據(jù)敏感，精通數(shù)據(jù)抓取原理及技術(shù)，有數(shù)據(jù)爬取及防爬實戰(zhàn)經(jīng)驗;
3、熟練 Linux 系統(tǒng)及 Shell;熟練 Python、 Java 開發(fā)語言;熟悉Hadoop、Spark 技術(shù);
4、熟悉 Mysql、SQLserver、PostgreSql數(shù)據(jù)庫，熟練搭建數(shù)據(jù)庫服務器及集群服務;熟悉 Redis、Memcache、MongoDB等 NoSQL 緩存技術(shù)
