數(shù)據(jù)工程師
薪資：面議
學(xué)歷：本科
經(jīng)驗(yàn)：3-5年相關(guān)工作經(jīng)驗(yàn)
人數(shù)：2
2024-04-12
崗位職責(zé)：
（崗位職責(zé)）
1、設(shè)計(jì)、開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進(jìn)行多平臺信息的抓取和分析工作；
2、優(yōu)化數(shù)據(jù)庫結(jié)構(gòu)，確保數(shù)據(jù)的有效性、嚴(yán)謹(jǐn)性、高性能；
3、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；提升平臺的抓取效率；
4、實(shí)時(shí)監(jiān)控爬蟲的進(jìn)度和警報(bào)反饋，并處理爬蟲異常；
5、分析爬蟲系統(tǒng)瓶頸設(shè)計(jì)實(shí)現(xiàn)相應(yīng)策略和算法，提升爬蟲的抓取效率和質(zhì)量。持續(xù)進(jìn)行算法和策略優(yōu)化，提升爬蟲的抓取效率和質(zhì)量；
6、參與業(yè)務(wù)藍(lán)圖設(shè)計(jì)、業(yè)務(wù)需求、系統(tǒng)設(shè)計(jì)、代碼規(guī)范等評審工作；
崗位要求：
1、精通API接口對接、高效對接相關(guān)業(yè)務(wù)系統(tǒng)；有數(shù)據(jù)清洗、數(shù)據(jù)加工工作經(jīng)驗(yàn)；
2、有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲(chǔ)經(jīng)驗(yàn)；對數(shù)據(jù)敏感，精通數(shù)據(jù)抓取原理及技術(shù)，有數(shù)據(jù)爬取及防爬實(shí)戰(zhàn)經(jīng)驗(yàn)；
3、熟練Linux系統(tǒng)及Shell；熟練Python、Java開發(fā)語言；熟悉Hadoop、Spark技術(shù)；
4、 熟悉Mysql、SQLserver、PostgreSql數(shù)據(jù)庫，熟練搭建數(shù)據(jù)庫服務(wù)器及集群服務(wù)；熟悉Redis、Memcache、MongoDB等NoSQL緩存技術(shù)
