【崗位職責(zé)】：

1、負責(zé)設(shè)計和開發(fā)網(wǎng)絡(luò)信息收集系統(tǒng)，完成關(guān)鍵信息的數(shù)據(jù)抽取、清洗、去重、分析等；

2、負責(zé)相關(guān)技術(shù)的研究和實現(xiàn)工作，比如驗證碼、JS分析等等；

3、負責(zé)公司相關(guān)系統(tǒng)的核心算法以及策略優(yōu)化，熟悉收集系統(tǒng)的調(diào)度策略；

4、設(shè)計收集策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；

5、負責(zé)現(xiàn)有部分系統(tǒng)的完善、維護工作，實時監(jiān)控的進度和警報反饋，提升系統(tǒng)穩(wěn)定性、可擴展性；

6、能獨立解決實際開發(fā)過程碰到的各類問題。

【任職要求】：

1、本科及以上學(xué)歷，計算機相關(guān)專業(yè)；

2、至少3年及以上相關(guān)經(jīng)驗；

3、精通golang語言，具有扎實的計算機基礎(chǔ)和編程能力，熟悉常見的算法與數(shù)據(jù)結(jié)構(gòu)，具有優(yōu)秀的邏輯思維能力；

4、熟悉Mysql,redis，有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗優(yōu)先；

5、熟悉常見的反爬機制，并對反爬具有一定的應(yīng)對措施策略且有一定研究；

6、熟悉APP逆向、JS逆向、驗證碼破解、圖像識別等技術(shù)；

7、熟悉常用網(wǎng)絡(luò)協(xié)議、數(shù)據(jù)存儲和數(shù)據(jù)處理技術(shù)；

8、熟悉linux系統(tǒng)環(huán)境、命令，shell、python腳本編寫；