Python爬蟲開發工程師負責設計和開發分布式的網絡爬蟲應用，進行互聯網相關信息的抓取和分析，設計策略和算法，提升網頁抓取的效率和質量，進一步解決系統的網頁排重、垃圾、控制、資源劃分都問題。