我建立了一個分佈式的抓取系統，但這值得嗎？

內容介紹

關鍵信息

• 該項目使用了 Scrapy，並設置了 32 個並發請求，運行 1400 個請求耗時超過 160 秒。
• 演講者探討了通過分散抓取來加快抓取過程的可能性。
• 分布式抓取涉及在不同的機器上運行多個蜘蛛實例，特別是使用多個Digital Ocean滴濕機。
• 一個中央的 Redis 實例被用來管理網址，而 Scrapy Redis 促進了這個過程。
• 分散式抓取的主要好處是水平擴展，以及檢查需要多少個節點才能超越標準的 Scrapy 專案。
• 當這個項目在45頁到50頁之間進行測試時，顯示出明顯的時間縮短。
• 最初，分散式方法因管理多個節點的開銷而稍微比單個實例慢。
• 代理伺服器對於分散式抓取至關重要，該專案利用了一個贊助商以獲得高品質、快速及道德來源的代理伺服器。
• 演講者指出了由於伺服器位置造成的地理延遲等挑戰，這影響了性能。
• 他們遇到了技術困難，需要定制工具來管理多個VPS，以及處理延遲和成本的複雜性。
• 該項目旨在測試分佈式抓取的可行性，證明了其功能，但對於這個特定的使用案例卻質疑其價值。