今天抓取了23萬個Shopify商店連結 - 非常開心

內容介紹

關鍵信息

• 演講者經過長時間的努力，成功地抓取了一個 Shopify 商店的鏈接數據庫。
• 他們收集了超過230,000個Shopify商店的鏈接及其人氣排名。
• 抓取過程涉及繞過之前造成失敗的人類驗證障礙。
• 講者使用了一個名為「章魚」的工具來進行網頁刮取、發送多個請求以及執行一些手動過程。
• 抓取的數據庫旨在供演講者及其客戶使用，這些客戶將會購買該數據庫。
• 演講者表達了對於使用無程式碼工具創建與網路爬蟲技術相關的進一步內容的快樂和動力。
• 他們計劃很快上傳一段教程視頻，詳細說明他們是如何抓取 Shopify 數據庫的。