- Tài nguyênSử dụng Sản phẩmCông cụ trực tuyến
VN
Đến năm 2026, cụm từ "trích xuất dữ liệu đầy đủ từ ChatGPT" đã chia thành hai con đường kỹ thuật riêng biệt. Đối với người dùng bình thường, nó đề cập đến việc xuất dữ liệu tài khoản — truy xuất lịch sử trò chuyện cá nhân của một người từ máy chủ của OpenAI. Tuy nhiên, đối với các kỹ sư và kiến trúc sư dữ liệu, thuật ngữ này hiện chủ yếu có nghĩa là cạo do AI cung cấp.
Cách giải thích thứ hai này đã trở thành tiêu chuẩn kỹ thuật thống trị. Chúng ta đã vượt qua kỷ nguyên "định vị" dữ liệu thông qua các bộ chọn CSS giòn và bước vào kỷ nguyên "hiểu" dữ liệu thông qua trích xuất ngữ nghĩa. Trong mô hình này, ChatGPT (cụ thể là GPT-4o và những người kế nhiệm của nó) hoạt động như một công cụ phân tích cú pháp thông minh xác định và cấu trúc thông tin từ nội dung web thô, bất kể bố cục trang web cơ bản thay đổi thường xuyên như thế nào.
Quy trình làm việc của người hành nghề hiện đại tập trung vào phương pháp của parse() OpenAI Python SDK. Phương pháp này cho phép chúng tôi bỏ qua thao tác chuỗi và biểu thức chính quy truyền thống, di chuyển trực tiếp từ nội dung thô sang đối tượng đã được xác thực.
Logic cạo truyền thống rất mong manh. Nếu nhà phát triển đổi tên một lớp từ .price-tag thành .product-amount, một công cụ quét tiêu chuẩn sẽ bị hỏng. Trích xuất ngữ nghĩa là bất khả tri về bố cục. Bằng cách chuyển nội dung đến LLM, mô hình xác định "Giá" dựa trên ngữ cảnh và kiểu dữ liệu thay vì vị trí của nó trong DOM. Điều này rất cần thiết cho các trang web thương mại điện tử hiện đại, nơi bố cục động và thường xuyên được thử nghiệm A/B.
Để có được JSON nhất quán thay vì lông tơ hội thoại, chúng tôi sử dụng Pydantic để xác định một lược đồ nghiêm ngặt. Đối với "Trang web thử nghiệm thương mại điện tử", một kiến trúc sư cấp cao sẽ định nghĩa một lớp như sau:
from pydantic import BaseModel
from typing import Optional, List
class Product(BaseModel):
sku: Optional[str]
name: Optional[str]
price: Optional[float]
description: Optional[str]
images: Optional[List[str]]
sizes: Optional[List[str]]
colors: Optional[List[str]]
category: Optional[str]
Mẹo chuyên nghiệp: Đánh dấu các trường là Optional rất quan trọng. Nếu bạn đánh dấu một trường là bắt buộc và dữ liệu bị thiếu trên trang, mô hình có thể ảo giác một giá trị chỉ để thỏa mãn lược đồ.
Việc triển khai tuân theo một trình tự tinh chỉnh:
requests để kéo HTML thô từ đích.#main) để loại bỏ tiếng ồn.client.beta.chat.completions.parse() phương thức.Product hoặc None nếu phân tích cú pháp không thành công. Các kỹ sư phải thực hiện kiểm tra ở đây để xử lý None các giá trị một cách duyên dáng.Chuyển HTML thô đến LLM là một sai lầm nghiệp dư dẫn đến "sự phình to mã thông báo" lớn. HTML lộn xộn với các thẻ, tập lệnh và thuộc tính không cung cấp giá trị cho việc trích xuất dữ liệu nhưng làm tăng đáng kể chi phí.
Bước 1: Xác định phạm vi DOM. Trước khi chuyển đổi, hãy sử dụng Beautiful Soup để chọn #main phần tử hoặc vùng chứa cụ thể nơi chứa dữ liệu. Gửi toàn bộ trang (bao gồm cả đầu trang và chân trang) sẽ thêm nhiễu không cần thiết.
Bước 2: Chuyển đổi. Chuyển đổi HTML có phạm vi thành Markdown thông qua markdownify thư viện là tiêu chuẩn công nghiệp để tối ưu hóa.
| Số liệu | HTML thô (phần tử chính) | Chuyển đổi Markdown |
|---|---|---|
| Số lượng token | ~21.504 | ~956 |
| Giảm token | 0% | 95%+ |
| Chi phí cho mỗi yêu cầu | ~0,10 đô la | ~0,006 đô la |
Bằng cách loại bỏ nguyên mẫu, bạn giảm thiểu sự "phân tâm" cho mô hình. Đầu vào rõ ràng hơn giúp giảm chi phí điện toán và dẫn đến độ chính xác cao hơn, vì LLM tập trung nghiêm ngặt vào các điểm dữ liệu được xác định trong lược đồ Pydantic của bạn.
Ngay cả những mô hình AI tinh vi nhất cũng phải đối mặt với những rào cản môi trường mà họ không thể giải quyết chỉ bằng logic.
Hầu hết các mục tiêu có giá trị cao vào năm 2026 đều sử dụng các biện pháp bảo vệ chống bot tích cực. Một cuộc gọi tiêu chuẩn requests.get() sẽ thường xuyên gây 403 Forbidden ra lỗi. ChatGPT thậm chí không bao giờ nhìn thấy dữ liệu vì công cụ quét đã bị chặn ở cửa.
ChatGPT là một công cụ xử lý văn bản, không phải một trình duyệt. Nó không thể "đợi" cho một component React hoặc Vue render. Nếu dữ liệu được chèn qua JavaScript sau lần tải trang đầu tiên, AI sẽ nhận được một shell trống. Để giải quyết vấn đề này yêu cầu một trình duyệt không có đầu hoặc một API chuyên dụng để hiển thị DOM trước khi AI phân tích cú pháp nó.
Mặc dù tối ưu hóa Markdown hữu ích, nhưng các trang cực dài (như tài liệu kỹ thuật chuyên sâu) vẫn có thể vượt quá cửa sổ ngữ cảnh. Trích xuất quy mô lớn yêu cầu các chiến lược "phân đoạn" hoặc thiết lập RAG (Retrieval-Augmented Generation) nâng cao để đảm bảo không có dữ liệu nào bị mất.
Để mở rộng quy mô từ một trang sản phẩm đến toàn bộ danh mục, bạn cần một cơ sở hạ tầng mạnh mẽ che dấu chân tự động của mình.
Tiêu chuẩn chuyên nghiệp để giải quyết đồng thời khoảng cách hiển thị 403 và JavaScript là API Mở khóa Web. Các dịch vụ này xử lý tự động lấy dấu vân tay của trình duyệt, giải CAPTCHA và quản lý tiêu đề. Chúng trả về HTML được hiển thị đầy đủ, sẵn sàng cho AI (hoặc thậm chí là Markdown) trực tiếp vào tập lệnh của bạn, bỏ qua nhu cầu tự động hóa trình duyệt thủ công.
Đối với các tác vụ khối lượng lớn, mạng IP dân cư là không thể thương lượng. Chúng định tuyến các yêu cầu của bạn thông qua các thiết bị ngang hàng thực, khiến trình quét của bạn không thể phân biệt được với người dùng hợp pháp. Đây là cách để tránh danh sách đen IP thường theo dõi hàng nghìn yêu cầu đến một tên miền.
Trong khi parse() phương thức xử lý dữ liệu, DICloak xử lý danh tính. Trong quy trình trích xuất hiện đại, trình duyệt chống phát hiện được sử dụng cho hai mục đích cụ thể:
Không bao giờ đặt bạn OPENAI_API_KEY trực tiếp vào mã của bạn. Sử dụng tệp .env và python-dotenv thư viện. Lộ các khóa trong kiểm soát phiên bản là nguyên nhân hàng đầu gây cạn kiệt tài khoản trong thế giới tự động hóa.
Nếu bạn đánh dấu một trường là bắt buộc (ví dụ: sku: str) nhưng trang sản phẩm thiếu SKU, LLM thường sẽ "phát minh" một giá trị để đáp ứng lược đồ. Luôn mặc định trừ Optional khi bạn chắc chắn 100% mỗi trang đều chứa điểm dữ liệu đó.
Hành vi của gpt-4o có thể trôi dạt khi OpenAI cập nhật trọng số của nó. Một lời nhắc hoạt động ngày hôm nay có thể thất bại trong quý tới. Kiến trúc sư cấp cao xây dựng các thử nghiệm để xác thực tính nhất quán của trích xuất trên các lần lặp lại mô hình khác nhau.
Phân tích cú pháp thủ công thông qua Regex hoặc XPath vẫn chưa chết, nhưng giờ đây nó là một công cụ thích hợp cho các kịch bản chi phí thấp, khối lượng lớn trên các trang web tĩnh, đơn giản. Đối với bất kỳ thứ gì liên quan đến sự phức tạp hoặc bố cục động, trích xuất AI là cơ sở mới.
Ngành công nghiệp đang hướng tới một tương lai nơi các tác nhân AI dựa trên trình duyệt thực hiện các tác vụ này một cách nguyên bản. Cho đến lúc đó, sự kết hợp của tối ưu hóa Python, Pydantic và Markdown vẫn là bộ công cụ mạnh mẽ nhất cho các chuyên gia theo hướng dữ liệu.
Đúng. Sử dụng tính năng xuất dữ liệu tài khoản OpenAI để lấy lịch sử của bạn ở định dạng JSON. Sau đó, bạn có thể sử dụng một tập lệnh Python đơn giản (thông qua pandas) để làm phẳng JSON đó thành tệp .csv hoặc .xlsx để phân tích trong Excel.
Với tối ưu hóa Markdown được mô tả trong hướng dẫn này, chi phí khoảng 0,006 đô la cho mỗi trang, nâng tổng số cho 1.000 trang lên khoảng 6,00 đô la. Nếu không tối ưu hóa Markdown, chi phí đó có thể tăng lên 100,00 đô la hoặc hơn.
Đây là một khối chống bot. Trang web đã xác định tập lệnh Python của bạn là bot tự động. Để khắc phục điều này, bạn cần sử dụng API Mở khóa Web hoặc proxy dân cư để ẩn chữ ký tự động của mình.
Trích xuất dữ liệu công khai nói chung là hợp pháp ở nhiều khu vực pháp lý, nhưng bạn phải tôn trọng robots.txt và Điều khoản dịch vụ của trang web. Luôn tham khảo ý kiến cố vấn pháp lý về dữ liệu cụ thể mà bạn đang thu thập và trường hợp sử dụng dự định của bạn.
Không, bạn không cần proxy để nói chuyện với OpenAI. Tuy nhiên, bạn gần như chắc chắn cần proxy hoặc Trình mở khóa web để tìm nạp HTML từ trang web mục tiêu trước khi gửi đến OpenAI để phân tích cú pháp.
Thư markdownify viện là thư viện yêu thích hiện tại của ngành. Nó nhẹ, nhanh và tích hợp hoàn hảo với Beautiful Soup để tối ưu hóa token.
