Cách giải reCAPTCHA v3 trong Crawl4AI với Tích hợp CapSolver

Giới thiệu

reCAPTCHA v3, CAPTCHA tiên tiến, không hiển thị của Google, hoạt động lặng lẽ ở nền, phân tích hành vi người dùng để gán điểm số cho thấy khả năng hoạt động của bot. Khác với phiên bản trước, reCAPTCHA v2, nó thường không hiển thị các thách thức tương tác cho người dùng. Mặc dù điều này cải thiện trải nghiệm người dùng, nhưng nó tạo ra những thách thức mới cho tự động hóa web và trích xuất dữ liệu, vì các phương pháp truyền thống như chèn token thường không đủ hoặc dễ bị ghi đè.

Bài viết này cung cấp hướng dẫn chi tiết về cách tích hợp Crawl4AI, một trình thu thập web mạnh mẽ, với CapSolver, một dịch vụ giải CAPTCHA hàng đầu, đặc biệt là để giải reCAPTCHA v3. Chúng ta sẽ khám phá các kỹ thuật tinh vi, bao gồm các giải pháp dựa trên API với việc gắn hook vào fetch JavaScript và tích hợp tiện ích mở rộng trình duyệt, để đảm bảo trích xuất dữ liệu web mượt mà và đáng tin cậy ngay cả từ các trang web được bảo vệ bởi reCAPTCHA v3.

Hiểu về reCAPTCHA v3 và những thách thức độc đáo của nó

reCAPTCHA v3 hoạt động bằng cách trả về một điểm số (từ 0.0 đến 1.0) cho mỗi yêu cầu mà không cần tương tác của người dùng. Một điểm số 0.0 cho thấy khả năng cao là bot, trong khi 1.0 cho thấy người dùng là con người. Các trang web sau đó sử dụng điểm số này để quyết định xem có cho phép hành động, hiển thị thách thức, hay chặn yêu cầu. Tính chất không hiển thị của reCAPTCHA v3 có nghĩa là:

• Không có thách thức hiển thị: Người dùng không nhìn thấy hộp kiểm hoặc câu đố hình ảnh.
• Xác minh dựa trên điểm số: Các quyết định được đưa ra dựa trên điểm số rủi ro.
• Tạo token động: Token thường được tạo và xác minh động, thường thông qua các yêu cầu fetch hoặc XMLHttpRequest.
• Nhạy cảm với thời gian: Chèn token quá sớm có thể dẫn đến việc nó bị ghi đè, trong khi quá muộn có thể bỏ lỡ bước xác minh.

Khả năng AI tiên tiến của CapSolver là quan trọng để lấy token reCAPTCHA v3 hợp lệ với điểm số cao. Khi kết hợp với khả năng kiểm soát trình duyệt mạnh mẽ của Crawl4AI, nó giúp các nhà phát triển vượt qua những thách thức này và duy trì luồng dữ liệu không gián đoạn.

💡 Ưu đãi đặc biệt cho người dùng tích hợp Crawl4AI:
Để chào mừng sự tích hợp này, chúng tôi đang cung cấp mã ưu đãi 6% — CRAWL4 cho tất cả người dùng CapSolver đăng ký qua hướng dẫn này.
Chỉ cần nhập mã này khi nạp tiền trong Bảng điều khiển để nhận thêm 6% tín dụng ngay lập tức.

Phương pháp tích hợp 1: Tích hợp API CapSolver với Crawl4AI (gắn hook vào fetch)

Việc vượt qua reCAPTCHA v3 thông qua tích hợp API đòi hỏi một cách tiếp cận phức tạp hơn so với v2, chủ yếu do tính chất không hiển thị và cơ chế xác minh token động. Chiến lược chính bao gồm việc lấy token reCAPTCHA v3 từ CapSolver và sau đó

gắn hook vào phương thức window.fetch trong trình duyệt để thay thế token reCAPTCHA v3 ban đầu bằng token do CapSolver cung cấp vào đúng thời điểm xác minh.

Cách hoạt động:

1. Lấy token trước: Trước khi Crawl4AI điều hướng đến trang đích, gọi API của CapSolver bằng SDK của họ để giải reCAPTCHA v3. Điều này sẽ cung cấp cho bạn token gRecaptchaResponse hợp lệ và có thể có điểm số cao hơn.
2. Điều hướng và chèn mã JavaScript: Crawl4AI điều hướng đến trang đích. Quan trọng nhất là nó chèn mã JavaScript (thông qua js_code trong CrawlerRunConfig) để ghi đè phương thức window.fetch.
3. Gắn hook yêu cầu fetch: Mã JavaScript được chèn sẽ bắt các yêu cầu fetch. Khi phát hiện một yêu cầu nhắm đến điểm cuối xác minh reCAPTCHA v3 (ví dụ: /recaptcha-v3-verify.php), mã JavaScript sẽ sửa đổi yêu cầu để bao gồm token do CapSolver cung cấp thay vì token được tạo bởi trang web.
4. Tiếp tục hoạt động: Với yêu cầu fetch được gắn hook thành công và token hợp lệ được gửi, Crawl4AI có thể tiếp tục thực hiện các hành động khác, vì quá trình xác minh reCAPTCHA v3 sẽ được thông qua.

Mã ví dụ: Tích hợp API cho reCAPTCHA v3 (gắn hook vào fetch)

Mã Python sau minh họa kỹ thuật tiên tiến này để tích hợp API của CapSolver với Crawl4AI nhằm giải reCAPTCHA v3. Ví dụ này sử dụng trang web demo reCAPTCHA v3.

import asyncio
import capsolver
from crawl4ai import *


# TODO: thiết lập cấu hình của bạn
api_key = "CAP-xxxxxxxxxxxxxxxxxxxxx"                                             # khóa API của bạn từ CapSolver
site_key = "6LdKlZEpAAAAAAOQjzC2v_d36tWxCl6dWsozdSy9"                             # site key của trang đích
site_url = "https://recaptcha-demo.appspot.com/recaptcha-v3-request-scores.php"   # URL trang đích
page_action = "examples/v3scores"                                                 # hành động trang của trang đích
captcha_type = "ReCaptchaV3TaskProxyLess"                                         # loại CAPTCHA của trang đích
capsolver.api_key = api_key


async def main():
    browser_config = BrowserConfig(
        verbose=True,
        headless=False,
        use_persistent_context=True,
    )

    # lấy token reCAPTCHA bằng SDK CapSolver
    solution = capsolver.solve({
        "type": captcha_type,
        "websiteURL": site_url,
        "websiteKey": site_key,
        "pageAction": page_action,
    })
    token = solution["gRecaptchaResponse"]
    print("token reCAPTCHA:", token)

    async with AsyncWebCrawler(config=browser_config) as crawler:
        await crawler.arun(
            url=site_url,
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test"
        )

        js_code = """
            const originalFetch = window.fetch;
            
            window.fetch = function(...args) {
              if (typeof args[0] === \'string\' && args[0].includes(\'/recaptcha-v3-verify.php\')) {
                const url = new URL(args[0], window.location.origin);
                url.searchParams.set(\'action\', \""" + token + """\");
                args[0] = url.toString();
                document.querySelector(\".token\").innerHTML = \"fetch(\\'/recaptcha-v3-verify.php?action=examples/v3scores&token="""+token+"""\')\";
                console.log(\'Fetch URL hooked:\', args[0]);
              }
              return originalFetch.apply(this, args);
            };
        """

        wait_condition = """() => {
            return document.querySelector(\".step3:not(.hidden)\");
        }"""

        run_config = CrawlerRunConfig(
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test",
            js_code=js_code,
            js_only=True,
            wait_for=f"js:{wait_condition}"
        )

        result_next = await crawler.arun(
            url=site_url,
            config=run_config,
        )
        print(result_next.markdown)


if __name__ == "__main__":
    asyncio.run(main())

Phân tích mã:

1. Gọi phương thức solve của CapSolver: Phương thức capsolver.solve được gọi với loại ReCaptchaV3TaskProxyLess, websiteURL, websiteKey, và quan trọng nhất là pageAction. Tham số pageAction rất quan trọng đối với reCAPTCHA v3 vì nó giúp CapSolver hiểu bối cảnh của reCAPTCHA trên trang và tạo ra token chính xác hơn.
2. Gắn hook fetch JavaScript: js_code là cốt lõi của giải pháp này. Nó định nghĩa lại window.fetch. Khi một yêu cầu fetch được thực hiện đến /recaptcha-v3-verify.php, đoạn mã sẽ bắt nó, sửa đổi URL để bao gồm token do CapSolver cung cấp trong tham số action, sau đó cho phép fetch ban đầu tiếp tục. Điều này đảm bảo rằng máy chủ nhận được token có điểm số cao từ CapSolver.
3. Điều kiện chờ đợi: wait_condition đảm bảo Crawl4AI chờ đợi một phần tử cụ thể (.step3:not(.hidden)) xuất hiện, cho thấy quá trình xác minh reCAPTCHA v3 đã hoàn tất thành công và trang đã tiến triển.

Phương pháp tích hợp 2: Tích hợp tiện ích mở rộng CapSolver cho reCAPTCHA v3

Đối với reCAPTCHA v3, sử dụng tiện ích mở rộng CapSolver có thể đơn giản hóa quá trình tích hợp, đặc biệt khi mục tiêu là tận dụng khả năng giải CAPTCHA tự động của tiện ích mở rộng. Tiện ích mở rộng được thiết kế để phát hiện và giải reCAPTCHA v3 ở nền, thường được kích hoạt khi truy cập trang web.

Cách hoạt động:

1. Bối cảnh trình duyệt duy trì: Cấu hình Crawl4AI sử dụng user_data_dir để khởi động một phiên bản trình duyệt duy trì tiện ích mở rộng CapSolver đã cài đặt.
2. Cấu hình tiện ích mở rộng: Cài đặt tiện ích mở rộng CapSolver trong hồ sơ trình duyệt này và đảm bảo khóa API của bạn đã được cấu hình. Đối với reCAPTCHA v3, thường được khuyến khích để tiện ích mở rộng giải tự động, tức là manualSolving nên là false (hoặc mặc định).
3. Điều hướng đến trang đích: Crawl4AI điều hướng đến trang web được bảo vệ bởi reCAPTCHA v3.
4. Giải tự động: Tiện ích mở rộng CapSolver, chạy trong bối cảnh trình duyệt, phát hiện reCAPTCHA v3 và giải nó tự động, chèn token khi cần. Điều này thường xảy ra một cách mượt mà ở nền.
5. Tiếp tục thực hiện hành động: Sau khi reCAPTCHA v3 được giải bởi tiện ích mở rộng, Crawl4AI có thể tiếp tục các nhiệm vụ trích xuất dữ liệu của mình, vì bối cảnh trình duyệt giờ đây sẽ có các token hợp lệ cần thiết cho các yêu cầu tiếp theo.

Mã ví dụ: Tích hợp tiện ích mở rộng cho reCAPTCHA v3 (giải tự động)

Ví dụ này minh họa cách cấu hình Crawl4AI sử dụng hồ sơ trình duyệt có tiện ích mở rộng CapSolver để giải reCAPTCHA v3 tự động. Yếu tố quan trọng là đảm bảo tiện ích mở rộng được cấu hình đúng trong user_data_dir.

import asyncio
import time

from crawl4ai import *


# TODO: thiết lập cấu hình của bạn
user_data_dir = "/browser-profile/Default1" # Đảm bảo đường dẫn này được thiết lập đúng và chứa tiện ích mở rộng đã cấu hình

browser_config = BrowserConfig(
    verbose=True,
    headless=False,
    user_data_dir=user_data_dir,
    use_persistent_context=True,
    proxy="http://127.0.0.1:13120", # Tùy chọn: cấu hình proxy nếu cần
)

async def main():
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result_initial = await crawler.arun(
            url="https://recaptcha-demo.appspot.com/recaptcha-v3-request-scores.php", # Sử dụng URL demo reCAPTCHA v3
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test"
        )

        # reCAPTCHA v3 thường được giải tự động bởi tiện ích mở rộng khi trang được tải.
        # Bạn có thể cần thêm điều kiện chờ hoặc time.sleep để CAPTCHA được giải
        # trước khi tiếp tục các hành động khác phụ thuộc vào token.
        time.sleep(30) # Ví dụ chờ, điều chỉnh theo nhu cầu của tiện ích mở rộng

        # Tiếp tục với các hoạt động khác của Crawl4AI sau khi CAPTCHA được giải
        # Ví dụ, kiểm tra các phần tử hoặc nội dung xuất hiện sau khi xác minh thành công
        # print(result_initial.markdown) # Bạn có thể kiểm tra nội dung trang sau khi chờ


if __name__ == "__main__":
    asyncio.run(main())

Phân tích mã:

1. user_data_dir: Tương tự như tích hợp tiện ích mở rộng reCAPTCHA v2, tham số này rất quan trọng để Crawl4AI sử dụng một hồ sơ trình duyệt có tiện ích mở rộng CapSolver đã cài đặt và cấu hình. Tiện ích mở rộng sẽ tự động xử lý việc giải reCAPTCHA v3.
2. Giải tự động: Tiện ích mở rộng CapSolver được thiết kế để tự động phát hiện và giải reCAPTCHA v3. Một time.sleep được thêm vào như một ví dụ chung để cho phép tiện ích mở rộng hoàn tất các hoạt động nền. Đối với giải pháp mạnh mẽ hơn, hãy xem xét sử dụng chức năng wait_for của Crawl4AI để kiểm tra các thay đổi cụ thể trên trang cho thấy việc giải reCAPTCHA v3 thành công.

Kết luận

Việc giải reCAPTCHA v3 trong trích xuất dữ liệu web yêu cầu một phương pháp tinh vi, do tính chất không hiển thị và cơ chế xác minh động của nó. Việc tích hợp Crawl4AI với CapSolver cung cấp các công cụ mạnh mẽ để vượt qua những thách thức này. Dù thông qua kiểm soát chính xác bằng tích hợp API với việc gắn hook vào fetch JavaScript hay tự động hóa đơn giản nhờ tiện ích mở rộng trình duyệt, các nhà phát triển có thể đảm bảo các hoạt động trích xuất dữ liệu của họ vẫn hiệu quả và không bị gián đoạn.

Bằng cách tận dụng khả năng giải reCAPTCHA v3 chính xác cao của CapSolver và khả năng kiểm soát trình duyệt tiên tiến của Crawl4AI, bạn có thể duy trì tỷ lệ thành công cao trong việc trích xuất dữ liệu từ các trang web được bảo vệ bởi CAPTCHA tiên tiến này. Sự kết hợp này giúp các nhà phát triển xây dựng các hệ thống thu thập dữ liệu web tự động mạnh mẽ và đáng tin cậy hơn.

Tài liệu tham khảo

• Tài liệu chính thức của Crawl4AI
• Tài liệu chính thức của CapSolver
• CapSolver: Tài liệu reCAPTCHA v3
• CapSolver: Cách giải reCAPTCHA v2, v3, v3 doanh nghiệp ≥0.9 điểm