Como resolver o Cloudflare Turnstile no Crawl4AI com integração do CapSolver

Introdução

O Cloudflare Turnstile é uma alternativa inteligente de CAPTCHA projetada para verificar usuários legítimos sem desafios invasivos. Ele opera executando uma série de desafios de JavaScript não interativos em segundo plano, visando distinguir visitantes humanos de robôs de forma transparente. Embora ofereça uma melhor experiência do usuário, sua natureza invisível e processo de verificação dinâmico podem representar obstáculos significativos para ferramentas de raspagem web e extração de dados.

Este artigo fornece um guia detalhado sobre a integração do Crawl4AI, um raspador web avançado, com o CapSolver, um serviço líder em soluções de CAPTCHA e anti-bot, para contornar com eficácia as proteções do Cloudflare Turnstile. Cobriremos os métodos de integração baseados em API e em extensões de navegador, oferecendo exemplos práticos de código e explicações para garantir que suas tarefas de automação web prosseguam sem interrupções.

Entendendo o Cloudflare Turnstile e seus desafios para raspagem web

O Cloudflare Turnstile funciona avaliando o comportamento do visitante e as características do navegador para emitir um token, que é então enviado ao servidor para verificação. Ele visa preservar a privacidade e ser amigável ao usuário, mas para raspadores web, isso significa:

• Verificação invisível: Nenhuma interação explícita do usuário (como clicar em caixas de seleção ou resolver enigmas) é necessária, tornando mais difícil para os robôs detectar e responder.
• Execução dinâmica de JavaScript: O processo de verificação depende fortemente da execução de JavaScript no navegador, que os navegadores headless usados pelos raspadores devem lidar corretamente.
• Injeção de token: Um token válido deve ser injetado em um campo de entrada específico (geralmente cf-turnstile-response) antes de submeter o formulário ou prosseguir para a próxima etapa.

O CapSolver oferece uma solução de alta precisão e resposta rápida para o Cloudflare Turnstile, utilizando algoritmos avançados de IA. Quando integrado ao Crawl4AI, ele transforma esse mecanismo anti-bot sofisticado em uma etapa gerenciável, garantindo que suas tarefas de automação web permaneçam fluidas e produtivas.

💡 Bônus exclusivo para usuários de integração do Crawl4AI:
Para comemorar esta integração, oferecemos um código de bônus exclusivo de 6% — CRAWL4 para todos os usuários do CapSolver que se registrarem por meio deste tutorial.
Basta inserir o código durante o recarregamento no Painel para receber créditos extras de 6% instantaneamente.

Método de Integração 1: Integração da API do CapSolver com o Crawl4AI

O método de integração via API fornece controle preciso e é frequentemente preferido por sua flexibilidade. Ele envolve o uso do CapSolver para obter o token do Turnstile e, em seguida, injetar esse token no elemento apropriado na página de destino usando a funcionalidade js_code do Crawl4AI.

Como Funciona:

1. Navegação Inicial: O Crawl4AI acessa a página da web de destino que contém o Cloudflare Turnstile.
2. Obter Token do Turnstile: No seu script Python, chame a API do CapSolver usando seu SDK, especificando o tipo AntiTurnstileTaskProxyLess junto com websiteURL e websiteKey. O CapSolver retornará o token necessário do Turnstile.
3. Injetar Token e Enviar: Utilize o parâmetro js_code do Crawl4AI dentro de CrawlerRunConfig para injetar o token obtido no elemento de entrada input chamado cf-turnstile-response. Após a injeção, simule um clique no botão de envio ou acione a próxima ação que depende do token.
4. Continuar Operações: Com o token do Turnstile válido corretamente posicionado, o Crawl4AI pode prosseguir com ações subsequentes, contornando efetivamente o Cloudflare Turnstile.

Código de Exemplo: Integração via API para Cloudflare Turnstile

O seguinte código Python demonstra como integrar a API do CapSolver com o Crawl4AI para resolver o Cloudflare Turnstile. Este exemplo visa a página de demonstração do Cloudflare Turnstile.

import asyncio
import capsolver
from crawl4ai import *


# TODO: defina sua configuração
api_key = "CAP-xxxxxxxxxxxxxxxxxxxxx"  # sua chave de API do capsolver
site_key = "0x4AAAAAAAGlwMzq_9z6S9Mh"                             # chave do site do seu site de destino
site_url = "https://clifford.io/demo/cloudflare-turnstile"         # URL da página do seu site de destino
captcha_type = "AntiTurnstileTaskProxyLess"                                         # tipo do seu captcha
capsolver.api_key = api_key


async def main():
    browser_config = BrowserConfig(
        verbose=True,
        headless=False,
        use_persistent_context=True,
    )

    async with AsyncWebCrawler(config=browser_config) as crawler:
        await crawler.arun(
            url=site_url,
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test"
        )

        # obter token do turnstile usando o sdk capsolver
        solution = capsolver.solve({
            "type": captcha_type,
            "websiteURL": site_url,
            "websiteKey": site_key,
        })
        token = solution["token"]
        print("token do turnstile:", token)

        js_code = """
            document.querySelector(\'input[name="cf-turnstile-response"]\').value = \'"""+token+"""\';
            document.querySelector(\'button[type="submit"]\').click();
        """

        wait_condition = """() => {
            const items = document.querySelectorAll(\'h1\');
            return items.length === 0;
        }"""

        run_config = CrawlerRunConfig(
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test",
            js_code=js_code,
            js_only=True,
            wait_for=f"js:{wait_condition}"
        )

        result_next = await crawler.arun(
            url=site_url,
            config=run_config,
        )
        print(result_next.markdown)


if __name__ == "__main__":
    asyncio.run(main())

Análise do Código:

1. Chamada ao SDK do CapSolver: O método capsolver.solve é invocado com o tipo AntiTurnstileTaskProxyLess, websiteURL e websiteKey para recuperar o token do Turnstile. Este token é a solução fornecida pelo CapSolver.
2. Injeção de JavaScript (js_code): A string js_code contém JavaScript que localiza o elemento input com name="cf-turnstile-response" na página e atribui o token obtido à sua propriedade value. Em seguida, simula um clique no botão de envio, garantindo que o formulário seja enviado com o token do Turnstile válido.
3. Condição wait_for: Uma wait_condition é definida para garantir que o Crawl4AI aguarde uma mudança específica na página (por exemplo, a desaparição dos elementos h1, indicando submissão bem-sucedida e navegação) antes de prosseguir.

Método de Integração 2: Integração da Extensão do CapSolver

A extensão do CapSolver fornece uma abordagem simplificada para lidar com o Cloudflare Turnstile, especialmente quando se aproveita suas capacidades de resolução automática dentro de um contexto de navegador persistente gerenciado pelo Crawl4AI.

Como Funciona:

1. Contexto de Navegador Persistente: Configure o Crawl4AI para usar um user_data_dir para iniciar uma instância de navegador que mantém a extensão CapSolver instalada e suas configurações.
2. Instalar e Configurar a Extensão: Instale manualmente a extensão CapSolver neste perfil de navegador e configure sua chave de API do CapSolver. A extensão pode ser configurada para resolver automaticamente os desafios do Turnstile.
3. Navegar para a Página de Destino: O Crawl4AI navega para a página protegida pelo Cloudflare Turnstile.
4. Resolução Automática: A extensão do CapSolver, executando no contexto do navegador, detecta o desafio do Turnstile e o resolve automaticamente. O token é então injetado no campo cf-turnstile-response.
5. Prosseguir com as Ações: Após o Turnstile ser resolvido pela extensão, o Crawl4AI pode continuar com suas tarefas de raspagem, pois o contexto do navegador agora terá os tokens válidos necessários para solicitações subsequentes.

Código de Exemplo: Integração de Extensão para Cloudflare Turnstile (Resolução Automática)

Este exemplo demonstra como o Crawl4AI pode ser configurado para usar um perfil de navegador com a extensão CapSolver para resolver automaticamente o Cloudflare Turnstile.

import asyncio
import time

from crawl4ai import *


# TODO: defina sua configuração
user_data_dir = "/browser-profile/Default1" # Certifique-se de que este caminho esteja corretamente definido e contenha sua extensão configurada

browser_config = BrowserConfig(
    verbose=True,
    headless=False,
    user_data_dir=user_data_dir,
    use_persistent_context=True,
    proxy="http://127.0.0.1:13120", # Opcional: configure o proxy se necessário
)

async def main():
    async with AsyncWebCrawler(config=browser_config) as crawler:
        result_initial = await crawler.arun(
            url="https://clifford.io/demo/cloudflare-turnstile", # Use a URL de demonstração do Cloudflare Turnstile
            cache_mode=CacheMode.BYPASS,
            session_id="session_captcha_test"
        )

        # A extensão resolverá automaticamente o CAPTCHA ao carregar a página.
        # Você pode precisar adicionar uma condição de espera ou time.sleep para que o CAPTCHA seja resolvido
        # antes de prosseguir com ações adicionais.
        time.sleep(30) # Exemplo de espera, ajuste conforme necessário para a extensão operar

        # Continue com outras operações do Crawl4AI após a resolução do CAPTCHA
        # Por exemplo, verifique elementos ou conteúdo que aparecem após a verificação bem-sucedida
        # print(result_initial.markdown) # Você pode inspecionar o conteúdo da página após a espera


if __name__ == "__main__":
    asyncio.run(main())

Análise do Código:

1. user_data_dir: Este parâmetro é essencial para o Crawl4AI iniciar uma instância de navegador que mantém a extensão CapSolver instalada e suas configurações. Certifique-se de que o caminho aponte para um diretório válido de perfil de navegador onde a extensão foi instalada.
2. Resolução Automática: A extensão do CapSolver é projetada para detectar e resolver automaticamente os desafios do Cloudflare Turnstile. Um time.sleep é incluído como um exemplo geral para permitir que a extensão conclua suas operações em segundo plano. Para soluções mais robustas, considere usar a funcionalidade wait_for do Crawl4AI para verificar mudanças específicas na página que indiquem a resolução bem-sucedida do Turnstile.

Conclusão

A integração do Crawl4AI com o CapSolver fornece uma solução robusta e eficiente para contornar o Cloudflare Turnstile, aumentando significativamente a confiabilidade das operações de raspagem web. Seja você preferir o controle preciso da integração via API ou a automação simplificada oferecida pela extensão do navegador, ambos os métodos garantem que o Cloudflare Turnstile não impeça mais seus objetivos de coleta de dados.

Ao automatizar a resolução do Turnstile, os desenvolvedores podem se concentrar em extrair dados valiosos, confiantes de que seus raspadores navegarão sem problemas em sites protegidos. Esta sinergia entre as capacidades avançadas de raspagem do Crawl4AI e a tecnologia robusta de anti-bot do CapSolver marca um passo significativo à frente na extração automatizada de dados da web.

Perguntas Frequentes (FAQ)

Q1: O que é Cloudflare Turnstile e como ele se difere de CAPTCHAs tradicionais?
A1: O Cloudflare Turnstile é uma alternativa de CAPTCHA que verifica usuários legítimos sem desafios invasivos. Ao contrário dos CAPTCHAs tradicionais, que frequentemente exigem que os usuários resolvam enigmas, o Turnstile executa desafios de JavaScript não interativos em segundo plano, visando uma experiência do usuário sem interrupções enquanto distingue efetivamente humanos de robôs.

Q2: Por que é difícil raspar sites protegidos pelo Cloudflare Turnstile?
A2: A natureza invisível do Turnstile, sua dependência da execução dinâmica de JavaScript e a necessidade de um token válido ser injetado em um campo de entrada específico (cf-turnstile-response) tornam difícil para os raspadores web automatizados. Ele avalia as características do navegador e o comportamento do usuário, frequentemente bloqueando solicitações que não imitam interações humanas reais.

Q3: Como o CapSolver ajuda a contornar o Cloudflare Turnstile?
A3: O CapSolver fornece serviços especializados, como AntiTurnstileTaskProxyLess, para resolver desafios do Cloudflare Turnstile. Ele obtém o token necessário do Turnstile, que pode ser injetado pelo Crawl4AI na página de destino para contornar a proteção.

Q4: Quais são os dois principais métodos de integração do Cloudflare Turnstile com o Crawl4AI e o CapSolver?
A4: Os dois principais métodos são a integração via API, onde a API do CapSolver é chamada para obter o token, que é então injetado via js_code do Crawl4AI, e a integração com extensão de navegador, onde a extensão do CapSolver lida automaticamente com o desafio do Turnstile dentro de um contexto de navegador persistente.

Q5: Quais são os benefícios da integração do Crawl4AI e do CapSolver para o Cloudflare Turnstile?
A5: Esta integração leva à gestão automatizada do Turnstile, aumento da eficiência da raspagem, aumento da robustez do raspador contra mecanismos anti-bot e redução dos custos operacionais ao minimizar a intervenção manual, garantindo a extração de dados da web sem interrupções.

Referências

• Documentação Oficial do Crawl4AI
• Documentação Oficial do CapSolver
• CapSolver: Documentação do Cloudflare Turnstile
• Integração Geral do Crawl4ai com o CapSolver