如何解决Cloudflare 5秒挑战：网页爬虫技术指南

# pip install requests
import requests
import time
import json

# --- 配置 ---
api_key = "YOUR_API_KEY"  # 替换为您的 CapSolver API 密钥
target_url = "https://www.example-protected-site.com"
proxy_string = "ip:port:user:pass" # 替换为您的代理详细信息
# ---------------------

def capsolver_solve_cloudflare():
    """
    使用 CapSolver 自动解决 Cloudflare 挑战。
    """
    print("--- 开始 Cloudflare 挑战解决器 ---")
    
    # 1. 创建任务
    create_task_payload = {
        "clientKey": api_key,
        "task": {
            "type": "AntiCloudflareTask",
            "websiteURL": target_url,
            "proxy": proxy_string
        }
    }
    
    # 内部链接：CapSolver 博客 - 如何绕过 Cloudflare 挑战
    print(f"将任务发送到 CapSolver 以处理 URL: {target_url}...")
    try:
        res = requests.post("https://api.capsolver.com/createTask", json=create_task_payload)
        res.raise_for_status() # 如果状态码不佳，将引发异常
        resp = res.json()
        task_id = resp.get("taskId")
    except requests.exceptions.RequestException as e:
        print(f"创建任务失败（网络/API 错误）: {e}")
        return None
    
    if not task_id:
        print(f"创建任务失败。响应: {resp.get('errorDescription', json.dumps(resp))}")
        return None
    
    print(f"任务创建成功。获取到 taskId: {task_id}。正在轮询结果...")

    # 2. 获取结果
    while True:
        time.sleep(3)  # 轮询前等待 3 秒
        get_result_payload = {"clientKey": api_key, "taskId": task_id}
        
        try:
            res = requests.post("https://api.capsolver.com/getTaskResult", json=get_result_payload)
            res.raise_for_status()
            resp = res.json()
            status = resp.get("status")
        except requests.exceptions.RequestException as e:
            print(f"获取任务结果失败（网络错误）: {e}")
            continue

        if status == "ready":
            solution = resp.get("solution", {})
            print("挑战成功解决！已获取解决方案。")
            return solution
        
        if status == "failed" or resp.get("errorId"):
            print(f"解决失败！响应: {resp.get('errorDescription', json.dumps(resp))}")
            return None
        
        # 内部链接：CapSolver 博客 - 如何解决 Cloudflare Turnstile
        print(f"状态: {status}。正在等待解决方案...")

# 执行解决器函数
solution = capsolver_solve_cloudflare()

if solution:
    # 使用 cf_clearance cookie 发起最终请求到目标网站
    cf_clearance_cookie = solution['cookies']['cf_clearance']
    user_agent = solution['userAgent']
    
    print("\n--- 绕过 Cloudflare 的最终请求详情 ---")
    print(f"要使用的 User-Agent: {user_agent}")
    print(f"cf_clearance cookie: {cf_clearance_cookie[:20]}...")
    
    # 重要提示：最终请求必须使用与任务中指定相同的 User-Agent 和代理，并通过 TLS 指纹友好的库发送。
    
    final_request_headers = {
        'User-Agent': user_agent,
        'Cookie': f'cf_clearance={cf_clearance_cookie}'
    }
    
    # 最终请求示例（需要 TLS 友好的库和代理设置）
    # import curl_cffi.requests as c_requests # pip install curl_cffi
    # proxies = {'http': f'http://{proxy_string}', 'https': f'http://{proxy_string}'}
    # final_response = c_requests.get(target_url, headers=final_request_headers, proxies=proxies)
    # print("目标网站内容:", final_response.text)
else:
    print("未能获取解决方案。请检查 API 密钥和代理设置。")