一日一测：Bright Data的海外代理测试

发表于 2023-12-27 更新于 2024-11-12 阅读次数：本文字数： 1.2k 阅读时长 ≈ 4 分钟

上周的公众号文章提到了Bright Data提供的代理服务。没想到他们的运营同学竟然找上了门，问我能不能帮他们做一个评测。

我之前使用Bright Data的代理，是因为突然有一天我的HuggingFace爬虫挂了。比较奇怪的是，这个爬虫在我电脑上始终正常运行，但一放到服务器上就请求失败。联想到HuggingFace被封了，而这个爬虫之前一直使用的国内代理供应商，那么原因就很明显了。因为我的电脑是24小时挂着梯子的，所以能够正常访问HuggineFace，但爬虫部署到服务器上面以后，他会自动使用配置好的国内代理。由于国内代理也受到GFW的影响，因此也会出问题。

首先看一下Bright Data他们代理的基本功能，基于数据中心的隧道代理和基于住宅IP的隧道代理还有基于Sim卡的隧道代理。海外代理都是按流量收费的，确实比较贵，如下图所示。数据中心的代理IP，每GB流量收费0.1美元。住宅IP的代理IP，每GB流量收费15美元。

以数据中心代理为例，我开通的是隧道代理，只需要设置一个固定的地址，爬虫每次请求自动都会使用不同的IP。如下图所示：

当我们不使用代理时，访问HuggingFace会出现一直没有响应最后超时的情况。当我们在海外服务器上面使用代理访问HuggingFace时，一切正常。

作为海外代理，Bright Data的隧道IP在海外服务器上面访问HuggingFace是正常的。如下图所示：

需要注意的是，这种爬虫代理不是梯子。直接使用它，在国内是无法访问墙外网站的。GFW有一万种方法识别它。所以我们只有使用海外的服务器来运行。这不是Bright Data的问题，所有爬虫代理都是这样的。

我们今天测试一下代理的稳定性。在测试其他很多代理供应商时，请求量多了经常会出现Caused by ProxyError('Cannot connect to proxy'...这种报错，还需要我们自己来写重试逻辑。而Bright Data的隧道代理把所有重试都帮我们做了。我们分别在我家的宽带和我的Azure香港服务器上面，测试数据中心IP和住宅IP的代理可用情况。

测试代码如下：

import requests
import pandas as pd

proxies = {
    'http': 'http://帐号:密码@brd.superproxy.io:22225',
    'https': 'http://帐号:密码@brd.superproxy.io:22225',
}



result = []
for _ in range(100):
    try:
        response = requests.get('https://lumtest.com/myip.json', proxies=proxies, timeout=5)
        info = response.json()
        info.update(info.pop('geo'))
        info.update(info.pop('asn'))
        result.append(info)
    except Exception as e:
        print(e)


df = pd.DataFrame(result)
len(df.index)