谢乾坤 | Kingname

在公众号粉丝群里面，经常有同学问：为什么自己的爬虫明明设置了代理，但一访问网站就能被发现。我总结了几种常见的情况。

实际上，网站要识别你是否使用了代理，并不一定非要什么高深的反爬虫机制，也不需要使用AI识别用户行为。下面这几种情况，要识别代理简直是易如反掌。

在之前的文章：一日一技：使用装饰器简化大量 if…elif…代码发布以后，有很多同学说想看后续，如何在装饰器中表示大于小于。甚至有同学每周来催一次稿：

于是，今天我们就来看看大于小于应该怎么来判断。为了实现我们今天的目标，有两个前置知识需要掌握，一个是Python自带的operator模块，另一个是偏函数。

保证你看完这个视频，就能使用 Docker。

Gne发布以后，大家自动化抓取新闻正文页的需求被解决了。但随之而来的，不断有同学希望能出一个抓取列表页的工具，于是，就有了今天的 GneList。

关注我公众号的同学都知道，我非常喜欢FastAPI这个web框架。它在易用性上面做到了极致，帮助开发者减少了很多不必要的工作。

FastAPI的开发组织叫做tiangolo，他家除了FastAPI外，还有另一个项目也非常好用，叫做typer。

三年前，我写过一篇文章一日一技：快速实现Python 命令行参数介绍另一个命令行工具fire. 而typer做得比fire还要好。

我们知道，Python 的第三方库一般是托管到 Pypi 上面的，使用 pip 命令进行安装。而 Golang 很多第三方库是托管在 Github 上面的，使用 go get 进行安装。

有时候，我们会发现一个很奇怪的现象，很多 Golang 的项目，在引用自己项目里面的包的时候，竟然用的是 Github 上面的地址。

作为一个站长，你是不是对爬虫不胜其烦？爬虫天天来爬，速度又快，频率又高，服务器的大量资源被白白浪费。

看这篇文章的你有福了，我们今天一起来报复一下爬虫，直接把爬虫的服务器给干死机。

在昨天的文章《一日一技：反爬虫的极致手段，几行代码直接炸了爬虫服务器》中，我讲到了后端如何使用gzip返回极高压缩率的文件，从而瞬间卡死爬虫。

大家都知道我的公众号风格，要得罪讨好就两边一起得罪讨好。昨天我帮了后端，今天我就帮帮爬虫。作为爬虫，如何避免踩中gzip炸弹？

最直接的方法，就是把你的爬虫隐藏起来，因为gzip炸弹只能在发现了爬虫以后使用，否则就会影响到正常用户。只要你的爬虫让网站无法发现，那么自然就不会踩中炸弹。

如果你没有把握隐藏爬虫，那么，请继续往下看。