谢乾坤 | Kingname

在多年写代码的过程中，我总结了不少常用的工具函数。这些工具函数有的能够实现快速重试网络请求，有的可以把任意格式的时间转成标准格式，还有的可以自动生成正则表达式。

开篇先抛出我的观点：希望各位做爬虫的同学，尽快，尽可能多地做海外的爬虫项目，爬海外的网站。这才是你们新的未来。

我最近两年时间，已经没有做过任何国内网站的爬虫了，根据这两年爬海外网站的一些经验，谈谈我的发现和想法。

不是程序员的同学，别忙着走。不要看到Github就觉得这篇文章跟你无关。无论你是不是程序员，这篇文章都能帮到你。

在公众号粉丝群里面，经常有同学问：为什么自己的爬虫明明设置了代理，但一访问网站就能被发现。我总结了几种常见的情况。

实际上，网站要识别你是否使用了代理，并不一定非要什么高深的反爬虫机制，也不需要使用AI识别用户行为。下面这几种情况，要识别代理简直是易如反掌。

在之前的文章：一日一技：使用装饰器简化大量 if…elif…代码发布以后，有很多同学说想看后续，如何在装饰器中表示大于小于。甚至有同学每周来催一次稿：

于是，今天我们就来看看大于小于应该怎么来判断。为了实现我们今天的目标，有两个前置知识需要掌握，一个是Python自带的operator模块，另一个是偏函数。

保证你看完这个视频，就能使用 Docker。

Gne发布以后，大家自动化抓取新闻正文页的需求被解决了。但随之而来的，不断有同学希望能出一个抓取列表页的工具，于是，就有了今天的 GneList。

关注我公众号的同学都知道，我非常喜欢FastAPI这个web框架。它在易用性上面做到了极致，帮助开发者减少了很多不必要的工作。

FastAPI的开发组织叫做tiangolo，他家除了FastAPI外，还有另一个项目也非常好用，叫做typer。

三年前，我写过一篇文章一日一技：快速实现Python 命令行参数介绍另一个命令行工具fire. 而typer做得比fire还要好。