谢乾坤 | Kingname

GNE 是一个通用的新闻正文抽取器，自从开源以来，已经被很多人用来作为新闻正文通用爬虫的重要组件。

GNE 的 Github 地址：https://github.com/GeneralNewsExtractor/GeneralNewsExtractor。算法来自于《基于文本及符号密度的网页正文提取方法》，这个算法是完全基于 HTML 里面的信息来寻找正文。因此，它有一些先天性缺陷：

1. 如果正文只有三五句话，但评论是长篇大论，提取就会失败
2. 如果正文里面 html 标签太多，也会导致正文找错位置
3. 经常提取到版权信息

但如果让人来看网页，就不会搞错。因为正文的位置和评论的位置肯定不一样，版权信息一般在最下面……这些可视化信号，是通过 CSS 来确定的，单纯从 HTML 中是看不到的。

GNE 输入的HTML，原本就是使用模拟浏览器输出的 HTML，并不是真正的网页源代码。既然如此，在使用模拟浏览器的时候，为什么不直接把每个节点的坐标信息都记录下来呢？在使用模拟浏览器的时候，只需要执行一段 JavaScript 代码，就可以把每个节点是否可见，每个可见节点的长宽高、左上角、右下角的坐标记录下来。这样，GNE 在解析正文的时候，可以参考这些信息，直接移除不可见的节点，并移除尺寸显然不合理、位置显然不正确的节点。从而大大提高正文识别的准确率。

什么是隧道代理？我们来看下面这张截图：

所谓隧道代理，就是一个能帮你自动更换代理 IP 的代理服务。在你的代码里面，你只需要把一个入口代理地址写死，然后正常发起请求，而目标服务器接收到的请求，每一次都是不同的代理地址。

在某代理网站上，隧道代理50并发每秒的价格是4000元/月：

而常规的，先请求接口拿到一批代理 IP，再选一个发起请求的原始代理服务器，一个月价格才600多元：

所以，如果我们能自己做一个隧道代理，将会省下很多钱！

大家有时候可能需要在 Linux 上面生成 zip 文件或者对一个 zip 文件进行解压。如果你在网上搜索怎么在 Linux 解压 zip 文件，你一般会看到下面这样的回答：

但如果你手边刚好有一台 Linux 服务器的话，你可以试一试，一般你会得到这样的返回：

有一类面试官特别讨厌，面试的时候，会问一些偏、难、怪的题目。假设你今天去面试，遇到面试官问你：“什么是鸭子类型？”。你怎么回答？

熟读维基百科的你，脑海中闪过了下面这张截图：

图中的红框像闪电一样从你的脑子里划过。你用中指扶了扶黑框眼镜，自信地说道：

鸭子类型就是说，一个函数不会关心它传入参数的类型，只关心这个参数对应的对象有没有自己想要的方法和属性。如果有，就能运行。如果没有，就不能运行。这就像是我看到了一只鸟，只要它能像鸭子一样叫，像鸭子一样走路，有鸭子一样的白色羽毛，那么，无论它实际上是什么东西，我都认为它是鸭子。

说完这段话，一道光从你的镜片上一闪而过。你心里想，这下稳了。

我们知道，在使用 Git 的时候，应该要正确使用它的分支（Branch）功能。不同的功能使用不同的分支开发，最后合并进入主分支。但有时候会出现这样一种情况——我代码都已经写完了，才发现我写错分支了。这个时候，怎么把我的修改迁移到目标分支上，并且不修改现在正在使用的分支？

今天在粉丝交流群里面，有个同学说他发现了Requests的一个 bug，并修复了它：

聊天记录中对应的图片为：

看到这个同学的截图，我大概知道他遇到了什么问题，以及为什么会误认为这是 Requests 的 bug。

我们知道，HTTP请求的 POST 方式，提交上去的数据有很多种格式。例如JSON/form-data/x-www-form-urlencoded等等。我们在 Postman 的 POST 请求里面，可以看到这些数据格式，如下图所示：

很多人都知道环境变量，很多人也在使用环境变量。但是很多人一说到在 Linux、macOS 中使用环境变量，第一个想到的就是export XXX=yyy这种形式的环境变量。但实际上，在 Linux 和 macOS 中，定义环境变量有三种方式，他们的效果和作用范围是不相同的。

有一些同学在写爬虫的时候，喜欢在Chrome 开发者工具里面直接复制 XPath，如下图所示：

他们觉得这样复制出来的 XPath 虽然长了点，但是工作一切正常，所以频繁使用。

但我希望大家不要过于依赖这个功能。因为它给出的结果仅作参考，有时候并不能让你提取出数据。我们来看一个例子。

今天在读者交流群里面，有同学提到这样一个问题：

这个同学想实现，在代码第35行，如果进入了 if 判断，那么就退出第40-43行对应的 ac 函数。

能问出这个问题，说明这个同学显然没有认真看我的微信公众号。就在几天前我才发了一篇文章：一日一技：Python多线程的事件监控。使用这篇文章里面讲到的方法，就可以轻易实现他的需求。

在那篇文章中，我们讲到了threading.Event，这个东西不仅可以在线程之间使用，也可以在主线程和子线程之间使用。