熟悉我的同学都知道，GNE可以自动化提取任意文章页面的正文，专业版GnePro的准确率更是在13万个网站中达到了90%。
但GNE一直不支持列表页的自动抓取。这是因为列表页的列表位置很难定义。例如下面这张图片：
对人来说，要找到文章列表很简单，红色方框框住的部分就是我们需要的文章列表。但如果让程序自动根据HTML格式相似的规律来寻找列表页，它可能会提取出蓝色方框的位置、绿色方框的位置、灰色方框的位置，甚至导航栏。
之前我也试过使用ChatGPT来提取文章列表，但效果并不理想。因为传给大模型HTML以后，他也不能知道这里面某个元素在浏览器打开以后，会出现什么位置。因此它本质上还是通过HTML找元素相似的规律来提取列表项目。那么其实没有解决我的根本问题，上图中的蓝色、绿色、灰色位置还是经常会提取到。
前两天使用GLM-4V识别验证码以后，我对智谱的大模型在爬虫领域的应用充满了期待。正好这两天智谱上线了视频/图片理解的旗舰模型GLM-4V-Plus。于是我突然有了一个大胆的想法，能不能结合图片识别加上HTML，让大模型找到真正的文章列表位置呢？
前两天，有同学在微信群里面问怎么识别下图所示的验证码：
一般爬虫验证码我会使用ddddocr来解析，在大模型出来之前，这个工具基本上是Python下面效果最好的免费验证码识别工具了。但是这次它翻车了。
这个提问的同学也试过了很多个大模型，发现都提取不出来。
甚至连GPT-4o也失败了：
GPT-4o都失败了，还能怎么办呢？难道要使用付费的商业方案了？这个时候，突然有个同学发出来了一张截图：
ChatGLM，也就是智谱AI，竟然识别对了！这个同学接着又发了一张图，另一个验证码识别又对了！
甚至连四则运算验证码都能识别：
这下整个群里面做爬虫的人都热闹了起来：
于是就有了今天这篇文章。
去年我写过一篇文章《一日一技：如何对Python代码进行混淆》介绍过一个混淆Python代码的工具，叫做pyminifier，这个东西混淆出来的代码，咋看起来有模有样，但仔细一看，本质上就是变量名替换而已，只要耐下心来就能看懂，如下图所示：
而我今天要介绍另一个工具，叫做pyarmor。pyminifier跟它比起来，就跟玩具一样。
在之前的文章《一次性数据抓取的万能方法，半自动抓取任意异步加载网站》中，我讲到一个万能的爬虫开发方法。从浏览器保存HAR文件，然后写Python代码解析HAR文件来抓取数据。
但可能有同学连Python代码都不想写，他觉得还要学习haralyzer太累了，有没有什么办法，只需要说自然语言，就能解析HAR文件？
最近我在测试open-interpreter，发现借助它，基本上已经可以实现自然语言编程的效果了。今天我们用小红书为例来介绍这个方法。
我们有时候临时需要抓取一批数据，数据不多，可能就几页，几百条数据。手动复制粘贴太麻烦，但目标网站又有比较强的反爬虫，请求有防重放的验证，写代码抓取也不方便。用模拟浏览器又觉得没必要，只用一次的爬虫，写起来很麻烦。
我经常逛Github Trend，看看每天有没有什么高级的开源项目出来。有时候发现一个项目非常好，想跟开发者交流。
一般情况下，开发者会在Github主页留下自己的联系邮箱，如下图所示，这是我的Github个人主页：
但有的开发者却不会留邮箱，如下图所示：
这种情况下，怎么联系上这个开发者呢？你可以直接发Issue，但是这样其他人就能看到你发的消息。其实还有一个更简单隐蔽的方法，可以直接拿到这个开发者的邮箱。
首先，在这个开发者的Repo中，随便找一条Commit记录，如下图所示：
这个Commit对应的URL是：https://github.com/didi/xiaoju-survey/commit/3dc15aeb688f04dfdf69f0f46b0f66902303f92d。
现在，只需要在这个URL的末尾加上.patch，变成https://github.com/didi/xiaoju-survey/commit/3dc15aeb688f04dfdf69f0f46b0f66902303f92d.patch，就可以看到纯文本形式的Commit记录。而开发者的邮箱地址就在上面，如下图所示：
有时候，我们需要使用多行字符串配合format格式化函数来生成Markdown文本。例如，我现在开发了一个AI对话机器人，我发送一个txt文件过去，他首先帮我总结整个文件的内容，然后以问答的形式列出10个要点。
我们知道，Python里面，json.dumps是序列化操作，json.loads是反序列化操作。当我使用json.dumps把一个字典转换为字符串以后，也可以使用json.loads把这个字符串转换为字典。
那么，有没有可能出现这样的情况：某个字典，使用json.dumps转换成了字符串s。但是当我使用json.loads(s)时，却会报错？
利益不相关声明，今天介绍的所有工具，都跟我没有任何软文合作，也没有金钱往来。我在这篇文章里面对他们做介绍仅仅是因为他们对我确实非常有用。
最近几个月，国产大模型相继推出了自己的 App，这些 App 不仅可进行 AI 对话，还能提供各种智能工具。谈论AI对话功能的文章太多了，我就不赘述了。今天聊聊他们的其他功能。不可否认，国产大模型比国外的大模型差了不少，但我一向秉持重器轻用的观点，我不管这些App提供了多少功能，我只看它里面有没有功能适合我，即便它提供了100个功能，我可能只会使用它其中一个适合我的功能。
最近大家都在说LLama3如何如何强大，追赶Claude3，超过GPT 4。但如果大家真的使用过，就会发现它连基本的中文都回答不好。如下图所示：
LLama3总是尽可能回复英文，并且还会加很多表情符号。