一日一技：使用大模型实现全自动爬虫（一）

在文章一日一技：图文结合，大模型自动抓取列表页中，我提到可以使用大模型实现一个全自动爬虫。只需要输入起始URL加上需求，就可以借助模拟浏览器自动完成所有的抓取任务。

在实现的过程中，我发现涉及到的知识点可能一篇文章讲不完，因此拆分成了多篇文章。

爬虫演示

今天是第一部分，我们暂时不依赖模拟浏览器，而是使用httpx（你也可以使用requests）实现全自动爬虫，传入我博客文章列表页，爬虫会自动抓取前三页所有博客文章的标题、正文、作者、发布时间。

爬取结果如下图所示：

运行过程如下图所示：

爬虫首先会进入起始列表页，抓取上面的所有文章。然后进入列表页第二页，再抓取所有文章，最后进入第三页，再抓取所有文章。整个过程都是全自动的。不需要写任何XPath，也不需要告诉爬虫哪里是翻页按钮，文章的标题在哪里，发布时间在哪里，正文在哪里。

模块拆解

代码我已经放到Github：AutoCrawler。由于最近智谱又免费送了1亿的Token，所以还是使用他们最新的基座大模型GLM-4-Plus来实现这个全自动爬虫。

代码分为如下几个主要文件：

• llm.py: 封装智谱的大模型，以方便使用。代码如下：
  

• utils.py: 常用工具函数，清洗HTML，重试等等

• constants.py: 各种常量，包括各种Prompt

• parser.py: 核心解析逻辑，解析列表页、详情页，识别翻页按钮

• main.py：调度逻辑。把各个模块组合在一起

原理说明

字段解析与翻页

其中，跟大模型相关的代码在parser.py中。我们来看一下：

代码逻辑很简单，分为两个主要的方法，data_extract用来从列表页提取出详情页URL，从详情页提取出作者、标题、发布时间和正文。paging_extract用来提取分页按钮中，下一页对应的链接。

这个提取的过程就交给智谱GLM-4-Plus来完成。对于字段提取，对应的System Prompt如下：

你将扮演一个HTML解析器的角色。我将会提供一段HTML代码，这段代码可能代表了一个博客网站的文章列表页或者文章详情页。你需要首先判断这段HTML是属于哪种类型的页面。如果是文章详情页，那么页面中通常会包含文章标题、发布时间、作者以及内容等信息；而如果是列表页，则会列出多篇文章的标题及其对应的详情页链接。

请根据以下规则进行处理：

1. 分析提供的HTML代码，确定页面类型（`list` 或 `detail`）。
2. 根据页面类型，提取必要的信息：
   - 如果是列表页，请找到所有文章条目，并为每个条目提供标题和指向详情页的链接。
   - 如果是详情页，请找到文章标题、作者、发布时间和内容的XPath。确保XPath直接指向包含这些信息的具体元素值，例如使用`@属性`或者`text()`来获取确切的文本内容。
3. 尽量使用具有特征性的属性如`id`或`class`来构造XPath，以确保XPath简洁且鲁棒。
4. 对于标题、作者、发布时间等字段，如果它们不是直接在某个标签内，而是嵌套在其他标签中，XPath应包括这些结构，以保证准确性。
5. 按照指定格式输出结果。
6. 只需要返回JSON，不要解释，不要返回无关内容

**输出格式：**

- 对于列表页，返回如下JSON结构：
  \`\`\`json
  {
      "page_type": "list",
      "articles": [
          {"title": "文章标题", "url": "文章详情页URL"},
          {"title": "文章标题", "url": "文章详情页URL"},
          {"title": "文章标题", "url": "文章详情页URL"},
          // 更多文章...
      ]
  }
  \`\`\`

- 对于详情页，返回如下JSON结构：
  \`\`\`json
  {
      "page_type": "detail",
      "fields": [
          {"field_name": "title", "xpath": "XPath to the title"},
          {"field_name": "author", "xpath": "XPath to the author"},
          {"field_name": "publish_time", "xpath": "XPath to the publish time"},
          {"field_name": "content", "xpath": "XPath to the content"}
      ]
  }
  \`\`\`

现在，请接收以下HTML代码并开始分析：

可能有同学会疑惑，为什么对于列表页，是直接让大模型提取出URL，但对于详情页，却是生成XPath而不直接提取内容呢？原因很简单，因为现在大模型的Output Token远远低于Input Token，并且Output Token更贵。现在Input Token轻轻松松超过128K，但是Output Token大部分都在4096，只有少数在8192。对于长文章，把Output Token全部用完了可能都没法输出完整的正文。而且输出的内容越多，费用就越高，速度就越慢。你以为我不想让大模型直接输出提取好的内容？

而由于列表页的内容并不多，标题加上URL用不了多少字，所以就直接输出了。

获取翻页链接的System Prompt，如下：

你将扮演一个HTML解析器的角色。我将会提供一段HTML代码，这段代码可能代表了一个博客网站的文章列表页。你需要找到页面上的翻页链接，并提取出下一页的URL  
  
请根据以下规则进行处理：  
  
1. 分析提供的HTML代码，找到翻页按钮。  
2. 翻页按钮上面的文本可能是『下一页』、『next』、『>』、『Load more』等，也可能是一个数字，代表页码，也可能是paging标签或者classname包含pagination的某个标签。没有固定的标准，你需要智能识别  
3. 返回下一页的URL，如果没有下一页，返回空字符串  
4. 按照指定格式输出结果。  
5. 只需要返回JSON，不要解释，不要返回无关内容  
  
返回JSON格式：  
  
{"page_type": "paging", "url": "下一页的url"}

这就是常规的Prompt，没什么好解释的。

爬虫流程调度

我们最后来看看main.py的代码：

核心调度逻辑就这么几行代码。如果有同学经常刷算法题，应该会对这段代码很熟悉。这里使用while循环来实现递归操作。

一开始，target里面只有我传入的起始URL。然后进入while循环，当target队列为空时结束循环。在循环里面，首先解析当前列表页，获得当前页面所有的文章详情页URL，全部放入队列中。再获得下一页的URL，也放入队列中。接下来循环开始进入第二项，也就是第一篇文章详情URL，进入里面，获取源代码，使用大模型解析出XPath，然后调用self.extract_detail通过lxml执行XPath从源代码中提取出正文。接下来继续第二篇文章……如此循环。

今天我们实现的是最简单的情况。不考虑反爬虫。不考虑列表页滚动下拉的情况。在下一篇文章中，我们会把模拟浏览器引入进来。借助于大模型，让爬虫能够自己控制模拟浏览器，让它自动点击页面，绕过反爬虫，自动滚动下拉。