用 Doubao-Seed-Evolving + Python 免费写一个网页正文提取工具（实战教程）

一、需求与技术选型

这件事的起点其实很单纯：输入一个网页链接，然后把正文干净地提取出来，顺便去掉导航、广告、侧边栏这些乱七八糟的东西，最后输出一个 Markdown 文件。

技术选型上，几个库直接锁定了方向：

• readability（readability-lxml）
  负责正文去噪，核心引擎

• markdownify
  把清洗后的 HTML 转成 Markdown，省事

• BeautifulSoup
  做预清理，先干掉一些明显不需要的标签

• Playwright
  用来应付那些需要客户端渲染的页面

初版代码实际上是 Doubao-Seed-Evolving 在一次对话中直接生成的，下面提炼的是关键实现路径和一些实际踩过的坑。

二、第一版实现

提示词扔进去，AI 直接给了这么一段核心结构：

import requests
from bs4 import BeautifulSoup
from readability import Document
import markdownify as md

DEFAULT_UA = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) ..."

def fetch_url(url, timeout=15, verify_ssl=True):
    if not url.startswith(("http://", "https://")):
        url = "https://" + url
    headers = {"User-Agent": DEFAULT_UA}
    resp = requests.get(url, headers=headers, timeout=timeout, verify=verify_ssl)
    resp.raise_for_status()
    return resp.text

def extract_markdown(html, page_url=""):
    soup = BeautifulSoup(html, "lxml")
    for tag in soup.find_all(["script", "style", "na v", "aside", "footer"]):
        tag.decompose()
    doc = Document(str(soup), url=page_url)
    content_html = doc.summary()
    return md(content_html, heading_style="ATX", convert=["table", "pre"])

这里有个坑：markdownify 不能同时传 convert 和 strip，否则运行时会直接报错。预清理已经处理了 script 和 style，所以把 strip 删掉就解决了。这个修复也是模型看到报错后给出的。

三、实测三类网站

挑了三类不同类型的网页做测试，结果如实记录：

三个网页，一个直接成功，一个丢标题，一个彻底空壳。第一版其实没有预想中那么惨，但真实的世界里，不同网站暴露出的问题组合起来，比预设的场景有意思多了。

四、关键修复一：标题提取退化

readability-lxml 的 Document.summary() 不读 og:title，只取