最近我需要将某个运动网站（RQ Run）上的个人训练记录同步到我的 Hexo 博客中。由于该网站需要登录才能查看详细数据，并且登录过程包含验证码，因此我使用 Node.js 版的 Playwright 编写了一个自动化脚本，结合阿里云 OCR 服务识别验证码，实现了数据的自动抓取，并通过 EJS 模...

在 Python 爬虫的世界里，如果说 requests 是负责“把网页拿回来”的搬运工，那么 BeautifulSoup 就是负责“从网页里找东西”的寻宝专家。 BeautifulSoup（通常指 bs4）是一个用于从 HTML 或 XML 文件中提取数据的 Python 库。它以简单 Pytho...

在 Web 自动化测试和爬虫领域，Selenium 统治了很长一段时间。但随着现代 Web 技术的发展，Selenium 的速度和稳定性逐渐成为瓶颈。微软开源的 Playwright 横空出世，支持 Chromium、Firefox 和 WebKit 三大浏览器引擎，并且速度极快，API 设计也非常...

提到无头浏览器（Headless Browser），大家首先想到的可能是 Google 出品的 Puppeteer。不过 Puppeteer 是 Node.js 库，对于 Python 开发者来说，直接调用有些麻烦。好在社区移植了一个 Python 版本——Pyppeteer。 虽然现在 Playw...

在 Python 3.4 引入 asyncio 标准库后，Python 终于有了原生的异步 I/O 支持。而 aiohttp 则是基于 asyncio 构建的异步 HTTP 客户端/服务端框架。 对于高并发爬虫或高吞吐量的 Web 服务来说，requests 这种同步阻塞库往往是...