别写爬虫了,让 AI 自己去点网页

传统爬虫,可能真要被 AI Agent 重新做一遍了。

说的是 browser-use 这个开源项目。官方 README 第一句话是 “Tell your computer what to do, and it gets it done.”——跟电脑说一句要什么,它自己就干完了。打开页面、点按钮、打字、填表,全是它来,你只负责描述任务。以前碰到动态渲染、复杂交互的网站,爬虫得写一堆规则;现在 AI 直接看页面、理解页面,自己决定下一步怎么操作。

最狠的不是“能爬”,是它开始自己判断该怎么走。

光看别人吹不过瘾,我决定自己装一个,拿真网站试试。

|装:我就说了一句话

我没研究安装文档,甚至没敲一条命令。官方 README 里就写着一段现成的提示词,我复制发给我的 Hermes :

💬 Install or upgrade browser-use to the latest stable version with uv using Python 3.12, run browser-use skill install to register the skill, and connect it to my browser. If setup or connection fails, follow https://github.com/browser-use/browser-harness/blob/main/install.md.

它自己查文档、装包(browser-harness 0.1.13,Python 3.12)、注册技能、连浏览器,一气呵成。比我以前自己装 scrapy + playwright 快多了。

|卡壳:浏览器拦了一道

第一次跑,它停住说:Chrome 在弹窗问“允许远程调试?”,这步得人来。

我照着提示去 chrome://inspect 页面手动勾了一下“允许远程调试”——这是浏览器故意的安全设计,谁也绕不过,只能点一次。

勾完,它接着往下跑,就通了。

|实测:真去了个难抓的网站

我让它去蹲一个平时常看的行业公告站——这网站页面靠 JS 动态加载,以前用普通工具直接抓,拿回来的经常是空壳。

这次它打开首页、翻公告列表、进详情页,一气呵成,没被拦。它用的是我本机这个浏览器,平时登录过的账号状态都在——官方管这叫“复用真实浏览器配置”,要登录的页面也不用来回折腾。

|结果有点意外

我让它把“最近 3 天发布的”整理出来,列了两条:

  • ✅ 一份名单类公告
  • ✅ 一期科普视频

抓了半天就两条——不是它不行,是那网站最近真就只发了这么多。

你看,这就是 AI Agent 操作浏览器的日常:能干,但干完发现没什么可干的。省下来的不是“抓”的时间,是“琢磨怎么抓”的时间。

|它凭什么自己会走

底层就是大模型:看一屏页面,自己判断这一步该点哪、下一步去哪。官方 README 晒了个排行榜(200 个真实长任务),它家平均 87.4%、排第一,把 OpenAI、Anthropic、Google、微软的同类产品都比下去了——厂商自己发的数据,图一乐参考,但方向是真的。

免费、开源(MIT),模型随便接自己的。官方给的挑选口诀也实在:一次性任务就交给助手;要规模化、重复抓取,才用它的 Python 库自己写。

适合谁

  • ✅ 不想维护爬虫规则、又常要盯网站的人
  • ✅ 要登录态的页面(直接用你本机浏览器,账号状态都在)
  • ✅ 动态渲染、反爬重的站

不适合谁

  • ❌ 要海量数据入库的(一次开一个浏览器,论“量”比不上分布式爬虫)
  • ❌ 连 Python 工具链都懒得装的(得装一下,还得手动授权一次)

工具还是那个工具,区别是:以前我们教它“怎么点”,现在它自己看、自己点、自己判断。爬虫是不是要“完”不好说,但“写死流程”这件事,确实越来越没意思了。

(怎么装我都记在案了,想折腾的把那句话发给你的 AI 助手就行;卡在授权那步别慌,勾一下就好。)