Skip to content

【工具自荐】我把AI技术用在爬虫上,做了一个工具 #5243

@jufeng-2022

Description

@jufeng-2022

背景

再也不想熬夜写爬虫代码、F12里找xpath了!!!

所以,我把AI技术用在爬虫上,做了一个工具。

产品名称

猫头鹰AI - 智能网页订阅 :https://mtywatch.com

猫头鹰AI

功能介绍

AI+爬虫技术,实现一句话就能自动监控页面内容,实时订阅你关心的内容

使用方法

1、输入你要监控的网页地址
2、一句话描述你想监控什么数据,比如:“有机器人相关的新闻通知我”、“有图书馆招聘公共告诉我”、“xxx商品上架了通知我”
3、AI自动分析(1-2分钟),实时监控,支持邮件、微信、短信、webhook等通知方式

价格

1、注册送100积分+5个网站监控额度
2、签到、邀请等积分赠送活动每天都有

tips

1、公司主体在国内,墙外的网站我们的云服务默认不会抓取,可提交报告。我们人工审核后可添加白名单出墙
2、也可以使用我们的浏览器插件版本,在自己本地挂梯子后使用


个人的碎碎念

十多年前,我刚刚成为程序员,对爬虫技术就很感兴趣,一直觉得爬虫是大有前途的方向。

但是我感兴趣的不是大量抓取数据、不是毫秒响应抢茅台~ 而是很多做小生意的人、学生、创业者,他们需要关注一些网站:同行、供应商、政府部门、电商平台、学术论坛等等,我见过他们花几百几千找人写爬虫,用几天就不能用了;也见过他们花时间学爬虫工具,学了几天放弃了。

要满足他们的需求不难,熟练的爬虫工程师可能只要花 1 个小时就能写好代码。

难得是这些需求人群过于零散、网页类型千奇百怪。

我尝试过很多方法,也尝试过做一个更友好的图形化爬虫配置工具。

始终感觉是技术人员的自嗨行为,这样的工具,做的再友好,仍然不是普通人学的会的。

23 年大模型刚出现的时候,重新唤起了我做这件事情的心思,但还是实验失败了;

24 年不死心又实验了一次,能力勉强能落地,但是 tokens 的成本不足以形成商业产品;

直到25年年初,大模型在编程领域的神奇能力,解决我最后一块拼图。

心心念了十多年的产品,终于把她做出来了。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions