org.noear.solon.ai.skills.crawler

类 WebCrawlerSkill

java.lang.Object

org.noear.solon.ai.chat.skill.AbsSkill

org.noear.solon.ai.skills.crawler.WebCrawlerSkill

所有已实现的接口:

Skill

@Preview(value="3.9.1")
public class WebCrawlerSkill
extends AbsSkill

网页抓取技能：为 AI 代理提供实时互联网信息的“阅读器”。

该技能通过高度优化的爬虫驱动，将复杂的 HTML 页面转化为 LLM 友好的 Markdown 格式：

• 多驱动支持：内置 JINA（极简高效）与 FIRECRAWL（深度降噪）双引擎。
• 智能降噪：自动剔除网页中的侧边栏、广告、导航栏及冗余脚本，仅保留正文核心。
• 反爬策略自适应：封装了标准 User-Agent 与请求头，支持令牌（API Key）鉴权以获取更高级的抓取频率。
• 时效性增强：支持强制禁用缓存（No-Cache），确保 AI 获取的是目标 URL 的最新快照。

从以下版本开始:

3.9.1

嵌套类概要

嵌套类

限定符和类型	类和说明
static interface	WebCrawlerSkill.CrawlerDriver

字段概要

字段

限定符和类型	字段和说明
static WebCrawlerSkill.CrawlerDriver	FIRECRAWL
static WebCrawlerSkill.CrawlerDriver	JINA

从类继承的字段 org.noear.solon.ai.chat.skill.AbsSkill

tools

构造器概要

构造器

构造器和说明
WebCrawlerSkill(WebCrawlerSkill.CrawlerDriver driver, java.lang.String apiKey)

方法概要

限定符和类型	方法和说明
java.lang.String	crawl(java.lang.String url)
java.lang.String	description() 获取技能描述
java.lang.String	name() 获取技能名称（默认类名）

从类继承的方法 org.noear.solon.ai.chat.skill.AbsSkill

getTools, metadata

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 org.noear.solon.ai.chat.skill.Skill

getInstruction, isSupported, onAttach

字段详细资料

JINA

public static final WebCrawlerSkill.CrawlerDriver JINA

FIRECRAWL

public static final WebCrawlerSkill.CrawlerDriver FIRECRAWL

构造器详细资料

WebCrawlerSkill

public WebCrawlerSkill(WebCrawlerSkill.CrawlerDriver driver,
                       java.lang.String apiKey)

方法详细资料

name

public java.lang.String name()

从接口复制的说明: Skill

获取技能名称（默认类名）

description

public java.lang.String description()

从接口复制的说明: Skill

获取技能描述

crawl

@ToolMapping(name="crawl_url",
             description="\u8bfb\u53d6\u5e76\u5206\u6790\u6307\u5b9a URL \u7f51\u9875\u7684\u8be6\u7ec6\u5185\u5bb9")
public java.lang.String crawl(@Param(value="url")
                                                                                                                                                                                   java.lang.String url)