md-webcrawl-mcp
Веб-краулер на Python MCP для извлечения контента с веб-сайтов. md-webcrawl-mcp is a Model Context Protocol (MCP) server maintained by jmh108. It connects to MCP-compatible clients such as Claude Desktop, Cursor, Cline, and other agents that speak the protocol. It exposes 3 tools, including extract_content, scan_linked_content and create_index, that an agent can call directly. It is categorized under Tool/WebCrawler and Tool/Python.
Что такое MCP
Это реализация Model Context Protocol (MCP) на Python, предназначенная для работы в качестве веб-краулера. Она извлекает и сохраняет контент веб-сайтов в формате markdown.
Как использовать этот MCP
MCP можно установить через FastMCP и настроить с помощью переменных окружения. Он предоставляет команды, такие какextract_content и scan_linked_content, для сканирования веб-сайтов и создания индексов контента.
Для чего можно использовать этот MCP
Этот MCP полезен для извлечения контента, составления карты структуры веб-сайтов, пакетной обработки URL-адресов и создания доступных для поиска архивов веб-контента в формате markdown.
AIMCP authority
DR and traffic signal for the AIMCP public domain.
Frequently asked questions
What is the md-webcrawl-mcp MCP server?
md-webcrawl-mcp is a Model Context Protocol server from jmh108. It lets MCP-compatible AI clients call its tools over a standard interface, so agents like Claude, Cursor, and Cline can use it without custom integration.
How do I connect md-webcrawl-mcp to my AI client?
Add md-webcrawl-mcp to your client's MCP configuration using the stdio or SSE connection shown in the usage examples on this page, then restart the client to load the server.
What tools does md-webcrawl-mcp provide?
md-webcrawl-mcp provides 3 tools: extract_content, scan_linked_content and create_index.
Is md-webcrawl-mcp free to use?
md-webcrawl-mcp is listed on AIMCP for free. Any API keys or accounts required by the underlying service are set by its provider.
Vernclaw Plugins for OpenClaw
Ready-to-use connectors for SEO data, social reading & content generation. Pay-as-you-go credits with audit logs.