Crawl4AI OSS

LLMフレンドリーなWebクローラー。ページをクリーンなMarkdownに変換し、AIパイプラインへの入力に最適化。

last-updated: 2026-07-10 · source: database

github_stars71.9k
pricingopen_source
licenseApache-2.0
osmac / windows / linux
llmsclaude / gpt / gemini / llama
japanese非対応
difficulty中級
recommendedRAG用データ収集、エージェントのWeb情報取得

概要

Crawl4AIはAI/LLM向けに設計されたオープンソースのWebクローラーです。取得したページをノイズの少ないMarkdownに変換し、RAGやエージェントのデータ収集に直接使えます。

主な機能

導入手順

pip install crawl4ai
crawl4ai-setup

比較

#crawler#oss#python#rag