Angler
Giải pháp thay Firecrawl miễn phí, tự host: cổng search + crawl + nghiên cứu local-first, biến web thành markdown sạch cho nghiên cứu và AI agent — đa nguồn, chống thiên lệch. Mã nguồn mở MIT. Cổng web cho AI agent qua MCP / Firecrawl SDK.
Dành cho bạn khiKhi bạn cần thu thập và làm sạch nội dung từ web cho nghiên cứu hoặc nuôi dữ liệu cho AI agent — ngay trên máy mình.
tetra://angler · :17300Biến cả web — kể cả trang khó và nguồn học thuật — thành dữ liệu sạch, đa chiều, ngay trên máy bạn.
Angler là cổng search + crawl + nghiên cứu mã nguồn mở: gửi một truy vấn hay URL, nhận về markdown sạch — đa nguồn, chống thiên lệch, tương thích Firecrawl. Miễn phí và local-first: chạy ngay trên máy bạn, không API key, không giới hạn. Là cổng web cho AI agent — Claude Code, Cursor, Codex CLI… gọi Angler qua MCP hoặc Firecrawl SDK để tìm kiếm và đọc web. Một giải pháp thay thế Firecrawl tự host cho nghiên cứu thị trường, tìm kiếm thông tin và nuôi dữ liệu cho AI agent / RAG.
Search, scrape, crawl & nghiên cứu — một API chạy local
Năm service sau một cổng duy nhất (cổng 17300). Gửi truy vấn hoặc URL, nhận về markdown sạch.
Tìm kiếm & bóc nội dung
Meta-search qua nhiều nguồn rồi bóc ra markdown sạch; trang núp sau Cloudflare được tự vượt, trang trống (tường phí/đăng nhập) gắn cờ rõ.
Crawl & map cả site
Quét sâu cả một website theo độ sâu và sitemap, chạy nền — không phải mở từng tab bằng tay.
Nghiên cứu chống thiên lệch
Gom nguồn đa loại (báo chí, học thuật, chính thức, cộng đồng), đa ngôn ngữ và cân bằng các phía — kèm thống kê độ đa dạng.
Nghiên cứu sâu có trích dẫn
Nhiều vòng tìm–đọc–tổng hợp, trả về báo cáo kèm trích dẫn nguồn — hợp cho nghiên cứu thị trường và tổng hợp thông tin.
Mở rộng
Biến video thành transcript, theo dõi thay đổi trang theo lịch, và rút trích dữ liệu có cấu trúc bằng LLM (local hoặc cloud).
Một giải pháp thay Firecrawl, tự host
Angler nói “tiếng Firecrawl”. Agent, SDK hay Firecrawl MCP server nào đang dùng Firecrawl chỉ cần trỏ về máy bạn — không sửa code.
# trỏ SDK Firecrawl về Angler export FIRECRAWL_API_URL=http://localhost:17300 # vừa search vừa scrape curl -X POST $FIRECRAWL_API_URL/v1/search \ -H "Authorization: Bearer $ANGLER_API_KEY" \ -d '{"query":"on-prem AI market 2026","limit":5}'
Cổng web cho AI agent của bạn
Angler là công cụ web mà agent gọi: cấp cho AI coding agent khả năng tìm kiếm và đọc web thành markdown sạch. Angler nói “tiếng Firecrawl” nên agent gọi được qua Firecrawl MCP server hoặc Firecrawl SDK — chỉ cần trỏ base URL về Angler.
Qua MCP (Model Context Protocol)
Angler là REST tương thích Firecrawl — bản thân không nói MCP. Trỏ Firecrawl MCP server về Angler, agent tự khám phá và gọi search, scrape, crawl, deep-research như tool. Cặp Angler + Firecrawl MCP server cho bạn một MCP server tìm kiếm / cào web tự host cho Claude Code, Cursor và mọi MCP client.
Qua Firecrawl SDK / HTTP
Đặt FIRECRAWL_API_URL trỏ về Angler là code Firecrawl chạy nguyên — hoặc gọi thẳng REST từ framework agent của bạn.
Kết quả: cấp cho AI agent của bạn web access — một API search + scrape trả markdown sẵn cho LLM, phục vụ agentic RAG, tất cả chạy local và của riêng bạn.
Mã nguồn mở MIT — tự host bằng Docker
Angler dùng giấy phép MIT: tải về miễn phí, chạy trên hạ tầng của bạn. Chỉ cần Docker + Docker Compose. Mặc định chạy local — không API key, không giới hạn tần suất, truy vấn không rời khỏi máy bạn.
- Giấy phép MIT — dùng cho mục đích gì cũng được, không phí bản quyền
- Chỉ cần Docker; dựng xong trong vài phút
- Không khóa nhà cung cấp — dữ liệu & hạ tầng là của bạn
# cần Docker + Docker Compose git clone https://github.com/tetravn/angler-crawl cd angler-crawl cp .env.example .env docker compose up -d # cổng 17300 # local = không cần API key. Muốn chia sẻ? đặt ANGLER_API_KEY để bật Bearer.
Công khai, mã nguồn mở MIT trên GitHub
Không phải hộp đen — toàn bộ stack đều công khai. Đọc mã nguồn, mở issue, hoặc fork tuỳ ý.
github.com/tetravn/angler-crawlMở repo ↗API đầy đủ, tương thích Firecrawl
Mọi thứ sau một cổng. Tài liệu Swagger tương tác có sẵn tại /docs, spec OpenAPI tại /openapi.json. Mọi route /v1/* cũng dùng được ở /v2/*.
Tìm kiếm & bóc nội dung
- GET
/searxng/searchMeta-search qua SearXNG - POST
/v1/searchTìm kiếm + tuỳ chọn bóc nội dung - POST
/v1/scrapeBóc 1 URL, tự vượt Cloudflare - POST
/v1/batch/scrapeBóc hàng loạt URL (chạy nền)
Crawl & map
- POST
/v1/mapLấy link qua sitemap + crawl - POST
/v1/crawlCrawl sâu cả site (chạy nền) - GET
/v1/crawl/{id}Xem trạng thái job crawl
Nghiên cứu
- POST
/v1/researchGom nguồn đa chiều, chống thiên lệch - POST
/v1/deep-researchNhiều vòng, tổng hợp có trích dẫn
Rút trích & tự động hoá
- POST
/v1/extractRút trích trường dữ liệu bằng LLM - POST
/v1/agentĐiều khiển trình duyệt bằng LLM - POST
/v1/transcriptRút phụ đề/transcript video - POST
/v1/monitorTheo dõi thay đổi trang theo lịch
Vận hành
- GET
/v1/logsNhật ký hoạt động - GET
/v1/statsThống kê tổng hợp - GET
/docsSwagger UI tương tác - GET
/openapi.jsonSpec OpenAPI đầy đủ
Xác thực là tuỳ chọn: chạy local không cần key; đặt ANGLER_API_KEY để bắt buộc header Authorization: Bearer trên mọi endpoint.
Đa nguồn, chống thiên lệch có chủ đích
Thay vì đọc vài kết quả top SEO cùng một góc nhìn, /research đa dạng hóa nguồn trên nhiều trục cùng lúc — và cho bạn thấy độ đa dạng đó, để có bức tranh đầy đủ.
- Đa loại nguồn
- Đa ngôn ngữ
- Ép gồm nhiều phía
- Giới hạn mỗi tên miền
- Thống kê độ đa dạng
Angler là công cụ chạy local cho một người dùng — gọn để bắt đầu và hoàn toàn của bạn. Nó gom và làm sạch nguồn; phần đọc và phán đoán vẫn là của bạn (hoặc agent của bạn).
Sinh ra cho nghiên cứu & AI, không chỉ để cào
Đa chiều, giảm thiên lệch
Không để một thuật toán xếp hạng quyết định bạn đọc gì — chủ động đa dạng hóa nguồn trên nhiều trục.
Nguồn phong phú, cả học thuật
Kéo cả web thường lẫn tài liệu học thuật — nghiên cứu nghiêm túc, không chỉ vài blog top SEO.
Dữ liệu sạch cho AI
Markdown gọn, token thấp, sẵn sàng cho RAG và AI agent — cắm SDK Firecrawl là chạy.
Tự chủ & riêng tư, MIT
Chạy local: không API key, không giới hạn tần suất, truy vấn không rời máy bạn. Mã nguồn mở MIT.
Thu thập thông tin từ web bằng tay đang rất tốn công
Tra cứu bằng Google thủ công nghĩa là mở từng tab, lọc quảng cáo và menu bằng mắt, copy-paste từng đoạn. Gặp trang núp sau Cloudflare hay tường phí thì gần như bó tay. Và vì bám theo xếp hạng SEO, bạn dễ chỉ đọc vài nguồn cùng một góc nhìn.
Angler sinh ra để thay cả quy trình đó: tìm, làm sạch và đa dạng hóa nguồn — phần tốn công nhất và khó tự động hóa nhất khi làm tay.
Một cổng search + crawl chạy ngay trên máy bạn
Angler gói năm service sau một cổng duy nhất (mặc định cổng 17300). Bạn gửi vào một truy vấn hoặc một URL, Angler trả về nội dung sạch dạng markdown — sẵn để đọc, để lưu, hoặc đưa thẳng vào một quy trình tự động.
Tên lấy từ cá câu (anglerfish) thả mồi phát sáng kéo con mồi từ biển sâu — Angler nhận query và kéo nội dung sạch về từ khắp web, kể cả các trang khó.
Năng lực chính
Tất cả qua một cổng:
- Search & scrape — tìm qua nhiều nguồn rồi bóc nội dung sạch; trang sau Cloudflare được tự động vượt qua, trang trống (tường phí/đăng nhập) bị gắn cờ rõ ràng.
- Crawl & map — quét sâu cả một website theo độ sâu và sitemap, chạy nền.
- Research chống thiên lệch — gom nguồn đa loại, đa ngôn ngữ, cân bằng giữa các phía.
- Mở rộng — biến video thành transcript, theo dõi thay đổi trang theo chu kỳ, và rút trích dữ liệu có cấu trúc bằng LLM (local hoặc cloud).
Angler nói "tiếng Firecrawl": agent nào đang dùng SDK Firecrawl chỉ cần trỏ về máy bạn là chạy, không phải sửa code.
Chống thiên lệch một cách có chủ đích
Thay vì để thuật toán xếp hạng quyết định bạn đọc gì, /research chủ động đa dạng hóa nguồn trên nhiều trục cùng lúc: nhiều loại nguồn (báo chí, học thuật, bách khoa, chính thức, cộng đồng), nhiều ngôn ngữ, ép gồm nhiều phía, và giới hạn mỗi tên miền để không nguồn nào áp đảo.
Kết quả kèm thống kê theo loại và theo tên miền, nên bạn thấy được độ đa dạng của tập nguồn — bức tranh đầy đủ thay vì chỉ vài nguồn "top SEO".
Chủ quyền & riêng tư — local hay cloud là bạn chọn
Angler chạy local: không cần API key, không giới hạn tần suất, và quan trọng nhất là truy vấn nghiên cứu của bạn không rời khỏi máy — đối lập với việc gửi mọi câu hỏi lên một dịch vụ cloud bên thứ ba.
Khi cần, bạn có thể chọn đẩy một phần việc ra cloud (model mạnh hơn, máy yếu vẫn chạy) hoặc che IP qua VPN/proxy — chọn theo từng request. Mỗi lựa chọn có đánh đổi riêng và Angler luôn nói rõ giới hạn.
Mã nguồn mở, miễn phí
Angler theo giấy phép MIT. Bạn tải mã nguồn về, tự dựng bằng Docker trên hạ tầng của mình, sửa và dùng cho mục đích gì cũng được — không phí bản quyền, không khóa nhà cung cấp. Mã nguồn mở cũng là sự minh bạch: bạn đọc được từng dòng.
Tải về và xem hướng dẫn tại github.com/tetravn/angler-crawl. Đây là công cụ chạy local cho một người dùng — gọn để bắt đầu, và hoàn toàn của bạn.
Câu hỏi thường gặp
Angler là gì?
Angler là cổng search + crawl + nghiên cứu mã nguồn mở (MIT), chạy local trên máy bạn: gửi truy vấn hay URL, nhận về markdown sạch — đa nguồn, chống thiên lệch, tương thích Firecrawl. Một giải pháp thay Firecrawl tự host cho nghiên cứu và AI agent.
Angler có phải là Firecrawl alternative không?
Đúng. Angler nói “tiếng Firecrawl” — tương thích Firecrawl SDK. Chỉ cần đặt FIRECRAWL_API_URL trỏ về máy chạy Angler là agent/SDK hiện có chạy ngay, không sửa code. Khác biệt: tự host, miễn phí, local-first.
Angler có miễn phí không?
Có. Angler là mã nguồn mở giấy phép MIT — miễn phí, tự tải về và dùng cho mục đích gì cũng được, không phí bản quyền, không khóa nhà cung cấp. Chạy local nên không cần API key và không giới hạn tần suất.
Làm sao self-host Angler?
Tải mã nguồn tại github.com/tetravn/angler-crawl và dựng bằng Docker trên hạ tầng của bạn (mặc định cổng 17300). Chạy hoàn toàn local — truy vấn nghiên cứu của bạn không rời khỏi máy.
Angler chống thiên lệch bằng cách nào?
Thay vì bám xếp hạng SEO, /research chủ động đa dạng hóa nguồn trên nhiều trục: nhiều loại nguồn (báo chí, học thuật, chính thức, cộng đồng), nhiều ngôn ngữ, ép gồm nhiều phía, giới hạn mỗi tên miền — và trả kèm thống kê độ đa dạng.
Dùng Angler để làm gì?
Nghiên cứu thị trường và đối thủ, tìm kiếm & tổng hợp thông tin có trích dẫn, và cấp dữ liệu web sạch (markdown) cho AI agent / RAG.
Dùng Angler với AI agent (Claude Code, Cursor…) thế nào?
Angler là cổng web cho AI agent: nó cấp cho coding agent khả năng tìm kiếm và đọc web thành markdown sạch. Vì tương thích Firecrawl, agent gọi Angler qua Firecrawl MCP server hoặc Firecrawl SDK — chỉ cần trỏ FIRECRAWL_API_URL/base URL về Angler. Dùng được với Claude Code, Cursor, Codex CLI, Gemini CLI, Cline, OpenHands, Goose, Aider, Windsurf… và mọi MCP client, hay framework như LangChain/LangGraph, CrewAI, LlamaIndex, Mastra, Vercel AI SDK.
Angler có hỗ trợ MCP (Model Context Protocol) không?
Có — qua đường Firecrawl. Angler là REST tương thích Firecrawl (không tự nói MCP); bạn trỏ Firecrawl MCP server về máy chạy Angler, thế là agent MCP-client (Claude Code, Cursor…) tìm thấy và gọi được search, scrape, crawl, deep-research như tool. Cặp Angler + Firecrawl MCP server = một MCP server tìm kiếm / cào web tự host, chạy local.
Muốn dùng Angler?
Tải mã nguồn về, tự dựng bằng Docker trên hạ tầng của bạn — miễn phí, mã nguồn mở MIT.