Angler: cổng search, crawl & nghiên cứu web mã nguồn mở, tự host

Tetra Software giới thiệu Angler — cổng search + crawl + nghiên cứu web mã nguồn mở (giấy phép MIT), chạy ngay trên máy bạn. Gửi một truy vấn hay một URL, nhận về markdown sạch: đa nguồn, chống thiên lệch, tương thích Firecrawl. Miễn phí, local-first, không API key.

Angler là gì?

Angler gom nhiều việc thường phải chắp vá bằng tay — tìm kiếm, bóc nội dung trang (kể cả trang núp sau Cloudflare), crawl cả site, và nghiên cứu nhiều vòng có trích dẫn — vào sau một cổng API duy nhất (cổng 17300). Đầu ra là markdown gọn, token thấp, sẵn sàng cho nghiên cứu và cho AI agent.

Một giải pháp thay Firecrawl, tự host

Angler nói “tiếng Firecrawl”: tương thích Firecrawl SDK. Agent hay script nào đang dùng Firecrawl chỉ cần đặt FIRECRAWL_API_URL trỏ về máy chạy Angler là chạy ngay, không sửa code. Khác biệt cốt lõi: bạn tự host, dữ liệu và hạ tầng là của bạn, không khóa nhà cung cấp.

Miễn phí, local-first, mã nguồn mở MIT

Angler là mã nguồn mở giấy phép MIT — tải về dùng cho mục đích gì cũng được, không phí bản quyền. Chỉ cần Docker + Docker Compose là dựng xong trong vài phút. Mặc định chạy local: không API key, không giới hạn tần suất, truy vấn nghiên cứu của bạn không rời khỏi máy. Cần chia sẻ trong nhóm thì đặt ANGLER_API_KEY để bật xác thực Bearer.

Chống thiên lệch, đa nguồn — cả nguồn học thuật

Thay vì bám vài kết quả top SEO cùng một góc nhìn, Angler chủ động đa dạng hóa nguồn trên nhiều trục: nhiều loại nguồn (báo chí, học thuật, chính thức, cộng đồng), nhiều ngôn ngữ, ép gồm nhiều phía, giới hạn mỗi tên miền — và trả kèm thống kê độ đa dạng để bạn thấy bức tranh đầy đủ. Rất hợp cho nghiên cứu thị trường và tổng hợp thông tin nghiêm túc.

Dùng Angler để làm gì?

Nghiên cứu thị trường & đối thủ: gom nguồn đa chiều, tổng hợp có trích dẫn thay vì đọc tay từng trang.

Tìm kiếm & tổng hợp thông tin: một truy vấn ra markdown sạch từ khắp web, kể cả trang khó.

Nuôi dữ liệu cho AI agent / RAG: markdown gọn, token thấp, cắm SDK Firecrawl là chạy.

Cấp web access cho AI agent của bạn

Angler còn là cổng web cho AI coding agent. Vì tương thích Firecrawl, các agent như Claude Code, Cursor, Codex CLI, Gemini CLI, Cline, OpenHands, Goose, Aider, Windsurf gọi Angler qua MCP (Model Context Protocol — trỏ Firecrawl MCP server về Angler) hoặc Firecrawl SDK: chỉ cần đặt FIRECRAWL_API_URL về máy chạy Angler. Angler là REST tương thích Firecrawl (không tự nói MCP); ghép với Firecrawl MCP server, bạn có một MCP server tìm kiếm / cào web tự host — cho agent web access mà dữ liệu vẫn ở local.

Xây agent bằng framework? LangChain/LangGraph, CrewAI, LlamaIndex, Mastra hay Vercel AI SDK đều gọi được API của Angler để lấy markdown sẵn cho LLM — phục vụ agentic RAG.

Bắt đầu

Xem chi tiết sản phẩm tại trang Angler, hoặc tải mã nguồn và tự host ngay từ kho GitHub tetravn/angler-crawl. Chỉ cần docker compose up -d là có cổng nghiên cứu của riêng bạn ở cổng 17300.