#crawler

5 个项目

Rust 2026年8月22日

一款轻量级Rust网页抓取工具，仅占用14MB内存，输出干净的Markdown格式，方便LLM直接使用。

JavaScript 2026年8月16日

一个 Chrome 扩展程序，可实时检测反爬虫系统、CAPTCHA 和 21 种指纹识别技术，帮助开发者和安全研究人员识别任意网站上运行的防护措施。

Python 2026年8月16日

Krawl is a deception server that pretends to be a vulnerable web app, feeding scanners infinite trap pages and wasting their resources.

Elixir 2026年8月16日

当 Scrapy 触及极限、Python 爬取缓慢时，运行在 BEAM VM 上的 Crawly 为大规模网页抓取提供了一个强大的替代方案，拥有熟悉的概念和内置的管理工具。

Java 2026年7月1日

Spider-flow 将网页爬取变成可视化编程。这个基于 Java 的平台在 GitHub 上拥有超过 1.1 万星标，让你可以直接在浏览器中通过绘制流程图来构建解析器。

11,338