#crawler

5 プロジェクト

Rust 2026年8月22日

わずか14MBのRAMを使用し、LLM用にクリーンなMarkdownを出力する軽量RustベースのWebスクレイピングツール。

JavaScript 2026年8月16日

リアルタイムでbot対策システム、CAPTCHA、21種類のフィンガープリント技術を検出するChrome拡張機能。開発者やセキュリティ研究者が任意のウェブサイトで動作している保護技術を特定をサポートします。

Python 2026年8月16日

Krawlは脆弱なWebアプリケーションを装い、スキャナーに無限のトラップページを返し、リソースを消費させる欺瞞サーバーです。

Elixir 2026年8月16日

Scrapyの限界に達し、Pythonが遅くなったとき、BEAM VM上のCrawlyは、熟悉のコンセプトと組み込み管理ツールを備えた大規模Webスクレイピングの強力な代替手段を提供します。

Java 2026年7月1日

Spider-flowはWebスクレイピングをビジュアルプログラミングに変えます。GitHubで11k以上のスターを持つこのJavaベースのプラットフォームでは、ブラウザでフローチャートを描くだけでパーサーを構築できます。

11,338