Jak przestać czekać wieczność na pobieranie zależności i obrazów

Znana historia: uruchamiasz npm install, docker pull lub próbujesz pobrać duży model z Hugging Face i... idziesz po kawę. A może nawet na lunch. Szczególnie "ciekawie" robi się, gdy pracujesz w korporacyjnej sieci z restrykcyjnymi proxy lub po prostu w regionie, gdzie dotarcie do serwerów GitHub lub Docker Hub jest nie lada wyzwaniem.

Ostatnio natknąłem się na projekt o nazwie Xget. To nie jest kolejny "wrapper do mirrorów" — to pełnoprawny silnik akceleracji zasobów programistycznych. Może przyspieszyć dostarczanie kodu, modeli, pakietów, a nawet wnioskowanie sieci neuronowych przez API. Działa na Cloudflare Workers, co oznacza, że treść dociera do ciebie z węzła CDN najbliższego twojego domu lub biura.

Co to potrafi

Xget działa jako pojedynczy punkt wejścia. Zamiast konfigurować tuzin różnych proxy dla każdego narzędzia, używasz jednej domeny.

Projekt obsługuje absurdalną liczbę platform:

• Repozytoria: GitHub, GitLab, Gitea, Codeberg.
• Menedżery pakietów: npm, PyPI, Conda, Maven, Homebrew, Crates.io (Rust), moduły Go.
• Zasoby AI: Hugging Face, Civitai.
• Kontenery: Docker Hub, Quay, GCR, GHCR.
• Dystrybucje Linuksa: Debian, Ubuntu, Arch, Fedora.
• Nawet API sieci neuronowych: OpenAI, Anthropic, Gemini i inne.

Idea jest prosta: weź oryginalny link, dodaj prefiks platformy do domeny Xget i magia cache'owania w locie zaczyna działać.

Jak to działa pod maską

Autor nie wymyślał koła na nowo i zbudował rozwiązanie na nowoczesnym stacku. Fundamentem są Cloudflare Workers. Daje to dwie główne korzyści: minimalne opóźnienia dzięki rozproszonym węzłom oraz ochronę przed awariami serwerów — jeśli jedno centrum danych padnie, inne przejmuje żądanie.

Oto jak wygląda przetwarzanie żądań:

Silnik analizuje, czego żądasz. Jeśli to ruch Git, uruchamiają się specyficzne adaptery dla protokołu Git (nawet git push i LFS są obsługiwane). Jeśli to żądanie do rejestru Docker — uruchamia się logika autoryzacji i transfer warstw obrazu.

Cache'owanie jest zaimplementowane w ciekawy sposób. Xget nie tylko nie proxy'uje bajtów. Rozumie różnicę między metadanymi (które często się zmieniają) a artefaktami jak archiwa .zip czy .tar.gz (które są niezmienne). Te pierwsze są aktualizowane częściej, te drugie pozostają w cache przez długi czas.

Bezpieczeństwo to nie puste słowa

Zazwyczaj pojawiają się pytania o publiczne serwery proxy: kto widzi mój ruch? Czy podmienią mój binarny plik? Xget ma kilka warstw ochrony wbudowanych:

1. Ścisłe nagłówki bezpieczeństwa (HSTS, CSP, X-Frame-Options). To podstawy, ale wielu o tym zapomina.
2. Walidacja ścieżek. Nie można przekazać zbyt długiego URL ani próbować wyjść poza dozwolone katalogi (ochrona przed path traversal).
3. Biała lista metod. Tylko GET i HEAD są dozwolone dla regularnych pobrań. POST i inne są otwierane tylko tam, gdzie są faktycznie potrzebne (na przykład dla Git LFS czy AI API).

Przy okazji, projekt jest w pełni Open Source. Jeśli nie ufasz publicznej instancji xget.xi-xu.me, możesz wdrożyć własną osobistą instancję na swoim koncie Cloudflare w pięć minut lub nawet w Docker na własnym serwerze.

Praktyczne przykłady

Najbardziej przydatna część to to, jak Xget integruje się z twoją codzienną pracą.

Przyspieszanie Git

Jeśli git clone pełza w tempie żółwia, możesz skonfigurować globalne zastąpienie domeny:

git config --global url."https://xget.xi-xu.me/gh/".insteadOf "https://github.com/"

Teraz każde żądanie do GitHub automatycznie przejdzie przez akcelerator. Przejrzyste i wygodne.

Praca z Docker bez bólu

Zamiast zmagać się z konfiguracją daemon.json, możesz po prostu podać prefiks podczas pobierania:

docker pull xget.xi-xu.me/cr/ghcr/nginxinc/nginx-unprivileged:latest

Rozwój AI

Dla tych, którzy pracują z modelami, jest świetna funkcja dla Hugging Face. Po prostu przekaż jedną zmienną środowiskową do swojego skryptu Python:

import os
os.environ['HF_ENDPOINT'] = 'https://xget.xi-xu.me/hf'

Po tym biblioteka transformers zacznie pobierać wagi modelu przez mirror.

Czy warto wdrożyć

Xget to doskonały "szwajcarski scyzoryk" dla tych, którzy mają dość problemów sieciowych.

Kto z pewnością znajdzie to przydatne:

• Programiści w regionach z niestabilnym dostępem do zagranicznych zasobów.
• Inżynierowie DevOps do przyspieszania budowania obrazów w pipeline'ach CI/CD.
• Specjaliści Data Science, którzy pobierają wagi modeli gigabajtami.

Pewne niuanse: darmowa publiczna instancja ma swoje limity, więc dla poważnych projektów lepiej poświęcić 10 minut i wdrożyć własną worker w Cloudflare. Na szczęście repozytorium ma gotowe akcje do automatycznego wdrożenia.

Projekt jest żywy i aktywnie zdobywa gwiazdki (ponad 8000 już) oraz wsparcie dla nowych platform. Jeśli potrzebujesz jednego rozwiązania na wszystkie problemy z pobieraniem zasobów — Xget zdecydowanie zasługuje na miejsce w twoich zakładkach.