Como Parar de Esperar Eternamente por Dependências e Imagens para Baixar
Uma história conhecida: você executa npm install, docker pull, ou tenta puxar um modelo pesado do Hugging Face, e... vai tomar café. Ou talvez até almoço. Fica especialmente "divertido" quando você está trabalhando em uma rede corporativa com proxies rígidos, ou simplesmente em uma região onde alcançar os servidores do GitHub ou Docker Hub é uma verdadeira aventura.
Recentemente encontrei um projeto chamado Xget. Este não é apenas outro "wrapper de espelho" — é um mecanismo de aceleração completo para recursos de desenvolvedores. Ele pode acelerar a entrega de código, modelos, pacotes e até inferência de rede neural via API. Ele funciona em Cloudflare Workers, o que significa que o conteúdo chega até você do nó CDN mais próximo da sua casa ou escritório.
O que essa ferramenta pode fazer
Xget funciona como um ponto de entrada único. Em vez de configurar uma dúzia de proxies diferentes para cada ferramenta, você usa um domínio.
O projeto suporta um número absurdo de plataformas:
- Repositórios: GitHub, GitLab, Gitea, Codeberg.
- Gerenciadores de pacotes: npm, PyPI, Conda, Maven, Homebrew, Crates.io (Rust), Go Modules.
- Recursos de IA: Hugging Face, Civitai.
- Containers: Docker Hub, Quay, GCR, GHCR.
- Distribuições Linux: Debian, Ubuntu, Arch, Fedora.
- Até APIs de redes neurais: OpenAI, Anthropic, Gemini e outros.
A ideia é simples: pegue o link original, adicione o prefixo da plataforma ao domínio do Xget, e a mágica do cache em tempo real começa a funcionar.
Como funciona nos bastidores
O autor não reinventou a roda e construiu a solução em uma stack moderna. A base é Cloudflare Workers. Isso oferece dois benefícios principais: latência mínima devido a nós distribuídos e proteção contra quedas de servidor — se um data center cair, outro assume a requisição.
Veja como fica o processamento da requisição:
O mecanismo analisa o que você está requisitando. Se é tráfego Git, adaptadores específicos para o protocolo Git entram em ação (até git push e LFS são suportados). Se é uma requisição a um registro Docker — a lógica de autorização e transferência de camadas de imagem entra em ação.
O cache é implementado de uma forma interessante. Xget não apenas faz proxy de bytes. Ele entende a diferença entre metadados (que mudam frequentemente) e artefatos como .zip ou .tar.gz (que são imutáveis). O primeiro é atualizado com mais frequência, o segundo permanece no cache por muito tempo.
Segurança não é apenas conversa fiada
Geralmente há perguntas sobre servidores proxy públicos: quem vê meu tráfego? Eles vão trocar meu binário? Xget tem várias camadas de proteção integradas:
- Cabeçalhos de segurança rigorosos (HSTS, CSP, X-Frame-Options). Isso é o básico, mas muitos esquecem disso.
- Validação de caminho. Você não pode passar uma URL muito longa ou tentar escapar além dos diretórios permitidos (proteção contra path traversal).
- Lista de métodos permitidos. Apenas GET e HEAD são permitidos para downloads regulares. POST e outros só são abertos onde realmente são necessários (por exemplo, para Git LFS ou API de IA).
A propósito, o projeto é totalmente Open Source. Se você não confia na instância pública xget.xi-xu.me, você pode fazer deploy da sua própria instância pessoal na sua conta Cloudflare em cinco minutos, ou até no Docker no seu próprio servidor.
Exemplos práticos
A parte mais útil é como o Xget se integra na sua rotina diária.
Acelerando Git
Se git clone está rastejando na velocidade de uma tartaruga, você pode configurar uma substituição global de domínio:
git config --global url."https://xget.xi-xu.me/gh/".insteadOf "https://github.com/"
Agora qualquer requisição ao GitHub vai automaticamente passar pelo acelerador. Transparente e conveniente.
Trabalhando com Docker sem dor
Em vez de lutar com a configuração do daemon.json, você pode simplesmente especificar o prefixo ao puxar:
docker pull xget.xi-xu.me/cr/ghcr/nginxinc/nginx-unprivileged:latest
Desenvolvimento de IA
Para quem trabalha com modelos, há um ótimo recurso para o Hugging Face. Basta passar uma variável de ambiente para o seu script Python:
import os
os.environ['HF_ENDPOINT'] = 'https://xget.xi-xu.me/hf'
Depois disso, a biblioteca transformers vai começar a baixar os pesos do modelo através do espelho.
Vale a pena adotar
Xget é uma excelente "faca suíça" para quem está cansado de problemas de rede.
Quem com certeza vai achar útil:
- Desenvolvedores em regiões com acesso instável a recursos estrangeiros.
- Engenheiros DevOps para acelerar builds de imagens em pipelines CI/CD.
- Especialistas em Data Science que baixam pesos de modelos aos gigabytes.
Algumas nuances: a instância pública gratuita tem seus limites, então para projetos sérios é melhor gastar 10 minutos e fazer deploy da sua própria worker no Cloudflare. Felizmente, o repositório tem ações prontas para deploy automático.
O projeto está vivo e ganhando estrelas ativamente (mais de 8.000 já) e suporte para novas plataformas. Se você precisa de uma solução para todos os seus problemas de download de recursos — o Xget definitivamente merece um lugar nos seus favoritos.
Projetos relacionados