Switchyard — El router y traductor de tráfico LLM de NVIDIA

Imagina este escenario: quieres usar una herramienta de autocompletado de terminal o un agente de codificación como Claude Code o Codex CLI. Es una herramienta útil, pero está diseñada para una API específica. Si quieres redirigir sus solicitudes a un vLLM local, Ollama o NVIDIA NIM, te encontrarás con un problema: los formatos de los endpoints y las estructuras de datos no coincidirán. Anthropic espera el formato Messages, OpenAI usa Chat Completions, y tu modelo local está ajustado para un tercer formato completamente diferente.

El proyecto Switchyard del equipo NVIDIA NeMo resuelve exactamente este problema. Es un servidor proxy y biblioteca en Rust diseñada para la traducción de protocolos de API y el enrutamiento inteligente de solicitudes entre diferentes modelos de lenguaje.

Qué puede hacer Switchyard

El proyecto se basa en dos mecanismos fundamentales: conversión de solicitudes en tiempo real y algoritmos de enrutamiento.

La aplicación cliente continúa "creyendo" que se está comunicando con la API nativa de Anthropic u OpenAI. En realidad, Switchyard recibe la solicitud, la traduce al formato del proveedor objetivo, la envía al backend correspondiente y transforma la respuesta de vuelta.

Actualmente, se admiten tres formatos principales:

• OpenAI Chat
• Anthropic Messages
• OpenAI Responses

Esto significa que puedes apuntar Claude Code a un modelo local a través de vLLM, y el cliente ni siquiera notará el cambio.

Enrutamiento inteligente en lugar de simple round-robin

Cualquier servidor proxy puede equilibrar la carga aleatoriamente. Lo que hace interesante a Switchyard son sus escenarios de distribución de tráfico. Los autores incorporaron cuatro algoritmos integrados:

• Stage Router. Evalúa señales dentro del propio diálogo. Si una llamada anterior a una herramienta terminó en error, el enrutador redirigirá la siguiente interacción a un modelo más potente. Si todo va bien, un modelo más económico manejará la solicitud.
• Escalation Router. Primero envía la solicitud a un modelo más débil. En paralelo, un modelo juez especial evalúa la calidad de la respuesta. Si el resultado no es satisfactorio, la misma solicitud se escala automáticamente a un modelo insignia.
• LLM Classifier. Un modelo ligero separado clasifica las solicitudes entrantes por complejidad y selecciona el backend apropiado antes de que comience la generación principal.
• Random. Distribución aleatoria estándar con una división fija. Útil para pruebas A/B o evaluación de costos entre diferentes proveedores.

Arquitectura y opciones de integración

Los desarrolladores estructuraron Switchyard como varios módulos. La elección del modo de operación depende de tu tarea.

Si necesitas lanzar rápidamente un agente de codificación con la configuración correcta, usa el lanzador CLI. Toda la instalación se reduce a un único comando del gestor de paquetes:

Después de eso, el agente se inicia con una sola línea especificando la configuración:

Para ejecutar como proxy de red, compila el binario. Registra métricas a través de Prometheus (conteo de tokens, latencias, errores) y se configura a través de un archivo.

Si estás escribiendo tu propia aplicación en Rust, no necesitarás incorporar un servidor HTTP separado. El crate inserta la lógica de enrutamiento directamente en tu código. La biblioteca no realiza llamadas de red por sí misma—simplemente toma una decisión de enrutamiento y devuelve el backend objetivo seleccionado a tu aplicación.

Estado actual del proyecto

La página del repositorio lleva una advertencia: Switchyard está en etapa pre-alfa. En el momento de esta revisión, el proyecto tiene cerca de 800 estrellas en GitHub y estado de software experimental.

Esto significa que la API pública, la estructura de configuración TOML y la arquitectura interna del crate están sujetas a cambios. Usarlo ahora mismo en producción crítica es una decisión arriesgada.

Quién debería prestar atención a este proyecto

Switchyard parece prometedor para dos categorías de desarrolladores:

1. Aquellos que usan activamente agentes de IA de terminal (Claude Code, Codex CLI) y quieren ahorrar dinero al redirigir algunas tareas simples a modelos locales o APIs más económicas.
2. Equipos que construyen su propia infraestructura alrededor de LLMs basada en Rust. La capacidad de incorporar algoritmos de escalamiento y traductores de protocolo listos para usar desde el crate ahorrará un par de semanas de trabajo.

Si has estado buscando una herramienta limpia para la sustitución transparente de backends sin reescribir el código del propio agente, este proyecto definitivamente vale la pena seguir.