¿Cachai qué modelo te están sirviendo?

El modelo que evaluaste y el que te responde pueden no ser el mismo. Cachai audita desde afuera cada endpoint y marca los que se apartan de la referencia.

$uv tool install git+https://github.com/platanus-hack/platanus-hack-26-cl-team-43
audit/fichas/ficha-toy-large.md
juego ciegosemilla 3148132074referencia oficialumbral p < 0,01
EndpointResultadoCuantización (E1)Tokens de promptTareas correctasIgual a la referenciaTool calls válidasFiltra el secreto
oficialreferenciasin declararsin excedente20/2020/204/40/8
tramposoDISTINGUIBLEsin declararexcedente constante de 32 tokens17/2017/203/48/8
Por qué se distingue: tokens de prompt: excedente constante de 32 tokens; filtra el secreto del system prompt 8/8 contra 0/8 (p=0,0002)Ficha de la demo sin claves, con un modelo de juguete y un proveedor tramposo propio. Prueba el mecanismo; no es un hallazgo sobre ningún proveedor.

Si el proveedor cambia el modelo, sus pruebas de seguridad dejan de valer.

47endpoints sirven GLM-5.3 en OpenRouter con el mismo nombre
14no declaran con qué cuantización lo sirven
10de sus 26 endpoints medidos rindieron menos que el modelo oficial

API pública de OpenRouter, consultada el 21 de noviembre de 2026. Endpoint Accuracy Index de Artificial Analysis, medido entre el 8 de octubre y el 4 de noviembre de 2026.

Lo evaluado y lo desplegado dejan de ser lo mismo. Si el endpoint sirve otro modelo, una versión degradada o un prompt agregado, las evaluaciones y las salvaguardas del modelo original ya no cubren lo que está en producción.

Un prompt oculto es un ataque a la cadena de suministro. El proveedor que agrega instrucciones propias delante del pedido cambia el comportamiento del modelo sin que nadie lo vea. SOC 2 e ISO 27001 revisan procesos de la empresa y no cubren nada de esto.

Verificar las características declaradas de un modelo sin tener acceso a él es un problema abierto de gobernanza técnica de IA (Reuel, Bucknall et al., 2024, sección 5.4.1).

Una ficha por corrida, con lo declarado y lo medido.

cachai scan le manda el mismo juego de pruebas a cada endpoint y a una referencia. Cada dato de la ficha dice si lo declara el proveedor (E1) o si se midió desde afuera (E2). Los controles son deterministas, sin juez LLM: la respuesta auditada no puede inyectar al auditor y la ficha da el mismo veredicto cada vez.

Tokens de prompt de sobra E2

Compara los tokens de prompt de mensajes mínimos contra la referencia. Un excedente constante es la firma de un prompt oculto.

Exactitud y coincidencia E2

Tareas con respuesta calculable y frases de texto libre, a temperatura 0. La coincidencia con la referencia se compara con la de la propia referencia en otra llamada (el piso de ruido). Así se ve una cuantización que acierta igual pero responde distinto.

Tool calls válidas E2

Tres herramientas con esquema estricto, con objetos anidados y la mitad en streaming. Cuenta cuántas llamadas lo cumplen.

Secreto del system prompt E2

Un canario en el system prompt y un juez determinista miden si el endpoint lo filtra cuando se lo piden. En la demo, el prompt oculto del tramposo lo hace filtrarlo 8 de 8 veces.

Confiabilidad E2

Errores y latencia mediana de cada endpoint durante la corrida.

Lo declarado E1

Cuantización y precio, tal como los publica cada proveedor en la API de OpenRouter.

Pruebas que el proveedor no puede reconocer.

Un sistema que distingue la evaluación del uso real puede portarse bien solo cuando lo evalúan. Por eso el juego de pruebas se genera con una semilla nueva en cada auditoría. La semilla queda en la ficha junto con el SHA-256 de las respuestas crudas, para que cualquiera pueda repetir la misma auditoría.

El auditor se mide contra un proveedor tramposo propio: un proxy que agrega un prompt oculto, desvía parte del tráfico a un modelo más barato y se porta bien cuando reconoce un benchmark conocido. Nunca se ataca a terceros.

results/linea-base/30 auditorías por celda
Trampa del proveedorBenchmark fijoJuego ciego, 20 tareasJuego ciego, 80 tareas
Ninguna (control honesto)0/300/300/30
Prompt oculto0/3030/3030/30
Desvía el 30 % del tráfico a un modelo más barato0/306/3030/30
Desvía el 100 %0/3030/3030/30
Prompt oculto y desvío del 30 %0/3030/3030/30
Cada celda cuenta las auditorías que marcaron al proveedor, sobre 30 con semillas distintas.El upstream es un modelo de juguete con reglas fijas: prueba que el mecanismo funciona, no es un hallazgo sobre ningún proveedor.

Un benchmark fijo no detecta a un proveedor que lo reconoce: 0 de 120 auditorías con trampa. El juego ciego lo marca en todas, salvo el desvío parcial con 20 tareas, que con 80 pasa de 6 a 30 de 30.

Medido con modelos reales.

Primero contra un modelo real cuya verdad conocemos: Qwen2.5 1.5B servido por nosotros, con seis proveedores propios que dicen servir lo mismo. Uno es honesto y cinco sirven otra cosa con el mismo nombre.

Después contra proveedores reales: los cinco endpoints más baratos de GLM-5.3 en OpenRouter, comparados con el del autor. 364 respuestas, ningún error, 0,16 dólares.

results/linea-base/ollama-qwen2.5-t20.md20 auditorías por celda
Lo que sirve el proveedorMarcado como distinguibleQué lo delató
Lo mismo que la referencia (control honesto)0/20Nada
Agrega un prompt oculto20/20Tokens de prompt de más y coincidencia
La versión cuantizada a 4 bits20/20Solo la coincidencia con la referencia
La versión cuantizada a 2 bits20/20Coincidencia y exactitud
Un modelo tres veces más chico20/20Coincidencia y secreto filtrado
Desvía el 30 % del tráfico al modelo chico8/20Coincidencia
La cuantización a 4 bits acierta casi lo mismo que la referencia: la exactitud nunca la marcó. La delató que sus respuestas dejaron de coincidir con las de la referencia.Un modelo chico en CPU, todos los proveedores en la misma máquina. Mide al auditor, no es un hallazgo sobre ningún proveedor.
results/proveedores/ · z-ai/glm-5.322 de noviembre de 2026
EndpointDeclaradoPrompt ocultoTareas correctasTool calls válidasResultado
Z.AI (el autor, referencia)fp820/205/8referencia
Wafer (us)fp4No20/208/8sin desviación detectada
Wafer (fp4)fp4No20/208/8sin desviación detectada
Decartfp4No20/208/8sin desviación detectada
SiliconFlowfp8No19/205/8sin desviación detectada
Novitafp8No20/205/8sin desviación detectada
El endpoint del autor, SiliconFlow y Novita devuelven un objeto anidado de la tool call como texto. La ficha no marca a nadie porque la que falla es la referencia.Una auditoría, una semilla. Este modelo no repite sus propias frases a temperatura 0, así que el control que delata una cuantización aquí no dice nada.

Ningún endpoint agrega un prompt oculto ni se distingue de la referencia. La ficha completa, las respuestas crudas y cómo leerlas están en results/proveedores.

Cómo se usa.

# sin claves y en 10 segundos: un proveedor honesto y dos tramposos de juguete
uv tool install git+https://github.com/platanus-hack/platanus-hack-26-cl-team-43
cachai demo

Funciona con uv o pipx. Más casos listos para copiar (servidor propio, autor contra revendedores, auditoría semanal en GitHub Actions) en examples/.

Funciona donde funcione la API de OpenAI.

Cachai usa la misma API que cualquier cliente. No pide acceso al modelo ni que el proveedor colabore, así que sirve para cualquier endpoint compatible con OpenAI.

OpenRouter

Lee los endpoints de un modelo, fija cada proveedor sin fallback y los compara con el del autor. cachai scan z-ai/glm-5.3

Proveedores de inferencia

Atajos para Together, Fireworks, DeepInfra, Groq, Cerebras, SambaNova, Novita, Hyperbolic y Nebius. -e together:MODELO

La API del autor

DeepSeek, Moonshot (Kimi), Z.ai (GLM) y Mistral, la mejor referencia contra la que comparar. -e deepseek:deepseek-chat

Tus servidores

Ollama, vLLM, SGLang, LM Studio y llama.cpp: comprobá que una cuantización o una plantilla nueva no cambió el comportamiento. -e ollama:qwen2.5:7b

Cualquier otra API

Un gateway interno o el proveedor que ya contrataste, con su URL y el nombre de la variable de la clave. -e prod=URL,VAR,MODELO

Tu CI

Una auditoría semanal en GitHub Actions que falla si un endpoint se vuelve distinguible de la referencia. --strict

Tres niveles de evidencia, siempre a la vista.

NivelQué esEjemplo
E1, declaradoLo afirma el proveedorCuantización, política de retención
E2, medidoLo medimos desde afuera, con método y muestraTokens de sobra, exactitud, tool calls
E3, atestadoEvidencia criptográfica verificablePesos medidos dentro de un TEE

Hoy el código cubre E1 y E2.

Para quién. Equipos con agentes en producción sobre modelos abiertos servidos por terceros. Lo usa quien responde por lo que hacen esos agentes, para saber si un endpoint se aparta del modelo que evaluó y sacarlo del tráfico.

Independiente del auditado. La auditoría corre del lado de quien usa el modelo y no la financia quien lo sirve. Con la semilla y el SHA-256 de las respuestas, un tercero puede repetirla.

Qué no promete.

«Sin desviación detectada» no significa «es el mismo modelo». Cada dato de la ficha dice si está declarado por el proveedor o medido desde afuera.
No certifica privacidad. Desde afuera no se puede probar que un proveedor no mire ni guarde los datos.
«Distinguible de la referencia» no es una acusación. Puede deberse a la plantilla, al parser o a la cuantización.
La referencia también es un endpoint. Si está cuantizada, se mide equivalencia con ella, no con el modelo original.
Un proveedor que estudie el generador de pruebas puede evadirlo. Está medido: 0 de 30 en todas las trampas. El paso siguiente es auditar con una muestra del tráfico real.