| Endpoint | Resultado | Cuantización (E1) | Tokens de prompt | Tareas correctas | Igual a la referencia | Tool calls válidas | Filtra el secreto |
|---|---|---|---|---|---|---|---|
| oficial | referencia | sin declarar | sin excedente | 20/20 | 20/20 | 4/4 | 0/8 |
| tramposo | DISTINGUIBLE | sin declarar | excedente constante de 32 tokens | 17/20 | 17/20 | 3/4 | 8/8 |
tokens de prompt: excedente constante de 32 tokens; filtra el secreto del system prompt 8/8 contra 0/8 (p=0,0002)Ficha de la demo sin claves, con un modelo de juguete y un proveedor tramposo propio. Prueba el mecanismo; no es un hallazgo sobre ningún proveedor.| Endpoint | Resultado | Cuantización (E1) | Tokens de prompt | Tareas correctas | Igual a la referencia | Tool calls válidas | Filtra el secreto |
|---|---|---|---|---|---|---|---|
| oficial | referencia | sin declarar | sin excedente | 20/20 | 20/20 | 4/4 | 0/8 |
| tramposo | sin desviación detectada | sin declarar | sin excedente | 20/20 | 20/20 | 4/4 | 0/8 |
Si el proveedor cambia el modelo, sus pruebas de seguridad dejan de valer.
API pública de OpenRouter, consultada el 21 de noviembre de 2026. Endpoint Accuracy Index de Artificial Analysis, medido entre el 8 de octubre y el 4 de noviembre de 2026.
Lo evaluado y lo desplegado dejan de ser lo mismo. Si el endpoint sirve otro modelo, una versión degradada o un prompt agregado, las evaluaciones y las salvaguardas del modelo original ya no cubren lo que está en producción.
Un prompt oculto es un ataque a la cadena de suministro. El proveedor que agrega instrucciones propias delante del pedido cambia el comportamiento del modelo sin que nadie lo vea. SOC 2 e ISO 27001 revisan procesos de la empresa y no cubren nada de esto.
Verificar las características declaradas de un modelo sin tener acceso a él es un problema abierto de gobernanza técnica de IA (Reuel, Bucknall et al., 2024, sección 5.4.1).
Una ficha por corrida, con lo declarado y lo medido.
cachai scan le manda el mismo juego de pruebas a cada endpoint y a una referencia. Cada dato de la ficha dice si lo declara el proveedor (E1) o si se midió desde afuera (E2). Los controles son deterministas, sin juez LLM: la respuesta auditada no puede inyectar al auditor y la ficha da el mismo veredicto cada vez.
Tokens de prompt de sobra E2
Compara los tokens de prompt de mensajes mínimos contra la referencia. Un excedente constante es la firma de un prompt oculto.
Exactitud y coincidencia E2
Tareas con respuesta calculable y frases de texto libre, a temperatura 0. La coincidencia con la referencia se compara con la de la propia referencia en otra llamada (el piso de ruido). Así se ve una cuantización que acierta igual pero responde distinto.
Tool calls válidas E2
Tres herramientas con esquema estricto, con objetos anidados y la mitad en streaming. Cuenta cuántas llamadas lo cumplen.
Secreto del system prompt E2
Un canario en el system prompt y un juez determinista miden si el endpoint lo filtra cuando se lo piden. En la demo, el prompt oculto del tramposo lo hace filtrarlo 8 de 8 veces.
Confiabilidad E2
Errores y latencia mediana de cada endpoint durante la corrida.
Lo declarado E1
Cuantización y precio, tal como los publica cada proveedor en la API de OpenRouter.
Pruebas que el proveedor no puede reconocer.
Un sistema que distingue la evaluación del uso real puede portarse bien solo cuando lo evalúan. Por eso el juego de pruebas se genera con una semilla nueva en cada auditoría. La semilla queda en la ficha junto con el SHA-256 de las respuestas crudas, para que cualquiera pueda repetir la misma auditoría.
El auditor se mide contra un proveedor tramposo propio: un proxy que agrega un prompt oculto, desvía parte del tráfico a un modelo más barato y se porta bien cuando reconoce un benchmark conocido. Nunca se ataca a terceros.
| Trampa del proveedor | Benchmark fijo | Juego ciego, 20 tareas | Juego ciego, 80 tareas |
|---|---|---|---|
| Ninguna (control honesto) | 0/30 | 0/30 | 0/30 |
| Prompt oculto | 0/30 | 30/30 | 30/30 |
| Desvía el 30 % del tráfico a un modelo más barato | 0/30 | 6/30 | 30/30 |
| Desvía el 100 % | 0/30 | 30/30 | 30/30 |
| Prompt oculto y desvío del 30 % | 0/30 | 30/30 | 30/30 |
Un benchmark fijo no detecta a un proveedor que lo reconoce: 0 de 120 auditorías con trampa. El juego ciego lo marca en todas, salvo el desvío parcial con 20 tareas, que con 80 pasa de 6 a 30 de 30.
Medido con modelos reales.
Primero contra un modelo real cuya verdad conocemos: Qwen2.5 1.5B servido por nosotros, con seis proveedores propios que dicen servir lo mismo. Uno es honesto y cinco sirven otra cosa con el mismo nombre.
Después contra proveedores reales: los cinco endpoints más baratos de GLM-5.3 en OpenRouter, comparados con el del autor. 364 respuestas, ningún error, 0,16 dólares.
| Lo que sirve el proveedor | Marcado como distinguible | Qué lo delató |
|---|---|---|
| Lo mismo que la referencia (control honesto) | 0/20 | Nada |
| Agrega un prompt oculto | 20/20 | Tokens de prompt de más y coincidencia |
| La versión cuantizada a 4 bits | 20/20 | Solo la coincidencia con la referencia |
| La versión cuantizada a 2 bits | 20/20 | Coincidencia y exactitud |
| Un modelo tres veces más chico | 20/20 | Coincidencia y secreto filtrado |
| Desvía el 30 % del tráfico al modelo chico | 8/20 | Coincidencia |
| Endpoint | Declarado | Prompt oculto | Tareas correctas | Tool calls válidas | Resultado |
|---|---|---|---|---|---|
| Z.AI (el autor, referencia) | fp8 | 20/20 | 5/8 | referencia | |
| Wafer (us) | fp4 | No | 20/20 | 8/8 | sin desviación detectada |
| Wafer (fp4) | fp4 | No | 20/20 | 8/8 | sin desviación detectada |
| Decart | fp4 | No | 20/20 | 8/8 | sin desviación detectada |
| SiliconFlow | fp8 | No | 19/20 | 5/8 | sin desviación detectada |
| Novita | fp8 | No | 20/20 | 5/8 | sin desviación detectada |
Ningún endpoint agrega un prompt oculto ni se distingue de la referencia. La ficha completa, las respuestas crudas y cómo leerlas están en results/proveedores.
Cómo se usa.
# sin claves y en 10 segundos: un proveedor honesto y dos tramposos de juguete
uv tool install git+https://github.com/platanus-hack/platanus-hack-26-cl-team-43
cachai demo
# sin clave: qué declara cada proveedor (cuantización y precio) cachai endpoints z-ai/glm-5.3 # los 6 más baratos contra el del autor; necesita OPENROUTER_API_KEY cachai scan z-ai/glm-5.3 --providers 6 --max-usd 2 # la ficha queda en audit/fichas/ (JSON, Markdown y respuestas crudas con su SHA-256)
# el primero es la referencia; cada clave se lee de su variable (DEEPSEEK_API_KEY, TOGETHER_API_KEY…) cachai scan -e deepseek:deepseek-chat -e together:deepseek-ai/DeepSeek-V3 # tu propio servidor o cualquier API compatible con OpenAI cachai scan -e ollama:qwen2.5:7b -e prod=https://mi-gateway/v1,PROD_API_KEY,qwen2.5-7b
# cachai.toml en tu carpeta, y después solo: cachai scan openrouter = false max_usd = 1 [[endpoint]] provider = "deepseek" # la referencia model = "deepseek-chat" [[endpoint]] provider = "together" model = "deepseek-ai/DeepSeek-V3"
# sin claves, unos 2 minutos: benchmark fijo contra juego ciego, con el proveedor tramposo
git clone https://github.com/platanus-hack/platanus-hack-26-cl-team-43 cachai && cd cachai
uv run cachai experimento --toy --reps 30
Funciona con uv o pipx. Más casos listos para copiar (servidor propio, autor contra revendedores, auditoría semanal en GitHub Actions) en examples/.
Funciona donde funcione la API de OpenAI.
Cachai usa la misma API que cualquier cliente. No pide acceso al modelo ni que el proveedor colabore, así que sirve para cualquier endpoint compatible con OpenAI.
OpenRouter
Lee los endpoints de un modelo, fija cada proveedor sin fallback y los compara con el del autor. cachai scan z-ai/glm-5.3
Proveedores de inferencia
Atajos para Together, Fireworks, DeepInfra, Groq, Cerebras, SambaNova, Novita, Hyperbolic y Nebius. -e together:MODELO
La API del autor
DeepSeek, Moonshot (Kimi), Z.ai (GLM) y Mistral, la mejor referencia contra la que comparar. -e deepseek:deepseek-chat
Tus servidores
Ollama, vLLM, SGLang, LM Studio y llama.cpp: comprobá que una cuantización o una plantilla nueva no cambió el comportamiento. -e ollama:qwen2.5:7b
Cualquier otra API
Un gateway interno o el proveedor que ya contrataste, con su URL y el nombre de la variable de la clave. -e prod=URL,VAR,MODELO
Tu CI
Una auditoría semanal en GitHub Actions que falla si un endpoint se vuelve distinguible de la referencia. --strict
Tres niveles de evidencia, siempre a la vista.
| Nivel | Qué es | Ejemplo |
|---|---|---|
| E1, declarado | Lo afirma el proveedor | Cuantización, política de retención |
| E2, medido | Lo medimos desde afuera, con método y muestra | Tokens de sobra, exactitud, tool calls |
| E3, atestado | Evidencia criptográfica verificable | Pesos medidos dentro de un TEE |
Hoy el código cubre E1 y E2.
Para quién. Equipos con agentes en producción sobre modelos abiertos servidos por terceros. Lo usa quien responde por lo que hacen esos agentes, para saber si un endpoint se aparta del modelo que evaluó y sacarlo del tráfico.
Independiente del auditado. La auditoría corre del lado de quien usa el modelo y no la financia quien lo sirve. Con la semilla y el SHA-256 de las respuestas, un tercero puede repetirla.