¿Qwen 4 en Arena? Qué revela (y qué no) el modelo Kalmia

El 27 de octubre un usuario de X publicó que Kerria, un modelo anónimo de Arena, se equivocaba con tres de los cuatro tokens especiales con los que solo falla el tokenizer de Qwen. Lo ponía en la misma familia que Kalmia, otro anónimo que llevaba días en Code Arena.

Su post pasó de 65.000 visualizaciones con el hashtag #Qwen4 puesto. Veinte minutos después, otra cuenta lo citaba como probable adelanto de la siguiente generación de Qwen. En X, el esperado Qwen 4 ya estaba ahí, escondido detrás de dos nombres de flor.

No hay comunicado de Alibaba ni de Arena. La tensión no es si Kalmia es o no es Qwen 4. Es qué haces tú con información sin confirmar que sí puede moverte el roadmap.

En corto: desde finales de octubre de 2026 circula en Arena un modelo anónimo llamado Kalmia que la comunidad atribuye a Qwen 4, pero ni Alibaba ni Arena lo han confirmado. Un buen puesto en Arena mide preferencia humana en conversaciones cortas, no tu caso de uso. Lo útil hoy no es migrar: es tener una eval propia y una capa de proveedor intercambiable para probar Qwen 4 el día que salga.

Qwen 4: fecha de lanzamiento y lo que se sabe a 1 de noviembre de 2026

Lo confirmado cabe en una frase: Qwen 4 está en entrenamiento y no tiene fecha.

En la Apsara Conference del 22 de septiembre, el material oficial de Alibaba dijo que el modelo estaba "currently in training", sin fecha, tamaños ni licencia, según el resumen del RITS de NYU Shanghai. Yotta Labs atribuye al responsable del proyecto Qwen, Liu Dayiheng, que saldría "muy pronto". Los niveles Max, Plus, Flash y 27B salen de un post en X, no de la nota de prensa.

Todo lo demás es rumor. Una filtración de julio apuntaba a septiembre y falló, como recoge Yotta Labs (que vende servicios de gateway).

El rumor más reciente es del 29 de octubre. En la Apsara Conference de Ámsterdam, un asistente publicó en X que Feifei Li, CTO de Alibaba Cloud, había dicho "Qwen4 next week", es decir, entre el 2 y el 8 de noviembre. Lo recoge Pasquale Pillitteri, que deja claro que ningún canal oficial lo ha confirmado. La diapositiva proyectada ese día decía "coming soon", sin fecha.

¿Qué es un modelo anónimo en Arena?

Un modelo anónimo en Arena es un modelo todavía sin lanzar que un laboratorio pone a competir en votaciones a ciegas con un nombre en clave, para recoger preferencias de usuarios reales antes de anunciarlo.

La FAQ de Arena lo explica sin rodeos: trabajan con proveedores para que sus modelos previos al lanzamiento aparezcan en Battle mode con codenames o alias. Tú ves dos respuestas, votas cuál prefieres y luego se revelan los nombres. Los votos que emites después de la revelación no cuentan para el ranking.

La política del leaderboard, actualizada el 1 de septiembre de 2026, añade dos detalles que importan. Cada modelo anónimo tiene su propia etiqueta única. Y la puntuación de un modelo probado en anónimo se marca como preliminar hasta que se acumulan votos nuevos tras el lanzamiento público.

No es nuevo: según Wikipedia, GPT-5 se probó como "summit". El codename es un nombre de trabajo, no una prueba de identidad.

Kalmia, Kibitz y Kerria: lo que dice la comunidad

Hacia el 22 de octubre aparecieron dos modelos anónimos a la vez en Code Arena: Kalmia y Kibitz. Hamidun News, que reprocesa una nota de Jiqizhixin, recoge que en la discusión aparecen dos nombres, Qwen 4 y Kimi K3.1 de Moonshot, por estilo, forma de razonar y formato de código. Y subraya que ningún laboratorio los ha reclamado. El emparejamiento Kalmia = Qwen 4 lo pone la comunidad: @NFT_Chen lo presentó el 26 de octubre como "probable Qwen 4.0" por la huella del tokenizer.

El mismo 22 de octubre ya había en Hacker News un enlace titulado "Kimi K3.1 vs. Qwen 4: 3D helicopter". Fíjate en eso: en cuanto aparecen los codenames, el rumor ya circula con el nombre comercial puesto.

Luego llegó Kerria. El 27 de octubre, @NFT_Chen publicó en X una prueba de huella del tokenizer: Kerria rompía tres de los cuatro tokens especiales que solo el tokenizer de Qwen procesa mal, mientras que 52 tokens de 13 laboratorios distintos salían bien.

El propio autor lo presenta como indicio fuerte pero no concluyente, porque otro laboratorio podría reutilizar el tokenizer de Qwen. @ItsmeAjayKV lo amplificó con un histórico de codenames que atribuye a Qwen: Kiteki (Qwen3.5), Kizen-alpha (Qwen3.6) y Korin (Qwen3.7 Max). Son atribuciones de la comunidad, no confirmaciones. Y ojo: el test de los 52 tokens se publicó para Kerria. Para Kalmia, el tuit del 26 de octubre afirma la huella sin enseñar la prueba. Y aunque los dos compartan tokenizer, eso dice "familia Qwen", no "Qwen 4".

Y un contraejemplo útil: en julio, @Lentils80 contó que un modelo anónimo llamado "Kaleb" decía ser Claude, aunque los usuarios lo identificaban como Qwen por su forma de responder.

¿Cómo se identifica un modelo anónimo de Arena?

Con cuatro señales, y no valen lo mismo: solo la huella del tokenizer se puede reproducir.

Señal	Qué aporta	Fiabilidad	Riesgo o limitación
Autoidentificación ("soy Claude")	Nada fiable sobre el autor	Muy baja	Si se entrenan con datos sintéticos de otros modelos, pueden repetir nombres ajenos. El caso Kaleb lo ilustra, aunque su autor tampoco se confirmó
Estilo y formato	Parecido con versiones anteriores	Baja-media	Subjetivo; dos laboratorios que destilan del mismo modelo acaban sonando igual
Huella del tokenizer	Indicio técnico reproducible	Media-alta	Identifica el tokenizer, no el laboratorio ni la versión. Kerria podría ser una versión intermedia o un tercero con el mismo tokenizer
Calendario (aparece cuando se espera un lanzamiento)	Contexto	Baja	Es justo lo que alimenta el sesgo de confirmación

Incluso en el mejor caso, la huella te dice "familia Qwen", no "Qwen 4", y menos aún "Qwen 4 Max".

Qué dice (y qué no) un buen puesto en el leaderboard de Arena

Arena mide qué respuesta prefiere un humano en una comparación a ciegas. Lo convierte en ranking con el modelo Bradley-Terry, comparable al Elo del ajedrez, según su FAQ.

Lo que sí te dice	Lo que no te dice
Qué modelo prefieren votantes anónimos en prompts cortos	Cómo rinde en tu codebase, con tu contexto y tus tools
Una tendencia agregada con muchos votos	Latencia, coste por tarea ni estabilidad del endpoint
Que el laboratorio está probando algo	Que la versión que se lanza sea la misma que se votó

Lo último no es teórico. Llama 4 Maverick quedó por encima de GPT-4o en LMArena, y la versión probada allí era distinta de la publicada, como recoge Wikipedia.

El paper The Leaderboard Illusion (abril de 2025) contó 27 variantes privadas probadas por Meta antes de Llama 4 y estimó que Google y OpenAI recibieron el 19,2 % y el 20,4 % de los datos de Arena, frente al 29,7 % del conjunto de 83 modelos open-weight.

En el hilo de Hacker News sobre ese paper, uno de los primeros comentarios, de pongogogo, concluye que ya no te puedes fiar de ningún benchmark público y que necesitas evals privadas. Otro, ekidd, recoge quejas de que Arena tiende a premiar las viñetas, los emojis y la adulación incluso a costa de la respuesta correcta.

Yo estoy con pongogogo. Arena me sirve para saber qué mirar, nunca para decidir qué poner en producción. Es el mismo escepticismo que apliqué a la tabla de Qwen3.8-Max y que desarrollé en los benchmarks de IA para programar que sí importan.

Cómo prepararte para Qwen 4 sin migrar por un rumor

No muevas nada por Kalmia. Prepara dos piezas para que, el día que Qwen 4 salga, probarlo te cueste una tarde y no un sprint.

La primera es una capa de proveedor intercambiable. Casi todos los proveedores exponen una API compatible con OpenAI, así que basta con que la URL y el modelo salgan de configuración:

// providers.ts
export type Provider = { name: string; baseURL: string; apiKey: string; model: string };

export function fromEnv(prefix: string): Provider {
  const baseURL = process.env[`${prefix}_BASE_URL`] ?? &#39;&#39;;
  const model = process.env[`${prefix}_MODEL`] ?? &#39;&#39;;
  if (!baseURL || !model) throw new Error(`Faltan ${prefix}_BASE_URL o ${prefix}_MODEL`);
  return { name: prefix.toLowerCase(), baseURL, apiKey: process.env[`${prefix}_API_KEY`] ?? &#39;&#39;, model };
}

export async function complete(p: Provider, prompt: string): Promise<string> {
  const res = await fetch(`${p.baseURL}/chat/completions`, {
    method: &#39;POST&#39;,
    headers: { &#39;Content-Type&#39;: &#39;application/json&#39;, Authorization: `Bearer ${p.apiKey}` },
    body: JSON.stringify({ model: p.model, messages: [{ role: &#39;user&#39;, content: prompt }], temperature: 0 }),
  });
  if (!res.ok) throw new Error(`${p.name}: HTTP ${res.status}`);
  const data = (await res.json()) as { choices: { message: { content: string | null } }[] };
  return data.choices[0]?.message.content ?? &#39;&#39;;
}

Si no quieres gestionar una clave por proveedor, un agregador como OpenRouter te da una sola URL. Y si Qwen 4 trae un 27B con pesos abiertos, la misma interfaz te sirve contra un servidor local; antes de contar con ello, revisa qué te dan de verdad los open weights.

La segunda pieza es una eval propia. Veinte casos sacados de tu trabajo real valen más que cualquier leaderboard. Guarda los dos archivos en un proyecto con "type": "module" y ejecútalo con npx tsx eval.ts o bun eval.ts:

// eval.ts
import { complete, fromEnv, type Provider } from &#39;./providers.js&#39;;

type Case = { id: string; prompt: string; check: (out: string) => boolean };

const cases: Case[] = [
  {
    id: &#39;zod-schema-usuario&#39;,
    prompt: &#39;Escribe solo el schema Zod de un usuario con email válido y edad entera >= 18.&#39;,
    check: (out) =>
      out.includes(&#39;z.object(&#39;) && out.includes(&#39;.email(&#39;) && out.includes(&#39;.int(&#39;) && /\.(min|gte)\(18\)/.test(out),
  },
  // ...añade casos reales de tus PR y tus incidencias
];

async function run(p: Provider) {
  let ok = 0;
  for (const c of cases) {
    const out = await complete(p, c.prompt);
    if (c.check(out)) ok++;
    else console.log(`FALLA ${p.name} → ${c.id}`);
  }
  console.log(`${p.name}: ${ok}/${cases.length}`);
}

await run(fromEnv(&#39;ACTUAL&#39;));
await run(fromEnv(&#39;CANDIDATO&#39;));

El día del lanzamiento cambias tres variables de entorno y comparas. Es el mismo principio que aplicamos en el curso Construye con IA: el modelo es una pieza que se cambia, y lo que no se cambia es la especificación de qué tiene que hacer.

Límites de este enfoque

Una eval de veinte casos con checks por includes detecta regresiones gordas, no matices. No te dirá si un modelo razona mejor en tareas largas de agente. Para eso necesitas casos multi-paso y, a menudo, revisión humana.

La capa intercambiable tampoco resuelve todo. Dos endpoints "compatibles con OpenAI" no se comportan igual con tool calling, structured outputs, límites de contexto ni con parámetros como temperature, que algunos modelos de razonamiento rechazan. Cambiar la URL es fácil; validar que tus tools siguen funcionando, no tanto.

Qué hacer hoy

Escribe los primeros diez casos de tu eval con prompts que ya hayas usado esta semana. Ese archivo vale para Qwen 4, para Kimi K3.1 y para lo que salga después.

Si quieres llevar esa idea a todo tu flujo, en el libro Spec-Driven Development explico cómo escribir la especificación antes que el código, que es justo lo que hace que cambiar de modelo no te rompa el proyecto. Y cuando Qwen 4 salga, lo probaremos en el canal de YouTube de Dominicode con casos reales, no con votos.

Preguntas frecuentes

¿Kalmia es Qwen 4?

No está confirmado. La comunidad lo atribuye a Qwen 4 por estilo, huella del tokenizer y calendario, pero ni Alibaba ni Arena lo han dicho, y la FAQ de Arena trata los codenames como alias de modelos previos al lanzamiento, sin revelar su autor.

¿Cuándo sale Qwen 4?

No hay fecha oficial a 1 de noviembre de 2026. Alibaba dijo el 22 de septiembre que estaba en entrenamiento. El 29 de octubre, un asistente a la Apsara de Ámsterdam atribuyó al CTO de Alibaba Cloud un "next week" (del 2 al 8 de noviembre), sin confirmación oficial.

¿Puedo usar Kalmia en mi aplicación?

No. Los modelos anónimos aparecen en el Battle mode de Arena y no tienen API pública anunciada ni garantías. Además, la política de Arena indica que las conversaciones con modelos sin lanzar se comparten con el proveedor.

¿Un buen puesto en Arena significa que el modelo es mejor para programar?

Significa que los votantes prefirieron sus respuestas en comparaciones a ciegas. Para tu caso de uso, necesitas tu propia eval con tus prompts, tu contexto, tu coste y tu latencia.

Por Bezael Pérez — Developer senior con más de 15 años de experiencia y fundador de Dominicode.