En qué destaca JMeter
Generar carga concurrente. Grupos de hilos, ramp-up, generadores distribuidos. Para eso se creó y sigue siendo una de las mejores opciones gratuitas.
Amplitud de protocolos. Mucho más allá de HTTP, algo que importa en sistemas empresariales con capas de mensajería y de base de datos.
Que ya esté instalado. No es un mérito técnico y es una razón real por la que los equipos lo usan.
Dónde se vuelven incómodas las pruebas de API con JMeter
Los planes de prueba son XML
Revisar un cambio en un pull request es casi imposible.
Los conflictos de merge en un archivo .jmx son un sufrimiento aparte.
Las aserciones son superficiales por defecto
El código de respuesta y la coincidencia de subcadenas cubren los casos comunes y poco más.
Cualquier cosa estructural implica un elemento de scripting.
El estado es manual
Extractores, variables y controladores, todo cableado a mano.
El grafo de dependencias vive en la estructura del plan en lugar de estar declarado.
La división que funciona
Deja JMeter para la pregunta de capacidad: cómo se comporta el servicio bajo concurrencia sostenida, dónde se degrada la latencia, qué se rompe primero. Para eso sirve y nada de esto sugiere reemplazarlo.
Lleva la corrección funcional a un lugar que trate las sesiones, los valores capturados, el orden y la limpieza como parte del producto y no como elementos que tú ensamblas. Esos cuatro se describen en la documentación de pruebas de API.
Algo que vale la pena hacer en JMeter de todos modos
Añade aserciones sobre el cuerpo de la respuesta a tus planes de carga, aunque sea en una muestra de las peticiones. Una prueba de carga que solo verifica códigos de estado informará una ejecución limpia mientras el servicio devuelve resultados vacíos, y rápido y equivocado es el peor desenlace porque nadie lo investiga.
Poner en marcha la capa funcional
Terminal
npm install -g @testsprite/testsprite-cli
testsprite setup
El panel cubre lo mismo para quien no quiera una instalación local, y todos los comandos disponibles están en el repositorio del CLI.
El problema del .jmx, dicho sin rodeos
La razón por la que la cobertura funcional en JMeter envejece mal no son las aserciones, es el formato de archivo, y vale la pena ser concreto sobre por qué.
Un plan de prueba es XML generado por una interfaz gráfica. Abrir un pull request que cambia una sola aserción produce un diff de elementos reordenados e identificadores generados, así que la revisión se convierte en un ejercicio de confianza. Dos personas editando el mismo plan en una semana producen un conflicto de merge que es más fácil de resolver descartando un lado que leyéndolo. Y como revisar resulta poco práctico, el plan acumula cambios que nadie ha mirado.
Es un costo real y es invisible cuando una sola persona es dueña del plan, que es justo la condición en la que se construyen la mayoría de las suites de JMeter.
Cadencias distintas
La carga antes de los lanzamientos y después de cambios de arquitectura. La corrección en cada pull request, porque es cuando una regresión es más barata de arreglar.
La GitHub App es un webhook que configuras en el panel de TestSprite. Escucha el evento de despliegue que tu pipeline ya produce, así que nada cambia en tu repositorio.
GitHub Actions coloca el paso dentro de tu propio flujo de trabajo, configurado desde la terminal.
Qué le quita TestSprite al plan de carga
La cobertura funcional que acabó en JMeter porque JMeter ya estaba ahí. Los planes se generan a partir de una pasada de descubrimiento más tu especificación, descritos en lenguaje sencillo en lugar de ensamblados a partir de elementos, y revisables en un pull request en lugar de enterrados en XML generado.
Auto-Authentication mantiene vivas las sesiones durante toda la ejecución, Dynamic Variables transporta valores entre llamadas, Dependency Chains deriva el orden de ejecución a partir de lo que cada caso necesita y produce, y Auto-Cleanup elimina exactamente lo que creó la ejecución. Esas son las piezas que hoy construyes con extractores, variables, controladores y grupos de hilos de teardown.
Tus planes de carga se quedan tal como están, haciendo aquello en lo que JMeter es realmente excelente. La ganancia es que la corrección se verifica en cada pull request en lugar de antes de cada lanzamiento, y que un cambio en una aserción es algo que una segunda persona puede leer.
¿Puede JMeter hacer pruebas funcionales de API?
Sí, y la ergonomía juega en tu contra. Los planes en XML, las aserciones superficiales por defecto y el manejo manual del estado son el costo.
¿Deberíamos reemplazar JMeter?
Para carga, no. Reemplaza la cobertura funcional que terminó ahí por accidente y conserva los planes de carga.
¿Y Taurus o JMeter DSL?
Ambos mejoran bastante la experiencia de escritura. No cambian aquello para lo que la herramienta está optimizada.
¿Podemos ejecutar los dos en CI?
Sí. Responden preguntas distintas con cadencias distintas, y ninguno necesita saber del otro.
¿TestSprite genera carga?
No. Verifica la corrección, incluidos los casos límite. La concurrencia sostenida es territorio de JMeter.
Conserva los planes de carga, mueve la corrección.
Las pruebas de API con JMeter funcionan porque JMeter ya está ahí, no porque encaje. Consérvalo para la capacidad, añade aserciones sobre el cuerpo de la respuesta a los planes de carga que ya tienes y lleva la corrección funcional a un lugar diseñado para la sesión, el estado, el orden y la limpieza.