Katalon, proveedor de la solución de automatización de pruebas Katalon Studio, realizó una encuesta que contó con la participación de más de 3.000 expertos en Testing y QA.
De los resultados obtenidos se elaboró el Informe “The State of Quality 2022” para compartir las tendencias de Testing y Calidad de Software, mejores prácticas y herramientas. A continuación compartimos los principales hallazgos, traducidos de la versión original en inglés del informe de Katalon.
El mundo está en constante cambio, por tanto, las compañías deben realizar un análisis interno y externo para mejorar sus prácticas de calidad de software (QA). Necesitan recolectar y analizar la información y los datos generados de sus prácticas para determinar sus debilidades y fortalezas al entregar calidad de software con rapidez. Al mismo tiempo que deben observar cuál es la situación actual y cuáles son las tendencias en sus respectivas industrias.
Basado en una encuesta con más de 3000 entrevistados, este informe captura el panorama actual de la calidad de software, presenta ideas y predice tendencias en técnicas, prácticas y herramientas de QA. Como nuestro estudio entrevistó ingenieros de software, ingenieros QA, analistas y directores, los descubrimientos reflejan las opiniones y voces de personas que están envueltas directamente en el aseguramiento de la calidad del software.
Descubrimientos
1. Aunque es la técnica más popular, la automatización de pruebas no es tan ampliamente utilizada como las personas esperarían
Actualmente, los equipos de software emplean una combinación de técnicas de control de calidad durante el desarrollo de software. Además de las pruebas manuales, que son realizadas virtualmente por todos los equipos, las pruebas automatizadas son la técnica más ampliamente utilizada entre las 11 encuestadas.
Aún así, solo un poco más de la mitad (51%) de los encuestados aplicaron la automatización en pruebas de sistema e integración. Lo cual es bastante bajo dado el hecho que se ha vuelto crucial en las prácticas Ágiles y DevOps.
Imagen. El 51% aplicó automatización en pruebas de sistema e integración.
2. La monitorización y pruebas en producción surgieron como una respuesta para mantener el equilibrio entre calidad y rapidez
Para lograr calidad con rapidez, los equipos necesitan encontrar el equilibrio correcto entre asegurar la calidad de software y reducir el tiempo necesario para ejecutar las actividades de control de calidad. No pueden sacrificar tiempo valioso para hacer un software libre de errores.
Esta encuesta encontró que la monitorización y pruebas en producción son la tercera técnica más popular de QA, siendo aplicada por el 38% de los equipos encuestados.
Estos descubrimientos sugieren que los equipos de software aceptan la posibilidad de errores en producción y emplean la técnica como una forma de llegar a un equilibrio entre calidad y rapidez.
Imagen. El 38% utilizó la monitorización y pruebas en producción, lo que la convierte en la tercera técnica más popular de QA.
3. La automatización de pruebas y la revisión/inspección de código son las dos técnicas QA más efectivas
Los equipos tienden a utilizar una técnica cuando la encuentran efectiva. Esta encuesta mostró que las dos técnicas más ampliamente usadas son también las más efectivas. Estas son la automatización de pruebas (para pruebas de integración, sistema y aceptación) y la revisión/inspección de código, que fueron reconocidas por el 65% y el 54% de los entrevistados respectivamente.
Imagen. El 65% empleó la automatización en pruebas, mientras que el 54% utilizó la revisión/inspección de código.
4. Los cambios frecuentes de requerimientos y la falta de tiempo para asegurar calidad son los desafíos más citados para la entrega de software de alta calidad
Al igual que nuestras encuestas en años anteriores, los dos desafíos más comunes para conseguir software de alta calidad siguen siendo: los cambios frecuentes de requerimientos, informado por el 46% de los encuestados, y la falta de tiempo para asegurar calidad por el 39%.
Los cambios frecuentes en los requerimientos hacen que aplicar automatización sea difícil, ya que los equipos tienen que pasar tiempo revisando sus pruebas automatizadas para que reflejen los cambios. Debido a la falta de tiempo, los equipos tienden a realizar pruebas manuales ad hoc en lugar de invertir recursos en técnicas QA más efectivas como la automatización de pruebas.
5. Los profesionales se encuentran satisfechos con la calidad de su software una vez entregado, pero no están igual de satisfechos con sus prácticas y herramientas de QA
Imagen. Cuando se pidió que brindaran su nivel de satisfacción con la calidad del software entregado, casi 8 de cada 10 encuestados calificaron la calidad de su software como bueno o mejor. Mientras que sólo 5 de cada 10 encuestados estuvieron satisfechos o muy satisfechos con sus prácticas y herramientas de QA.
Cuando llegó el momento de aplicar la automatización de pruebas, muchos encuestados no estaban satisfechos con sus herramientas y prácticas de automatización, así que tuvieron que recurrir a las pruebas manuales.
6. La popularidad de herramientas de automatización open-source gratuitas continúa disminuyendo porque las herramientas comerciales son más poderosas
Las herramientas juegan un rol principal en el éxito de las prácticas de automatización de pruebas. Desde 2018, nuestras encuestas han monitorizado la popularidad de las herramientas más comunes para la automatización.
Una tendencia es clara: Selenium es la herramienta más utilizada, pero su popularidad ha disminuido rápidamente en los últimos cuatro años, pasando de un 86% en 2018, a un 54% en 2020 y a un 37% durante el año 2021.
Imagen. La popularidad de Selenium ha pasado del 86% en 2018, a 54% en 2020 y finalmente a un 37% en 2021.
Esta encuesta muestra también que herramientas y frameworks como Katalon y Perfecto se han vuelto más poderosas. Herramientas comerciales como esas, eliminan la necesidad de construir frameworks de automatización basados en Selenium y Appium.
7. Ha aumentado la aplicación de la automatización a más tipos de actividades de pruebas
Otra tendencia encontrada en esta encuesta es que los equipos aplicaron la automatización a más tipos de actividades de pruebas. Mientras la mayoría de los encuestados aplicaron automatización a pruebas de regresión (53%), también lo hicieron durante el análisis de resultados de las pruebas (38%), la generación de datos para pruebas (36%), y la realización de pruebas de rendimiento (34%).
Es posible que los equipos de software tengan herramientas de automatización más maduras y poderosas para realizar más actividades de pruebas automáticamente.
Imagen. La automatización de pruebas se aplicó en un 53% a pruebas de regresión, un 38% al análisis de resultados de pruebas, un 36% a la generación de datos de prueba y un 34% a pruebas de rendimiento.
8. Los desafíos más comunes al aplicar las herramientas de automatización continúan persistiendo
La encuesta del año 2021 encontró que los desafíos más comunes con las herramientas de automatización continúan siendo los mismos reportados en 2020.
Incluyen:
Imagen. Al 37% le falta habilidades y experiencia con las herramientas, mientras que al 36% le dificulta los cambios frecuentes en los requerimientos.
Esos desafíos no son necesariamente esenciales, ya que las prácticas y herramientas de automatización tienen el potencial de eliminar la necesidad de las habilidades avanzadas requeridas para automatizar y para sobrellevar los requerimientos cambiantes.
9. La mayoría de los equipos han alcanzado un alto ROI con la automatización de pruebas
Retorno de la inversión (ROI), es una métrica importante para medir los beneficios de la automatización de pruebas. Esta encuesta le pidió a los profesionales de software que calificaran su ROI en términos de costo/ahorro de tiempo en su inversión en automatización de pruebas.
Imagen. La buena noticia es que la mayoría de los encuestados ha visto un ROI positivo. La mayor parte de los encuestados (63%) experimentó un costo/ahorro de tiempo de un 20% o más en su inversión de automatización de pruebas, mientras que solo el 6% reportó pérdidas y el 9% no tuvo ningún ahorro.
Un ROI más alto es alcanzado cuando las compañías proporcionan el entrenamiento suficiente, eligen las herramientas y tareas correctas para automatizar y demuestran persistencia en aplicar las herramientas.
10. La Inteligencia Artificial para la automatización de pruebas está aún en sus comienzos
La inteligencia artificial (AI) ofrece un gran potencial para la automatización de pruebas. Puede reducir o incluso eliminar la necesidad de intervención humana en actividades que consumen tiempo como diseño y generación de pruebas, preparación de datos, ejecución de pruebas, verificación y mantenimiento de pruebas.
Aún así, nuestra encuesta encontró que menos del 50% de los entrevistados utiliza alguna función de AI para la automatización de sus pruebas. En su mayoría utilizan la AI para la creación de casos y guiones de prueba, generar datos de prueba, detectar defectos y priorizar y seleccionar pruebas. Estos descubrimientos sugieren que las compañías, especialmente las vendedoras de herramientas de automatización, continúan mejorando la adopción de AI para la automatización de pruebas.
Imagen. < 50% de los encuestados utilizan IA en sus pruebas automatizadas.
¡Descarga el informe completo aquí!
COMPARTIR EN:
