El objetivo primordial de la Validación y Pruebas del Servicio consiste en garantizar que las nuevas versiones cumplen los requisitos mínimos de calidad acordados con el cliente y que, por supuesto, no van a provocar ningún error inesperado cuando estén operativas.
La Validación y Pruebas del Servicio se relaciona con los siguientes procesos del Ciclo de Vida:
- La Gestión del Catálogo de Servicios
- La Gestión de Niveles de Servicio
- La Planificación y Soporte de la Transición
- La Gestión de Cambios y
- La Gestión de Entregables y Despliegues
Interrelaciones del proceso: La Validación y Pruebas: Recibe de otros procesos documentación esencial para su labor. La aportación principal procede de la versión que va a ser objeto de evaluación. Ofrece informes detallados donde se recogen los pros y contras de la versión evaluada.
Monitorización: Es importante que durante todo el proceso se controle que: Se cumplen los protocolos de testeo durante las pruebas y el entorno reúne condiciones idénticas a las reales. Se registran con detalle todas las pruebas: Resultados, bugs (error de software), etc… El servicio TI se corresponde con la utilidad y garantía esperada.
Validación, Planificación y Verificación: Su objetivo consiste en hacer los preparativos previos a las pruebas: Se define el modelo de pruebas, los protocolos de testeo y la planificación, se validan los paquetes de servicios, las ofertas y los contratos.
Construcción: Se montan y pre-testean todos los elementos garantizando que: Todos los componentes de la versión cumplen los criterios de calidad. El escenario de pruebas es idéntico al entorno de producción (Software, Hardware, Datos).
Pruebas: Se llevan a cabo las pruebas propiamente dichas, evaluando: El correcto funcionamiento de la versión, los procedimientos automáticos o manuales de instalación, los planes de Back-Out y la utilidad del servicio según cada uno de los grupos objetivos (roles).
Aceptación y Reporte: Se elabora un informe de resultados que incluirá: Reportes de actividades realizadas, lista de errores detectados e ideas de mejora e información y conocimientos adquiridos, por ejemplo, riesgos de implantación.
Limpieza y Cierre: Antes de cerrar formalmente el proceso: Se revierten los cambios practicados en el entorno de pruebas (instalaciones, actualizaciones, etc…). Se compara la planificación inicial con el desarrollo real de las pruebas para comprobar si se ha cumplido lo previsto en cuanto a plazos, criterios y recursos empleados.
La Validación y Pruebas del Servicio es la encargada de probar cada nueva versión en un entorno idéntico al real antes de proceder a su implantación. El objetivo último del proceso consiste en detectar y prevenir aquellos errores causados por incompatibilidades imprevistas, y verificar que se cumplen los niveles de utilidad y garantía establecidos.
Para cumplir este cometido, la Validación y Pruebas del Servicio se encarga de:
- Diseñar y mantener un entorno de pruebas, es decir, una réplica exacta del escenario en el que el servicio desarrolla su actividad.
- Conocer a fondo las funcionalidades del servicio y mantener listados actualizados de todos los casos de uso para poder hacer chequeos completos.
- Conocer a fondo los requisitos de calidad del servicio acordados con el cliente para poder garantizar que las nuevas versiones los cumplen.
- Planificar y llevar a cabo un calendario de pruebas que cubra todas las funcionalidades registradas para el servicio.
Los beneficios de una correcta Validación y Pruebas del Servicio se resumen en:
- Se reduce el número de incidentes por incompatibilidades con otro software o hardware instalado.
- Al haber menos incidentes, también se reduce significativamente el volumen de llamadas que llegan al Centro de Servicios.
- Los problemas y errores conocidos pueden ser detectados, aislados y diagnosticados en el entorno de pruebas mucho mejor que en el entorno real.
- Se ahorran costes, puesto que es mucho menos “caro” resolver errores en un entorno de pruebas que en uno real.
- El proceso de pruebas asociado no sólo permite asegurar la calidad del software y hardware a instalar, sino que también permite conocer la opinión de los usuarios sobre la funcionalidad y usabilidad de las nuevas versiones.
La Validación y Pruebas del Servicio puede encontrarse con las siguientes dificultades:
- La Gestión de Entregas y Despliegues no actualiza con suficiente frecuencia su entorno de desarrollo, lo que deriva en la necesidad de efectuar varias pruebas previas hasta pulir la versión desde un punto de vista técnico antes de examinar su utilidad y garantía.
- La Gestión de Entregas y Despliegues no conoce a fondo los requisitos definidos en los SLRs y SLAs, por lo que son necesarias evaluaciones preliminares hasta alcanzar el nivel de rendimiento mínimo.
- No se define suficiente con claridad la metodología a emplear durante las pruebas, o ésta se aparta demasiado de los SLRs acordados con el cliente, por lo que las pruebas resultan ser ineficaces.
Las principales actividades de la Validación y Pruebas del Servicio se resumen en:
- Validación de paquetes de servicios, ofertas y contratos. Definición del modelo de pruebas, la planificación y los protocolos de testeo.
- Construcción del escenario de pruebas y acceso a los elementos a probar.
- Pruebas de las nuevas versiones en un entorno idéntico al entorno real de desarrollo del servicio nuevo o mejorado.Aceptación de los datos y elaboración de informes de resultados que registren los errores, de haberse producido.
- Limpieza del entorno de pruebas y cierre del proceso.
Planificación y Soporte a la Transición: Contribuye a la validación y pruebas mediante el plan de transición, en el que están recogidas las sesiones de test.
Gestión de Cambios: Aporta información actualizada sobre las RFCs a implementar. A su vez, recibe de la validación y pruebas feedback sobre los test que le servirán para hacer estimaciones de cambios futuros.
Gestión de Entregas y Despliegues: Es la encargada de proporcionar la versión que va a ser objeto de pruebas y toda la documentación relacionada con ella.
Evaluación: Este proceso es el principal destinatario del reporte de actividades realizado al término de las pruebas. Este, como veremos, contiene toda la información de los errores detectados, niveles de rendimiento, riesgos, etc…
La eficacia de la Validación y Pruebas del Servicio puede ser evaluada teniendo en cuenta los siguientes indicadores:
- Porcentaje de componentes que no superan los test de aceptación.
- Número de errores conocidos que se registran durante la etapa de pruebas.
- Tiempo de demora en la subsanación de errores.
- Número de incidentes atribuibles a las nuevas versiones.
- Porcentaje de test de aceptación del servicio que no obtienen la aprobación del cliente.