rational comes to you 2008, presentation by walter ariel risi
DESCRIPTION
Presentation given by Walter Ariel Risi at the Rational Comes to You event, organized by IBM Argentina in 2008.TRANSCRIPT
IBM Rational Software Comes to You Buenos Aires 2008
1Walter Ariel Risi, Grupo Pragma Consultores
No sólo de pruebas funcionales vive el software … Calidad Técnica y Automatización
Walter A. Risi, CQE, CSQE
Grupo Pragma Consultores
Técnica y Automatización
IBM Rational Software Comes to You Buenos Aires 2008
Hace algunos años …Hablar sólo de invertir en
calidad era iniciar un debate!
Hoy... la situación ha cambiado notablemente
(para bien)
3Walter Ariel Risi, Grupo Pragma Consultores
Las discusiones son sobre la forma y la eficacia, no de fondo …
Mayor conciencia y mayor institucionalización
IBM Rational Software Comes to You Buenos Aires 2008
Facilidadde uso
SeguridadFuncionalidad
correcta
¿Cómo está el clima en la QA-landia local?
4Walter Ariel Risi, Grupo Pragma Consultores
Performance
Facilidad deextensiónFacilidad de
mantenimiento
EscalabilidadAutomatización
IBM Rational Software Comes to You Buenos Aires 2008
¿y las consecuencias?
Finalmente, los problemas aparecen …!Al final del proyecto, o aún después
En la peor zona de la curva de costos !!
Los más graves deben Muchos otros quedan, dejando costos
5Walter Ariel Risi, Grupo Pragma Consultores
Los más graves deben solucionarse... con el
matafuegos
Demoras y sobre-costos(frecuentemente, mayores que
los de prevención)Pueden afectar la imagen, la
confianza y, quizás, el negocio
Muchos otros quedan, dejando costos “ocultos”
Baja productividad de usuarios internosMala imagen frente a clientes externos
Aplicaciones que caen en desusoNecesidad excesiva de recursos de
hardware¡Altos costos de mantenimiento y
envejecimiento prematuro!
IBM Rational Software Comes to You Buenos Aires 2008
Los típicos “porqué” …
“No hubo tiempo / plata”“El hardware no alcanza”
“Se suponía que en desarrollo y testing
andaba lento por el hardware, pero que
en producción iba a andar bien”
“En desarrollo y en testing
andaba bien, pero en
producción empezó a funcionar
lento”
6Walter Ariel Risi, Grupo Pragma Consultores
en producción iba a andar bien” lento”
“¿Cómo pudo pasar?, si la
aplicación fue testeada”
“Faltó que la gente de
tecnología hiciera el tuning” (alguien de desarrollo)
“Los programadores nunca piensan
en la performance” (alguien de tecnología)
“Esto lo iba a probar <otro-que-
no-soy-yo>” (todos a coro)
IBM Rational Software Comes to You Buenos Aires 2008
Revisando los “porqué” (I)
“No hubo tiempo / plata”
Versión 1: No estaba previstoVersión 2
(variantes):“Pensamos en incluir
una prueba de performance “El hardware no alcanza”
7Walter Ariel Risi, Grupo Pragma Consultores
pero...”“Las mejoras de performance
estaban previstas al final pero...”Los aspectos no funcionales
son “secundarios”
“El hardware no alcanza”
“Se suponía que en desarrollo y testing andaba lento por el hardware, pero que en
producción iba a andar bien”
El hardware, una explicación frecuente, pero ¿es cierto siempre?
Si era un riesgo, ¿no debería haberse validad oportunamente?
IBM Rational Software Comes to You Buenos Aires 2008
Revisando los “porqué” (II)
“En desarrollo y en testing andaba bien, pero en producción empezó a
funcionar lento”
“¿Cómo pudo pasar?, si la aplicación fue testeada”
“Faltó que la gente de tecnología hiciera el tuning”
“Los programadores nunca piensan en la performance”
8Walter Ariel Risi, Grupo Pragma Consultores
fue testeada”
Testing funcional no es testing técnico
piensan en la performance”
“Esto lo iba a probar <otro-que-no-soy-yo>”
¿Cuáles son las responsabilidades? ¿Quién tiene los skills necesarios?
Por otro lado, se resuelve entre todos
IBM Rational Software Comes to You Buenos Aires 2008
Algunos agravantesadicionales …
Complejidad creciente de los sistemas
Proveedores externos, ¿cuáles son los controles y/o incentivos para que cuiden la
calidad técnica?
9Walter Ariel Risi, Grupo Pragma Consultores
Tecnologías novedosas, momento de recambio
Falta de madurez (en la tecnología y en quienes las
usan)Cambio de expectativas para
el usuario
RRHH escasos, con alta rotación, etc. Aumenta la probabilidades de
tener problemas técnicos
Costos en u$s de hardware, herramientas, etc.
IBM Rational Software Comes to You Buenos Aires 2008
¿Qué hacer? La recomendación pragmática es …
¡ Mantenga los riesgos bajo control !
1. Clarificar y hacer explícitas las
10Walter Ariel Risi, Grupo Pragma Consultores
Aseguramiento y Control de la Calidad Técnica
… permite reducir los riesgos de fallas en la operación
1. Clarificar y hacer explícitas las necesidades
2. Analizar riesgos anticipadamente3. Evaluar las posibles mitigaciones y su
costo/beneficio4. Definir una estrategia5. Planificar adecuadamente6. Utilizar las herramientas adecuadas7. Ejecutar
IBM Rational Software Comes to You Buenos Aires 2008
Acciones de Mitigación
Revisiones Técnicas
RevisionesInspecciones, revisiones,
walkthroughs, ...De diseño, de código, etc.
Pruebas Técnicas
Pruebas de Rendimiento o Performance
11Walter Ariel Risi, Grupo Pragma Consultores
De diseño, de código, etc.Internas o externas
Además …
Pruebas de conceptoEstrategias de roll out
PerformancePruebas de Volumen (Datos)Pruebas de Carga / Estrés
(Concurrencia)
IBM Rational Software Comes to You Buenos Aires 2008
Las Revisiones de Arquitecturason particularmente cost effective
Claves: deben ser oportunas y con la gente apropiada
Muy interesante: pueden atenuar
Los Top Tips de Calidad Técnica
Las Pruebas de Volumen son relativamente simples y disminuyen
muchos de los riesgosClaves: generar un conjunto de datos “suficientemente” grande
12Walter Ariel Risi, Grupo Pragma Consultores
Muy interesante: pueden atenuar problemas de RRHH
Las Pruebas de Carga/Estrés tienen una cierta complejidad, pero cuando el riesgo es alto...Hardware, volumen, herramientas y expertise
Claves: balance costo/beneficio y sponsor
facilitador
¡¡ No se puede probar performance de lo que no
anda !!Si hay optimizaciones,
regresión funcional
IBM Rational Software Comes to You Buenos Aires 2008
¿Cómo se prepara y ejecuta una prueba de carga / stress?
Se identifican las situaciones de uso a probar: transacciones, procesos del negocio, modo de uso, etc.
11
Se capturan y se “parametrizan” las transaccionesindividuales
22
13Walter Ariel Risi, Grupo Pragma Consultores
Optimización
& Tuning
Se preparan los distintos escenarios a probar.33
Se ejecutan los escenarios y se monitorea la performance y los indicadores de uso de la infraestructura.
44
Se analizan y se interpretan los resultados.55
IBM Rational Software Comes to You Buenos Aires 2008
Automatización de Pruebas Funcionales vs. Pruebas Técnicas
En las primeras, el testing se hace con una óptica de
usuario final.Se simulan los impactos sobre
la interfaz, como lo haría un
En las segundas, se está midiendo la capacidad de un recurso compartido (un
servidor, que atiende múltiples transacciones, clientes, etc.) para funcionar en ciertas condiciones (carga, situaciones
anómalas).
14Walter Ariel Risi, Grupo Pragma Consultores
la interfaz, como lo haría un usuario real. Se simulan los impactos sobre el servidor,
los tiempos de cliente se descartan.
En el primer caso, se automatiza algo muy conocido, que se prefiere no hacer manualmente para ganar eficiencia y/o efectividad.
En el segundo caso, se simula una situación potencial, para prevenir los problemas antes de que sucedan.
IBM Rational Software Comes to You Buenos Aires 2008
Automatización de Pruebas Funcionales + Pruebas Técnicas
Si bien son actividades muy diferentes en el fondo, existen elementos que las emparentan …
Ambas usan “robots” para automatizar las pruebas (los automatizadores de pruebas funcionales pueden automatizar pruebas técnicas)
15Walter Ariel Risi, Grupo Pragma Consultores
Algunos pruebas no funcionales pueden complementarse mediante herramientas de prueba funcional automática (por ejemplo, validar la
performance desde la óptica del usuario, hacer recorridos muy largos, realizar misma prueba con diferentes browsers y validar portabilidad)
Finalmente, luego del tuning debe realizarse siempre una regresión, para
lo cual la automatización es una práctica clave.
IBM Rational Software Comes to You Buenos Aires 2008
Tendencias Esperanzadoras a Observar y Replicar
Servicio de Pruebas Técnicas en
Factories de QA
Automatización Gradual de
Pruebas en Factories de QA
16Walter Ariel Risi, Grupo Pragma Consultores
Desmitificación de la
Automatización (no es sólo record
& play, no es para reemplazar
testers, no es para eliminar el
testing)
Planificación Temprana de
Pruebas Técnicas, desde el
inicio
Aceptación del Software
Incluyendo Pruebas Técnicas
IBM Rational Software Comes to You Buenos Aires 2008
La falta de Calidad Técnica tiene su costo
Importantes pero dispersosNo hay que ignorar los (mayores) riesgos no
funcionales
ConclusionesPrevenir o padecer
Énfasis en tareas tempranasCorrecto balance: la prueba
“ideal" quizás no sea conveniente, pero lo peor es no
hacer nadaPlanificar adecuadamente
17Walter Ariel Risi, Grupo Pragma Consultores
funcionales
Es necesaria una visión globalPara evaluar los costos de la falta de calidad y para resolver los problemas(Desarrollo + Tecnología + QA + ...)
La automatización de pruebas es otro paso más allá del
testing funcionalEs distinto a las pruebas técnicas,
pero es complementario y tiene características comunes.
IBM Rational Software Comes to You Buenos Aires 2008
¡MUCHAS
18Walter Ariel Risi, Grupo Pragma Consultores
¡MUCHAS
GRACIAS!