ponele el turbo al dev team de tu startup
TRANSCRIPT
Ponele el TURBO al Dev Team de tu Startup
Martin SiniawskiCo-founder & CTO de Streema@msinia
- Red social para oyentes radios.- +50,000 radios de todo el mundo.
- Empezamos hace 5 años y 1/2.
Nuestros dulces primeros años (3 y 1/2)
Streema Team
- Empezamos hace 5 años y 1/2.- En los últimos años las cosas cambiaron!
Streema Team (ultimo tiempo)
De qué vamos a hablar hoy?
Técnicas y herramientas que nos permiten ejecutar muy rápido y
manejar un sitio de mucho tráfico, siendo un equipo muy chico.
De qué vamos a hablar hoy?
● Por qué empezamos esta búsqueda?
● La pregunta del millón: Cómo ponerle el TURBO a tu equipo?
● Espacio para compartir otras experiencias, ideas, dudas, etc.
Por qué emprendimos esta búsqueda?
Teníamos dos sentimientos...
- "Dos pasos hacia delante y uno para atrás".- "Tenemos que avanzar más rápido, y parece que todavia hay margen para hacerlo".
(Antes)
- Downtimes frecuentes sin entender causas.- Arreglamos/implementamos algo, pero rompemos otra cosa.- Deploys cada mucho tiempo. Podían llegar a pasar semanas sin deployear.- Errores durante mucho tiempo en producción (salvo que sean muy graves :))
(Hoy)
- Prácticamente no tenemos downtimes propios.- La mayoría de los errores nunca llega a prod.- Si llegan, nos damos cuenta casi instantáneamente.- Deployeamos varias veces por día.
(Hoy)
(Hoy)
(Hoy)
De acuerdo a nuestra experiencia...
Hay pequeños mecanismos que hacen una gran diferencia en la
velocidad y calidad de los resultados que uno puede obtener
Son cosas relativamente fáciles de implementar una vez que uno ya las
conoce
Y eso vamos a compartir ahora...
Lo mejor de todo...
TURBOCómo ponerle el
a tu equipo?
La pregunta del millón:
URBO
T
URBO
Testeos Unitarios/Funcionales
Testeos unitarios/funcionales
● Nos costó entender su beneficio hasta implementarlos.
● No hacemos TDD, intentamos que la cobertura no baje.
● La mayoría es de backend (Python), algo de JS y Selenium.
Testeos unitarios/funcionales - Tips
Podemos estar todo el dia hablando de testeos. En nuestra experiencia hay
dos cosas que son vitales...
Que corran TODOS!
● Tuvimos testeos que no estaban siendo corridos.
● Los organizamos distinto a lo que nuestro test runner (nose) espera.
● Armamos una clase especial que hace la deteccion (un test selector).
Que corran TODOS!
Que corran rápido!
Por qué?- Si no se corren rápidos es un freno para que alguien los corra.- Hay que enterarse rápido si algo se rompió, el context switch mata!
El número fetiche es 1'. Difícil.
Que corran rápido!
● Nosotros tackleamos el problema de la velocidad a principio de año.
● El mayor problema se debía - y se debe - a los fixtures. ○ Refactoreamos testeos para que no los
usen.○ Implementamos fixture bundling.
Que corran rápido!
Que corran rápido!
Testeos unitarios/funcionales - Tips
1. Por favor no usen fixtures.2. Si realmente no hay tiempo, hacer tests más
funcionales. 3. Cuando aparece un bug que los testeos no
agarran, intentar armar un test que lo haga.4. Usar Selenium para hacer testeos
funcionales de los JS.
URBO
Testeos Unitarios/Funcionales
Un Server de Integración Continua
RBO
Testeos Unitarios/Funcionales
● Realmente es muy fácil de tenerlo andando (en un 1 dia de hace?).
● Seguridad que esos preciados testeos efectivamente se estén corriendo.
● No dependemos de nuestra memoria/ganas/disciplina.
Jenkins CI (el server de integracion continua)
Jenkins CI (el server de integracion continua)
● Empezamos a usar Jenkins en Dic 11'. ● Buildeó nuestra webapp ~600 veces
(testeos Python).● Detectó 117 que fallaron.
Jenkins CI - Resultados
Jenkins CI - Resultados
● Tests corren contra cualquier push a:○ Nuestros forks.○ Pull requests pre-mergeados.○ Merges al master.
● Usar el "GitHub Pull Request Builder".● Clave enterarse rápido, por lo que hay un
ping via email/IRC ni bien falla el build.
Jenkins CI - Tips
GitHub Pull Request Builder
Ping via IRC
Jenkins - Plugins
● Mejorar cobertura de testeos JS y la frecuencia con la que los corremos.
● Selenium Tests:○ Optimizar su performance.○ Armar casos más complejos.○ Correrlos :)
Jenkins & Testing - Futuro
Un Server de Integración Continua
RBO
Testeos Unitarios/Funcionales
Un Server de Integración Continua
Real Error Reporting
BO
Testeos Unitarios/Funcionales
Real error reporting
Situación:● Pusheamos codigo y pasa los tests.● Deployeamos a prod y al rato los servers se
van a la goma.● Nos sorprendemos, ya que todo parecia
andar bien...
Real error reporting
● No todos los errores uno son detectables antes de prod:○ No tengo suficiente cobertura de testeos.○ "Parecería" andar bien, pero no lo probamos con
carga real.○ Jamás me imaginé que los usuarios podrían hacer
eso!
Resulta vital tener algún tipo de sistema que ayude a detectar errores en prod.
Real error reporting
● Usamos ● Mucha introspeccion a nuestro backend.● Lo más jugoso (y aplicable acá) es:
○ Exceptions en tiempo real.○ Response time del backend en tiempo real,
con transacciones más lentas, etc.
New Relic - Tips
● Tenerle un ojo encima sobretodo post-deploy.○ App Server overview.○ Errors.
● Usar notifications para error-rate thresholds.● Capacity Analysis (feature +o- nuevo). Nos
hubiera servido para solucionar downtimes.
En sintesis
=
Real error detection - Futuro
● Detectamos fenómeno los errores de backend... pero, qué pasa con los de frontend?
● Estamos en proceso de tacklear ese problema...
Un Server de Integración Continua
Real Error Reporting
BO
Testeos Unitarios/Funcionales
Un Server de Integración Continua
Real Error Reporting
Bocha de Deploys
O
Testeos Unitarios/Funcionales
Bocha de deploys
Para poder tener una bocha de deploys se necesitan dos cosas:
a. Un proceso de deploy trivial.b. Trabajar en batches bien chiquitos.
Proceso de deploy
● Nuestro proceso de deploy empezó a hacerse más engorroso.
● Realmente molesto y time-consuming. Tendíamos a evitar deployear.
● Mucho tiempo desde implementacion hasta deployment. Bugfixes rápidos eran impensados.
Proceso de deploy
● Dónde estaba la complejidad y molestia?○ Armar un tag, con el release, viendo cuál es el
número que corresponde asignarle.○ Armar el changelog a mano, mirando los commits
que entran desde el último release.○ Pedido de credenciales.○ Sacar nodos de un load balancer a mano.○ Tener que repetir el proceso para varios servers.
De 20' de sufrimiento a 30'' de placer!
Proceso de deploy
Proceso de deploy - Tips
● Tiene que ser trivial deployear a producción. En lo posible un "botón" que haga todo.
● El changelog es "crowsourceado".● Para los curiosos, usamos más que nada
Fabric, una Python lib.
Batches pequeñosQué problemas tuvimos nosotros?
○ Hay upside que no se captura.○ Mucho mas jodido de hacer code-review.○ Mucha mas probabilidad de mandarse una
"cagadona".
Batches pequeños - Tips
● Es más bien un tema de paradigma y disciplina.
● Armar los proyectos/tareas en pequeños pedazitos, que pueden ser deployeados fácil e independientemente.
● Esforzarse para que las cosas no se acumulen y se deployeen rapido.
Un Server de Integración Continua
Real Error Reporting
Bocha de Deploys
O
Testeos Unitarios/Funcionales
Un Server de Integración Continua
Real Error Reporting
Bocha de deploys
Outsourcing a Servicios
Testeos Unitarios/Funcionales
Outsourcing a Servicios
● Outsourcear todo lo que no sea core (a otros servicios).
● Si se puede pagar y cumple los mínimos requerimientos, vale la pena probarlo.
● Usarlo hasta que quede chico.● Todo lo outsourceado es más espacio y
recursos para nuestra especialidad.
Outsourcing a Servicios
● Nos lo tomamos bastante en serio.● Ejemplos que usamos:
○ Trello (Project Management).○ Flowdock (IRC).○ GitHub.○ Searchify (fulltext search, IndexTank compat).○ Sauce Labs (frontend testing, Selenium).○ New Relic.○ Linode/AWS.○ ... y siempre estamos en la búsqueda de más.
Outsourcing a Servicios - Tips
● Estar siempre en la búsqueda de oportunidades.
● Recordar que es una excelente forma de acercarse a especialistas que conocen las best practices.
● Sin embargo, no siempre funciona...
HABEMUS TURBO
Pero... cómo empiezo?
Propuesta: Shippear todos los días
De qué se trata?Hacer un deploy a producción al menos una vez por día.
Por qué?● Fuerza a que todas las piezas estén en su
lugar.● Se tiene feedback rápido con data real.● Motivación para todos los involucrados.
Gracias!
Martin [email protected]@msinia