rate limits and performance (spanish)


Rate Limits(Límites de frequencia)y buenas praxis de la API

+GustavoMenezes, Google, Inc.

API SERVER


● Buenas praxis de la API

● ¿Qué son Rate Limits?

● ¿Cómo manejarlos?

Agenda


Buenas PraxisPequeños detalles para mejorar el rendimiento


Agrupar Operaciones AdWords API Workshops – All rights reserved

● Las Peticiones a la API tienen costos

● Transferencia de red, serialización, autenticación, etc.

● Agrupar de las operaciones en una única petición

● Los Métodos mutate aceptan más de una operación

● MutateJobService para agrupar


● Múltiples operaciones en los mismos AdGroup /

Campaign son más rápidas

● Subsecuentes ediciones en los mismos AdGroup o Campaign pueden generar errores de tipo CONCURRENT_MODIFICATION ● Los servidores pueden tomar tiempo para hacer su trabajo● Intenten hacer todas las operaciones en

AdGroups/Campaigns a la vez

Agrupar Operaciones por Tipo


● ¿Actualizando un objeto?

● Sólo envíen los valores que cambian!

● Enviar los otros valores es un derroche● El sistema va a validar, guardar en la BD, etc.

Actualizen Sólo lo Necesario


● Compriman sus peticiones / respuestas con gzip● Aseguren que User-Agent: use “gzip”● Accept-Encoding: con listado gzip

● Usen la función de fallo parcial● Fuerza que la API serielice las

operaciones exitosas● Responde un listado con las operaciones

fallidas

Más Ideas…


Definiendo Rate Limits


● No son fijos

● Varían de acuerdo con la carga

● Varían por funcionalidad

● Cambian con el tiempo

● Son diferentes por servicio

Rate Limits


● RATE_EXCEEDED○ esperen por retryAfterSeconds segundos

● CONCURRENT_MODIFICATIONS○ Parada exponencial, intenten pocas veces

● UNEXPECTED_INTERNAL_API_ERROR○ Parada exponencial, intenten pocas veces○ Informen del problema al CSR o por fórum

Errores de Rate Limits


Cómo Manejar Los Rate LimitsPrograme con cuidado...


Ejemplo Básico

ApiError[] errorArray = apiException.getErrors();

for (ApiError apiError : errorArray) {

if (apiError instanceof RateExceededError) {

int seconds = ((RateExceededError) apiError)

.getRetryAfterSeconds();

// esperen por la cantidad de segundos retornados

Thread.sleep(seconds * 1000);

}

}

Java


● Cualquier petición puede generar un RateExceededError

● Manejar los errores es muy importante● Esperar y volver a intentar es la mejor

estrategia● Aún más importante para múltiples

peticiones

Ejemplo Básico - Explicación


● Una solución sincrónica para el problema

● Bloquea el thread hasta que tenga éxito o falle

completamente

● No hay control sobre la frecuencia de las peticiones

● Es muy difícil agrupar operaciones

Puntos Importantes del Ejemplo Básico


● Message Queues

● La solución perfecta para distribuir carga y hacer throttling

● Hay soluciones existentes muy buenas● ActiveMQ, RabbitMQ, … etc.

● Muchas herramientas / client libraries para manejar esta franja de comunicación

Una Solución un Poco Más Avanzada


● Mayor control de la velocidad y de los límites

● Mejor separación de los módulos

● A continuación estudiaremos tres ejemplos que solucionan el problema...

Message Queues (cont.)


Consumers

How to handle Rate Limits

1. Cola Única

Queue

Producer

Producer

Producer

ConsumersThrottling

Productores crean tareas que son ejecutadas en la API, y añadidas a la cola

Consumidores obtienen los mensajes/tareas de la cola para ejecutarlas

X Error

Consumers

Logging


● Pros:● Muy fácil de implementar● Sólo hay un punto de control de velocidad de peticiones● Fácil de manejar errores

● Contras:● Sólo hay un punto de control de velocidad de peticiones● Difícil de agrupar operaciones● Las Tareas pueden retrasar la cola● No todas MQs manejan mensajes prioritarios

Primera Solución - Pros & Contras


Cada consumidor específico puede agrupar las operaciones y ejecutarlas a su ritmo

Productores crean tareas específicas, y las añaden a la cola con un encabezado específico

Producers

Producers

Producers

Producers

How to handle Rate Limits

2. Cola Única con Selectores

Queue

Producers

Producers

Producers

Producers

Producers

Producers

Producers

Producers

Consumer

Consumer

Consumer

Consumer

Throttling

XXXX Error


● Pros:● Agrupación de operaciones por tipo● Algún control de throttling por tipo● Mayor eficiencia - mejor acceso paralelo a la API

● Contras:● Sólo una cola - difícil de administrar● No hay control principal de velocidad● Manejar todas las partes puede ser difícil● Logging de operaciones puede ser complicado

Segunda Solución - Pros & Contras

AdWords API Workshops – All rights reserved How to handle Rate Limits

3. Colas Múltiples Queues

Producers

Producers

Producers

Producers

Queues

Producers

Producers

Producers

Producers

Producers

Producers

Producers

Producers

Consumer

Consumer

Consumer

Consumer

Throttling

XXXX

Error

ProducersExecutorsExecutorsExecutors

Throttling

Logging

Producers just spawn a lot of tasks

Consumers just group the tasks

Executors do the request


● Pros:● Total control de velocidad de acceso● Muy robusto - muy fácil de añadir nuevas partes● Visión total de lo que pasa en el sistema● Fácil de crecer basado en demanda● Si esta hecho correctamente, es fácil de mantener!● Muy eficiente - Agrupación paralela; Acceso paralelo a la API

● Contras:● Difícil de implementar correctamente - se necesita práctica

Tercera Solución - Pros & Contras


● Complejidad de su sistema determina la mejor solución

● Se pueden combinar partes de las soluciones!

● Es un tema complejo, pero le ayudará en el futuro

● Inviertan mucho en monitorizar. ¡Mucho!

● No hay un comodín...

Message Queues - Resumen


EnlacesAPI Best Practices - https://developers.google.com/adwords/api/docs/guides/bestpractices

ActiveMQ - http://activemq.apache.org/RabbitMQ - http://www.rabbitmq.com/

https://developers.google.com/adwords/api/docs/guides/bestpractices



http://www.google.com/url?q=http%3A%2F%2Factivemq.apache.org%2F&sa=D&sntz=1&usg=AFQjCNEbSLTPhgSgFcCjCyhbo_7sm_wAFw

http://www.google.com/url?q=http%3A%2F%2Fwww.rabbitmq.com%2F&sa=D&sntz=1&usg=AFQjCNHcqL0nBWlBoc0flT6fhKWU84u4bQ


¿Preguntas?¡Muchas gracias!

rate limits and performance (spanish)

Technology

api contras

vez adwords api workshops

api serielice

rights reserved las

rights reservedhow

api qu son rate limits

rate limits rate

rights reservedapi server