breizhjug spring batch 2011

Spring BatchLundi 6 Juin 2011

Intervenants

Olivier Bazoud, @obazoud, Ekino (FullSIX Group)Architecte technique de sites web à fort traffic

Java EE / Spring, Spring Batch, Groovy, Grails

Co-auteur de « Spring Batch in Action »

Spring User Group France

Julien Jakubowski, @jak78, OCTO TechnologyArchitecte technique

Spécialisé Java EE / Spring

Productivité et qualité des développements

Ch'ti JUG, Agile Tour Lille

De quoi va-t-on parler ce soir ?

• On va parler de batchs en Java

• … et aussi de bière

http://www.flickr.com/photos/fromeyetopixel/2559391584/

Nos objectifs

En sortant de la salle, vous :

Savez identifier certains problèmes récurrents avec les batchs écrits en Java

Savez si Spring Batch est utile pour vous (ou pas)

Avez intégré les notions principales

… et quelques notions avancées

Pouvez faire un batch « Spring Batch » demain

Ce qui vous attend

• Batch : de quoi parle-t-on ?• Pourquoi Spring Batch ?• Faisons ensemble un batch...

– Introduction progressive des notions de Spring Batch

• Retours d'expérience• Forces et faiblesses• Notions avancées• Questions / réponses

Batch : de quoi parle-t-on ?

Batch processing = suite de traitements sur ensemble de données…

… potentiellement grands volumes…

http://www.flickr.com/photos/claudiasofia99/2878579560/

… sans intervention d’un utilisateur humain – pas d’interface homme-machine

Exemples:• Import flat / XML dans une base de données• Mise à jour de données de référentiel• Intégration de flux financiers dans un SI• …

Un batch n’est pas un scheduler• Cron, Quartz, $U…• Mais un scheduler peut le lancer

Beer Batch

• Caractéristiques :– Lire le fichier XML de recettes, au format BeerXML– Ecrire les recettes en base de données– Filtrer certaines recettes et créer un fichier de rejets

Problèmes récurrents• Fiabilité

Problèmes récurrents• Maintenabilité

Problèmes récurrents• Réinvention de la roue… carrée

Quand j’écris une application web…

Quand j’accède à une base de données…

Et quand j’écris un batch ?

http://www.flickr.com/photos/crystaljingsr/3914729343/sizes/o/in/set-72157622354789320/

Je suis… à poil ?

Et quand j’écris un batch ?

Spring Batch offre pourtant une solution pour vous guider lors de l’écriture de vos batchs en Java

Spring Batch propose…

• Un cadre• Un vocabulaire (domain language)• Traitement par lots (grands volumes de

données)• Gestion des transactions• Flow, reprise sur erreur• Spring dans ses batchs

Parallélisme

PartitionnementSpring Batch Admin

Spring BatchNotions de base

BeerBatch V2• Ecrire la date de début du batch• Lire le fichier XML de recettes, au format BeerXML• Filtrer certaines recettes et créer un fichier de rejets• Ecrire en base de données

Schéma du batch

RecipeStep

InitialStep

InitialTasklet

Chunk oriented tasklet

ItemReader ItemWriterItemProcessor

ItemReader

RecipeStep

InitialStep

InitialTasklet

ItemReader ItemWriterItemProcessorItemReader

ItemReader• Besoin

– Lire le XML de recettes

• ItemReader– Fournit des items en entrée

123;AB;456;CD;

SELECT ... FROM ...

Morceaux de code

ItemProcessor

RecipeStep

InitialStep

InitialTasklet

ItemProcessor• Besoin

– Transforme, valide et / ou filtre une recette

• ItemProcessor– Transforme un item en un autre– Filtrer ou rejeter un item– Emplacement pour les « règles métier »

Morceaux de code

ItemWriter

RecipeStep

InitialStep

InitialTasklet

ItemReader ItemProcessor ItemWriter

ItemWriter• Besoin

– Décharge les bières dans une base SQL

• ItemWriter– Ecrit les items

123;AB;456;CD;

INSERT... INTO ...

Morceaux de code

RecipeStep

InitialStep

InitialTasklet

• Besoin– Lire, transformer et écrire

• Chunk– Lire et transformer les données successivement– Ecrire le lot de données– Le commit-interval définit la taille du lot (différent de la taille du

fichier)– Gestion de la transaction : Commit/Rollback

Traitement par lots

Morceaux de code

Listener

RecipeStep

InitialStep

InitialTasklet

Listener

• Besoin– Création d’un fichier de rejet

• Listener– Etre à l’écoute des évènements du batch

Morceaux de code

Tasklet

RecipeStep

InitialStep

InitialTasklet

Tasklet

• Besoin– Effectuer une tâche unitaire

• Exemples– Supprimer un répertoire et son contenu– Unzip d’un fichier– Appel d’une procédure stockée– Appel d’un web service

Morceaux de code

RecipeStep

InitialStep

InitialTasklet

• Besoin– Etape dans le processus du batch– Contrôle le workflow

RecipeStep

InitialStep

InitialTasklet

• Besoin– Décrire les étapes du batch– Composé d’un ou plusieurs steps

Spring Tools Suite

Morceaux de code

Lancer un jobdirectement

Lancer un jobvia un scheduler

On utilise ici Spring Scheduler.Il est indépendant de Spring Batch

Lancer un jobvia un scheduler

• Tests unitaires facilités via le découpage Spring Batch– writers, processors etc...

• Tests d'intégration facilités par Spring– @RunWith– Step, Job

Morceaux de code

Forces et faiblesses

✔Fiabilité et bons patterns✔Tests unitaires et d'intégration, TDD✔Batchs complexes mieux maintenables✔Bénéficie de fonctions avancées à moindre coût✔ ...the Spring way, Spring Intégration✔Productivité, à terme...✗… après avoir payé le ticket d'entrée

Retour d’expérience Ekino

• Framework de batch– Moins de code produit, moins d'erreurs possibles– Plus de tests unitaires + intégrations

• Mise en place par l'exemple– J'ai fait le premier batch pour montrer la voie– Un même vocabulaire aide à se comprendre

• Répond à nos besoins même si les batchs sont différents au niveau métier

Retour d’expérience Ekino

• Nos batchs « Spring Batch » sont en SQL plutôt qu'en Hibernate

• Spring Batch s'occupe de la gestion transactionnelle

• En moyenne – 15% - 50% de gain sur le temps de développement– 15% - 50% de gain au « runtime »

• Gains plus impressionnants sur certains cas– XML 100Mo + SQL; Gain : de 60 mn à 8mn– 10 fichiers 4Mo + SQL; Gain : de 10mn à 1mn30s

Des questions,avant la suite ?

http://www.flickr.com/photos/crystaljingsr/3914729343/in/set-72157622354789320/

Spring BatchAllons plus loin

Allons plus loin…

• Un cas un peu plus complexe – maître détail

• La reprise sur erreurs• Un batch qui n’a pas un flow de

bisounours…• Aperçu du parallélisme et du

partitionnement

Maître détail

R;Burton Ale;All Grain;Brad SmithH;Goldings, East Kent;United KingdomH;Northern Brewer;GermanyH;Fuggles;United KingdomENDR;Dry Stout;All Grain;Brad SmithH;Fuggles;United KingdomEND

Maître détail

RecipeStep

Maître détailDéclaration du Job

Maître détailDéclaration du reader custom

R;Burton Ale;All Grain;Brad SmithH;Goldings, East Kent;United KingdomH;Northern Brewer;GermanyH;Fuggles;United KingdomENDR;Dry Stout;All Grain;Brad SmithH;Fuggles;United KingdomEND

Maître détailDéclaration du reader délégué

A retenir

• Implémentation de notre propre reader• Ré-utilisation d’un reader déjà fourni par

Spring Batch• Ré-utilisation de ce que nous avons déjà

codé précédemment

Reprise sur erreur

• Un batch plus robuste (tolérant à l’erreur) c’est un batch :– Qui survit à quelques données invalides– Qui survit à une indisponibilité– Qu’on est en mesure de relancer

Reprise sur erreur

• Spring Batch out-of-the-box propose:– Sauter les erreurs non bloquantes (skip)– Recommencer un traitement (retry)– Déterminer si le batch est fini (completion)– Redémarrer un batch (restart)

Reprise sur erreur: Skip

• Ne pas arrêter le batch si la lecture/process/écriture échoue

• Personnaliser les cas de « skip »• Ecouter les cas de « skip »

0001;ABC;DEF;0002;ABC;DEF;000zxjgxdjghjsdfkud0004;ABC;DEF;

– Si FlatFileException, Spring Batch skip l’item– Skip de 10 items max– Au-delà la step « failed »– Include/Exclude possible

• Personnaliser la gestion du « skip »• Par défaut: LimitCheckingItemSkipPolicy

• Configuration de la gestion du « skip »

• Un listener permet de traiter les items écartés

• Les annotations existent aussi– @OnSkipInRead– @OnSkipInWrite– @OnSkipInProcess

Reprise sur erreur: Retry

http://www.libertaland.com/2011/04/une-femme-de-75-ans-coupe-tout-linternet-en-armenie/

• Permet de relancer une opération si indispo temporaire

• Personnaliser les cas de « retry »• Ecouter les cas de « retry »

– Si DLDAE, Spring Batch recommence– Retry 3 fois max– Au-delà la step « failed »– Include/Exclude possible

• Personnaliser le « retry »: RetryPolicy– SimpleRetryPolicy (défaut)

• Stratégie entre 2 « retry »: BackoffPolicy– NoBackOffPolicy (défaut)– ExponentialBackOffPolicy vraiment utile

• Configuration de la gestion du « retry »

• Un listener permet de traiter les « retry »

• Pour les tasklets– RetryTemplate– RetryOperationsInterceptor avec de l’AOP

Reprise sur erreur: Restart

• Même avec skip/retry, un batch peut planter

• Il reste encore une solution • Nous pouvons redémarrer le batch

• Spring batch stocke des méta data

• Spring Batch persiste régulièrement les « ExecutionContext »

• Ceci permet à Spring Batch de savoir où reprendre

• C’est ce qui fait qu’un batch est « restartable »

• Si vous voulez que vos Reader/Writer custom soient restartables, vous devez les concevoir restartables.

• Certains fournis par Spring Batch le sont, mais pas tous

• Ce n’est pas toujours possible – ex: Writer JMS.

• ItemStream

• Exemple de Reader « restartable »

Reprise sur erreurConclusion

• Nous savons:– Ecarter des items défectueux (skip)– Recommencer un step s’il y a une erreur

temporaire (retry)– Implémenter notre propre stratégie de

« skip » et « retry »– Redémarrer un job avec certains steps

Gestion du flow

Le « batch bisounours »

Step A

Step B

Gestion du flow

Exemple

Gestion du flow

Exemple

Gestion du flow• Le « batch complexe»

Gestion du flow

• Comment…– faire des flows non linéaires– piloter l’enchaînement des steps– passer des données entre steps

Gestion du flow

• Exemple plus simple ;)

StepAlertFAILED

Gestion du flow

• Batch Status– Représente le status du job ou step

• Exit Status– Représente le status du job ou step au final

• Exemple– COMPLETED, STARTING, STARTED,

STOPPING, STOPPED, FAILED,ABANDONED or UNKNOWN

– C?T (CAT mais pas COUNT), C*T (CAT et COUNT)

Gestion du flow

• Créer et utiliser ses propres « exit status » – StepExecutionListener– JobDecider

Gestion du flow

• Utiliser ses propres « exit status »

COMPLETED WITH SKIPS

Gestion du flow

• « exit status » + StepExecutionListener

Gestion du flow• Configuration

Gestion du flow

• « exit status » + JobExecutionDecider

Gestion du flow

• Alors « StepExecutionListener » ou « JobExecutionDecider » ?– Le exit status du step est stocké comme meta

data– Pas de « late binding » avec le

JobExecutionDecider

Gestion du flow

• Encore plus de contrôle: end, fail

Gestion du flow

• Partager des informations entre les steps– À la Spring:bean classic– A la Spring Batch: « Execution context »

• 1 pour le Job et 1 par Step• C’est une Map sauvegardé dans les meta data• Attention au volume• Late bindings

– #{jobExecutionContext[‘myKey']}

Gestion du flow

• Accès à ExecutionContext

Gestion du flow

• Configuration

Gestion du flow

• Mutualiser les flowsStep A

Step B

Step C

Step D

MonFlow

Gestion du flow• Réutiliser un Job

Gestion du flow

• Conclusion, nous avons– Fait des flows non linéaires– Piloté l’enchaînement des steps– Passé des données entre steps– Mutualisé et réutilisé des jobs

Scaling

http://www.flickr.com/photos/claudiasofia99/2878579560/

Scaling

• Différentes stratégies possibles– Multi-threaded Step (single process)– Parallel Steps (single process)– Remote Chunking of Step (multi process)– Partitioning a Step (single or multi process)

Spring Batch in Actionhttp://www.manning.com/templier

Liens• Spring User Group Paris

– http://groups.google.fr/group/sugfr

• Le code de la présentation– http://code.google.com/p/fr-sug-spring-batch

• Spring Batch 2.1.x– http://static.springsource.org/spring-batch

• Articles sur le web– http://www.theserverside.com/news/1363855/Spring-Batch-

Overview– http://www.infoq.com/presentations/syer-introducing-spring-

batch– http://blog.zenika.com/index.php?post/2010/03/05/To-batch-or-

not-to-batch– http://blog.octo.com/spring-batch-par-quel-bout-le-prendre/

Questions ?

http://www.flickr.com/photos/crystaljingsr/3914729343/in/set-72157622354789320/

http://www.flickr.com/photos/34943981@N00/202923614/

breizhjug spring batch 2011

codecopyright breizhjug

donnescopyright breizhjug

123ab456cdcopyright

lancercopyright breizhjug

batchcopyright breizhjug

rejetscopyright breizhjug

basecopyright breizhjug

chunkcopyright breizhjug

Technology

parallel batch processing with spring batch slideshare

spring batch example

russell 2012 introduction to spring integration and spring...

batch 2011

spring batch - reference

spring batch docs 1

42 accelerator program batch spring 2016

les present amos spring batch

spring web service, spring integration and spring batch

spring batch

spring batch - julien jakubowski - november 2010

1. spring batch admin user guide

spring batch 2.0

spring-batch groovy y gradle

batch monitoring and testing - hepix spring...

spring batch avance

spring batch workshop

spring batch docs

spring batch overivew

spring batch-2.0