Hands on : Crunch

Une alternative à Pig et Cascading, au dessus de MapReduce

Durant cette session, nous allons explorer Crunch en développant des indicateurs sur des logs Apache.

Ces indicateurs aurons déjà leurs tests respectifs créés, il faudra les implémenter afin de faire passer les tests au vert.


Nous aborderons :

  • l'API Java de Crunch
  • les tests automatisés avec Crunch
  • La migration d'un code Crunch vers Spark
  • la compatibilité avec Hive, HBase


Inscrivez-vous sur Octo-Event

Lors de la prochaine BOF

Thursday, March 19th, 3pm

50 Avenue des Champs-Élysées

Paris, IDF

Prérequis

  • IntelliJ ou Eclipse installé avec plugin JUnit
  • Git
  • Java 7+
  • Maven 3+ installé et pré-configuré dans l'IDE
  • Si windows => instal de cygwin (ajout dans le PATH)


Pair programming autorisé :)