Szkolenia IT
Od profesjonalistów dla profesjonalistów.

To dwudniowe szkolenie dedykowane jest programistom, którzy chcą nauczyć się implementować i utrzymywać systemy przetwarzania i analizy dużych zbiorów danych za pomocą Apache Spark używając API dla języka Scala. W trakcie warsztatu uczestnicy, na praktycznych przykładach, nauczą się podstaw programowania dla tej platformy.

Dla Programistów  

Zasugeruj poniżej  

TBA  

3200 PLN + VAT  

Trener

Szkolenie poprowadzą doświadczeni trenerzy certyfikowani przez Lightbend.

Opis

To dwudniowe szkolenie dedykowane jest programistom, którzy chcą nauczyć się implementować i utrzymywać systemy przetwarzania i analizy dużych zbiorów danych za pomocą Apache Spark używając API dla języka Scala. W trakcie warsztatu uczestnicy, na praktycznych przykładach, nauczą się podstaw programowania dla tej platformy wykorzystując Spark Core API, biblioteki SparkSQL/DataFrames do ekstrakcji i analizy strukturyzowanych danych, SparkStreaming to przetwarzania danych strumieniowych, MLlib do skalowalnego uczenia maszynowego, a także GraphX do przetwarzania grafów. Kursanci poznają również wewnętrzną architekturę Apache Spark, której rozumienie pozwala na efektywniejsze tworzenie i uruchamianie skalowalnych aplikacji. Dodatkowy materiał obejmuje integrację z Mesos’em, Hadoop’em, a także reaktywnym frameworkiem Akka.

Uczestnictwo w szkoleniu zapewnia:

  • zdobycie umiejętności obsługi Spark Scala API do implementacji różnorodnych algorytmów analizy danych (batch-mode) i aplikacji przetwarzających strumienie danych,
  • zrozumienie sposobu działania Spark’a,
  • poznanie sposobów optymalizacji wydajności aplikacji Spark’owych,
  • zdobycie umiejętności testowania i wdrażania aplikacji Spark’owych,
  • zrozumienie podstaw integracji Spark’a z Mesos’em, Akką i Hadoop’em.

Wymagania wstępne:

  • Znajomość języka programowania Scala (na poziomie kursu Scala Language – Professional),
  • Doświadczenie z SQL-em, uczeniem maszynowym lub narzędziami do BigData jest przydatne ale nie jest konieczne,
  • Własny laptop z zainstalowaną Javą w wersji 7 lub nowszej,
  • sbt/Lightbend Activator,
  • Spark notebook, lub dowolny edytor tekstu/IDE.
  • wstęp – dlaczego Spark
    • Spark jako doskonalsza architektura do przetwarzania dużych danych bazująca na doświadczeniach Hadoop MapReduce,
    • Podstawowe abstrakcje w Sparku,
    • Co dzieje się podczas wykonywania zadań przez Sparka,
    • Ekosystem Sparka,
    • Sposoby ładowania aplikacji,
  • Spark Core API
    • Resilient Distributed Datasets (RDD) – w jaki sposób wykonują całą pracę,
    • Korzystanie ze Spark Shell (interpreter) kontra zgłaszanie zadań Sparkowych,
    • Używanie webowej konsoli Sparka,
    • Pobieranie danych i zapisywanie wyników w plikach,
    • Praca ze strukturyzowanymi i niestrukturyzowanymi danymi,
    • Tworzenie potoków przetwarzania danych (transformation pipelines),
    • Spark pod maską – caching, checkpointing, partitioning, shuffling, etc.
    • Rozgłaszanie zmiennych, akumulatory,
  • SparkSQL i DataFrames
    • Praca z API DataFrames dla strukturyzowanych danych,
    • Praca z SQL,
    • Optymalizacja wydajności,
    • Wsparcie dla formatów JSON i Parquet,
  • Przetwarzanie zdarzeń przy pomocy Spark Streaming
    • Praca z oknami czasowymi, „mini-batchami” zdarzeń,
    • Okna przesuwne zdarzeń,
    • Praca z różnymi źródłami strumieni danych: sockety, systemy plików, Kafka, etc.
    • Odporność na błędy, resilience,
    • Transformacje stanowe (np. wyliczanie statystyk),
  • Pozostałe biblioteki bazujące na Sparku
    • MLlib do uczenia maszynowego,
    • Krótkie omówienie GraphX do algorytmów grafowych, Tachyon do rozproszonej pamięci podręcznej oraz BlinkDB do przybliżonych zapytań,
  • Wdrożenia na klastry
    • Abstrakcje klastrowania Sparka: cluster vs. client’s deployments, zarządzanie procesami typu coarse grained i fine-grained,
    • Tryb standalone,
    • Mesos,
    • Hadoop YARN,
    • EC2,
    • Cassandra, Riak,
  • Używanie Sparka w kontekście Lightbend Reactive Platform
    • Akka Streams i Spark Streaming.

    Training partner

    http://virtusity.com/wp-content/uploads/2015/10/lightbend-full-color.png