Corso Hadoop e Spark Big Data

  • INNOVAFORMAZIONE
  • Corso Hadoop e Spark Big Data
  • Attestato di specializzazione
  • On Line
  • € 2.400,00
  • 40

Descrizione

Innovaformazione, scuola informatica specialistica, eroga formazione sui Big Data con le tecnologie Hadoop e Spark.

Corso erogato online in classe virtuale oppure in aula frontale.

Obiettivi del Corso: formare lo studente con conoscenze basi e tecniche per lo sviluppo di progetti di importazione dati (Big Data) nel cluster Apache Hadoop e come processarli nell'ecosistema con gli appositi strumenti (Spark, Impala, Hide, Flume e Sqoop)


 


 

Requisiti per i discenti: Programmatori, laureati o diplomati in informatica con nozioni base di programmazione in Java.

 


 


 


PROGRAMMA (40 ore):


 

1. Introduzione ed Ecosistema

Introduzione ad Apache Hadoop

Panoramica Ecosistema Hadoop

Problematiche nei sistemi di grandi dati

Perchè Hadoop e i suoi vantaggi


 

2. Architettura Hadoop e HDFS

Introduzione ad Hadoop Distribuited File Sistem

Distrubuzione dei processi in un cluster

Storage:conservazione dati nell'architettura HDFS

Utilizzo e applicazioni con HDFS

Resource Management: Architettura YARN e utilizzi


 


 


 

3. Importazioni Dati Relazionali in Apache Sqoop

Panoramica Sqoop

Importazioni ed Esportazioni di base

Limitazioni dei risultati

Come migliorare le Performance di Sqoop

Sqoop 2


 

4. Impala e Hive

Introduzione

Vantaggi e motivi del loro utilizzo

Comparazione Hive con database tradizionali

Casi di utilizzo


 

5. Modellazione e Gestione dati con Impala e Hive

Panoramica Data Storage

Creazione database e tabelle

Caricamento dati nelle tabelle

Hcatalog

Catching Impala Metadati


 

6. Data Format

Selezione File Format

Hadoop Tool Support File Format

Avro Schemas

Utilizzo Avro con Hive e Sqoop

Avro Schema Evoluzione e Compressione


 


 


 


 

7. Partizionamento

Panoramica Partizionamento Dati

Partizionamento in Impala e Hive


 

8. Apache Flume: acquisizione dati

Introduzione

Architettura Basic Flume

Sorgenti, Sinks, Canali

Configurazione Flume


 

9. Apache Spark

Introduzione

Utilizzo Spark Shell

RDDs (Resilient Distributed Datasets)

Programmazione funzionale in Spark


 

10. RDDs in Spark

Applicazioni RDDs con Spark

Key-Value Pair RDDs

MapReduce

Operazioni RDD


 

11. Scrivere e Deployare Applicazioni in Spark

Differenza tra Spark Application e Spark Shell

Creazione Spark Context

Introduzione alla programmazione in Scala e cenni di Python

Buildare un' Applicazione Spark (Scala e Java)

Esecuzione dell'Applicazione Spark

WEB UI nell'Applicazione Spark

Configurazione Proprietà in Spark e registrazione


 


 

12. Programmazione Parallela con Spark

Panoramica: Spark in un cluster

Partizioni RDD

Partizionamento RDD File-Based

HDFS e Data Locality

Esecuzioni Operazioni Parallele

Fasi e Attività


 

13. Spark Catching e Persistenza

Lineage RDD

Panoramica Catching

Persistenza Distribuita

 

14. Modelli comuni nell'Elaborazione Dati in Spark

Casi d'uso comune in Spark

Algoritmi iterativi in Spark

Elaborazione Grafici e Analisi

Machine Learning

Esempio: K-Means


 

15. SQL Spark

Panoramica Spark SQL e SQL Context

Creazione DataFrames

Trasformazione e Interrogazione DataFrames

Salvataggio DataFrames

Confronto SQL Spark con Impala

 

Esercitazioni durante tutto il corso

Requisiti di partecipazione

basi di programmazion Java.

Chiamare il 3471012275 - info@innovaformazione.net - www.innovaformazione.net



INNOVAFORMAZIONE

 Innovaformazione è una scuola orientata all'informatica e alle nuove tecnologie. 
Ci occupiamo di formazione in ambito Android, iOS/iPhone per lo sviluppo applicazioni per dispositivi mobili. Ci occupiamo di formazione su SAP e organizziamo corsi di formazione per la vendita su eBay.
Come servizi di consulenza ci occupiamo di commercio elettronico, servizio di grafica per template Ebay, consulenza per la vendita Ebay, sviluppo e progettazione software mobile per piattaforme Android e iPhone. Sviluppo software per l'e-commerce e l'interfaccia con la gestione magazzino e vendite sui portali on-line.

www.innovaformazione.net  info@innovaformazione.net - tel. 3471012275


  • via Aurelio Carrante 5-9 - 70124 (BA)