DATA ENGINEER
23 LECȚII
VLAD MAȘEK
SENIOR DATA ENGINEER
VITA MOJO
Introducere în Data Engineering (1 sesiune)
Python pentru ingineria datelor (2 sesiuni)
Stocarea datelor și baze de date (3 sesiuni)
Procesarea și modelarea datelor (2 sesiuni)
Integrarea datelor și API-uri (3 sesiuni)
Vizualizarea și raportarea datelor (2 sesiuni)
Calitatea datelor și guvernarea datelor (2 sesiuni)
Gestionarea și programarea fluxului de lucru (2 sesiuni)
Metodologia Agile pentru ingineria datelor (1 sesiune)
Furnizarea aplicațiilor cu Docker (2 sesiuni)
Întreținere și monitorizare (1 sesiune)
Cazuri de utilizare în lumea reală și proiect final (2 sesiuni)
În curând!
Cursul își propune să ofere o înțelegere completă a domeniului de Data Engineering. Învață totul despre structuri de date, parsarea documentelor, crearea și înregistrarea de API-uri, cât și tehnologii de suport precum Kafka, Spark și Airflow / MageAI.
La finalul cursului vei dezvolta de la 0 un app în Python care folosește biblioteci de prelucrare a limbajului natural (NLP).
PENTRU CINE ESTE ACEST CURS?
-
IT Engineers
Pentru toți cei care doresc să se specializeze în domeniul de inginerie a datelor și caută un lector profesionist cu experiență.
-
Data Scientist
Ideal pentru cei care au deja experiență în aplicații precum RapidMiner, ori tehnologii precum Haskel/ R/ Python, și doresc să-și extindă cunoștințele de inginerie, pipelining și ETL.
-
Data Analyst
Updatează-ți cunoștințele de ETL și SQL prin aspecte de automatizare și deployment direcționate către producția unui serviciu.
SUBIECTELE PE CARE LE VEI STUDIA:
-
Stocarea Datelor Vom discuta despre Data Storage & Databeses, stocarea datelor în cloud, depozitarea și procesul ETL. Apoi vom trece la Data Processing & Modeling, utilizând Apache Spark, Spark jobs, cât și tehnici de modelare a datelor.
-
Python Vei primi o introducere în folosirea limbajului Python pentru ingineria datelor, de la elemente de bază și biblioteci Python până la manipularea și curățarea datelor cu Pandas și NumPy.
-
Proiect Final Vei lucra la un tablou de bord care procesează și vizualizează recenziile clienților pentru o platformă de comerț electronic fictivă. Vei dezvolta o aplicație Python care folosește biblioteci de prelucrare a limbajului natural (NLP) pentru a efectua analiza de sentiment asupra datelor în flux.
Învață Data Engineering 360
Urmărește webinar-ul gratuit Data Engineering 360. Află tot ce trebuie să știi, de la preluarea datelor până la definirea strategiei. Vlad Mașek, Senior Data Engineer, îți va explica:
Principalele industrii pentru rolul de Data Engineer
Rolurile și responsabilitățile unui Data Engineer
LECTOR
Vlad Mașek
- Senior Data Engineer @ Vita Mojo
- Absolvent al facultății Rotterdam School of Management, Erasmus University of Rotterdam, specializat în Business Information Management
- 10 ani de experiență în FinTech, și experiență internațională în poziții de Data Scientist, Data Engineer și Technical Coordinator
- Multiple certificări precum Google Cloud Platform & Amazon Web Services
- Experiență în poziția de Team Lead, antrenând și coordonând echipe mai mari de 15 oameni
PROGRAM
-
01
Introducere în Data Engineering (1 sesiune)
- Privire de ansamblu asupra ingineriei datelor
- Rolurile și responsabilitățile unui inginer de date
- Importanța ingineriei datelor într-o organizație
-
02
Python pentru ingineria datelor (2 sesiuni)
- Introducere în Python pentru ingineria datelor
- Elemente de bază și biblioteci Python pentru ingineria datelor
- Manipularea și curățarea datelor cu Pandas și NumPy
- Introducere în prelucrarea și manipularea datelor
-
03
Stocarea datelor și baze de date (3 sesiuni)
- Baze de date relaționale și SQL
- Baze de date non-relaționale (NoSQL) și tipurile acestora
- Soluții de stocare bazate pe cloud
- Procesele de depozitare a datelor și ETL
-
04
Procesarea și modelarea datelor (2 sesiuni)
- Introducere în motoarele de calcul precum Apache Spark (cu notebook-uri Zeppelin)
- Introducere în procesarea în lot și în flux
- Prelucrarea datelor cu joburi Spark
- Tehnici de modelare a datelor și cele mai bune practici cu Spark sau Python normal
-
05
Integrarea datelor și API-uri (3 sesiuni)
- Lucrul cu diverse surse de date (fișiere / setări db / SFTP)
- Ingestie de date folosind Kafka (opțional)
- Crearea și utilizarea API-urilor pentru accesul la date (asimilarea serviciilor API)
-
06
Vizualizarea și raportarea datelor (2 sesiuni)
- Principii de vizualizare a datelor
- Crearea de diagrame și rapoarte folosind biblioteci și instrumente Python
-
07
Calitatea datelor și guvernarea datelor (2 sesiuni)
- Importanța calității datelor în ingineria datelor
- Tehnici pentru asigurarea calității datelor, inclusiv testarea unitară pentru codul Python, modelele de testare și funcțiile ML
- Principii de guvernare a datelor și cele mai bune practici
-
08
Gestionarea și programarea fluxului de lucru (2 sesiuni)
- Introducere în Apache Airflow / MageAI
- Crearea, implementarea și monitorizarea fluxurilor de lucru de date
-
09
Metodologia Agile pentru ingineria datelor (1 sesiune)
- Introducere în SCRUM și Kanban
- Aplicarea metodologiilor Agile în proiecte de inginerie a datelor
-
10
Furnizarea aplicațiilor cu Docker (2 sesiuni)
- Introducere în containerizarea cu Docker
- Docker Compose pentru configurarea unei aplicații de la cap la coadă
- Rularea de data pipelines și a aplicațiilor containerizate
-
11
Întreținere și monitorizare (1 sesiune)
- Cele mai bune practici de întreținere
- Monitorizare și reglare a performanței
-
12
Cazuri de utilizare în lumea reală și proiect final (2 sesiuni)
- Discuție despre cazuri de utilizare reale în ingineria datelor
- Colectarea datelor prin crawling pentru crearea bazelor de date destinate analizei și creării de tablouri de bord
-
Final Project: Real time customer sentiment analysis dashboard
Înregistrare
Pentru mai multe informații despre curs și taxa de participare, te rugăm să te înregistrezi.