Află mai multe
Curs Online

Web scraping with Python

Banea Daiana-Elena

Senior Python & Cloud Engineer @ LSEG

Află mai multe
Data: 1 Octombrie –
8 Noiembrie 2024
Durata:

12 lecții, 6 săptămâni

Marți & Joi, 18:30 – 20:00

În 12 lecții vei stăpâni skill-ul de web scraping - de la monitorizarea informațiilor până la căutarea lead-urilor și evitarea blocajelor — și află cum să creezi propriile soluții pentru a extrage informațiile necesare din diverse surse web.

Cursul ideal pentru tine dacă ești:
Junior/Middle Developer

Vei naviga prin structuri complexe ale site-urilor web și vei extrage eficient datele necesare folosind librării precum Requests pentru a implementa concepte specifice protocolului HTTP și Beautiful Soup pentru manipularea datelor HTML și XML La finalul cursului, vei putea să gestionezi mecanismele anti-scraping și să asiguri calitatea datelor.

Specialist în Data Science și Data Analyst

Vei explora strategii avansate de curățare și prelucrare a datelor obținute prin scraping și vei folosi regular expressions, DOM parsing și XPath pentru a localiza și extrage informațiile relevante de pe site-uri web. Vei învăța să procesezi și să stochezi datele extrase în formate .csv, .json sau în baze de date.

Cunoștințe de bază despre Python

Învață cum să utilizezi Python pentru a optimiza activitatea afacerii și pentru a obține informații de calitate despre clienți și concurenți. Află cum să creezi scripturi de web scraping care îți vor permite să monitorizați informațiile relevante, să cauți lead-uri valoroase și să evitați blocajele impuse de diverse site-uri web.

Subiecte pe care le vei discuta:
01
BAZELE WEB SCRAPING

Vei studia conceptele de bază ale web scraping-ului, aspectele legale, metodele de extragere a datelor de pe paginile web folosind RegEx, selectori CSS și XPath. De asemenea, vei examina tehnici de evitare a protecției site-urilor, inclusiv utilizarea user-agent-ului și a proxy-urilor.

02
PROCESAREA VOLUMELOR MARI DE DATE

Cu ajutorul principalelor biblioteci și framework-uri Beautiful Soup, Scrapy, Selenium, vei învăța să automatizezi colectarea și procesarea unor volume mari de informații, pentru a avea flexibilitate în alegerea abordării de scraping.

03
CREAREA SCRAPER-ELOR

Programul este 70% practic — pentru exersarea lucrului cu diferite blocaje și formate. La finalul cursului vei avea 4 scrapers gata de utilizare pentru fiecare bibliotecă, precum și un proiect de curs pentru portofoliu.

Lector
Banea Daiana-Elena
Senior Python & Cloud Engineer @ LSEG
Experiență de lucru ca Python Developer & Python Data Engineer
Responsabilitățile principale includ proiectarea, implementarea și testarea soluțiilor software, automatizarea operațiilor bazelor de date, analiza exploratorie a datelor, prelucrarea și agregarea datelor pentru machine learning
A creat și susținut traininguri de Python, inițial fizic și ulterior online, pentru colegii din consultanță și studenți la ASE București
Din toamna anului 2022, predă noțiuni de bază din Python și SQL pentru cursanți începători în IT
Deține certificări importante, printre care Machine Learning Specialty (AWS), Azure Data Engineer Associate (Microsoft) și AWS Certified Cloud Practitioner (AWS)
PROGRAM
01
Marți, 1 Octombrie 2024 18:30 – 20:00
Fundamentele Web Scraping
  • Ce este Web Scraping?
  • Cum utilizăm Web Scraping?
  • Librării specifice: Beautiful Soup, Scrapy, Selenium
02
Joi, 3 Octombrie 2024 18:30 – 20:00
Primii pași în Web Scraping
  • Structura unei pagini web: HTML și CSS
  • Tipuri și formate de date specifice pentru Web Scraping: parsarea fișierelor în format XML și JSON
  • Crearea mediului de dezvoltare Python potrivit pentru un proiect de Web Scraping
03
Marți, 8 Octombrie 2024 18:30 – 20:00
Protocolul HTTP
  • HTTP pentru Web Scraping
  • Tipuri de cereri HTTP și procesarea răspunsului
  • Implementarea protocolului HTTP prin librăria Requests
04
Joi, 10 Octombrie 2024 18:30 – 20:00
Localizarea elementelor din pagina web
  • DOM Parsing
  • Regular Expressions
  • XPath
05
Marți, 15 Octombrie 2024 18:30 – 20:00
Beautiful Soup
  • Beautiful Soup: instalare, atuuri și puncte slabe
  • Demo Beautiful Soup: parsarea elementelor HTML dintr-o pagină web
06
Joi, 17 Octombrie 2024 18:30 – 20:00
Scrapy
  • Scrapy: instalare, atuuri și puncte slabe
  • Demo Scrapy: crearea unui spider pentru a extrage date de pe mai multe pagini web
07
Marți, 22 Octombrie 2024 18:30 – 20:00
Selenium
  • Selenium: instalare, atuuri și puncte slabe
  • Demo Selenium: extragerea datelor de pe pagini web care au conținut dinamic
08
Joi, 24 Octombrie 2024 18:30 – 20:00
Stocarea și calitatea datelor extrase
  • Salvarea datelor în fișiere .csv și .json
  • Salvarea datelor în baze de date:
    • MySQL
    • PostgreSQL
    • SQLite
  • Calitatea datelor extrase cu Web Scraping
09
Marți, 29 Octombrie 2024 18:30 – 20:00
Obstacole frecvent întâlnite în Web Scraping
  • Aspecte legale și etice ale Web Scraping-ului
  • Verificările CAPTCHA și depășirea lor
  • Folosirea tool-urilor de documentare (Sphinx, Pydoc) și code analysis (PyLint)
10
Joi, 31 Octombrie 2024 18:30 – 20:00
Recapitulare și Web Scraping Challenge
  • Reluarea ideilor principale din fiecare lecție
  • Concurs de Web Scraping
  • Q&A
11
Marți, 5 Noiembrie 2024 18:30 – 20:00
Workshop I: Prezentarea și îmbunătățirea proiectelor finale
12
Joi, 7 Noiembrie 2024 18:30 – 20:00
Workshop II: Prezentarea și îmbunătățirea proiectelor finale
Înscrie-te la curs

Completează formularul de înscriere pentru a primi mai multe
detalii despre curs și taxa de participare.

Câmp obligatoriu