Eksploracja danych

• Grupa I Implementacja programów w języku Java lub Python na na platformie Apache Spark
  • Laboratorium 1+2 - Przetwarzanie danych na platformie Spark
  • Laboratorium 3 - Regresja liniowa (Spark)
  • Laboratorium 4 - Cechy wielomianowe (Spark)
  • Laboratorium 5 - Klaster Sparka - Docker
  • Laboratorium 6 - Regresja - przewidywanie cen sprzedaży domów
  • Laboratorium 7 - Regresja - wypożyczenia rowerów
  • Laboratorium 8 - Regresja logistyczna
  • Laboratorium 9 - Klasyfikacja dokumentów tekstowych
• Grupa II
  • Laboratorium 10+11 - Platforma Ray
  • Laboratorium 12 - Ekstrakcja cech z utworów muzycznych, librosa
  • Laboratorium 13 - Klasyfikacja utworów muzycznych

Przesyłamy na UPEL. Zazwyczaj w postaci:

• Pliku PDF ze sprawozdaniem
• Pliku ZIP z kodem
• Zawartością notatnika Jupyter (PDF lub html)

Link do kursu: https://upel.agh.edu.pl/course/view.php?id=8857

Kod do zapisu: Zostanie przekazany na zajęciach

Wykłady odbywają się zdalnie na platformie MS Teams we wtorki o 16:45

Link do zespołu

Kod do zespołu ew51zxh

1. Wykład 1 Wprowadzenie, zagadnienia regresji, klasyfikacji i grupowania
2. Wykład 2 Regresja
3. Wykład 3 Ocena modeli (na przykładzie regresji)
4. Wykład 4 Klasyfikacja (wstęp), ocena klasyfikacji, regresja logistyczna, przekształcanie danych
5. Wykład 5 Klasyfikacja (kontynuacja), naiwny model Bayesa, drzewa decyzyjne
6. Wykład 6 Klasyfikacja (kontynuacja), Support Vector Machines, k-NN
7. Wykład 7 Grupowanie (klasteryzacja), hierarchiczne, k-means, mieszanina rozkładów Gaussa i EM, DBSCAN, metody oceny

• Users
• Movies
• Tags
• Ratings

• xy-001 $f_{true}=2.37x+7$
• xy-002 $f_{true}=-1.5x^2+3x+4$
• xy-003 $f_{true}=-1.5x^2+3x+4$
• xy-004 $f_{true}=-10x^2+500x-25$
• xy-005 $f_{true}=(x+4)(x+1)(x-3)$
• xy-006 box
• xy-007 circle
• xy-008 fat-ellipse
• xy-009 ellipse
• xy-010 ellipse-outliers

• spark-jdk17.zip - dane na Laboratorium 5
• kc_house_data.csv.zip - dane na Laboratorium 6

• egzamin-cpp.csv - zanonimizowane wyniki zaliczeń/egzaminu z C i C++ w 2016 roku
• grid.csv - kombinacje ocen

• Archiwum ZIP zawierające zbiory danych