https://home.agh.edu.pl/~pszwed/wiki/ 2026-04-26T17:35:50+00:00 https://home.agh.edu.pl/~pszwed/wiki/ https://home.agh.edu.pl/~pszwed/wiki/lib/tpl/arctic/images/favicon.ico text/html 2026-03-12T16:20:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_01&rev=1773328827&do=diff Laboratorium 1+2 Celem laboratorium jest implementacja prostych programów w języku Java przetwarzających dane na platformie Apache Spark. Sprawozdanie przesyłamy po laboratorium 2 Literatura: * Jean-Georges Perrin, Spark in Action, 2020 1. Oprogramowanie \((\\d{4})\\) text/html 2024-03-10T21:53:47+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_03&rev=1710104027&do=diff Laboratorium 3: Regresja liniowa Zbiory danych * [ xy-001] $f_{true}=2.37x+7$ * [xy-002] $f_{true}=-1.5x^2+3x+4$ * [ xy-003] $f_{true}=-1.5x^2+3x+4$ * [xy-004] $f_{true}=-10x^2+500x-25$ * [xy-005] $f_{true}=(x+4)(x+1)(x-3)$ * [ xy-006] box * [ xy-007] circle * [xy-008] fat-ellipse * [ xy-009] ellipse * [ xy-010] ellipse-outliers 1. Przetwarzamy zbiór xy-001 1.1. Ładowanie i przetwarzanie wstępne 1. Załaduj zbiór danych i wyświetl zawartość$f_{true}$$𝑤=[X^T… text/html 2025-03-27T00:37:56+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_04&rev=1743032276&do=diff Laboratorium 4: Cechy wielomianowe Będziemy przetwarzali następujące pliki: * [xy-002] $f_{true}=-1.5x^2+3x+4$ * [ xy-003] $f_{true}=-1.5x^2+3x+4$ * [xy-004] $f_{true}=-10x^2+500x-25$ * [xy-005] $f_{true}=(x+4)(x+1)(x-3)$ Wykorzystamy kod z poprzedniego laboratorium (Regresja Liniowa) 1. Cechy wielomianowe 2 stopnia Umieść kod w klasie LinearRegressionPolynomialFeaturesOrderTwo$x^3$ text/html 2026-04-09T01:15:58+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_05&rev=1775690158&do=diff Laboratorium 5 1. Konfiguracja Dockera Naszym celem jest zbudowanie konfiguracji jak na rysunku: cztery kontenery połączone wspólną siecią * master - obraz spark-python * worker-1 - obraz spark-python * worker-2 - obraz spark-python * $pi$$\pi$ text/html 2026-04-15T18:25:28+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_06&rev=1776270328&do=diff Laboratorium 6: Regresja - przewidywanie cen sprzedaży domów Celem zadania jest przewidywanie cen sprzedaży domów. * Zbiór danych dotyczących sprzedaży domów dostępny na Kaggle. * Jego lokalna kopia może zostać pobrana z [kc_house_data.csv.zip] lub z kc_house_data.csv.gz (bezpośrednio obsługiwana przez Spark)$$logit(p)=ln(\frac{p}{1-p})$$$ln$$$ln(y)=w^Tx$$$X = {x_1,\ldots,x_n}$$X_i = f(X \setminus {x_i})$$x_i$$r^2_i$$VIF(x_i)=\frac{1}{1-r^2_i}$ text/html 2026-04-23T16:26:27+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_07&rev=1776954387&do=diff Laboratorium 7 - przewidywanie liczby wypożyczonych rowerów Kontynuujemy regresję. Będziemy przetwarzali zbiór danych dotyczących wypożyczeń rowerów w okresie dwóch lat. Wykorzystamy środowisko PySpark (obraz dockera spark-jupyter z zajęć 5) ale bez klastra. Spark będzie uruchamiany w konfiguracji standalone. Użyj środowiska jupyter-lab$k$$\{a_1,\dots,a_k\}$$k$$x'$$x'[i,j]=1$$x[i]=a_j$$x'[i,j]=0$$x[i]\neq a_j$$k$$k-1$$cos(\frac{2\pi x}{T_i})$$sin(\frac{2\pi x}{T_i})$$x$$T_i \in \mathbf{T}$… text/html 2025-04-29T15:45:28+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_08&rev=1745934328&do=diff Laboratorium 8 - regresja logistyczna Celem jest budowa modelu regresji logistycznej pozwalającej przewidywać, czy dany student zdał egzamin z języka C++ w pierwszym terminie. Implementujemy oprogramowanie w języku Java. Dla przypomnienia * $o=\frac{p}{1-p}$$logit(p) = ln(\frac{p}{1-p})=w^T x$$p=\frac{1}{1+exp(-w^T x)}$ text/html 2024-05-09T12:43:12+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_09&rev=1715251392&do=diff Laboratorium 9 - klasyfikacja dokumentów tekstowych Celem zadania jest predykcja autora tekstu na podstawie jego zawartości. Przetestujemy dwa klasyfikatory: * Drzewo decyzyjne * Naiwny klasyfikator Bayesa 1. Zbiory danych Podczas ćwiczeń będziemy przetwarzali dane tekstowe pochodzące z 5 książek z przełomu XIX i XX wieku$p(x_i|y_j)$$p(y_j)$$[0.2, 0.3,0.1, 0.4]$$x=[1,0,2,1]$$p(x)=\frac{7!}{1!\cdot 0!\cdot 2! \cdot 4!}\cdot 0.2^1 \cdot 0.3^0 \cdot 0.1^2\cdot 0.4^1$$x$$p(x)=C(x)\prod_{i=1,… text/html 2024-04-28T00:36:14+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_10&rev=1714257374&do=diff Laboratorium 10 + 11: platforma Ray Ray to zaimplementowana w języku Python platforma do tworzenia i zarządzania rozproszonymi i skalowalnymi aplikacjami. Platforma Ray wspiera programowanie równoległe i asynchroniczne, dzięki czemu może być wykorzystywana do budowania zaawansowanych aplikacji związanych z uczeniem maszynowym, przetwarzaniem danych oraz symulacjami. text/html 2024-04-28T01:18:39+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_12&rev=1714259919&do=diff Laboratorium 12 Tematem jest ekstrakcja cech z utworów muzycznych. * Użyjemy zbioru danych w postaci 100 30-sekundowych fragmentów utworów * Do ekstrakcji cech wykorzystana zostanie biblioteka librosa Opis zadań i kod w postaci notatnika Colab :!: Na następnym laboratorium wykorzystamy przygotowany zbiór danych text/html 2024-04-28T01:19:36+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:lab_13&rev=1714259976&do=diff Laboratorium 13 Tematem jest klasyfikacja gatunków utworów muzycznych. Użyjemy zbioru danych opracowanego na poprzendim laboratorium Opis zadań i kod w postaci notatnika Colab text/html 2026-04-23T15:36:52+00:00 Anonymous (anonymous@undisclosed.example.com) https://home.agh.edu.pl/~pszwed/wiki/doku.php?id=ed:start&rev=1776951412&do=diff Eksploracja danych Laboratoria * Grupa I Implementacja programów w języku Java lub Python na na platformie Apache Spark * Laboratorium 1+2 - Przetwarzanie danych na platformie Spark * Laboratorium 3 - Regresja liniowa (Spark) * Laboratorium 4 - Cechy wielomianowe (Spark) * Laboratorium 5 - Klaster Sparka - Docker * Laboratorium 6 - Regresja - przewidywanie cen sprzedaży domów * Laboratorium 7 - Regresja - wypożyczenia rowerów * Laboratorium 8 - Regresja logistyczna * …