Tematy Projektów ZTB 2015

Na każdym stanowisku należy zainstalować i skonfigurować następujące technologie.

System operacyjny:

• Ubuntu 15.10.

Bazy danych:

• Hadoop,
• Riak,
• CouchDB,
• MongoDB,
• Postgres-XC.

Każde stanowisko składa się z 2 komputerów pracujących w klastrze na poziomie technologii bazodanowych. Rodzaj klasteryzacji zależy od konkretnej technologii.

Każde stanowisko winno być połączone w klaster z dokładnie jednym, innym stanowiskiem.

10 grup, każda grupa 1 stanowisko tj. 2 komputery.

Dokumentacja wstępna przy rozpoczęciu projektu.

1. Lista studentów z podziałem na grupy.
2. Lista adresów MAC z informacją o grupie i nazwiskiem osoby odpowiedzialnej za konfiguracje stanowiska.

Dokumentacja finalna. Dla każdej z grup.

1. Opis sprzętu (CPU, dysk, RAM, sieć).
2. Opis konfiguracji OS.
3. Opis instalacji BD.
4. Opis konfiguracji BD, wraz z uzasadnieniem wyboru konkretnej metody klasteryzacji dla każdej z baz danych.
5. Opis, projekt i implementacja generatora ruchu dla eksperymentów.
6. Opis procesu przeprowadzania eksperymentów.
7. Interpretacja wyników eksperymentów.
8. Podział pracy pomiędzy członków grupy.

Dane testowe weryfikujące wydajność rozwiązań muszą charakteryzować się co następuje.

• Wolumen: przynajmniej 40 000 rekordów.
• Pojedynczy rekord testujący zawiera następujące dane:
  • date/timestamp, z dokładnością do 1ms,
  • URI, wielkość 2kB,
  • 4 wielkości całkowitoliczbowe, 64b każda,
  • 4 wielkości zmiennoprzecinkowe, 64b każda,
  • tekst, 32kB.

Wyniki:

• ilość rekordów na sekundę
• średni czas transmisji rekordu
• mediana czasu transmisji rekordu
• najkrótszy czas transmisji rekordu
• najdłuższy czas transmisji rekordu
• obciążenie I/O
• obciążenie CPU
• zajętość systemu plików w stanie stabilnym (po wykonaniu eksperymentu)

• Zapis testowego strumienia danych do pustej bazy.
• Zapis testowego strumienia danych do wypełnionej bazy (wolumen w bazie = wolumen testowy).
• Należy przeprowadzić dla 1,2,4,8,16,32,64 współbieżnych połączeń.
• Wolumen danych pozostaje stały tj. w bazie danych po zakończeniu eksperymentu ma być dokładnie tyle rekordów ile zostało zdefiniowanych jako wymagania dla eksperymentów (dla testów na pustej bazie), albo *2 dla testów na bazie wypełnionej.
• Eksperyment musi wykorzystywać zalety związane z rozproszeniem bazy danych celem uzyskania maksymalnej wydajności (ilości rekordów na sekundę).

• Odczyt liniowy testowych danych z bazy (cały wolumen).
• Odczyt losowy z wykorzystaniem date/timestamp (cały wolumen).
• Należy przeprowadzić dla 1,2,4,8,16,32,64 współbieżnych połączeń.
• Dane w bazie pochodzą z eksperymentu 1.

• Zapis testowego strumienia danych do wypełnionej bazy, wraz z współbieżnym odczytem.
• Należy przeprowadzić dla 1,2,4,8,16,32,64 współbieżnych połączeń zapisujących i odczytujących (iloczyn kartezjański, razem: 49 eksperymentów)
• Wolumen danych pozostaje stały tj. w bazie danych po zakończeniu eksperymentu ma być dokładnie tyle rekordów ile zostało zdefiniowanych jako wymagania dla eksperymentów *2.
• Eksperyment musi wykorzystywać zalety związane z rozproszeniem bazy danych celem uzyskania maksymalnej wydajności (ilości rekordów na sekundę).