Metody i Systemy Obliczeń Wielkiej Skali


Wstęp do Amazon S3

  1. Informacje podstawowe:
    1. S3: Simple Storage Service: http://aws.amazon.com/s3/
    2. Pierwsze kroki Getting Started
    3. Podstawowe koncepcje: buckets, objects, folders: http://docs.aws.amazon.com/AmazonS3/latest/UG/Introduction.html
  2. Dostęp do S3 poprzez Command Line Interface (CLI): s3cmd
    1. Dokumentacja i instalacja s3tools: http://s3tools.org/s3cmd
    2. Konfiguracja
      s3cmd --configure
    3. Lista obiektów
      s3cmd ls
    4. Pomoc
      s3cmd --help
    5. Zapis pliku
      s3cmd put s3://my-bucket/ my-file.txt
    6. Zapis pliku
      s3cmd put s3://my-bucket/ my-file.txt
  3. Dostęp przez AWS CLI: instrukcja na stronie AWS
    1. Lista obiektów:
       aws s3 ls s3://mybucket  
    2. Zapis pliku:
      aws s3 cp myfolder s3://mybucket/myfolder --recursive
  4. Dostęp poprzez API:
    1. Java: http://aws.amazon.com/sdkforjava/
    2. Python: https://github.com/boto/boto
    3. Ruby: http://aws.amazon.com/sdkforruby/
  5. Zadania
    1. Proszę zmierzyć przepustowość (throuphput) transferu danych przy użyciu S3:
      1. dla zapisu i odczytu,
      2. przy użyciu s3cmd/cli oraz API w wybranym jęz. programowania
      3. dla klienta uruchomionego na EC2 oraz poza chmurą.
      4. dla różnej liczby klientów działających równocześnie.
      5. (dodatkowe): dla Reduced Redundancy Storage oraz Amazon Glacier.


      Maciej Malawski, malawski at agh.edu.pl