Podstawy: Różnice pomiędzy wersjami

Wersja z 16:06, 29 lut 2012

Uzyskiwanie konta

Konta użytkownika na maszynach obliczeniowych ACK Cyfronet AGH można uzyskać po zapoznaniu się z regulaminami użytkowania maszyn oraz złożeniu odpowiednich wniosków:

Logowanie

Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można zalogować się na nie oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH. Ponadto jeśli planowane jest wykorzystanie programów w wersji graficznej, niezbędna jest obecność klienta XWindow na komputerze, z którego loguje się użytkownik.

Logowanie z systemu UNIX/Linux/MacOS X

Logowanie z systemu Windows

Podstawy obsługi systemu kolejkowego System kolejkowy jest wygodnym narzędziem uruchamiania zadań na zasobach obliczeniowych. W zależności od potrzeb, może on informować użytkownika o dacie i czasie rozpoczęcia, czy też zakończenia wykonywania danego zadania na wskazany adres e-mail.

Zasoby dyskowe

Zasoby dyskowe dołączone do Komputerów Dużej Mocy w Cyfronecie podzielone są na trzy główne rodzaje:

katalogi domowe użytkowników
zasoby do składowania danych
zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń

Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się skrajnie różnymi parametrami szybkości, pojemności oraz poziomu bezpieczeństwa danych, dlatego niezmiernie ważne jest odpowiednie dobieranie typu zasobu do przeznaczenia zapisywanego nań pliku.

Quota

Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. quota), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika. Aktualnie przyznaną kwotą oraz jej użycie można zobaczyć za pomocą polecenia quota -s.

Katalogi domowe

Katalog domowy (home) charakteryzuje się małą przestrzenią i stosunkowo niską wydajnością, za to wszystkie pliki z katalogów domowych posiadają regularnie tworzone kopie zapasowe. Katalog domowy służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.).

Składowanie danych

Katalogi składowania danych (storage) charakteryzują się stosunkowo dużą przestrzenią, średnią wydajnością oraz dobrym bezpieczeństwem danych i zabezpieczeniem przed omyłkowym skasowaniem plików, realizowanym za pomocą tzw. kopii migawkowych (ang. snapshot). Przestrzeń ta służy np. do składowania wyników czy plików wejściowych, które nie muszą posiadać kopii zapasowej lub których rozmiar uniemożliwia przechowywanie ich w katalogu domowym.

Przestrzeń tymczasowa

Przestrzeń tymczasowa (scratch) to przestrzeń dyskowa dedykowana do przeprowadzania obliczeń, dostępna z wszystkich serwerów wchodzących w skład superkomputera. Charakteryzuje się bardzo wysoką wydajnością i dużą pojemnością, nie oferując jednak kopii zapasowych czy migawkowych. Służy do przechowywania danych generowanych przez aplikacje przez czas trwania obliczeń i wszystkie pliki powstałe w tym procesie powinny zostać usunięte niezwłocznie po zakończeniu zadania. Na niektórych systemach wdrożona jest polityka automatycznego usuwania bez ostrzeżenia plików starszych niż ustalona liczba dni. Przestrzeń ta jest realizowana na wiele sposobów, na klastrach Zeus i Mars poprzez system plików Lustre, natomiast na komputerach Baribal i Panda przez dedykowany zasób z macierzy dyskowej. Dodatkowo na klastrze Zeus możliwe jest wykorzystanie części dysków lokalnych zainstalowanych w węzłach obliczeniowych jako niewspółdzielonej przestrzeni tymczasowej.

Ogólne zalecenia dotyczące obliczeń

Zaleca się, tam gdzie jest to możliwe korzystanie z szybkich połączeń sieciowych (np. Infiniband) czy też szybkich dysków w trakcie wykonywania obliczeń. W przypadku programów uruchamianych na więcej niż jednym rdzeniu zalecamy wykonanie testów skalowalności. W wielu przypadkach zbyt duża liczba procesorów spowalnia całe obliczenia zamiast je przyspieszać. Zadeklarowana pamięć na obliczenia także może mieć znaczący wpływ na szybkość obliczeń. Znane są przypadki oprogramowania, które wykonuje się kilkakrotnie wolniej w przypadku zadeklarowania zbyt dużej pamięci w stosunku do problemu obliczeniowego.

Informacje szczegółowe

Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na stronach właściwym danym maszynom. Baribal Mars Zeus

@@ Linia 1: / Linia 1: @@
 [[Category:Podstawy]]
-__TOC__
+__NOTOC__
 ==Uzyskiwanie konta==
@@ Linia 17: / Linia 17: @@
-==Podstawy obsługi systemu kolejkowego==
+[[Podstawy:PBS|Podstawy obsługi systemu kolejkowego]]
-System kolejkowy jest wygodnym narzędziem uruchamiania zadań na zasobach obliczeniowych. W zależności od potrzeb, może on informować użytkownika o dacie i czasie rozpoczęcia, czy też zakończenia, wykonywania danego zadania, na wskazany adres e-mail.
+System kolejkowy jest wygodnym narzędziem uruchamiania zadań na zasobach obliczeniowych. W zależności od potrzeb, może on informować użytkownika o dacie i czasie rozpoczęcia, czy też zakończenia wykonywania danego zadania na wskazany adres e-mail.
-===Uruchamianie zadań ===
-Do uruchamiania zadań służy komenda <tt>qsub</tt>. Zadania można uruchamiać w dwóch trybach: interaktywnym, gdzie do dyspozycji użytkownika jest konsola terminala lub wsadowym. W tym drugim przypadku wszystkie komendy umieszcza się w pliku. W takim pliku linijki zawierające Instrukcje sterujące dla systemu kolejkowego muszą zaczynać się ciągiem znaków <tt>#PBS</tt>. Umieszcza się je w początkowej części pliku. Dzięki temu system kolejkowy jest w stanie odczytać opcje jemu właściwe właśnie z tych linijek i uruchomić pozostałe instrukcje, dotyczące już samego zadania obliczeniowego, z dalszej części pliku. Najważniejsze opcje i parametry komendy <tt>qsub</tt> zawiera poniższa tabela.
-{| class="wikitable"
-! width=5% |Opcja     !!width=20%|Parametry !! width="50%" |Opis !!Uwagi
-|-
-| <tt>-l</tt> || || Opcja służy do specyfikacji zasobów (rdzeni, węzłów pamięci) dla zadania. Poszczególne opcje można łączyć w jednej linii. W takim przypadku należy rozdzielić je znakiem dwukropka. ||
-|-
-| || <tt>nodes=<liczba_węzłów></tt> || Parametr służy do specyfikacji liczby wezłów ||
-|-
-| || <tt>ppn=<liczba rdzeni></tt> || Liczba żądanych rdzeni na każdym węźle || opcja niedostępna na maszynie [[Baribal]]
-|-
-| || <tt>walltime=<czas obliczeń></tt> || Maksymalny czas obliczeń. Czas należy podawać w formacie DD:GG:MM:SS gdzie DD, GG, MM, SS oznaczają odpowiednio żądaną liczbę dni, godzin, minut i sekund na zadanie. ||
-|-
-| <tt>-N</tt> || <tt><nazwa_zadania></tt> || Nazwa zadania w systemie kolejkowym ||
-|-
-| <tt>-j</tt> || <tt>oe</tt> || Połączenie standardowego wyjścia ze standardowym wyjściem błędów podczas wykonywania obliczeń ||
-|-
-| <tt>-m</tt> || <tt>b</tt>, <tt>e</tt> lub <tt>a</tt> || System kolejkowy wyśle e-mail do użytkownika jeśli zadanie rozpocznie się wykonywać <tt>b</tt>, skończy wykonywać <tt>e</tt> lub zostanie przerwane <tt>a</tt>.
-|-
-| <tt>-M</tt> || <tt><adres@e-mail.użytkownika></tt> || Adres e-mail użytkownika na który ma zostać wysłana wiadomość o stanie zadania ||
-|-
-| <tt>-q</tt> || <tt><nazwa_kolejki></tt> || Specyfikuje nazwę kolejki do której ma trafić zadanie  ||
-|-
-| <tt>-I</tt> || || uruchomienie zadania intraktywnego ||
-|-
-| <tt>-X</tt> || || w trybie interaktywnym pozwala na uruchamianie programów okienkowych || opcja niedostępna na maszynie [[Baribal]] i [[Mars]]
-|}
-===Wyświetlanie informacji o stanie zadań w kolejkach===
-Do wyświetlania informacji o zadaniach oraz kolejkach służy komenda <tt>qstat</tt>. Wywołanie komendy bez parametrów spowoduje wyświetlenie informacji o wszystkich zadaniach w kolejkach. Najczęściej używane opcje komendy <tt>qstat</tt> zebrano w tabeli poniżej.
-{| class="wikitable"
-! width=20% |Opcja     !!width=20%|Parametry !! width="50%" |Opis !!Uwagi
-|-
-| <tt>-q</tt> || <tt><nazwa_kolejki></tt>|| Bez parametrów wyświetla informacje o dostępnych kolejkach i ich parametrach. ||
-|-
-| <tt>-u </tt> || <tt><nazwa_użytkownika></tt> || Wyświetla informacje o zadaniach danego użytkownika. ||
-|-
-| <tt><identyfikator zadania></tt> || || Wyświetla informacje o danym zadaniu. ||
-|-
-| <tt>-f</tt> || || Pełna informacj o wszystkich zadaniach systemu kolejkowego. ||
-|}
-===Usuwanie zadań===
-Do usuwania zadań służy komenda <tt>qdel</tt>. W celu sunięcia zadania z kolejki potrzebny jest również jego identyfikator numeryczny (jobid), który można wyświetlić komendą <tt>qstat</tt>. Cała sekwencja może wyglądać następująco:
-<pre>
-qdel 12345678910
-</pre>
-===Przydatne zmienne systemu kolejkowego===
-* <tt>$PBS_NODEFILE</tt> Zmienna wskazuje na plik z nazwami węzłów przydzielonymi dla zadania. Najczęściej wykorzystywany do określania liczby rdzeni przydzielonej zadaniu np.:
-<pre>
-export NPROC=`cat $PBS_NODEFILE | wc -l`
-</pre>
-* <tt>$PBS_O_WORKDIR</tt> Zmienna wskazuje na katalog, z kkórego uruchomiono obliczenia. Najczęściej wykorzystywana do wskazania plików dla zadania np.:
-<pre>
-cd $PBS_O_WORKDIR
-</pre>
 ==Zasoby dyskowe ==