Podstawy: Różnice pomiędzy wersjami

Aktualna wersja na dzień 11:49, 17 kwi 2018

Spis treści

1 Uzyskiwanie konta
2 Logowanie
3 System kolejkowy
4 Zasoby dyskowe
5 Ogólne zalecenia dotyczące obliczeń
6 Informacje szczegółowe

Uzyskiwanie konta

Konta użytkownika na maszynach obliczeniowych ACK Cyfronet AGH można uzyskać po zapoznaniu się z regulaminami użytkowania maszyn oraz złożeniu odpowiednich wniosków:

Logowanie

Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można się na nie zalogować, oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH. Ponadto, jeśli planowane jest wykorzystanie programów w wersji graficznej, niezbędna jest obecność klienta XWindow na komputerze, z którego loguje się użytkownik.

System kolejkowy

Korzystanie z Komputerów Dużej Mocy wymaga znajomości obsługi systemu kolejkowego.

Zasoby dyskowe

Zasoby dyskowe dołączone do Komputerów Dużej Mocy w Cyfronecie podzielone są na trzy główne rodzaje:

katalogi domowe użytkowników
zasoby do składowania danych
zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń

Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się istotnie różnymi parametrami szybkości, pojemności oraz poziomu bezpieczeństwa danych, dlatego niezmiernie ważne jest odpowiednie dobieranie typu zasobu do przeznaczenia zapisywanego nań pliku.

Katalogi domowe

Katalog domowy (home) charakteryzuje się małą przestrzenią i stosunkowo niską wydajnością, za to wszystkie pliki z katalogów domowych posiadają regularnie tworzone kopie zapasowe. Katalog domowy służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.).

Składowanie danych

Katalogi składowania danych (storage) charakteryzują się stosunkowo dużą przestrzenią, średnią wydajnością oraz dobrym bezpieczeństwem danych i zabezpieczeniem przed omyłkowym skasowaniem plików, realizowanym za pomocą tzw. kopii migawkowych (ang. snapshot). Przestrzeń ta służy np. do składowania wyników czy plików wejściowych, które nie muszą posiadać kopii zapasowej lub ich duży rozmiar uniemożliwia przechowywanie ich w katalogu domowym.

Przestrzeń tymczasowa

Przestrzeń tymczasowa (scratch) jest przestrzenią dyskową dedykowaną do przeprowadzania obliczeń, dostępną z wszystkich serwerów wchodzących w skład superkomputera. Charakteryzuje się bardzo wysoką wydajnością i dużą pojemnością nie oferując jednak kopii zapasowych czy migawkowych. Służy do przechowywania danych generowanych przez aplikacje przez czas trwania obliczeń i wszystkie pliki powstałe w tym procesie powinny zostać usunięte niezwłocznie po zakończeniu zadania. Na niektórych systemach wdrożona jest polityka automatycznego usuwania bez ostrzeżenia plików starszych niż ustalona liczba dni. Przestrzeń ta jest realizowana poprzez system plików [[Lustre]. Dodatkowo na klastrze Zeus możliwe jest wykorzystanie części dysków lokalnych zainstalowanych w węzłach obliczeniowych jako niewspółdzielonej przestrzeni tymczasowej.

Quota

Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. quota), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika. Aktualnie przyznaną wielkość kwoty oraz jej użycie można zobaczyć za pomocą polecenia quota -s, a na klastrze Zeus za pomocą polecenia zeus-fs.

Ogólne zalecenia dotyczące obliczeń

Zaleca się, tam gdzie jest to możliwe, do korzystania w trakcie wykonywania obliczeń z szybkich połączeń sieciowych (np. Infiniband) czy też szybkich dysków. W przypadku programów uruchamianych na więcej niż jednym rdzeniu zalecamy wykonanie testów skalowalności. W wielu przypadkach zbyt duża liczba procesorów spowalnia całe obliczenia zamiast je przyspieszać. Zadeklarowana pamięć na obliczenia także może mieć znaczący wpływ na szybkość obliczeń. Znane są przypadki oprogramowania, które wykonuje się kilkakrotnie wolniej w przypadku zadeklarowania zbyt dużej pamięci w stosunku do potrzeb problemu obliczeniowego.

Informacje szczegółowe

Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na odpowiednich stronach maszyn.
Prometheus
Zeus

@@ Linia 1: / Linia 1: @@
-__TOC__
+{{DISPLAYTITLE:Podstawowe informacje}}
+==Uzyskiwanie konta==
+Konta użytkownika na maszynach obliczeniowych ACK Cyfronet AGH można uzyskać po zapoznaniu się z regulaminami użytkowania maszyn oraz złożeniu odpowiednich wniosków:
+* [[Prometheus:Konto|Prometheus]]
+* [[Zeus:Konto|Zeus]]
+* [[PlatonU3:Konto|PlatonU3]]
 ==Logowanie==
-Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można zalogować się na nie oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH. W tym celu można wykorzystać programy slogin, ssh, scp (UNIX/Linux) lub Putty, WinSCP (Windows). Ponadto jeśli planowane jest wykorzystanie programów w wersji okienkowej, niezbędna jest obecność klienta XWindow na komputerze, z którego loguje się użytkownik. W systemach UNIX/Linux wersja XWindow jest zwykle zainstalowana i dostępna dla użytkownika. Systemy Windows nie posiadają serwera XWindow dlatego należy takowy zainstalować. Polecamy instalację darmowego serwera Xów: XMing (http://sourceforge.net/projects/xming).
+Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można się na nie zalogować, oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH.  Ponadto, jeśli planowane jest wykorzystanie programów w wersji graficznej, niezbędna jest obecność klienta [http://pl.wikipedia.org/wiki/X_Window_System XWindow] na komputerze, z którego loguje się użytkownik.
-===Logowanie z systemu UNIX/Linux===
-<pre>
+* [[Podstawy:Logowanie_Linux|Logowanie z systemu UNIX/Linux/MacOS X]]
-ssh <nazwa_maszyny_dostępowej>
+* [[Podstawy:Logowanie_Windows|Logowanie z systemu Windows]]
-</pre>
-lub
-<pre>
-ssh -l login <nazwa_maszyny_dostępowej>
-</pre>
-===Logowanie z systemu Windows===
-Otwieramy program Putty i w polu <tt>Host Name</tt> okna głównego wpisujemy nazwę maszyny dostępowej i potwierszamy klawiszem "Open". Następnie wpisujemy login i hasło.
-==Podstawy obsługi systemu kolejkowego==
-System kolejkowy jest wygodnym narzędziem uruchamiania zadań na zasobach obliczeniowych. W zależności od potrzeb, może on informować użytkownika o dacie i czasie rozpoczęcia, czy też zakończenia, wykonywania danego zadania, na wskazany adres e-mail.
-===Uruchamianie zadań ===
+==System kolejkowy==
-Do uruchamiania zadań służy komenda <tt>qsub</tt>. Zadania można uruchamiać w dwóch trybach: interaktywnym, gdzie do dyspozycji użytkownika jest konsola terminala lub wsadowym. W tym drugim przypadku wszystkie komendy umieszcza się w pliku. W takim pliku linijki zawierające Instrukcje sterujące dla systemu kolejkowego muszą zaczynać się ciągiem znaków <tt>#PBS</tt>. Umieszcza się je w początkowej części pliku. Dzięki temu system kolejkowy jest w stanie odczytać opcje jemu właściwe właśnie z tych linijek i uruchomić pozostałe instrukcje, dotyczące już samego zadania obliczeniowego, z dalszej części pliku. Najważniejsze opcje i parametry komendy <tt>qsub</tt> zawiera poniższa tabela.
+Korzystanie z Komputerów Dużej Mocy wymaga znajomości [[Podstawy:SLURM|obsługi systemu kolejkowego]].
-{| class="wikitable"
-! width=5% |Opcja     !!width=20%|Parametry !! width="50%" |Opis !!Uwagi
-|-
-| <tt>-l</tt> || || Opcja służy do specyfikacji zasobów (rdzeni, węzłów pamięci) dla zadania. Poszczególne opcje można łączyć w jednej linii. W takim przypadku należy rozdzielić je znakiem dwukropka. ||
-|-
-| || <tt>nodes=<liczba_węzłów></tt> || Parametr służy do specyfikacji liczby wezłów ||
-|-
-| || <tt>ppn=<liczba rdzeni></tt> || Liczba żądanych rdzeni na każdym węźle || opcja niedostępna na maszynie [[Baribal]]
-|-
-| || <tt>walltime=<czas obliczeń></tt> || Maksymalny czas obliczeń. Czas należy podawać w formacie DD:GG:MM:SS gdzie DD, GG, MM, SS oznaczają odpowiednio żądaną liczbę dni, godzin, minut i sekund na zadanie. ||
-|-
-| <tt>-N</tt> || <tt><nazwa_zadania></tt> || Nazwa zadania w systemie kolejkowym ||
-|-
-| <tt>-j</tt> || <tt>oe</tt> || Połączenie standardowego wyjścia ze standardowym wyjściem błędów podczas wykonywania obliczeń ||
-|-
-| <tt>-m</tt> || <tt>b</tt>, <tt>e</tt> lub <tt>a</tt> || System kolejkowy wyśle e-mail do użytkownika jeśli zadanie rozpocznie się wykonywać <tt>b</tt>, skończy wykonywać <tt>e</tt> lub zostanie przerwane <tt>a</tt>.
-|-
-| <tt>-M</tt> || <tt><adres@e-mail.użytkownika></tt> || Adres e-mail użytkownika na który ma zostać wysłana wiadomość o stanie zadania ||
-|-
-| <tt>-q</tt> || <tt><nazwa_kolejki></tt> || Specyfikuje nazwę kolejki do której ma trafić zadanie  ||
-|-
-| <tt>-I</tt> || || uruchomienie zadania intraktywnego ||
-|-
-| <tt>-X</tt> || || w trybie interaktywnym pozwala na uruchamianie programów okienkowych || opcja niedostępna na maszynie [[Baribal]] i [[Mars]]
-|}
-===Wyświetlanie informacji o stanie zadań w kolejkach===
+==Zasoby dyskowe==
-Do wyświetlania informacji o zadaniach oraz kolejkach służy komenda <tt>qstat</tt>. Wywołanie komendy bez parametrów spowoduje wyświetlenie informacji o wszystkich zadaniach w kolejkach. Najczęściej używane opcje komendy <tt>qstat</tt> zebrano w tabeli poniżej.
-{| class="wikitable"
+Zasoby dyskowe dołączone do Komputerów Dużej Mocy w Cyfronecie podzielone są na trzy główne rodzaje:
-! width=20% |Opcja     !!width=20%|Parametry !! width="50%" |Opis !!Uwagi
+* katalogi domowe użytkowników
-|-
+* zasoby do składowania danych
-| <tt>-q</tt> || <tt><nazwa_kolejki></tt>|| Bez parametrów wyświetla informacje o dostępnych kolejkach i ich parametrach. ||
+* zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń
-|-
-| <tt>-u </tt> || <tt><nazwa_użytkownika></tt> || Wyświetla informacje o zadaniach danego użytkownika. ||
-|-
-| <tt><identyfikator zadania></tt> || || Wyświetla informacje o danym zadaniu. ||
-|-
-| <tt>-f</tt> || || Pełna informacj o wszystkich zadaniach systemu kolejkowego. ||
-|}
-===Usuwanie zadań===
+Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się istotnie różnymi parametrami szybkości, pojemności oraz poziomu bezpieczeństwa danych, dlatego niezmiernie ważne jest odpowiednie dobieranie typu zasobu do przeznaczenia zapisywanego nań pliku.
-Do usuwania zadań służy komenda <tt>qdel</tt>. W celu sunięcia zadania z kolejki potrzebny jest również jego identyfikator numeryczny (jobid), który można wyświetlić komendą <tt>qstat</tt>. Cała sekwencja może wyglądać następująco:
+===Katalogi domowe ===
-<pre>
+Katalog domowy (''home'') charakteryzuje się małą przestrzenią i stosunkowo niską wydajnością, za to wszystkie pliki z katalogów domowych posiadają regularnie tworzone kopie zapasowe. Katalog domowy służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.).
-qdel 12345678910
+===Składowanie danych ===
-</pre>
+Katalogi składowania danych (''storage'') charakteryzują się stosunkowo dużą przestrzenią, średnią wydajnością oraz dobrym bezpieczeństwem danych i zabezpieczeniem przed omyłkowym skasowaniem plików, realizowanym za pomocą tzw. kopii migawkowych (ang. ''snapshot''). Przestrzeń ta służy np. do składowania wyników czy plików wejściowych, które nie muszą posiadać kopii zapasowej lub ich duży rozmiar uniemożliwia przechowywanie ich w katalogu domowym.
-===Przydatne zmienne systemu kolejkowego===
+===Przestrzeń tymczasowa ===
-* <tt>$PBS_NODEFILE</tt> Zmienna wskazuje na plik z nazwami węzłów przydzielonymi dla zadania. Najczęściej wykorzystywany do określania liczby rdzeni przydzielonej zadaniu np.:
+Przestrzeń tymczasowa (''scratch'') jest przestrzenią dyskową dedykowaną do przeprowadzania obliczeń, dostępną z wszystkich serwerów wchodzących w skład superkomputera. Charakteryzuje się bardzo wysoką wydajnością i dużą pojemnością nie oferując jednak kopii zapasowych czy migawkowych. Służy do przechowywania danych generowanych przez aplikacje przez czas trwania obliczeń i wszystkie pliki powstałe w tym procesie powinny zostać usunięte niezwłocznie po zakończeniu zadania. Na niektórych systemach wdrożona jest polityka automatycznego usuwania bez ostrzeżenia plików starszych niż ustalona liczba dni.
-<pre>
+Przestrzeń ta jest realizowana poprzez system plików [[Lustre]. Dodatkowo na klastrze [[Zeus]] możliwe jest wykorzystanie części dysków lokalnych zainstalowanych w węzłach obliczeniowych jako niewspółdzielonej przestrzeni tymczasowej.
-export NPROC=`cat $PBS_NODEFILE | wc -l`
-</pre>
-* <tt>$PBS_O_WORKDIR</tt> Zmienna wskazuje na katalog, z kkórego uruchomiono obliczenia. Najczęściej wykorzystywana do wskazania plików dla zadania np.:
-<pre>
-cd $PBS_O_WORKDIR
-</pre>
-==Zasoby dyskowe ==
+===Quota ===
+Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. ''quota''), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika.
+Aktualnie przyznaną wielkość kwoty oraz jej użycie można zobaczyć za pomocą polecenia <tt>quota -s</tt>, a na klastrze Zeus za pomocą polecenia zeus-fs.
 ==Ogólne zalecenia dotyczące obliczeń==
-Szybkość wykonywania obliczeń zależy od szeregu czynników.
+Zaleca się, tam gdzie jest to możliwe, do korzystania w trakcie wykonywania obliczeń z szybkich połączeń sieciowych (np. Infiniband) czy też szybkich dysków. W przypadku programów uruchamianych na więcej niż jednym rdzeniu zalecamy wykonanie testów skalowalności. W wielu przypadkach zbyt duża liczba procesorów spowalnia całe obliczenia zamiast je przyspieszać. Zadeklarowana pamięć na obliczenia także może mieć znaczący wpływ na szybkość obliczeń. Znane są przypadki oprogramowania, które wykonuje się kilkakrotnie wolniej w przypadku zadeklarowania zbyt dużej pamięci w stosunku do potrzeb problemu obliczeniowego.
 ==Informacje szczegółowe==
-[[Baribal:Podstawy|Baribal]] [[Mars:Podstawy|Mars]] [[Zeus:Podstawy|Zeus]]
+Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na odpowiednich stronach maszyn.
+<br />[[Prometheus:Podstawy|Prometheus]]
+<br />[[Zeus:Podstawy|Zeus]]
+[[Category:Podstawy]]