Podstawy: Różnice pomiędzy wersjami

Aktualna wersja na dzień 11:49, 17 kwi 2018

Spis treści

1 Uzyskiwanie konta
2 Logowanie
3 System kolejkowy
4 Zasoby dyskowe
5 Ogólne zalecenia dotyczące obliczeń
6 Informacje szczegółowe

Uzyskiwanie konta

Konta użytkownika na maszynach obliczeniowych ACK Cyfronet AGH można uzyskać po zapoznaniu się z regulaminami użytkowania maszyn oraz złożeniu odpowiednich wniosków:

Logowanie

Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można się na nie zalogować, oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH. Ponadto, jeśli planowane jest wykorzystanie programów w wersji graficznej, niezbędna jest obecność klienta XWindow na komputerze, z którego loguje się użytkownik.

System kolejkowy

Korzystanie z Komputerów Dużej Mocy wymaga znajomości obsługi systemu kolejkowego.

Zasoby dyskowe

Zasoby dyskowe dołączone do Komputerów Dużej Mocy w Cyfronecie podzielone są na trzy główne rodzaje:

katalogi domowe użytkowników
zasoby do składowania danych
zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń

Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się istotnie różnymi parametrami szybkości, pojemności oraz poziomu bezpieczeństwa danych, dlatego niezmiernie ważne jest odpowiednie dobieranie typu zasobu do przeznaczenia zapisywanego nań pliku.

Katalogi domowe

Katalog domowy (home) charakteryzuje się małą przestrzenią i stosunkowo niską wydajnością, za to wszystkie pliki z katalogów domowych posiadają regularnie tworzone kopie zapasowe. Katalog domowy służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.).

Składowanie danych

Katalogi składowania danych (storage) charakteryzują się stosunkowo dużą przestrzenią, średnią wydajnością oraz dobrym bezpieczeństwem danych i zabezpieczeniem przed omyłkowym skasowaniem plików, realizowanym za pomocą tzw. kopii migawkowych (ang. snapshot). Przestrzeń ta służy np. do składowania wyników czy plików wejściowych, które nie muszą posiadać kopii zapasowej lub ich duży rozmiar uniemożliwia przechowywanie ich w katalogu domowym.

Przestrzeń tymczasowa

Przestrzeń tymczasowa (scratch) jest przestrzenią dyskową dedykowaną do przeprowadzania obliczeń, dostępną z wszystkich serwerów wchodzących w skład superkomputera. Charakteryzuje się bardzo wysoką wydajnością i dużą pojemnością nie oferując jednak kopii zapasowych czy migawkowych. Służy do przechowywania danych generowanych przez aplikacje przez czas trwania obliczeń i wszystkie pliki powstałe w tym procesie powinny zostać usunięte niezwłocznie po zakończeniu zadania. Na niektórych systemach wdrożona jest polityka automatycznego usuwania bez ostrzeżenia plików starszych niż ustalona liczba dni. Przestrzeń ta jest realizowana poprzez system plików [[Lustre]. Dodatkowo na klastrze Zeus możliwe jest wykorzystanie części dysków lokalnych zainstalowanych w węzłach obliczeniowych jako niewspółdzielonej przestrzeni tymczasowej.

Quota

Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. quota), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika. Aktualnie przyznaną wielkość kwoty oraz jej użycie można zobaczyć za pomocą polecenia quota -s, a na klastrze Zeus za pomocą polecenia zeus-fs.

Ogólne zalecenia dotyczące obliczeń

Zaleca się, tam gdzie jest to możliwe, do korzystania w trakcie wykonywania obliczeń z szybkich połączeń sieciowych (np. Infiniband) czy też szybkich dysków. W przypadku programów uruchamianych na więcej niż jednym rdzeniu zalecamy wykonanie testów skalowalności. W wielu przypadkach zbyt duża liczba procesorów spowalnia całe obliczenia zamiast je przyspieszać. Zadeklarowana pamięć na obliczenia także może mieć znaczący wpływ na szybkość obliczeń. Znane są przypadki oprogramowania, które wykonuje się kilkakrotnie wolniej w przypadku zadeklarowania zbyt dużej pamięci w stosunku do potrzeb problemu obliczeniowego.

Informacje szczegółowe

Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na odpowiednich stronach maszyn.
Prometheus
Zeus

@@ Linia 1: / Linia 1: @@
-__TOC__
+{{DISPLAYTITLE:Podstawowe informacje}}
+==Uzyskiwanie konta==
+Konta użytkownika na maszynach obliczeniowych ACK Cyfronet AGH można uzyskać po zapoznaniu się z regulaminami użytkowania maszyn oraz złożeniu odpowiednich wniosków:
+* [[Prometheus:Konto|Prometheus]]
+* [[Zeus:Konto|Zeus]]
+* [[PlatonU3:Konto|PlatonU3]]
 ==Logowanie==
-Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można zalogować się na nie oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH. W tym celu można wykorzystać programy slogin, ssh, scp (UNIX/Linux) lub Putty, WinSCP (Windows). Ponadto jeśli planowane jest wykorzystanie programów w wersji okienkowej, niezbędna jest obecność klienta XWindow na komputerze, z którego loguje się użytkownik. W systemach UNIX/Linux wersja XWindow jest zwykle zainstalowana i dostępna dla użytkownika. Systemy Windows nie posiadają serwera XWindow dlatego należy takowy zainstalować. Polecamy instalację darmowego serwera Xów: XMing (http://sourceforge.net/projects/xming).
+Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można się na nie zalogować, oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH.  Ponadto, jeśli planowane jest wykorzystanie programów w wersji graficznej, niezbędna jest obecność klienta [http://pl.wikipedia.org/wiki/X_Window_System XWindow] na komputerze, z którego loguje się użytkownik.
-===Logowanie z systemu UNIX/Linux===
-<pre>
-ssh <nazwa_maszyny_dostępowej>
-</pre>
-lub
-<pre>
-ssh -l login <nazwa_maszyny_dostępowej>
-</pre>
-===Logowanie z systemu Windows===
-Otwieramy program Putty i w polu <tt>Host Name</tt> okna głównego wpisujemy nazwę maszyny dostępowej i potwierszamy klawiszem "Open". Następnie wpisujemy login i hasło.
-==Podstawy obsługi systemu kolejkowego==
-System kolejkowy jest wygodnym narzędziem uruchamiania zadań na zasobach obliczeniowych. W zależności od potrzeb, może on informować użytkownika o dacie i czasie rozpoczęcia, czy też zakończenia, wykonywania danego zadania, na wskazany adres e-mail.
-===Uruchamianie zadań ===
+* [[Podstawy:Logowanie_Linux|Logowanie z systemu UNIX/Linux/MacOS X]]
-Do uruchamiania zadań służy komenda <tt>qsub</tt>. Zadania można uruchamiać w dwóch trybach: interaktywnym, gdzie do dyspozycji użytkownika jest konsola terminala lub wsadowym. W tym drugim przypadku wszystkie komendy umieszcza się w pliku. W takim pliku linijki zawierające Instrukcje sterujące dla systemu kolejkowego muszą zaczynać się ciągiem znaków <tt>#PBS</tt>. Umieszcza się je w początkowej części pliku. Dzięki temu system kolejkowy jest w stanie odczytać opcje jemu właściwe właśnie z tych linijek i uruchomić pozostałe instrukcje, dotyczące już samego zadania obliczeniowego, z dalszej części pliku. Najważniejsze opcje i parametry komendy <tt>qsub</tt> zawiera poniższa tabela.
+* [[Podstawy:Logowanie_Windows|Logowanie z systemu Windows]]
-{| class="wikitable"
-! Opcja
-!Parametry
-! Opis
-! Uwagi
-|-
-| <tt>-l</tt> || || Opcja służy do specyfikacji zasobów (rdzeni, węzłów pamięci) dla zadania. <br> Poszczególne opcje można łączyć w jednej linii. W takim przypadku należy rozdzielić je znakiem dwukropka. ||
-|-
-| || <tt>nodes=<liczba_węzłów></tt> || służy do specyfikacji liczby wezłów ||
-|-
-| || <tt>ppn=<liczba rdzeni></tt> || Liczba żądanych rdzeni na każdym węźle || opcja niedostępna na maszynie [[Baribal]]
-|-
-| || <tt>mem=<żądana pamięć></tt> || Pamięć wymagana do obliczeń ||
-|-
-| || <tt>core8</tt> || żądanie uruchomienia obliczeń na węzłach o 8 rdzeniowych || opcja niedostępna na maszynie [[Baribal]] i [[Mars]]
-|-
-| || <tt>core12</tt> || żądanie uruchomienia obliczeń na węzłach o 12 rdzeniach|| opcja niedostępna na maszynie [[Baribal]] i [[Mars]]
-|-
-| || <tt>infiniband</tt> || żądanie uruchomienia zadania z szybkimi połączeniami Infiniband|| opcja niedostępna na maszynie [[Baribal]] i [[Mars]]
-|-
-| -q || <nazwa_kolejki>|| specyfikuje nazwę kolejki do której ma trafić zadanie
-| -
-| <tt>-I</tt> || uruchomienie zadania intraktywnego ||
-|-
-| <tt>-X</tt> || w trybie interaktywnym pozwala na uruchamianie programów okienkowych || opcja niedostępna na maszynie [[Baribal]] i [[Mars]]
-|}
-===Usuwanie zadań===
+==System kolejkowy==
-Do usuwania zadań służy komenda <tt>qdel</tt>.
+Korzystanie z Komputerów Dużej Mocy wymaga znajomości [[Podstawy:SLURM|obsługi systemu kolejkowego]].
-===Wyświetlanie informacji o stanie zadań w kolejkach===
-Do wyświetlania informacji o zadaniach oraz kolejkach służy komenda <tt>qstat</tt>.
+==Zasoby dyskowe==
-==Zasoby dyskowe ==
+Zasoby dyskowe dołączone do Komputerów Dużej Mocy w Cyfronecie podzielone są na trzy główne rodzaje:
+* katalogi domowe użytkowników
+* zasoby do składowania danych
+* zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń
+Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się istotnie różnymi parametrami szybkości, pojemności oraz poziomu bezpieczeństwa danych, dlatego niezmiernie ważne jest odpowiednie dobieranie typu zasobu do przeznaczenia zapisywanego nań pliku.
+===Katalogi domowe ===
+Katalog domowy (''home'') charakteryzuje się małą przestrzenią i stosunkowo niską wydajnością, za to wszystkie pliki z katalogów domowych posiadają regularnie tworzone kopie zapasowe. Katalog domowy służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.).
+===Składowanie danych ===
+Katalogi składowania danych (''storage'') charakteryzują się stosunkowo dużą przestrzenią, średnią wydajnością oraz dobrym bezpieczeństwem danych i zabezpieczeniem przed omyłkowym skasowaniem plików, realizowanym za pomocą tzw. kopii migawkowych (ang. ''snapshot''). Przestrzeń ta służy np. do składowania wyników czy plików wejściowych, które nie muszą posiadać kopii zapasowej lub ich duży rozmiar uniemożliwia przechowywanie ich w katalogu domowym.
+===Przestrzeń tymczasowa ===
+Przestrzeń tymczasowa (''scratch'') jest przestrzenią dyskową dedykowaną do przeprowadzania obliczeń, dostępną z wszystkich serwerów wchodzących w skład superkomputera. Charakteryzuje się bardzo wysoką wydajnością i dużą pojemnością nie oferując jednak kopii zapasowych czy migawkowych. Służy do przechowywania danych generowanych przez aplikacje przez czas trwania obliczeń i wszystkie pliki powstałe w tym procesie powinny zostać usunięte niezwłocznie po zakończeniu zadania. Na niektórych systemach wdrożona jest polityka automatycznego usuwania bez ostrzeżenia plików starszych niż ustalona liczba dni.
+Przestrzeń ta jest realizowana poprzez system plików [[Lustre]. Dodatkowo na klastrze [[Zeus]] możliwe jest wykorzystanie części dysków lokalnych zainstalowanych w węzłach obliczeniowych jako niewspółdzielonej przestrzeni tymczasowej.
+===Quota ===
+Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. ''quota''), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika.
+Aktualnie przyznaną wielkość kwoty oraz jej użycie można zobaczyć za pomocą polecenia <tt>quota -s</tt>, a na klastrze Zeus za pomocą polecenia zeus-fs.
 ==Ogólne zalecenia dotyczące obliczeń==
-Szybkość wykonywania obliczeń zależy od szeregu czynników.
+Zaleca się, tam gdzie jest to możliwe, do korzystania w trakcie wykonywania obliczeń z szybkich połączeń sieciowych (np. Infiniband) czy też szybkich dysków. W przypadku programów uruchamianych na więcej niż jednym rdzeniu zalecamy wykonanie testów skalowalności. W wielu przypadkach zbyt duża liczba procesorów spowalnia całe obliczenia zamiast je przyspieszać. Zadeklarowana pamięć na obliczenia także może mieć znaczący wpływ na szybkość obliczeń. Znane są przypadki oprogramowania, które wykonuje się kilkakrotnie wolniej w przypadku zadeklarowania zbyt dużej pamięci w stosunku do potrzeb problemu obliczeniowego.
 ==Informacje szczegółowe==
-[[Baribal:Podstawy|Baribal]] [[Mars:Podstawy|Mars]] [[Zeus:Podstawy|Zeus]]
+Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na odpowiednich stronach maszyn.
+<br />[[Prometheus:Podstawy|Prometheus]]
+<br />[[Zeus:Podstawy|Zeus]]
+[[Category:Podstawy]]