Zeus:Podstawy: Różnice pomiędzy wersjami

Z Komputery Dużej Mocy w ACK CYFRONET AGH
Skocz do:nawigacja, szukaj
 
(Nie pokazano 49 wersji utworzonych przez 8 użytkowników)
Linia 3: Linia 3:
 
== Nazwa maszyny dostępowej ==
 
== Nazwa maszyny dostępowej ==
  
−
== Zasady pracy na maszynie dostępowej ==
+
<code>
  
−
obliczenia
+
</code>
  
−
kompilacja
+
Aktualnie dostęp jest możliwy jedynie za pomocą narzędzi gridowych.
  
−
granty
+
Logowanie na maszynę dostępową możliwe jest poprzez SSH.
 +
Odciski palca (tzw. fingeprint) kluczy:
 +
<pre>
 +
(RSA)    SHA256:n5ro4MNw3Lmn1kr9SlnfBeFYSQ5u480kxAXMLDbyYnQ
 +
(RSA)    MD5:d6:ca:74:0a:e5:64:2d:4d:64:ef:9b:c6:75:3c:88:2b
 +
(ECDSA)  SHA256:o/fzPMSmXEtbBNrg/dY9egMBQvDqzr2cP3qcpZWgpgo
 +
(ECDSA)  MD5:35:43:39:c9:98:d3:8d:ad:af:80:9d:0a:c9:84:22:89
 +
</pre>
  
−
quoty na FS-ach
+
Proszę upewnić się, że został przedstawiony poprawny odcisk klucza.
  
−
== Opis kolejek ==
+
== Zasoby dyskowe ==
  
−
{| class="wikitable" style="text-align:center;"
+
{| class="wikitable" style="text-align:center;"
−
! Nazwa kolejki !! Maksymalna liczba zadań użytkownika !! Maksymalny czas trwania zadania !! Dodatkowe informacje
+
! Lokalizacja !! Limit !! Przeznaczenie !! Sposób<br/>dostępu !! Kopia<br/> bezpieczeństwa !! '''Możliwość wykonywania intensywnych<br/> zapisów i/lub odczytów''' !! Uwagi
 
|-
 
|-
−
| l_prio || 40 || 1 godzina || kolejka przeznaczona dla krótkich zadań, które powinny się szybko policzyć
+
|<tt>$HOME</tt> || 7GB || [[Podstawy#Katalogi_domowe|katalog domowy użytkownika]] || NFS || tak || nie ||
 
|-
 
|-
−
| l_test || 10 || 15 minut || kolejka do testów działania zadania
+
|<tt>$STORAGE</tt> || 100GB || [[Podstawy#Składowanie_danych|składowanie danych użytkownika]] || GPFS || nie || nie ||
 
|-
 
|-
−
| l_short || 1000 || 3 godziny ||  
+
|<tt>$SCRATCH</tt> || brak limitu || [[Podstawy#Przestrzeń tymczasowa|przestrzeń dla plików tymczasowych zadań]] || Lustre || nie || tak || dane starsze niż '''30 dni'''<br/>będą usuwane automatycznie
 
|-
 
|-
−
| l_long || 700 || 3 doby ||  
+
| <tt>$PLG_GROUPS_SHARED/nazwa_zespołu</tt><br/> <tt>$PLG_GROUPS_STORAGE/nazwa_zespołu</tt>  || suma grantów || przestrzeń dla katalogów zespołów (PL-Grid) || Lustre || nie || nie ||
 +
|}
 +
 
 +
Użytkownik klastra może sprawdzić użycie przydzielonych mu zasobów dyskowych poleceniem '''zeus-fs'''.
 +
 
 +
== Dostępne oprogramowanie ==
 +
 
 +
Opis dostępnego oprogramowania znajduje się [[Oprogramowanie|tutaj]].
 +
 
 +
== Uruchamianie zadań ==
 +
 
 +
System kolejkowy: SLURM
 +
 
 +
W celu uruchomienia zadania niezbędna jest wiedza na temat [[Podstawy:SLURM|podstawowych komend systemu kolejkowego]].
 +
 
 +
== Opis partycji ==
 +
 
 +
{| class="wikitable"  style="text-align:left;"
 +
! Nazwa partycji !!  Maksymalny czas<br/> trwania zadania !! Dodatkowe informacje
 +
|-
 +
| plgrid-testing || 1 godzina || zwiększony priorytet<br/> przeznaczona na krótkie zadania testowe, kompilację kodu, kopiowanie danych
 +
|-
 +
| plgrid || 72 godziny || partycja domyślna, ustawiana automatycznie przy braku wyboru partycji
 
|-
 
|-
−
| l_infinite || 700 || bez limitu ||  
+
| plgrid-short || 3 godziny ||  
 +
|-
 +
| plgrid-long || 168 godzin || partycja pozwalająca na zlecanie zadań z długim czasem wykonania
 +
|-
 +
| plgrid-gpu || 72 godziny || partycja zawierająca węzły GPGPU
 
|}
 
|}
 +
 +
'''Uwaga:''' Limity kolejek mogą zostać zmienione przez administratorów. Aktualne limity kolejek można sprawdzić komendą <tt>scontrol show partition=<nazwa_partycji></tt>
  
 
== Opis właściwości węzłów obliczeniowych ==
 
== Opis właściwości węzłów obliczeniowych ==
  
−
== Sposób korzystania z sieci Infiniband ==
+
{| class="wikitable" style="text-align:center;"
 +
! Właściwość
 +
! Opis
 +
|-
 +
| E5645, X5650, opteron6276 || model procesora
 +
|-
 +
| intel, amd || producent procesora
 +
|-
 +
| mhz2667 || szybkość procesora
 +
|-
 +
| mem16gb, mem24gb || ilość pamięci RAM w serwerze obliczeniowym
 +
|-
 +
| core8, core12, core64 || ilość rdzeni w serwerze obliczeniowym
 +
|-
 +
| ib_ql || sieć Inifniband firmy Qlogic
 +
|-
 +
|ib_mlx || sieć Infiniband firmy Mellanox
 +
|-
 +
|infiniband || serwer obliczeniowy z siecią Infiniband
 +
|}
 +
 
 +
<!-- == Sposób korzystania z sieci Infiniband == -->
 +
== Zasady obowiązujące na klastrze Zeus ==
 +
 
 +
* obliczenia wykonywane na maszynie dostępowej będą usuwane bez ostrzeżenia
 +
* obliczenia z intensywnym wykorzystywaniem /people/[login] lub /storage/[login] będą usuwane bez ostrzeżenia
 +
* obliczenia wykraczające poza zakres deklarowanego tematu badań zużywające znaczną część zasobów klastra będą usuwane bez ostrzeżenia
 +
* uruchamianie benchmarków bez uprzedniego kontaktu z administratorami jest niedozwolone
 +
* po pięciu nieudanych próbach zalogowania adres IP "atakującego" jest blokowany na 30 minut
 +
* prosimy uzywac oprogramowania ssh-agent do inicjalizacji kluczy z hasłem w celu połączenia z innymi maszynami
 +
* prywatne klucze SSH nie posiadające haseł zabezpieczających będą usuwane bez ostrzeżenia
 +
* w celu wykonywania obliczeń niezbędne jest podanie identyfikatora grantu za pomocą parametru "-A". Szczegółowy opis grantów znajduje się [[Granty|tutaj]].
 +
* w ramach grantu osobistego w jednym zadaniu można użyć 96 rdzeni obliczeniowych
 +
* w celu skompilowania programu proszę użyć [[Podstawy:SLURM#Zadanie_interaktywne|zadań interaktywnych]].

Aktualna wersja na dzień 08:56, 10 maj 2022


Nazwa maszyny dostępowej

Aktualnie dostęp jest możliwy jedynie za pomocą narzędzi gridowych.

Logowanie na maszynę dostępową możliwe jest poprzez SSH. Odciski palca (tzw. fingeprint) kluczy: 

 (RSA)     SHA256:n5ro4MNw3Lmn1kr9SlnfBeFYSQ5u480kxAXMLDbyYnQ
 (RSA)     MD5:d6:ca:74:0a:e5:64:2d:4d:64:ef:9b:c6:75:3c:88:2b
 (ECDSA)   SHA256:o/fzPMSmXEtbBNrg/dY9egMBQvDqzr2cP3qcpZWgpgo
 (ECDSA)   MD5:35:43:39:c9:98:d3:8d:ad:af:80:9d:0a:c9:84:22:89

Proszę upewnić się, że został przedstawiony poprawny odcisk klucza.

Zasoby dyskowe

Lokalizacja Limit Przeznaczenie Sposób
dostępu		 Kopia
bezpieczeństwa		 Możliwość wykonywania intensywnych
zapisów i/lub odczytów		 Uwagi
$HOME 7GB katalog domowy użytkownika NFS tak nie
$STORAGE 100GB składowanie danych użytkownika GPFS nie nie
$SCRATCH brak limitu przestrzeń dla plików tymczasowych zadań Lustre nie tak dane starsze niż 30 dni
będą usuwane automatycznie
$PLG_GROUPS_SHARED/nazwa_zespołu
$PLG_GROUPS_STORAGE/nazwa_zespołu		 suma grantów przestrzeń dla katalogów zespołów (PL-Grid) Lustre nie nie

Użytkownik klastra może sprawdzić użycie przydzielonych mu zasobów dyskowych poleceniem zeus-fs.

Dostępne oprogramowanie

Opis dostępnego oprogramowania znajduje się tutaj.

Uruchamianie zadań

System kolejkowy: SLURM

W celu uruchomienia zadania niezbędna jest wiedza na temat podstawowych komend systemu kolejkowego.

Opis partycji

Nazwa partycji Maksymalny czas
trwania zadania		 Dodatkowe informacje
plgrid-testing 1 godzina zwiększony priorytet
przeznaczona na krótkie zadania testowe, kompilację kodu, kopiowanie danych
plgrid 72 godziny partycja domyślna, ustawiana automatycznie przy braku wyboru partycji
plgrid-short 3 godziny
plgrid-long 168 godzin partycja pozwalająca na zlecanie zadań z długim czasem wykonania
plgrid-gpu 72 godziny partycja zawierająca węzły GPGPU

Uwaga: Limity kolejek mogą zostać zmienione przez administratorów. Aktualne limity kolejek można sprawdzić komendą scontrol show partition=<nazwa_partycji>

Opis właściwości węzłów obliczeniowych

Właściwość Opis
E5645, X5650, opteron6276 model procesora
intel, amd producent procesora
mhz2667 szybkość procesora
mem16gb, mem24gb ilość pamięci RAM w serwerze obliczeniowym
core8, core12, core64 ilość rdzeni w serwerze obliczeniowym
ib_ql sieć Inifniband firmy Qlogic
ib_mlx sieć Infiniband firmy Mellanox
infiniband serwer obliczeniowy z siecią Infiniband

Zasady obowiązujące na klastrze Zeus

  • obliczenia wykonywane na maszynie dostępowej będą usuwane bez ostrzeżenia
  • obliczenia z intensywnym wykorzystywaniem /people/[login] lub /storage/[login] będą usuwane bez ostrzeżenia
  • obliczenia wykraczające poza zakres deklarowanego tematu badań zużywające znaczną część zasobów klastra będą usuwane bez ostrzeżenia
  • uruchamianie benchmarków bez uprzedniego kontaktu z administratorami jest niedozwolone
  • po pięciu nieudanych próbach zalogowania adres IP "atakującego" jest blokowany na 30 minut
  • prosimy uzywac oprogramowania ssh-agent do inicjalizacji kluczy z hasłem w celu połączenia z innymi maszynami
  • prywatne klucze SSH nie posiadające haseł zabezpieczających będą usuwane bez ostrzeżenia
  • w celu wykonywania obliczeń niezbędne jest podanie identyfikatora grantu za pomocą parametru "-A". Szczegółowy opis grantów znajduje się tutaj.
  • w ramach grantu osobistego w jednym zadaniu można użyć 96 rdzeni obliczeniowych
  • w celu skompilowania programu proszę użyć zadań interaktywnych.
Źródło: „https://kdm.cyfronet.pl/mediawiki/index.php?title=Zeus:Podstawy&oldid=2255”