Tekst źródłowy strony Prometheus:Podstawy

__NOTITLE__

== Logowanie ==

Dostęp do klastra Prometheus realizowany jest za pośrednictwem maszyny dostępowej:
<pre>
prometheus.cyfronet.pl
</pre>

np.

<pre>
ssh plgtestowy@prometheus.cyfronet.pl
</pre>

Możliwe jest także użycie krótszego aliasu '''pro.cyfronet.pl'''.

Logowanie na maszynę dostępową możliwe jest poprzez SSH.

== Dostępne oprogramowanie ==

Opis dostępnego oprogramowania znajduje się [[Oprogramowanie|tutaj]].

Dostęp do oprogramowania realizowany jest za pomocą narzędzia [[Prometheus:Lmod|Lmod]].

== Partycje ==

Odpowiednikiem kolejek PBS dla systemu SLURM są partycje. Prometheus posiada aktualnie następujące partycje:

{| class="wikitable"  style="text-align:center;"
! Nazwa partycji !! Zasoby !! Maksymalny czas<br/> trwania zadania !! Informacje
|-
| red || 576 węzłów (13824 CPU) || Inf || Partycja domyślna, pierwsza wyspa
|-
| green || 576 węzłów (13824 CPU) || Inf ||Druga wyspa
|-
| blue || 576 węzłów (13824 CPU) || Inf || Trzecia wyspa
|-
| '''plgrid''' || 288 węzłów (6912 CPU) || 72:00:00 || Partycja dla infrastruktury PL-Grid '''(aktualnie jedyna dostępna dla użytkowników)'''
|-
| all || 1728 węzłów (41472 CPU) || Inf || Zbiór wszystkich węzłów Prometheusa
|}

Dokładne informacje na temat partycji można otrzymać przy pomocy polecenia

<code>
scontrol show partition [<nazwa_partycji>]
</code>

'''Uwagi:'''
* Aktualnie dla użytkowników udostępniona jest wyłącznie partycja '''plgrid'''
* Zadania nieprzekraczające rozmiaru wyspy obliczeniowej powinny być uruchamiane w ramach partycji wyspy. Zlecanie obliczeń w partycji <tt> all </tt> powoduje potencjalne rozbicie zadania pomiędzy wyspami obliczeniowymi, co skutkuje obniżeniem efektywności obliczeń.

== Zasoby dyskowe ==

{| class="wikitable" style="text-align:center;"
! Lokalizacja !! Limit danych !! Limit liczby plików !! Przeznaczenie !! Sposób<br/>dostępu !! Przepustowość !! Pojemność !! Kopia<br/> bezpieczeństwa !! '''Możliwość wykonywania intensywnych<br/> zapisów i/lub odczytów''' !! Uwagi
|-
|<tt>$HOME</tt> || 40 GB || 1 000 000 || [[Podstawy#Katalogi_domowe|katalog domowy użytkownika]] || NFS || 1 GB/s || ∞ ||tak || nie ||
|-
|<tt>$SCRATCH</tt> || 100 TB || 1 000 000 || [[Podstawy#Przestrzeń tymczasowa|przestrzeń dla plików tymczasowych zadań]] || Lustre || 120 GB/s || 5 PB ||nie || tak || dane starsze niż '''30 dni'''<br/>będą usuwane automatycznie
|-
| <tt>$PLG_GROUPS_STORAGE/nazwa_zespołu</tt>  ||colspan="2"| suma grantów || przestrzeń dla katalogów zespołów (PL-Grid) || Lustre || 30 GB/s || 2,5 PB || nie || nie ||
|}

=== Zmienne środowiskowe ===

Osobiste:
* $HOME, $PLG_USER_STORAGE, np. '/people/plgtestowy' - wskazuje na katalog domowy
* $PLG_USER_SCRATCH_SHARED, $SCRATCH np. '/net/scratch/people/plgtestowy/' - scratch dla użytkownika - '''tu należy trzymać dane podczas obliczeń'''

Zespołowe (do nich należy dodać nazwę zespołu):
* PLG_GROUPS_STORAGE, PLG_GROUPS_SHARED, np. '/net/archive/groups' - wskazuje na katalog do składowania danych zespołów (dane wejściowe, wyjściowe, wymiana danych pomiędzy osobami)

== Uruchamianie zadań ==

Zlecanie zadań na klastrze Prometheus odbywa się poprzez system kolejkowy SLURM.

Zadanie może być zlecone zarówno w trybie wsadowym jak i w trybie interaktywnym.

'''<span style="color: crimson">Przed uruchomieniem zadań zapoznaj się z informacjami o [[System_Grant%C3%B3w|systemie grantów]]</span>'''

=== Tryb wsadowy ===

Do zlecania zadania w trybie wsadowym służy komenda <tt>sbatch</tt>.
Użycie komendy:
<code>sbatch skrypt.sh</code>

'''Przykładowy skrypt:'''

'''<span style="color: crimson">UWAGA! To jest przykładowy skrypt, którego NIE NALEŻY uruchamiać. Przed jego uruchomieniem należy przeglądnąć podane opcje i dostosować je do własnych potrzeb, zmieniając m.i. nazwę grantu, nazwę partycji, czas trwania zadania, adres email, itp.</span>'''

<syntaxhighlight lang="bash">
#!/bin/bash -l
## Nazwa zlecenia
#SBATCH -J ADFtestjob
## Liczba węzłów
#SBATCH -N 2
## Maksymalna liczba zadań w zleceniu (domyślnie ilość rdzeni)
#SBATCH -n 48
## Ilość zadań na węzeł
#SBATCH --ntasks-per-node=24
## Maksymalna ilość zużytej pamięci na węzeł (w MB)
#SBATCH --mem 24000
## Maksymalny czas trwania zlecenia
#SBATCH --time=20:00:00 
## Nazwa grantu do rozliczenia zużycia zasobów
#SBATCH -A testgrant
## Specyfikacja partycji
#SBATCH -p blue
## Plik ze standardowym wyjściem
#SBATCH --output="adf.out"
## Plik ze standardowym wyjściem błędów
#SBATCH --error="adf.err"
## Typ powiadomień e-mail
#SBATCH --mail-type=BEGIN,END
## E-mail na który wysłać powiadomienia (domyślnie adres podany przy tworzeniu konta PL-Grid)
#SBATCH --mail-user=user@example.com

## przejscie do katalogu z ktorego wywolany zostal sbatch
cd $SLURM_SUBMIT_DIR

srun /bin/hostname
module load apps/adf/2014.07 
adf input.adf

</syntaxhighlight>

=== Tryb interaktywny ===

Do zlecania zadań w trybie interaktywnym z powłoką służy komenda (przykład):
<code>srun -p plgrid -N 2 --ntasks-per-node=24 -n 48 -A grant_id --pty /bin/bash -l</code>
Powyższa komenda uruchomi zadanie na 2 węzłach i 48 rdzeniach (24 rdzenie na węzeł).

Samo polecenie <tt>srun</tt> odpowiada za uruchomienie komendy w ramach zaalokowanych zasobów.<br>
Jednak w przypadku, gdy zasoby nie zostały wcześniej zaalokowane, komenda ta uprzednio dokonuje ich rezerwacji tuż przed uruchomieniem obliczeń.


'''Uwaga:''' Wszelkie informacje na temat komend SLURMa można znaleźć w manualu, np.: <code> man sbatch</code>

== Monitorowanie kolejek, partycji, węzłów, zadań i zasobów ==

*; Sktypty specyficzne dla Prometheusa
** '''[[Prometheus:pro-jobs|pro-jobs]]''' - statystyki dla uruchomionych zadań użytkownika
** '''[[Prometheus:pro-jobs-history|pro-jobs-history]]''' - statystyki dla zakończonych zadań użytkownika
** '''[[Prometheus:pro-fs|pro-fs]]''' - statystyki użycia zasobów dyskowych przez użytkownika

*; Narzędzia systemu SLURM
**<code>squeue</code> - lista aktualnie zakolejkowanych/uruchomionych zadań
**<code>scontrol show job [<ID_zadania>]</code> - szczegóły zadania
**<code>sstat -a -j ID_zadania/ID_zadania.batch</code> - zużycie zasobów w ramach kroków (step) działającego zadania
**<code>sacct</code> - zużycie zasobów zakończonego już zadania/kroku
**<code>scontrol show partition [<nazwa_partycji>]</code> - właściwości partycji
**<code>sinfo</code> - lista węzłów
**<code>scontrol show node [<nazwa_węzła>]</code> - właściwości węzła

<!-- == Opis właściwości węzłów obliczeniowych == -->
<!-- == Sposób korzystania z sieci Infiniband == -->

== Przenoszenie danych z klastra Zeus ==

Klastry Zeus i Prometheus nie współdzielą żadnych zasobów dyskowych, w związku z tym, aby korzystać z danych zgromadzonych na Zeusie, należy je najpierw skopiować. W tym celu możemy posłużyć się komendami:
* <code>scp</code> - w przypadku małych plików (używa loginu i hasła),
* <code>globus-url-copy</code> - w przypadku dużych plików (używa loginu i hasła LUB grid proxy),
* <code>uberftp</code> - w przypadku dużych plików, interaktywnie (używa grid proxy).


Podstawowe informacje o komendzie globus-url-copy:
* składnia: <code>globus-url-copy ŻRÓDŁO CEL</code>, gdzie źródło i cel poprzedzone są nazwą protokołu: np. <code>file://</code>,
* aby pobrać pliki z zeusa używamy 2 protokołów:
** gsiftp - <code>gsiftp://zeus.cyfronet.pl/</code> - uwierzytelnianie za pomocą proxy (musimy najpierw stworzyć grid proxy komendą <code>grid-proxy-init</code>),
** sshftp - <code>sshftp://zeus.cyfronet.pl/</code> - uwierzytelnianie hasłem PLGrid,
* uwierzytelnianie proxy pozwala uruchamiać wiele transferów bez podawania hasła za każdym razem,
* protokół docelowy to <code>file://</code> czyli plik/katalog lokalny,
* dla ŻRÓDŁA i CELU musimy podać pełną ścieżkę pliku lub możemy użyć skrótu w postaci <code>~plgLOGIN</code> do naszego katalogu domowego,
* dla CELU (czyli protokołu <code>file://</code>) możemy podać też zmienne środowiskowe np. <code>$PWD</code> - bieżący katalog,
* w przypadku CELU gdy podamy nazwę pliku np. <code>$PWD/nazwa.txt</code>, plik zapisze się pod daną nazwą, a gdy podamy tylko katalog, to plik zapisze się pod taką samą nazwą jak źródłowy,
* aby przesyłać całe katalogi, należy je najpierw spakować komendą <code>tar -czf archiwum.tar katalog</code>,
* w przypadku gdy nasz login na klastrze Prometheus różni się od tego na klastrze Zeus możemy użyć wyłącznie protokołu "sshftp://" a do ŹRÓDŁA należy dodać login na klastrze Zeus np. <code>sshftp://MOJ_USERNAME@zeus.cyfronet.pl/</code>.


Przykład użycia komendy <code>globus-url-copy</code>:
* skopiuj z katalogu domowego użytkownika plgLOGIN na klastrze Zeus, do bieżącego katalogu plik "bigfile.txt" i nadaj mu tą samą nazwę:
<pre>globus-url-copy sshftp://zeus.cyfronet.pl/~plgLOGIN/bigfile.txt file://$PWD/</pre>
* skopiuj plik "/mnt/gpfs/work/plgrid/groups/plggGROUP_NAME/bigfile.txt" z klastara Zeus do bieżącego katalogu:
<pre>globus-url-copy sshftp://zeus.cyfronet.pl//mnt/gpfs/work/plgrid/groups/plggGROUP_NAME/bigfile.txt file://$PWD/</pre>
* j.w. ale z podanym loginem z klastra Zeus (domyślnie używany jest taki sam użytkownik na jakiego jesteśmy zalogowani)
<pre>globus-url-copy sshftp://MOJ_USERNAME@zeus.cyfronet.pl//mnt/gpfs/work/plgrid/groups/plggGROUP_NAME/bigfile.txt file://$PWD/</pre>


Odnośniki do dodatkowych pomocy/dokumentacji:
* scp:
** http://linux.die.net/man/1/scp
* globus-url-copy:
** http://linux.die.net/man/1/globus-url-copy
** http://toolkit.globus.org/toolkit/docs/4.0/data/gridftp/rn01re01.html
* uberftp:
** http://linux.die.net/man/1/uberftp
** https://twiki.opensciencegrid.org/bin/view/Documentation/StorageUberFtp
* grid-proxy-init
** http://linux.die.net/man/1/grid-proxy-init
** http://toolkit.globus.org/toolkit/docs/4.0/security/prewsaa/rn01re05.html

== Zasady obowiązujące na klastrze Prometheus ==

* obliczenia wykonywane na maszynie dostępowej będą usuwane bez ostrzeżenia
* obliczenia wykraczające poza zakres deklarowanego tematu badań zużywające znaczną część zasobów klastra będą usuwane bez ostrzeżenia
* W celu skompilowania programu proszę użyć polecenia: <code>srun -p plgrid -A grant_id -n 1 --pty /bin/bash -l</code><br/>Polecenie to spowoduje zalogowanie użytkownika na węzeł obliczeniowy, tam proszę uruchomić kompilację programu
* Dane obliczeniowe należy składować i przetwarzać na systemie plików Lustre pod lokalizacją $SCRATCH
* W obliczeniach '''nie''' należy korzystać z katalogu /tmp, do przechowywania plików tymczasowych należy wykorzystywać katalogi znajdujące się pod zmiennymi $SCRATCH, $SCRATCHDIR lub $TMPDIR

== Kontakt ==
Pomoc dla użytkowników [http://www.plgrid.pl PL-Grid]: mailto:helpdesk@plgrid.pl <br /> Kontakt z administratorami: mailto:prometheus@cyfronet.pl, +48 12 632 33 55 w. 603.