Podstawy

Logowanie

Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można zalogować się na nie oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH. W tym celu można wykorzystać programy slogin, ssh, scp (UNIX/Linux) lub Putty, WinSCP (Windows). Ponadto jeśli planowane jest wykorzystanie programów w wersji okienkowej, niezbędna jest obecność klienta XWindow na komputerze, z którego loguje się użytkownik. W systemach UNIX/Linux wersja XWindow jest zwykle zainstalowana i dostępna dla użytkownika. Systemy Windows nie posiadają serwera XWindow dlatego należy takowy zainstalować. Polecamy instalację darmowego serwera Xów: XMing (http://sourceforge.net/projects/xming).

Logowanie z systemu UNIX/Linux

ssh <nazwa_maszyny_dostępowej>

lub

ssh -l login <nazwa_maszyny_dostępowej> 

Logowanie z systemu Windows

Otwieramy program Putty i w polu Host Name okna głównego wpisujemy nazwę maszyny dostępowej i potwierszamy klawiszem "Open". Następnie wpisujemy login i hasło.

Podstawy obsługi systemu kolejkowego

System kolejkowy jest wygodnym narzędziem uruchamiania zadań na zasobach obliczeniowych. W zależności od potrzeb, może on informować użytkownika o dacie i czasie rozpoczęcia, czy też zakończenia, wykonywania danego zadania, na wskazany adres e-mail.

Uruchamianie zadań

Do uruchamiania zadań służy komenda qsub. Zadania można uruchamiać w dwóch trybach: interaktywnym, gdzie do dyspozycji użytkownika jest konsola terminala lub wsadowym. W tym drugim przypadku wszystkie komendy umieszcza się w pliku. W takim pliku linijki zawierające Instrukcje sterujące dla systemu kolejkowego muszą zaczynać się ciągiem znaków #PBS. Umieszcza się je w początkowej części pliku. Dzięki temu system kolejkowy jest w stanie odczytać opcje jemu właściwe właśnie z tych linijek i uruchomić pozostałe instrukcje, dotyczące już samego zadania obliczeniowego, z dalszej części pliku. Najważniejsze opcje i parametry komendy qsub zawiera poniższa tabela.

Opcja	Parametry	Opis	Uwagi
-l		Opcja służy do specyfikacji zasobów (rdzeni, węzłów pamięci) dla zadania. Poszczególne opcje można łączyć w jednej linii. W takim przypadku należy rozdzielić je znakiem dwukropka.
	nodes=<liczba_węzłów>	Parametr służy do specyfikacji liczby wezłów
	ppn=<liczba rdzeni>	Liczba żądanych rdzeni na każdym węźle	opcja niedostępna na maszynie Baribal
	walltime=<czas obliczeń>	Maksymalny czas obliczeń. Czas należy podawać w formacie DD:GG:MM:SS gdzie DD, GG, MM, SS oznaczają odpowiednio żądaną liczbę dni, godzin, minut i sekund na zadanie.
-N	<nazwa_zadania>	Nazwa zadania w systemie kolejkowym
-j	oe	Połączenie standardowego wyjścia ze standardowym wyjściem błędów podczas wykonywania obliczeń
-m	b, e lub a	System kolejkowy wyśle e-mail do użytkownika jeśli zadanie rozpocznie się wykonywać b, skończy wykonywać e lub zostanie przerwane a.
-M	<adres@e-mail.użytkownika>	Adres e-mail użytkownika na który ma zostać wysłana wiadomość o stanie zadania
-q	<nazwa_kolejki>	Specyfikuje nazwę kolejki do której ma trafić zadanie
-I		uruchomienie zadania intraktywnego
-X		w trybie interaktywnym pozwala na uruchamianie programów okienkowych	opcja niedostępna na maszynie Baribal i Mars

Wyświetlanie informacji o stanie zadań w kolejkach

Do wyświetlania informacji o zadaniach oraz kolejkach służy komenda qstat. Wywołanie komendy bez parametrów spowoduje wyświetlenie informacji o wszystkich zadaniach w kolejkach. Najczęściej używane opcje komendy qstat zebrano w tabeli poniżej.

Opcja	Parametry	Opis	Uwagi
-q	<nazwa_kolejki>	Bez parametrów wyświetla informacje o dostępnych kolejkach i ich parametrach.
-u	<nazwa_użytkownika>	Wyświetla informacje o zadaniach danego użytkownika.
<identyfikator zadania>		Wyświetla informacje o danym zadaniu.
-f		Pełna informacj o wszystkich zadaniach systemu kolejkowego.

Usuwanie zadań

Do usuwania zadań służy komenda qdel. W celu sunięcia zadania z kolejki potrzebny jest również jego identyfikator numeryczny (jobid), który można wyświetlić komendą qstat. Cała sekwencja może wyglądać następująco:

qdel 12345678910

Przydatne zmienne systemu kolejkowego

• $PBS_NODEFILE Zmienna wskazuje na plik z nazwami węzłów przydzielonymi dla zadania. Najczęściej wykorzystywany do określania liczby rdzeni przydzielonej zadaniu np.:

export NPROC=`cat $PBS_NODEFILE | wc -l`

• $PBS_O_WORKDIR Zmienna wskazuje na katalog, z kkórego uruchomiono obliczenia. Najczęściej wykorzystywana do wskazania plików dla zadania np.:

cd $PBS_O_WORKDIR

Zasoby dyskowe

Zasoby dyskowe dołączone do Komputerów Dużej Mocy w Cyfronecie podzielone są na trzy główne rodzaje:

• katalogi domowe użytkowników
• zasoby do składowania danych
• zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń

Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się skrajnie różnymi parametrami szybkości, pojemności oraz poziomu bezpieczeństwa danych, dlatego niezmiernie ważne jest odpowiednie dobieranie typu zasobu do przeznaczenia zapisywanego nań pliku.

Quota

Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. quota), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika. Aktualnie przyznaną kwotą oraz jej użycie można zobaczyć za pomocą polecenia quota -s.

Katalogi domowe

Charakteryzuje się małą przestrzenią i stosunkowo wolnym dostępem służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.).

Przestrzeń tymczasowa

rugi nazywany popularnie "scratch" to przestrzeń dyskowa przeznaczona do właściwych obliczeń. Prosimy o usuwanie tymczasowych plików obliczeń po ich zakończeniu. W odróżnieniu od katalogu domowego użytkownika udział "scratch" jest wielokrotnie szybszy. Ponadto jego pojemność jest wielokrotnie większa. W odróżnieniu od katalogu domowego użytkownika zawartość dysków "scratch" może być usuwana przez administratorów bez ostrzeżenia.

Ogólne zalecenia dotyczące obliczeń

Zaleca się, tam gdzie jest to możliwe korzystanie z szybkich połączeń sieciowych (np. Infiniband) czy też szybkich dysków w trakcie wykonywania obliczeń. W przypadku programów uruchamianych na więcej niż jednym rdzeniu zalecamy wykonanie testów skalowalności. W wielu przypadkach zbyt duża liczba procesorów spowalnia całe obliczenia zamiast je przyspieszać. Zadeklarowana pamięć na obliczenia także może mieć znaczący wpływ na szybkość obliczeń. Znane są przypadki oprogramowania, które wykonuje się kilkakrotnie wolniej w przypadku zadeklarowania zbyt dużej pamięci w stosunku do problemu obliczeniowego.

Informacje szczegółowe

Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na stronach właściwym danym maszynom. Baribal Mars Zeus