Podstawy: Różnice pomiędzy wersjami
| (Nie pokazano 9 wersji utworzonych przez 3 użytkowników) | |||
| Linia 3: | Linia 3: | ||
==Uzyskiwanie konta== | ==Uzyskiwanie konta== | ||
Konta użytkownika na maszynach obliczeniowych ACK Cyfronet AGH można uzyskać po zapoznaniu się z regulaminami użytkowania maszyn oraz złożeniu odpowiednich wniosków: | Konta użytkownika na maszynach obliczeniowych ACK Cyfronet AGH można uzyskać po zapoznaniu się z regulaminami użytkowania maszyn oraz złożeniu odpowiednich wniosków: | ||
| − | * [[ | + | * [[Prometheus:Konto|Prometheus]] |
| − | |||
| − | |||
* [[Zeus:Konto|Zeus]] | * [[Zeus:Konto|Zeus]] | ||
| + | * [[PlatonU3:Konto|PlatonU3]] | ||
| + | |||
| + | |||
==Logowanie== | ==Logowanie== | ||
| − | Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można | + | Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można się na nie zalogować, oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH. Ponadto, jeśli planowane jest wykorzystanie programów w wersji graficznej, niezbędna jest obecność klienta [http://pl.wikipedia.org/wiki/X_Window_System XWindow] na komputerze, z którego loguje się użytkownik. |
* [[Podstawy:Logowanie_Linux|Logowanie z systemu UNIX/Linux/MacOS X]] | * [[Podstawy:Logowanie_Linux|Logowanie z systemu UNIX/Linux/MacOS X]] | ||
| Linia 15: | Linia 16: | ||
==System kolejkowy== | ==System kolejkowy== | ||
| − | Korzystanie z Komputerów Dużej Mocy wymaga znajomości [[Podstawy: | + | Korzystanie z Komputerów Dużej Mocy wymaga znajomości [[Podstawy:SLURM|obsługi systemu kolejkowego]]. |
==Zasoby dyskowe== | ==Zasoby dyskowe== | ||
| Linia 24: | Linia 25: | ||
* zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń | * zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń | ||
| − | Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się | + | Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się istotnie różnymi parametrami szybkości, pojemności oraz poziomu bezpieczeństwa danych, dlatego niezmiernie ważne jest odpowiednie dobieranie typu zasobu do przeznaczenia zapisywanego nań pliku. |
===Katalogi domowe === | ===Katalogi domowe === | ||
| − | Katalog domowy (home) charakteryzuje się małą przestrzenią i stosunkowo niską wydajnością, za to wszystkie pliki z katalogów domowych posiadają regularnie tworzone kopie zapasowe. Katalog domowy służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.). | + | Katalog domowy (''home'') charakteryzuje się małą przestrzenią i stosunkowo niską wydajnością, za to wszystkie pliki z katalogów domowych posiadają regularnie tworzone kopie zapasowe. Katalog domowy służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.). |
===Składowanie danych === | ===Składowanie danych === | ||
| − | Katalogi składowania danych (storage) charakteryzują się stosunkowo dużą przestrzenią, średnią wydajnością oraz dobrym bezpieczeństwem danych i zabezpieczeniem przed omyłkowym skasowaniem plików, realizowanym za pomocą tzw. kopii migawkowych (ang. snapshot). Przestrzeń ta służy np. do składowania wyników czy plików wejściowych, które nie muszą posiadać kopii zapasowej lub | + | Katalogi składowania danych (''storage'') charakteryzują się stosunkowo dużą przestrzenią, średnią wydajnością oraz dobrym bezpieczeństwem danych i zabezpieczeniem przed omyłkowym skasowaniem plików, realizowanym za pomocą tzw. kopii migawkowych (ang. ''snapshot''). Przestrzeń ta służy np. do składowania wyników czy plików wejściowych, które nie muszą posiadać kopii zapasowej lub ich duży rozmiar uniemożliwia przechowywanie ich w katalogu domowym. |
===Przestrzeń tymczasowa === | ===Przestrzeń tymczasowa === | ||
| − | Przestrzeń tymczasowa (scratch) | + | Przestrzeń tymczasowa (''scratch'') jest przestrzenią dyskową dedykowaną do przeprowadzania obliczeń, dostępną z wszystkich serwerów wchodzących w skład superkomputera. Charakteryzuje się bardzo wysoką wydajnością i dużą pojemnością nie oferując jednak kopii zapasowych czy migawkowych. Służy do przechowywania danych generowanych przez aplikacje przez czas trwania obliczeń i wszystkie pliki powstałe w tym procesie powinny zostać usunięte niezwłocznie po zakończeniu zadania. Na niektórych systemach wdrożona jest polityka automatycznego usuwania bez ostrzeżenia plików starszych niż ustalona liczba dni. |
| − | Przestrzeń ta jest realizowana | + | Przestrzeń ta jest realizowana poprzez system plików [[Lustre]. Dodatkowo na klastrze [[Zeus]] możliwe jest wykorzystanie części dysków lokalnych zainstalowanych w węzłach obliczeniowych jako niewspółdzielonej przestrzeni tymczasowej. |
===Quota === | ===Quota === | ||
| − | Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. quota), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika. | + | Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. ''quota''), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika. |
| − | Aktualnie przyznaną | + | Aktualnie przyznaną wielkość kwoty oraz jej użycie można zobaczyć za pomocą polecenia <tt>quota -s</tt>, a na klastrze Zeus za pomocą polecenia zeus-fs. |
==Ogólne zalecenia dotyczące obliczeń== | ==Ogólne zalecenia dotyczące obliczeń== | ||
| − | Zaleca się, tam gdzie jest to możliwe | + | Zaleca się, tam gdzie jest to możliwe, do korzystania w trakcie wykonywania obliczeń z szybkich połączeń sieciowych (np. Infiniband) czy też szybkich dysków. W przypadku programów uruchamianych na więcej niż jednym rdzeniu zalecamy wykonanie testów skalowalności. W wielu przypadkach zbyt duża liczba procesorów spowalnia całe obliczenia zamiast je przyspieszać. Zadeklarowana pamięć na obliczenia także może mieć znaczący wpływ na szybkość obliczeń. Znane są przypadki oprogramowania, które wykonuje się kilkakrotnie wolniej w przypadku zadeklarowania zbyt dużej pamięci w stosunku do potrzeb problemu obliczeniowego. |
==Informacje szczegółowe== | ==Informacje szczegółowe== | ||
| − | Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na stronach maszyn. | + | Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na odpowiednich stronach maszyn. |
| − | <br />[[ | + | <br />[[Prometheus:Podstawy|Prometheus]] |
| − | |||
<br />[[Zeus:Podstawy|Zeus]] | <br />[[Zeus:Podstawy|Zeus]] | ||
| + | |||
| + | |||
[[Category:Podstawy]] | [[Category:Podstawy]] | ||
Aktualna wersja na dzień 11:49, 17 kwi 2018
Spis treści
Uzyskiwanie konta
Konta użytkownika na maszynach obliczeniowych ACK Cyfronet AGH można uzyskać po zapoznaniu się z regulaminami użytkowania maszyn oraz złożeniu odpowiednich wniosków:
Logowanie
Serwery dostępowe maszyn obliczeniowych dopuszczają jedynie bezpieczne połączenia, dlatego można się na nie zalogować, oraz przesyłać pliki, jedynie z wykorzystaniem protokołu SSH. Ponadto, jeśli planowane jest wykorzystanie programów w wersji graficznej, niezbędna jest obecność klienta XWindow na komputerze, z którego loguje się użytkownik.
System kolejkowy
Korzystanie z Komputerów Dużej Mocy wymaga znajomości obsługi systemu kolejkowego.
Zasoby dyskowe
Zasoby dyskowe dołączone do Komputerów Dużej Mocy w Cyfronecie podzielone są na trzy główne rodzaje:
- katalogi domowe użytkowników
- zasoby do składowania danych
- zasoby tymczasowe, przeznaczone do przeprowadzania obliczeń
Każdy typ zasobu dyskowego umieszczony jest na innym sprzęcie i charakteryzuje się istotnie różnymi parametrami szybkości, pojemności oraz poziomu bezpieczeństwa danych, dlatego niezmiernie ważne jest odpowiednie dobieranie typu zasobu do przeznaczenia zapisywanego nań pliku.
Katalogi domowe
Katalog domowy (home) charakteryzuje się małą przestrzenią i stosunkowo niską wydajnością, za to wszystkie pliki z katalogów domowych posiadają regularnie tworzone kopie zapasowe. Katalog domowy służy głównie jako magazyn małych plików, czy też prywatnego oprogramowania użytkownika (programy, skrypty, narzędzia, itp.).
Składowanie danych
Katalogi składowania danych (storage) charakteryzują się stosunkowo dużą przestrzenią, średnią wydajnością oraz dobrym bezpieczeństwem danych i zabezpieczeniem przed omyłkowym skasowaniem plików, realizowanym za pomocą tzw. kopii migawkowych (ang. snapshot). Przestrzeń ta służy np. do składowania wyników czy plików wejściowych, które nie muszą posiadać kopii zapasowej lub ich duży rozmiar uniemożliwia przechowywanie ich w katalogu domowym.
Przestrzeń tymczasowa
Przestrzeń tymczasowa (scratch) jest przestrzenią dyskową dedykowaną do przeprowadzania obliczeń, dostępną z wszystkich serwerów wchodzących w skład superkomputera. Charakteryzuje się bardzo wysoką wydajnością i dużą pojemnością nie oferując jednak kopii zapasowych czy migawkowych. Służy do przechowywania danych generowanych przez aplikacje przez czas trwania obliczeń i wszystkie pliki powstałe w tym procesie powinny zostać usunięte niezwłocznie po zakończeniu zadania. Na niektórych systemach wdrożona jest polityka automatycznego usuwania bez ostrzeżenia plików starszych niż ustalona liczba dni. Przestrzeń ta jest realizowana poprzez system plików [[Lustre]. Dodatkowo na klastrze Zeus możliwe jest wykorzystanie części dysków lokalnych zainstalowanych w węzłach obliczeniowych jako niewspółdzielonej przestrzeni tymczasowej.
Quota
Większość zasobów posiada ustawioną tzw. kwotę dyskową (ang. quota), która limituje maksymalne użycie przestrzeni dyskowej oraz liczby plików przez użytkownika. Aktualnie przyznaną wielkość kwoty oraz jej użycie można zobaczyć za pomocą polecenia quota -s, a na klastrze Zeus za pomocą polecenia zeus-fs.
Ogólne zalecenia dotyczące obliczeń
Zaleca się, tam gdzie jest to możliwe, do korzystania w trakcie wykonywania obliczeń z szybkich połączeń sieciowych (np. Infiniband) czy też szybkich dysków. W przypadku programów uruchamianych na więcej niż jednym rdzeniu zalecamy wykonanie testów skalowalności. W wielu przypadkach zbyt duża liczba procesorów spowalnia całe obliczenia zamiast je przyspieszać. Zadeklarowana pamięć na obliczenia także może mieć znaczący wpływ na szybkość obliczeń. Znane są przypadki oprogramowania, które wykonuje się kilkakrotnie wolniej w przypadku zadeklarowania zbyt dużej pamięci w stosunku do potrzeb problemu obliczeniowego.
Informacje szczegółowe
Szczegółowe informacje dotyczące logowania, kolejek, czy zaleceń odnośnie wykonywania obliczeń znajdują się na odpowiednich stronach maszyn.
Prometheus
Zeus