Modules/Lmod

Spis treści

1 Opis pakietu

Opis pakietu

Pakiet Lmod umożliwia łatwą i dynamiczną modyfikację zmiennych powłoki dostosowując ją do specyficznych wymagań danego pakietu oprogramowania. Dla każdego z pakietów oprogramowania dostępnego na klastrze zdefiniowano odpowiadający mu moduł (lub moduły, jeśli istnieje więcej niż jedna wersja danego pakietu). Nazwy modułów budowane są wg schematu plgrid/nazwa-programu/wersja. W przypadku bibliotek schemat ma postać plgrid/libs/nazwa-biblioteki/wersja, a dla programów narzędziowych (np. języki oprogramowania R lub Python) plgrid/tools/nazwa-biblioteki/wersja. Zarówno dla pakietów oprogramowania jak i bibliotek najnowsza wersja jest domyślną, zatem ostatni człon wersja można pominąć. Zmian dokonuje się za pomocą komendy module i parametru określającego akcję.

Najczęściej wykorzystywane opcje:

module add <moduł> lub module load <moduł> - załadowanie modułu danego programu
module rm <moduł> lub module unload <moduł> - usunięcie modułu danego programu
module swap <moduł-1> <moduł-2> - wymiana modułów w powłoce

module avail - wyświetla listę wszystkich dostępnych modułów
module avail <nazwa> - wyświetla listę wszystkich dostępnych wersji oprogramowania o nazwie nazwa
module spider <tekst> - wyszukuje wszystkie moduły posiadające w nazwie określony tekst
module keyword <tekst> - wyszukuje wszystkie moduły posiadające w nazwie i opisie określony tekst

module list - wyświetlenie listy aktualnie załadowanych modułów
module purge - usunięcie wszystkich załadowanych modułów

module show <moduł> - wyświetla komendy wykonywane przez dany moduł
module whatis <moduł> - wyświetl informacje nt. danego modułu

module save [kolekcja] - zapisuje załadowane moduły do kolecji domyślnej lub kolekcji o nazwie kolekcja
module restore [kolekcja] - ładuje moduły z kolecji domyślnej lub kolekcji o nazwie kolekcja
module savelist - wyświetla liste zapisanych kolekcji modułów
module describe [kolekcja] - wyświetla zawartość danej kolecji modułów

module use /path/to/personal/modulefiles - dołącza moduły z katalogu /path/to/personal/modulefiles do ścieżki wyszukiwania modułów
module unuse /path/to/personal/modulefiles - przestaje listować moduły z katalogu /path/to/personal/modulefiles

module help - zwraca obszerną pomoc komendy module i jej podkomend

Przykładowe użycie

Załadowanie najnowszej wersji kompilatora Intel

module add plgrid/tools/intel

Załadowanie kompilatora Intel w wersji 17.0.1

module add plgrid/tools/intel/17.0.1

Wylistowanie wszystkich dostępnych wersji kompilatorów Intel

module avail plgrid/tools/intel

Wylistowanie wszystkich modułów dla blibliotek MPI na klastrze

module avail mpi

lub

module spider mpi

Zamiana wersji 5.1.3 IntelMPI na wersję 2017.1

module swap plgrid/tools/impi/5.1.3 plgrid/tools/impi/2017.1

Usunięcie ścieżek do kompilatora Intel w wersji 17.0.1 z środowiska

module rm plgrid/tools/intel/17.0.1

Przygotowanie kolekcji modułów zawierających kompilator Intel, biblioteki Intel MPI oraz Intel MKL w wersjach 2017.3 oraz nazwanie jej intel.2017.3-toolchain

module add plgrid/tools/impi/2017.3  plgrid/libs/mkl/2017.0.3  plgrid/tools/intel/17.0.4
module save intel.2017.3-toolchain

Sprawdzenie zapisanych kolekcji modułów dostępnych dla użytkownika

module savelist

Sprawdzenie zawartości kolekcji intel.2017.3-toolchain

module describe intel.2017.3-toolchain

Załadowanie wszystkich modułów z kolekcji intel.2017.3-toolchain

module restore intel.2017.3-toolchain

Uwagi

Zaleca się ładować moduły jedynie w skryptach obliczeniowych, a nie w skryptach uruchamianych przy logowaniu na maszynę dostępową lub węzeł obliczeniowy. Dzięki temu łatwiej kontrolować środowisko uruchomieniowe oprogramowania, które ma zostać użyte oraz uniknąć konfliktów pomiędzy załadowanymi modułami.
Gdy istnieje potrzeba załadowania wiele razy (np. w wielu zadaniach obliczeniowych) takich samych list modułów mozna stworzyc kolekcje poleceniem module save [kolekcja] i następnie ich ładowanie poleceniem module restore [kolekcja].
Moduł może ładować moduły zależne, zatem jedno polecenie module add <nazwa> może załadować wiele modułów.
Komenda module ma skróconą wersję ml. Również niektóre podkomendy mają skrócone wersje
- ml jest równoważna module list
- ml <nazwa> jest równoważna module add <nazwa>
- ml -<nazwa> jest równoważna module rm <nazwa>
- ml av jest równoważna module avail
- ml s jest równoważna module save
- ml r jest równoważna module restore

Wykorzystanie własnych modułów (Zaawansowane)

Pakiet Lmod umożliwia również tworzenie własnych modułów (TCL lub Lua). W tym celu należy wykonać polecenie:

module use /path/to/personal/modulefiles

Podana ścieżka określa katalog w którym użytkownik przetrzymuje własne moduły. Program lmod automatycznie sprawdzi nowe zainstalowane moduły i doda je do listy dostępnych. W modułach można wykorzystywać funkcje języków TCL lub Lua.

Przykładowy moduł w Lua

-- -*- lua -*-
local pkgName     = myModuleName()
local fullVersion = myModuleVersion()

whatis("Name: "..pkgName)
whatis("Version "..fullVersion)
whatis("Category: apps/chemistry")
whatis("Description: Molcas@UU 8.0 (v.15-06-18) quantum chemistry chemistry package")
whatis("URL: http://www.kvant.kemi.uu.se/molcas/index.html")
whatis("Keyword: QC, chemistry")

-- add path to Molcas to PATH environmental variable and set MOLCAS environmental variable 
prepend_path('PATH','/net/archive/groups/plg******/software/molcas.uu.8/molcas-8.0-15.06.18_CentOS_7.0_x86_64/bin')
setenv('MOLCAS', '/net/archive/groups/plg******/software/molcas.uu.8/molcas-8.0-15.06.18_CentOS_7.0_x86_64')
add_property("state","testing")

require "math"

--  set Molcas scratch dir accordingly to SLURM environment 
if (os.getenv('SLURM_JOB_ID') ~= nil) then
  setenv('MOLCAS_WORKDIR', os.getenv('SCRATCHDIR'))
else
  setenv('MOLCAS_WORKDIR', os.getenv('SCRATCH'))
end

Informacje jak tworzyć własne moduły znajdują się w dokumentacji Lmod: moduły użytkownika oraz tworzenie nowych modułów.

Odnosniki

Strona projektu: https://www.tacc.utexas.edu/research-development/tacc-projects/lmod

Dokumentacja projektu: https://www.tacc.utexas.edu/research-development/tacc-projects/lmod/user-guide oraz http://lmod.readthedocs.io/