Preskočiť na obsah

Vytvorenie notebooku

Spustite si vývojové prostredie priamo v Kubernetes klastri TUKE.

ml.cloud.tuke.sk


  • Bez žiadosti


    Pri prvom prihlásení sa automaticky vytvorí váš vlastný namespace.

  • Tri prostredia


    JupyterLab, Visual Studio Code alebo RStudio.

  • Perzistentné dáta


    Súbory zostávajú na disku aj po vypnutí notebooku.

  • TUKE ID


    Rovnaké prihlásenie ako do ostatných služieb.


Prihlásenie

Otvorte ml.cloud.tuke.sk a prihláste sa svojím TUKE ID. Po prihlásení sa automaticky vytvorí váš osobný namespace, ktorý je vidieť v hornej lište vedľa ikony balíka.

Domovská obrazovka Kubeflow

Vľavo je hlavné menu:

Položka Na čo slúži
Home Prehľad a rýchle skratky
Notebooks Vytváranie a správa notebookových serverov
TensorBoards Vizualizácia tréningových logov
Volumes Diskové zväzky a prehliadač súborov
Pipelines Pipeline, experimenty, behy a artefakty
Manage Contributors Zdieľanie namespace s kolegami

Namespace je váš priestor

Všetky notebooky, zväzky a pipeline patria do vášho namespace. Iní používatelia doň nevidia, pokiaľ im prístup sami nepridelíte cez Manage Contributors.


Zoznam notebookov

V sekcii Notebooks sú všetky vaše notebookové servery.

Zoznam notebookov

Tabuľka ukazuje stav, názov, typ prostredia, dátum vytvorenia, poslednú aktivitu, použitý kontajnerový obraz a pridelené zdroje.

Prvok Význam
Zelená značka Notebook beží, tlačidlom CONNECT sa doň dostanete
Sivá značka Notebook je zastavený, spustíte ho tlačidlom
Štvorček Zastaví bežiaci notebook
Kôš Notebook natrvalo odstráni

Zastavený notebook nespotrebúva zdroje

Dáta na workspace zväzku zostávajú zachované, takže notebook môžete pokojne zastaviť a neskôr v práci pokračovať.


Vytvorenie nového notebooku

Kliknite na + New Notebook vpravo hore.

Názov a prostredie

Nový notebook: prostredie a zdroje

Vyplňte Name a vyberte si prostredie:

  • JupyterLab


    Interaktívne zošity pre prototypovanie a analýzu dát.

  • Visual Studio Code


    Plnohodnotný editor pre vývoj a ladenie aplikácií.

  • RStudio


    Prostredie pre štatistiku a jazyk R.

Pod výberom prostredia je rozbaľovací zoznam s kontajnerovým obrazom. Predvolená je voľba Custom Notebook, kde môžete zadať vlastný obraz.

CPU a pamäť

V sekcii CPU / RAM zadajte minimálny počet jadier a minimálnu pamäť v Gi. Ide o spodnú hranicu, ktorú notebook dostane garantovane.

Pole Predvolené
Minimum CPU 0.25
Minimum Memory Gi 1

GPU nie sú dostupné

V poli Number of GPUs ponechajte None. ML TUKE beží výhradne na CPU.

Diskové zväzky

Nový notebook: zväzky a konfigurácie

Workspace Volume sa pripojí ako váš domovský priečinok. Predvolene sa vytvorí nový zväzok pomenovaný podľa notebooku.

Data Volumes sú voliteľné ďalšie zväzky:

  • + Add new volume vytvorí nový
  • + Attach existing volume pripojí zväzok, ktorý už máte

Konfigurácie

V sekcii Configurations je voľba Globálny zdieľaný dataset. Po jej zaškrtnutí sa do notebooku pripojí spoločný priečinok všetkých používateľov platformy.

Zdieľaný priečinok má vlastné pravidlá

Obsah vidia a môžu meniť všetci prihlásení používatelia a raz ročne sa celý zmaže. Pred použitím si prečítajte podmienky.

Globálny zdieľaný dataset

Doplnkové nastavenia

Nastavenie Kedy ho potrebujete
Affinity / Tolerations Smerovanie na konkrétne uzly klastra, bežne ponechajte None
Enable Shared Memory Zapnite pri dataloaderoch v PyTorchi, inak môžu skončiť chybou

Notebook vytvoríte tlačidlom LAUNCH. Spustenie trvá niekoľko desiatok sekúnd, kým sa stiahne kontajnerový obraz.


Práca v prostredí

Keď notebook prejde do stavu Running, otvorte ho tlačidlom CONNECT.

Prostredie JupyterLab

V JupyterLabe môžete vytvárať zošity cez New → Python 3, nahrávať súbory tlačidlom Upload a organizovať projekty do priečinkov. Zmeny sa priebežne ukladajú na workspace zväzok.

Ako zistiť skutočne pridelené zdroje

Hodnoty z formulára sú minimá. Reálne limity kontajnera prečítate priamo z cgroup:

from pathlib import Path

def read(p):
    try:
        return Path(p).read_text().strip()
    except FileNotFoundError:
        return None

print("pamäť:", read("/sys/fs/cgroup/memory.max"))
print("CPU:  ", read("/sys/fs/cgroup/cpu.max"))
print("jadrá:", read("/sys/fs/cgroup/cpuset.cpus"))

TensorBoards

Sekcia TensorBoards slúži na vizualizáciu tréningových logov.

TensorBoards

Novú inštanciu vytvoríte tlačidlom + New TensorBoard, kde zadáte cestu k logom (Logpath) na niektorom zo svojich zväzkov.


Odporúčania

Najlepšie praktiky

  • Vypínajte nepoužívané notebooky, spotrebúvajú výpočtové zdroje
  • Dáta zostávajú uložené aj po vypnutí notebooku
  • Pravidelne čistite nepotrebné súbory, datasety a logy
  • Používajte Git na verzovanie kódu

Ďalšie kroky

  • Disky a súbory


    Správa zväzkov a prehliadač súborov aj bez spusteného notebooku.

    Návod

  • Globálny zdieľaný dataset


    Spoločný priečinok pre dátové sady k cvičeniam.

    Pravidlá

  • Vlastný Docker image


    Prostredie so špecifickými knižnicami.

    Návod