Monat: April 2025

Neuer Massespeicher im Laptop

So langsam aber sicher wird der Speicherplatz für den Massespeicher auf dem Laptop zu klein, das ganze KI-Zeug braucht relativ viel Speicherplatz.
Da wir mit LVM / LUKS arbeiten, sind ein paar Schritte mehr notwendig…

  • Booten mit CloneZilla und Festplatte auf externe HDD klonen
  • neue SSD einbauen
  • Booten mit CloneZilla und Image zurück auf Festplatte spielen, Partitionen wie im Original belassen und nicht prozentual anpassen.
  • Live-USB stick booten und mit gparted die LVM-Partition entsperren und vergrößern. Gparted sieht nur die LVM-Partition und nicht die darin enthaltenen ‚logischen Volumen‘
  • Live-System beenden und ins normale System booten

Einen Überblick über die einzelnen Volume erhalten wir mit lvdisplay

Zunächst entfernen wir die Swap-Partition:

# Swap deaktivieren
swapoff -a
# mit lvremove die die logische Partionion 
lvremove /dev/vgmint/swap_1

Ermittel nun den freien Platz in der Partition: vgdisplay. Wenn die Einheit nicht ganz passt, kann sie mit vgdisplay --unit G angepasst werden.

Nachdem der Versuch das ganze mit GB anzugeben wegen Umrechnungsungenauigkeiten nicht geklappt hat, rechnen wir das ganze in Extends aus:

1 Extent = 4 MiB = 0,00390625 GB
32 GB / 0.00390625 ≈ 8192 Extents

715128 (verfügbar) - 8192 (für Reserve) = 706936 Extents

# Befehl zur Vergrößerung des Volumens
lvextend -l +706936 /dev/vgmint/root

Anschließend muss noch das Dateisystem vergrößert werden: 

resize2fs /dev/vgmint/root

Und die Swap-Partion wieder hergestellt (es wird der komplette leere Platz verwendet) werden:

lvcreate -l 100%FREE -n swap_1 vgmint
mkswap /dev/vgmint/swap_1
swapon /dev/vgmint/swap_1

# Zum Überprüfen ob alles läuft:
swapon --show
free -h

Virtuelle Python Umgebungen

Die Einrichtung erfolgt im Verzeichnis in dem das Script liegt/ von dem das Script aus gestartet wird.
python3 -m venv NAME

Der NAME ist durch den zu verwenden Name zu ersetzten. Sinnvoll ist es die Umgebung gleich zu benennen wie das Script, damit später die Zuordnung klar ist.

Die Umgebung wird aktiviert mit:
source NAME/bin/activate

Nach dem aktivieren können fehlende bzw. spezielle Bibliotheken installiert werden. z.B.:
pip3 install pillow pyexiftool langchain-ollama

Lokale LLM im Docker

Wir verwenden Ollama (https://ollama.com/)

Installation über docker compose.

docker-compose.yaml

services:
  ollama:
    image: docker.io/ollama/ollama:rocm
    container_name: ollama
    volumes:
      - ollama:/root/.ollama
    ports:
      - 11434:11434
    devices:
      - /dev/kfd:/dev/kfd
      - /dev/dri:/dev/dri
#    environment:
#      - OLLAMA_KEEP_ALIVE=1h
#      - OLLAMA_HOST=127.0.0.1
    pull_policy: always
    tty: true
    restart: unless-stopped

volumes:
  ollama:
    driver: local

Umgang mit Models:

# Modell installieren
docker exec -it ollama ollama pull llava:v1.6
# Modell entfernen
docker exec -it ollama ollama rm llava:v1.6
# Modell aus dem Speicher entladen
docker exec -it ollama ollama stop llava:v1.6
# Modell auflisten
docker exec -it ollama ollama list

Multimodal-Model (die sich u.a. für die Bildanalyse eignen)

  • llava:v1.6; llava:13b : LLaVA is a novel end-to-end trained large multimodal model that combines a vision encoder and Vicuna for general-purpose visual and language understanding.
  • DeepSeek-Janus-Pro-7B

Modelle für Übersetzungen: