Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).

KI-Modelle & Frameworks: Übersicht¶

Eine zentralisierte Übersicht über künstliche Intelligenz-Modelle, Sprachmodelle (LLMs), Diffusionsmodelle, Frameworks und Bibliotheken für Entwicklung, Training und Deployment.

🤖 KI-Modell-Landschaft¶

Die Welt der KI-Modelle entwickelt sich rasant. Von kleinen, effizienten Modellen für lokale Ausführung bis hin zu großen, leistungsfähigen Modellen für Cloud-Deployment – diese Übersicht hilft dir, den Überblick zu behalten.

Modell-Kategorien im Überblick¶

📚 Hauptthemen¶

1. Sprachmodelle (Large Language Models - LLMs)¶

Sprachmodelle für Textverarbeitung, Code-Generierung und Dialogsysteme.

• Anwendungsbereiche:
• Textgenerierung (Artikel, Code, Dokumentation)
• Dialogsysteme (Chatbots, Virtuelle Assistenten)
• Code-Generierung und -Vervollständigung
• Übersetzungen zwischen Sprachen

• Textklassifizierung und -analyse

• Modell-Typen:

• Base Models: Grundmodelle für allgemeine Aufgaben (Llama, Mistral)
• Instruction-Tuned Models: Feinabgestimmte Modelle für spezifische Aufgaben (Llama-3-Instruct, Mistral-Instruct)
• Chat-Optimized Models: Spezialisierte Dialogmodelle (ChatML, Vicuna)

• Code-Specialized Models: Für Programmieraufgaben optimiert (CodeLlama, DeepSeek-Coder)

• Modell-Familien:

2. Diffusionsmodelle¶

Generative Modelle für die Erstellung von Bildern, Audio und Video.

• Anwendungsbereiche:
• Text-zu-Bild Generierung (Text-to-Image)
• Bild-zu-Bild Transformationen (Inpainting, Outpainting)
• Stil-Transfer und Bildbearbeitung
• Super-Resolution und Upscaling

• Video-Generierung (Text-to-Video, Image-to-Video)

• Modell-Typen:

• Text-to-Image: Generierung von Bildern aus Textbeschreibungen
• Image-to-Image: Transformation bestehender Bilder
• Inpainting: Rekonstruktion fehlender Bildbereiche
• ControlNet: Steuerung der Generierung durch zusätzliche Eingaben (Kanten, Pose, etc.)
• Text-to-Video: Generierung von Videos aus Text

• Image-to-Video: Erstellung von Videos aus Bildern

• Beliebte Diffusionsmodelle:

3. Multimodale Modelle¶

Modelle, die mehrere Modalitäten (Text, Bild, Audio, Video) kombinieren.

• Anwendungsbereiche:
• Bildbeschreibung (Image Captioning)
• Visuelle Fragebeantwortung (VQA)
• Text-zu-Bild mit Kontextverständnis
• Audio-Text-Kombinationen

• Video-Verständnis und -Generierung

• Modell-Beispiele:

4. Embedding-Modelle¶

Modelle zur Erstellung von Vektordarstellungen (Embeddings) für Suche, Ähnlichkeit und Retrieval.

• Anwendungsbereiche:
• Semantische Suche
• Ähnlichkeitsvergleich
• Retrieval-Augmented Generation (RAG)
• Clusteranalyse

• Empfehlungssysteme

• Modell-Beispiele:

5. Bildverarbeitungsmodelle¶

Modelle für Klassifizierung, Objekterkennung, Segmentierung und Bildanalyse.

• Klassifizierung:
• ResNet (50, 101, 152)
• ViT (Vision Transformer)
• EfficientNet (B0-B7)

• ConvNeXt

• Objekterkennung:

• YOLO (v8, v9, NAS)
• Faster R-CNN
• DETR (DEtection TRansformer)

• Grounding DINO

• Segmentierung:

• Segment Anything Model (SAM)
• Mask R-CNN
• U-Net

• DeepLab

• Pose-Estimation:

• MediaPipe Pose
• OpenPose
• HRNet
• ViTPose

6. Sprachverarbeitungsmodelle¶

Modelle für Text-to-Speech (TTS), Speech-to-Text (STT) und Übersetzungen.

• Speech-to-Text (STT):
• Whisper (OpenAI) – Multilingual, Offline-fähig
• Wav2Vec 2.0 (Facebook) – Selbstüberwachtes Lernen
• Vosk – Offline, Open Source

• DeepSpeech (Mozilla) – Einfach, effizient

• Text-to-Speech (TTS):

• Kokoro-ONNX – Hochwertig, offline
• Coqui TTS – Open Source, mehrsprachig
• Tortoise-TTS – Natürlich klingend

• Piper – Leichtgewichtig, offline

• Übersetzung:

• NLLB (Meta) – 200+ Sprachen
• MarianMT – Open Source Transformers
• OPUS-MT – Hochwertige Übersetzungen

🛠️ Frameworks & Bibliotheken¶

Deep Learning Frameworks¶

Inference & Deployment Frameworks¶

Feinabstimmung & Training¶

🎯 Praxisbeispiele¶

Beispiel 1: Lokale KI-Chat-Anwendung¶

Anforderungen: - Lokale Ausführung ohne Cloud - Gute Performance auf Consumer-Hardware - Unterstützung für RAG

Lösung:

# 1. Modell laden mit Ollama
from langchain_community.llms import Ollama
llm = Ollama(model="llama3:8b-instruct")

# 2. Embeddings für RAG
from langchain.embeddings import HuggingFaceEmbeddings
embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")

# 3. Vektordatenbank
from langchain.vectorstores import Chroma
vectorstore = Chroma.from_documents(documents, embeddings)

# 4. RAG-Kette erstellen
from langchain.chains import RetrievalQA
qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore.as_retriever()
)

# 5. Frage beantworten
result = qa.run("Was steht im Dokument über KI-Modelle?")

Empfohlene Modelle: Llama 3 8B, Mistral 7B, Phi-3 14B

Beispiel 2: Bildgenerierung mit Stable Diffusion¶

Anforderungen: - Text-zu-Bild Generierung - Lokale Ausführung - Kontrolle über den Generierungsprozess

Lösung:

from diffusers import StableDiffusionPipeline
import torch

# 1. Pipeline laden
pipe = StableDiffusionPipeline.from_pretrained(
    "stabilityai/stable-diffusion-3-medium",
    torch_dtype=torch.float16
).to("cuda")

# 2. Bild generieren
prompt = "A futuristic city at night, cyberpunk style, neon lights"
image = pipe(prompt).images[0]

# 3. Bild speichern
image.save("futuristic_city.png")

Empfohlene Modelle: Stable Diffusion 3, FLUX, Kandinsky 3

Beispiel 3: Multimodale Anwendung (Bild + Text)¶

Anforderungen: - Bildbeschreibung - Visuelle Fragebeantwortung - Kombinierte Text+Bild-Analyse

Lösung:

from transformers import pipeline

# 1. Bildbeschreibung (Image Captioning)
captioner = pipeline("image-to-text", model="Salesforce/blip-image-captioning-large")
result = captioner("photo.jpg")
print(result[0]['generated_text'])

# 2. Visuelle Fragebeantwortung (VQA)
vqa = pipeline("visual-question-answering", model="dandelin/vilt-b32-finetuned-vqav2")
result = vqa({"image": "photo.jpg", "question": "What color is the car?"})
print(result[0]['answer'])

Empfohlene Modelle: LLaVA, BLIP-2, GPT-4 Vision

Beispiel 4: Embeddings für Suche & RAG¶

Anforderungen: - Semantische Suche in Dokumenten - Ähnlichkeitsvergleich - Retrieval-Augmented Generation

Lösung:

from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity

# 1. Modell laden
model = SentenceTransformer('all-MiniLM-L6-v2')

# 2. Texte einbetten
sentences = ["KI-Modelle", "Machine Learning", "Deep Learning"]
embeddings = model.encode(sentences)

# 3. Ähnlichkeit berechnen
query = "Künstliche Intelligenz"
query_embedding = model.encode([query])
similarities = cosine_similarity(query_embedding, embeddings)
print(similarities)

Empfohlene Modelle: all-MiniLM-L6-v2, all-mpnet-base-v2, text-embedding-3-small

🤖 KI-Agenten-Tauglichkeit¶

Empfehlung, welche Modelle und Frameworks sich am besten für die Automatisierung durch KI-Agenten eignen:

🔗 Verwandte Themen¶

• Server/KI/ML-Infrastrukturen – Infrastruktur für KI-Modelle
• IDE/Lokale KI-Frontends – Web-UIs für lokale Modelle
• Tools & Hilfswerkzeuge – Entwicklungs- und Analyse-Tools
• Webentwicklung/KI Webentwicklung – KI in der Webentwicklung
• Audio/KI und Audio – Sprach- und Audiomodelle
• Video/KI-gestützte Videogenerierung – Diffusionsmodelle für Video

📖 Weiterführende Ressourcen¶

Offizielle Dokumentationen¶

• Hugging Face Docs – Transformers, Diffusers, etc.
• PyTorch Docs – PyTorch Framework
• TensorFlow Docs – TensorFlow Framework
• ONNX Docs – Modell-Interoperabilität
• Ollama Docs – Lokale Modell-Ausführung
• vLLM Docs – Hochperformante LLM-Inference

Modell-Repositories¶

• Hugging Face Model Hub – 100.000+ KI-Modelle
• Civital – Stable Diffusion Modelle & LoRAs
• OpenRouter – Modell-Marketplace mit API-Zugriff
• Replicate – Cloud-Hosting für Open-Source-Modelle

Frameworks & Bibliotheken¶

• LangChain – LLM-Anwendungsframework
• LlamaIndex – Datenintegration für LLMs
• Diffusers – Diffusionsmodelle
• Sentence-Transformers – Embedding-Modelle
• Transformers – NLP-Modelle

Communities & Blogs¶

• r/LocalLLaMA – Lokale LLMs
• r/StableDiffusion – Bildgenerierung
• r/LargeLanguageModels – LLMs
• Hugging Face Blog – Neue Modelle & Techniken
• Towards Data Science – KI-Artikel

Letzte Aktualisierung: Juli 2026

Hinweis: Diese Inhalte wurden mit Unterstützung von Künstlicher Intelligenz erstellt und redaktionell überprüft (Transparenzhinweis gemäß Art. 50 EU AI Act).