Ollama Python API: Integration und Chatbot-Entwicklung (2026)

pip install ollama

ollama serve &
curl http://localhost:11434
# Erwartet: Ollama is running

import ollama

models = ollama.list()
for model in models['models']:
    print(model['name'], model['size'])

llama3.3:latest  4.9 GB
mistral:latest   4.1 GB
nomic-embed-text:latest  274 MB

import ollama

response = ollama.generate(
    model='llama3.3',
    prompt='Erkläre in zwei Sätzen, was eine REST-API ist.'
)
print(response['response'])

import ollama

messages = [
    {'role': 'user', 'content': 'Was ist die Hauptstadt von Deutschland?'},
]

response = ollama.chat(model='llama3.3', messages=messages)
assistant_reply = response['message']['content']
print(assistant_reply)

# Antwort zum Verlauf hinzufügen und Folgefrage stellen
messages.append({'role': 'assistant', 'content': assistant_reply})
messages.append({'role': 'user', 'content': 'Wie viele Einwohner hat diese Stadt?'})

response = ollama.chat(model='llama3.3', messages=messages)
print(response['message']['content'])

import ollama

stream = ollama.chat(
    model='llama3.3',
    messages=[{'role': 'user', 'content': 'Schreibe eine Python-Funktion, die prüft, ob eine Zahl eine Primzahl ist.'}],
    stream=True,
)

for chunk in stream:
    print(chunk['message']['content'], end='', flush=True)

print()  # Zeilenumbruch nach Streaming

import requests
import json

response = requests.post(
    'http://localhost:11434/api/chat',
    json={
        'model': 'llama3.3',
        'messages': [{'role': 'user', 'content': 'Was ist 37 * 48?'}],
        'stream': True,
    },
    stream=True,
)

for line in response.iter_lines():
    if line:
        chunk = json.loads(line)
        print(chunk['message']['content'], end='', flush=True)
        if chunk.get('done'):
            break

print()

ollama pull nomic-embed-text

import ollama

response = ollama.embeddings(
    model='nomic-embed-text',
    prompt='Wie installiert man Ollama auf Ubuntu?',
)
embedding = response['embedding']
print(f"Vektor-Dimensionen: {len(embedding)}")
print(f"Erste 5 Werte: {embedding[:5]}")

Vektor-Dimensionen: 768
Erste 5 Werte: [-0.024, 0.031, -0.008, 0.017, -0.041]

import ollama
import numpy as np

def get_embedding(text: str) -> list[float]:
    response = ollama.embeddings(model='nomic-embed-text', prompt=text)
    return response['embedding']

def cosine_similarity(a: list[float], b: list[float]) -> float:
    a, b = np.array(a), np.array(b)
    return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))

# Semantische Ähnlichkeit vergleichen
query = "Wie führe ich LLMs lokal aus?"
doc1 = "Ollama ermöglicht es, große Sprachmodelle auf der eigenen Hardware auszuführen."
doc2 = "Python ist eine beliebte Programmiersprache für Data Science."

query_emb = get_embedding(query)
score1 = cosine_similarity(query_emb, get_embedding(doc1))
score2 = cosine_similarity(query_emb, get_embedding(doc2))

print(f"Anfrage vs. Dok1 Ähnlichkeit: {score1:.4f}")  # ~0.87
print(f"Anfrage vs. Dok2 Ähnlichkeit: {score2:.4f}")  # ~0.42

import ollama

def chat():
    model = 'llama3.3'
    messages = [
        {
            'role': 'system',
            'content': 'Sie sind ein hilfreicher Assistent. Antworten Sie präzise und direkt.',
        }
    ]

    print(f"Chatbot (Modell: {model}). '/beenden' eingeben zum Beenden.\n")

    while True:
        try:
            user_input = input("Sie: ").strip()
        except (KeyboardInterrupt, EOFError):
            print("\nAuf Wiedersehen!")
            break

        if not user_input:
            continue
        if user_input.lower() == '/beenden':
            print("Auf Wiedersehen!")
            break

        messages.append({'role': 'user', 'content': user_input})

        print("Assistent: ", end='', flush=True)
        full_reply = ''

        stream = ollama.chat(model=model, messages=messages, stream=True)
        for chunk in stream:
            token = chunk['message']['content']
            print(token, end='', flush=True)
            full_reply += token

        print()
        messages.append({'role': 'assistant', 'content': full_reply})

if __name__ == '__main__':
    chat()

python chatbot.py