Modelle und Provider

Jeder Modellaufruf in Labtagon AI OS geht durch sein LLM-Gateway: aus dem Chat, von Agenten, aus den Fähigkeiten und aus eigenen Anwendungen über /api/llm/v1. Drei Seiten der Verwaltung entscheiden, wohin diese Aufrufe gehen: LLM-Anbieter, Modelle und Pipelines. Wer ein Modell nutzen darf, entscheiden Richtlinien für Modellzugang (siehe Richtlinien).

LLM-Anbieter, Modelle und ihre Schlüssel gehören zu einer Organisation; eine andere Organisation derselben Installation sieht sie nicht.

LLM-Anbieter

Verwaltung → LLM-Anbieter sagt, wohin Modellaufrufe gehen und wie AI OS sich dort anmeldet.

• Ein Anbieter Spricht eine von zwei APIs: OpenAI-kompatibel (Chat Completions, Completions, Modelle), wie die meisten Anbieter, oder die System-One-API für typisierte Entscheidungen.
• Er meldet sich mit einem Bearer-Token an, mit einem eigenen Header oder gar nicht. Für bekannte Hosts (OpenRouter, Anthropic, OpenAI, Google, Mistral) sagt die Seite, wo es einen Schlüssel gibt.
• Eine Verbindung ist ein Schlüssel eines Anbieters. Bei mehreren gehen Aufrufe nach Priorität und wechseln zur nächsten, wenn eine ausfällt (Ausfallsicherung: Timeout, Abkühlzeit und welche Status zählen), jede innerhalb ihres Budgets im Monat.
• Schlüssel werden verschlüsselt in der Datenbank aufbewahrt und nie wieder angezeigt.
• Daten und Verarbeitung hält für jeden Anbieter fest, wohin seine Daten gehen. Regelsätze lesen das (siehe Regelwerke).

Modelle

Verwaltung → Modelle listet, was die Organisation anbietet:

• Modelle, die Personen wählen können, und womit Neue Unterhaltungen beginnen: Auto oder ein Modell.
• Konfigurierte Modelle: jedes mit seinem Anbieter, Kontext, Preis je Million Tokens Eingabe und Ausgabe, seiner Nutzung über 30 Tage und wann es zuletzt geprüft wurde.
• Modell hinzufügen durchsucht die Listen der Anbieter. Als ein Modell nutzen bietet dasselbe Modell mehrerer Anbieter als eines an, oder teilt es wieder.
• Ein Modell zu prüfen probiert aus, was es kann: Antwortet, Streamt, Tools, Sieht, PDFs, Denkt, Cacht, Flex. Der Chat nutzt das, zum Beispiel, um Bilder nur Modellen zu geben, die sehen.

Die Seite eines Modells hat die Reiter Übersicht, Entscheidungen, Parameter, Daten und Verarbeitung, Wer es nutzen darf und Aufrufe. Preise gelten je Anbieter (Kontext und Preis): Die Preise kommen aus den Preislisten der Anbieter, wo es welche gibt, und du kannst sie selbst setzen. Ein Modell, das ein Regelsatz zurückhält, sagt Nicht angeboten: ein Regelsatz.

Pipelines: eigene Modelle

Verwaltung → Pipelines macht eigene Modelle mit dem Namen <organisation>/<name>: eine Pipeline von Diensten vor den Modellen, die antworten (ADR 0076). Die Dienste sind Grenzen, System-Prompt, Abruf aus dem Gedächtnis, Cache, Personenbezogene Daten, Tools, Weiterleitung, Guardrail, Rechtsprüfung, Prompts speichern und Agent.

• Personenbezogene Daten in einer Pipeline kann nur strenger sein als die Maskierung der Organisation.
• Prompts speichern bewahrt einen Anteil der Aufrufe (1 bis 100 Prozent) für 1 bis 90 Tage auf (standardmäßig 30), vorher maskiert, wenn die Maskierung an ist. Nur die Administratoren der Organisation lesen sie, jedes Mal mit einem Grund, der ins Audit-Log geht.
• Tools bietet dem Modell die Tools eines Profils an und führt sie als der Aufrufer aus: „headless MCP“, siehe AI OS aus der eigenen Anwendung.
• Agent lässt einen Agenten der Organisation statt der Modelle antworten, wenn sein Besitzer das erlaubt (ADR 0092, erste Stufe gebaut).
• Eine Pipeline wird wie ein Tool-Server veröffentlicht: Wer freigibt, legen Richtlinien für Freigaben fest.

Die Seite einer Pipeline hat die Reiter Übersicht, Veröffentlichen, Wer es nutzen darf, Aufrufe, Gespeicherte Prompts und Versionen.

Auto

Auto ist eine Pipeline, die die Organisation auswählt (Einstellung llm.autoPipeline). Ist keine ausgewählt, wird Auto nicht angeboten. Ihre Weiterleitung wählt je Unterhaltung ein Modell, das den Zug übernehmen kann (siehe Chatten und ein Modell wählen).

Modelle im eigenen Cluster

Modelle, die in der Installation laufen, sind geplant (ADR 0079, vorgeschlagen): eine optionale Komponente des Charts mit einer Open-Source-Inferenz-Engine, jedes Modell angeboten wie das eines Anbieters. Heute laufen die Modelle bei den Anbietern, die du einrichtest.