Mistral bietet ab sofort garantierte EU-Datenverarbeitung und Vorfahrtsregeln mit einigen wichtigen Einschränkungen

1 week ago 10

Die regionale Inferenz ist ab sofort allgemein verfügbar. Kunden können ihre Anfragen gezielt an eine europäische Adresse (api.eu.mistral.ai) oder eine US-Adresse (api.us.mistral.ai) schicken. Dann wird die Anfrage auch dort verarbeitet. Das ist relevant für Banken, Behörden oder Versicherer, die aus rechtlichen Gründen belegen müssen, dass Kundendaten die EU nicht verlassen. Ein Nebeneffekt: Kürzere Wege bedeuten kürzere Antwortzeiten. Wer die Standard-Adresse nutzt, bekommt keine Zusage, wo gerechnet wird. Die Regionswahl kostet einen Aufschlag von zehn Prozent auf den normalen Preis.

EU-Datenverarbeitung kommt mit teilweise erheblichen Einschränkungen

Aufschlussreich ist, was Mistral selbst an Grenzen einräumt. Von den Zusatzwerkzeugen läuft nur Function Calling regional, also der Aufruf externer Programmfunktionen durch das Modell. Agenten, Stapelverarbeitung und Dateiverwaltung fehlen an den regionalen Adressen. Auch das Modellangebot unterscheidet sich je nach Region. Eine feste Liste veröffentlicht Mistral nicht, Kunden müssen sie beim jeweiligen Endpunkt abfragen.

Einen Grund nennt das Unternehmen nicht. Naheliegend ist der Unterschied zwischen Rechnen und Merken. Ein normaler Modellaufruf braucht keinen dauerhaften Speicher. Frage rein, Antwort raus. Agenten, Batch-Aufträge und Dateiablage dagegen halten Daten über den einzelnen Aufruf hinaus fest, etwa Zwischenschritte oder hochgeladene Dokumente. Mistral selbst bezeichnet sie als „stateful". Dass sie zusätzliche Infrastruktur vor Ort erfordern, liegt nahe, wird vom Unternehmen aber nicht bestätigt.

Auch der Geltungsbereich ist enger, als das Wort Souveränität vermuten lässt. Kontoeinstellungen, Zugangsschlüssel, Abrechnung und Nutzungsstatistiken können laut Dokumentation außerhalb der gewählten Region verarbeitet werden. Der Blogpost nennt zudem begrenzte, abgesicherte Übermittlungen an Subunternehmer außerhalb der Region. Regional ist die Rechenarbeit, nicht die ganze Plattform. Ob Anfragen anschließend gespeichert oder protokolliert werden, regelt eine separate Einstellung namens Zero Data Retention.

Für die Praxis bedeutet das: Wer Vertragstext direkt an ein Modell schickt, kann ihn über den EU-Endpunkt verarbeiten lassen. Wer Agenten oder Dateiverwaltung über die Files API benötigt, bekommt dieselbe Zusage nicht.

Warum Firmen für eine Warteschlange zahlen

Das zweite Angebot heißt Priority Tier und befindet sich in einer offenen Testphase. Alle Kunden teilen sich dieselben Rechenzentren. Wird es dort eng, weil viele gleichzeitig Anfragen schicken, dauern Antworten länger. Der Priority Tier ist eine Art Vorfahrtsregel: Anfragen zahlender Kunden werden bei Andrang vor dem übrigen Verkehr abgearbeitet. Gedacht ist das für Anwendungen, bei denen Wartezeit direkt weh tut, etwa ein Chatbot im Kundenservice oder ein System im laufenden Betrieb einer Fabrik.

Dazu kommt ein Uptime-SLA von 99,5 Prozent. SLA steht für Service Level Agreement, also eine vertraglich zugesicherte Dienstgüte. Uptime meint die Zeit, in der der Dienst tatsächlich erreichbar ist. 99,5 Prozent erlauben rechnerisch rund dreieinhalb Stunden Ausfall pro Monat. Für den normalen Zugang gibt es laut Mistral gar kein solches Versprechen.

Technisch schaltet man die Vorzugsklasse über einen einzelnen Wert in der Anfrage frei, service_tier. Steht er auf "auto", nutzt die Anfrage die Überholspur, wenn sie verfügbar ist. Voreingestellt ist "standard_only", also der reguläre Weg. Jeder Kunde bekommt zudem individuell ausgehandelte Obergrenzen, etwa wie viele Anfragen pro Minute bevorzugt behandelt werden. Wird diese Grenze überschritten, scheitert die Anfrage nicht, sondern rutscht in den Normalbetrieb zurück. In der Antwort steht anschließend, welche Klasse tatsächlich bedient hat, was Kunden die Kontrolle erlaubt, ob sie bekommen, wofür sie zahlen.

Mistral ruft dafür das 1,75-fache der Standardpreise ab, also 75 Prozent Aufschlag. Rabatte durch das sogenannte Prompt Caching, bei dem wiederholt genutzte Textteile zwischengespeichert und günstiger abgerechnet werden, bleiben erhalten. Sie können bis zu 90 Prozent ausmachen und werden laut Dokumentation zuerst abgezogen, erst danach greift der Aufschlag. Buchbar ist der Priority Tier nicht per Klick, sondern nur über einen Vertrag mit dem Vertrieb.

Parallel öffnet das Unternehmen seine Plattform für offene Modelle anderer Anbieter. Den Anfang macht GLM-5.2 des chinesischen Anbieters Z.ai, das unter denselben regionalen Regeln und Zusagen läuft wie Mistrals eigene Modelle. Für die nötige Rechenleistung sammelt Mistral außerdem mehrjährige Abnahmezusagen von Großkunden ein, verpackt als European Compute Units. Die Logik dahinter: Nur wenn viele Unternehmen sich langfristig festlegen, lohnt sich der Bau neuer Rechenzentren in Europa.

Mistral ist Mitglied der Open Secure AI Alliance und der Nemotron-Koalition von Nvidia. Die Aufnahme fremder Modellgewichte in die eigene Plattform sieht das Unternehmen als Fortsetzung dieser Linie.

Read Entire Article