Auch genannt: On-Premise-KI, Self-Hosted LLM, lokales Sprachmodell
Was „lokal” bedeutet
Beim lokalen Betrieb läuft die Inferenz – die eigentliche Nutzung des Modells – auf Hardware, die Sie kontrollieren: ein Server im Haus oder ein dediziertes System bei einem EU-Anbieter. Dafür kommen meist Open-Source-Modelle zum Einsatz, deren Gewichte frei verfügbar sind.
Abwägung
| Lokal / On-Premise | Cloud-Modell | |
|---|---|---|
| Datenkontrolle | vollständig | beim Anbieter |
| Datenschutz | entschärft viele DSGVO-Fragen | erfordert AVV, ggf. Drittland-Absicherung |
| Kosten | Fixkosten (Hardware, Betrieb) | laufende Token-Kosten |
| Leistung | begrenzt durch eigene Hardware | oft die stärksten Modelle |
| Wartung | eigene Verantwortung | beim Anbieter |
Lokal ist kein Selbstzweck, sondern die richtige Wahl, wenn Datenschutz, Unabhängigkeit oder Dauerbetrieb bei hohem Volumen im Vordergrund stehen. Wo die Hardware nicht reicht, ist EU-Hosting ein Mittelweg.
Aktualisiert