Inferenz (Maschinelles Lernen)
Inferenz ist die Phase, in der ein trainiertes Modell des maschinellen Lernens genutzt wird, um Vorhersagen für neue, aktuelle Daten zu treffen, im Gegensatz zur Trainingsphase, in der es lernt. In der Industrie läuft Inferenz oft fortlaufend auf strömenden Sensordaten.
Training und Inferenz stellen sehr unterschiedliche Anforderungen. Training ist rechenintensiv und wird periodisch durchgeführt; Inferenz muss wiederholt laufen, oft in Echtzeit und manchmal auf eingeschränkter Edge-Hardware nahe der Ausrüstung. Inferenzlatenz, Durchsatz und Kosten prägen daher, wie und wo ein Modell eingesetzt wird. Edge-KI existiert genau dazu, Inferenz lokal auszuführen, um schnelle, verlässliche Vorhersagen zu liefern, ohne Daten zur Cloud und zurück zu schicken.