Unter Inferenz versteht man in der Künstlichen Intelligenz die laufende Anwendung eines bereits fertig trainierten KI-Modells im täglichen Betrieb – also genau jenen Moment, in dem das System auf eine Nutzeranfrage (Prompt) eine Antwort berechnet, einen Text übersetzt oder ein Bild erzeugt. Während das anfängliche Training eines Sprachmodells ein einmaliger, zeitlich begrenzter Kraftakt ist, läuft die KI-Inferenz millionenfach rund um die Uhr bei jedem einzelnen Nutzerzugriff ab. In modernen KI-Rechenzentren verursacht diese Daueranwendung inzwischen rund 70 bis 80 Prozent des gesamten Strom- und Kühlbedarfs.