Prompt Caching

Zwischenspeicherung bereits verarbeiteter Prompt-Bestandteile. Wiederverwendeter Kontext muss dadurch nicht bei jedem Modellaufruf vollständig neu verarbeitet und berechnet werden.

In der KI Garage

EP08: Pi-Hydra: So prüfen KI-Agenten Code beim Entstehen (Reduziert die Tokenkosten der kontinuierlich mitlesenden Review-Heads)