Zurück zu Anfragen
vor etwa 4 Stunden · Anfrage req-002
AgentBestell-StatusAgreement 84.3%
„Hat meine Bestellung schon den Versand verlassen? Order-ID 998812."
System-Prompt anzeigen
Du bist die Customer-Support-KI von Acme. Du hast Zugriff auf Tools für Order-Lookup, Refund-Bearbeitung, Ticket-Anlage und Eskalation an einen Menschen. Sei knapp, sachlich und ruf Tools auf, wenn nötig. Bestätige sensible Aktionen immer vor der Ausführung.
Side-by-Side-Vergleich
GPT-4o🇺🇸🇪🇺PRIMARY
~1.8T (est.)·OpenAI🇪🇺
Tool-Calls
get_order_status= Primary
{"order_id":"998812"}
Antwort
Deine Bestellung 998812 wurde am 20.05. um 14:30 Uhr versandt und ist aktuell bei DHL. Voraussichtliche Zustellung: 24.05. zwischen 12 und 16 Uhr.
Latenz
1620ms
Tokens
96
Kosten
$1.930/k
Sonnet 4.6🇺🇸🇪🇺Shadow
~400B (est.)·Anthropic🇪🇺
Tool-Calls
get_order_status= Primary
{"order_id":"998812"}
Antwort
Deine Bestellung 998812 wurde am 20.05. um 14:30 Uhr versandt und ist aktuell bei DHL. Voraussichtliche Zustellung: 24.05. zwischen 12 und 16 Uhr.
Latenz
1620ms
Tokens
96
Kosten
$2.604/k
+35%
Haiku 4.5🇺🇸🇪🇺Shadow
~70B (est.)·Anthropic🇪🇺
Tool-Calls
get_order_status= Primary
{"order_id":"998812"}
Antwort
Deine Bestellung 998812 wurde am 20.05. um 14:30 Uhr versandt und ist aktuell bei DHL. Voraussichtliche Zustellung: 24.05. zwischen 12 und 16 Uhr.
Latenz
1620ms
Tokens
96
Kosten
$0.694/k
−64%
Mistral Small 3🇪🇺🏠🇪🇺🛡️Shadow
24B·Mistral AI (EU)🏠🇪🇺🛡️
Tool-Calls
get_order_status= Primary
{"order_id":"998812"}
Antwort
Deine Bestellung 998812 wurde am 20.05. um 14:30 Uhr versandt und ist aktuell bei DHL. Voraussichtliche Zustellung: 24.05. zwischen 12 und 16 Uhr.
Latenz
1620ms
Tokens
96
Kosten
$0.135/k
−93%
3 weitere Shadow-Modelle anzeigen
Llama 3.2 3B🇺🇸🏠🇪🇺Shadow
3B·Meta / Groq🏠🇪🇺
Tool-Calls
get_order_status= Primary
{"order_id":"998812"}
Antwort
Deine Bestellung 998812 wurde am 20.05. um 14:30 Uhr versandt und ist aktuell bei DHL. Voraussichtliche Zustellung: 24.05. zwischen 12 und 16 Uhr.
Latenz
1620ms
Tokens
96
Kosten
$0.029/k
−98%
Llama 3.2 1B🇺🇸🏠🇪🇺Shadow
1B·Meta / Groq🏠🇪🇺
Tool-Calls
search_knowledge_base≠ Primary
{"query":"where is my order"}
Antwort
Deine Bestellung 998812 wurde am 20.05. um 14:30 Uhr versandt und ist aktuell bei DHL. Voraussichtliche Zustellung: 24.05. zwischen 12 und 16 Uhr.
Latenz
1620ms
Tokens
96
Kosten
$0.019/k
−99%
GPT-4o mini🇺🇸🇪🇺Shadow
~8B (est.)·OpenAI🇪🇺
Tool-Calls
get_order_status= Primary
{"order_id":"998812"}
Antwort
Deine Bestellung 998812 wurde am 20.05. um 14:30 Uhr versandt und ist aktuell bei DHL. Voraussichtliche Zustellung: 24.05. zwischen 12 und 16 Uhr.
Latenz
1620ms
Tokens
96
Kosten
$0.116/k
−94%
Trajektorie-Vergleich
Wieviele Tool-Calls jedes Modell bis zum Ergebnis brauchte. Loops werden geflagged.
GPT-4o🇺🇸P
get_order_status
1 Calls
Sonnet 4.6🇺🇸
get_order_status
1 Calls
Haiku 4.5🇺🇸
get_order_status
1 Calls
Mistral Small 3🇪🇺
get_order_status
1 Calls
Llama 3.2 3B🇺🇸
get_order_status
1 Calls
Llama 3.2 1B🇺🇸
search_knowledge_base
2 Calls
GPT-4o mini🇺🇸
get_order_status
1 Calls
Embedding-Ähnlichkeits-Matrix
Wie semantisch ähnlich jede Shadow-Antwort dem Primary und der Golden-Referenz ist.
Modell→ Primary→ Golden
GPT-4o🇺🇸1.000.96
Sonnet 4.6🇺🇸0.970.95
Haiku 4.5🇺🇸0.940.93
Mistral Small 3🇪🇺0.930.92
Llama 3.2 3B🇺🇸0.890.86
Llama 3.2 1B🇺🇸0.410.38
GPT-4o mini🇺🇸0.920.91