KI-Trefferquote – wie gut die Datenerkennung funktioniert

Der Bericht Trefferquote misst die Qualität der KI-Datenerkennung, vor allem die Extraktion von Produktattributen aus Beschreibungen und Dateien.

Schritt für Schritt

Bericht öffnen und Zeitraum festlegen

1. Klappe im Seitenmenü unter Dashboard Berichte → KI auf und wähle Trefferquote.
2. Der Bildschirm heißt Genauigkeit der KI-Extraktion, der Untertitel lautet Überwache die Leistung der KI-Extraktion und Vertrauensbewertungen.
3. Das Infosymbol neben dem Titel erklärt zwei Begriffe: Vertrauensbewertung – Zeitlich gewichtete Trefferquote. Höhere Werte bedeuten zuverlässigere Extraktionen. – und Automatisch anwenden – Wird aktiviert, wenn das Vertrauen >= 95 % und mindestens 20 Beispiele vorliegen.
4. Wähle den Datumsbereich: Letzte 7 Tage, Letzte 30 Tage (Standard), Letzte 90 Tage, Dieses Jahr oder Benutzerdefiniert (dann erscheinen Von und Bis). Mit Aktualisieren werden die Daten neu berechnet.

Der Datumsbereich gilt nur für einen Teil des Bildschirms. Die Kacheln, das Diagramm Trefferquoten-Trend, Nach Quelle und die Registerkarte KI-Modelle berücksichtigen ihn. Attributdetails, Probleme, das Diagramm Attributgenauigkeit sowie die Karten Beste Attribute und Verbesserungsbedarf verwenden immer die letzten 30 Tage, unabhängig von deiner Auswahl.

Kennzahlen ablesen

1. Sechs Kacheln mit jeweils eigener Beschriftung: Trefferquote (Ohne Änderungen übernommen), Akzeptanzrate (Übernommen + Geändert), Alle Extraktionen (Im Zeitraum), Automatisch anwendbar (Kombinationen mit hohem Vertrauen), Ø Reaktionszeit (Zeit bis zur Antwort) und Abgelehnt (Falsch-positive Ergebnisse).
2. Darunter findest du Trefferquoten-Trend (zwei Reihen: Trefferquote und Akzeptanzrate), Nach Quelle und Attributgenauigkeit mit der Legende 90 %+, 70–90 %, <70 %.
3. Die Registerkarte Attributdetails zeigt eine Tabelle mit den Spalten Attribut, Gesamt, Übernommen, Geändert, Abgelehnt und Trefferquote. Hier erkennst du, ob einige konkrete Merkmale das Gesamtergebnis verschlechtern. Zeilen lassen sich nicht anklicken; es gibt kein Detailfenster.
4. Die Registerkarte Probleme öffnet sich mit dem Hinweis Attribute mit hohem Ablehnungsanteil – erwäge, die Prompts oder Trainingsdaten für diese Attribute zu verbessern. Die Spalten sind Attribut, Gesamt, Abgelehnt und Ablehnungsanteil. Wenn nichts auffällig ist, steht dort Keine Probleme erkannt!
5. Die Registerkarte KI-Modelle vergleicht Modelle anhand von KI-Modell, Extraktionen, Übernommen, Abgelehnt und Trefferquote. Ein Modell ohne Namen heißt (Unbekanntes Modell).
6. Unten auf der Registerkarte Übersicht helfen zwei Karten bei der schnellen Bewertung: Beste Attribute und Verbesserungsbedarf.

Ergebnisse exportieren

1. Klicke oben rechts auf Exportieren.
2. Wähle Excel (.xlsx) oder PDF-Bericht. Der Export berücksichtigt den ausgewählten Datumsbereich.
3. Die Datei heißt ai_accuracy_report.xlsx oder ai_accuracy_report.pdf. Ihr Inhalt – Überschriften, Blattnamen und Berichtstitel – ist unabhängig von der Oberflächensprache auf Englisch.
4. Wenn nach dem Klick nichts geschieht, wurde die Datei nicht heruntergeladen: Bei einem fehlgeschlagenen Export erscheint keine Meldung; lediglich der Ladeindikator dreht sich kurz.

Bericht trotz Berechtigung leer

1. Als Symptom erscheint Keine Genauigkeitsdaten mit dem Text Genauigkeitsstatistiken erscheinen hier, sobald du KI-Extraktionen verwendest und die Ergebnisse bewertest. sowie der Schaltfläche Zu den Produkten – obwohl du weißt, dass Extraktionen stattgefunden haben.
2. Öffne Konfiguration → Team und Zugriff → Rollen und Berechtigungen und klicke bei der Rolle auf das Stiftsymbol (Rolle bearbeiten).
3. Prüfe auf der Registerkarte Modulberechtigungen die Berechtigung Lesen für das Modul Integrationen. Sie schützt die Daten in diesem Bericht.
4. Auf der Registerkarte Feldberechtigungen, in der Gruppe Report, bestimmt der Eintrag AI - Accuracy nur, ob Trefferquote im Menü sichtbar ist. (Dieser Eintrag ist nicht übersetzt und bleibt auf Englisch; der zugehörige Eintrag heißt KI-Nutzung.)
5. Markiere die fehlende Berechtigung, klicke auf Rolle aktualisieren und bestätige mit dem Code im Fenster 2FA-Verifizierung erforderlich.
6. Ohne das Modul Integrationen öffnet sich der Bericht, bleibt aber leer – eine Meldung über fehlenden Zugriff erscheint nicht. Beim Bericht Nutzung gibt es diese Abweichung nicht; seine Berechtigungen sind einheitlich geregelt.

Kennzahlen

Dazu kommen ein Trenddiagramm und drei Registerkarten: Übersicht, Attributdetails und Probleme mit einer Liste falsch positiver Ergebnisse. Die Ergebnisse lassen sich exportieren.

Trefferquote und Akzeptanz

Diese beiden Kennzahlen werden leicht verwechselt, bedeuten aber Verschiedenes:

• Trefferquote – ob die KI richtig erkannt hat.
• Akzeptanz – ob ein Mensch den Vorschlag übernommen hat.

Eine hohe Trefferquote bei niedriger Akzeptanz bedeutet meist, dass die Vorschläge korrekt, aber unnötig sind – oder dass der Freigabeprozess zu mühsam ist und Vorschläge pauschal abgelehnt werden.

Umgekehrt ist es problematischer: Hohe Akzeptanz bei niedriger Trefferquote heißt, dass Fehler weitergegeben werden.

Attributdetails sind besonders wertvoll

Die Attributregisterkarte zeigt die Leistung pro Attribut. Meist stellt sich heraus, dass einige konkrete Merkmale das Gesamtergebnis verschlechtern. Diese solltest du in den Prompts verbessern oder von der automatischen Anwendung ausschließen (Assistent konfigurieren – Integration, Modell, Prompts und Kosten).

Bericht trotz Berechtigung leer

Auf diesem Bildschirm gibt es eine Abweichung bei den Berechtigungen:

Der Menüeintrag erfordert die Berechtigung für den KI-Trefferquotenbericht, die Daten werden jedoch mit der Berechtigung für das Modul Integrationen abgerufen.

Eine Rolle, die nur die Berichtsberechtigung hat, sieht den Menüpunkt und einen leeren Bildschirm, aber keine Meldung über fehlenden Zugriff (Berechtigungen für Berichte – zwei Ebenen und vier Abweichungen).

Der Nutzungsbericht ist korrekt geschützt – die Abweichung betrifft nur die Trefferquote.