Abfragen zum Codierungsvergleich

Mit einer Abfrage zum Codierungsvergleich können Sie die Codierung von zwei Benutzern bzw. zwei Benutzergruppen vergleichen.

Sie können auf zweierlei Weise die Interrater-Reliabilität, d. h. den Grad der Übereinstimmung zwischen zwei Benutzern messen: durch eine Berechnung der Übereinstimmung in Prozent und über Cohens Kappa.  

Die Übereinstimmung in Prozent berechnet sich aus der Anzahl der übereinstimmenden Einheiten dividiert durch die Gesamtzahl aller gemessenen Einheiten in einem Datenobjekt. Sie wird als Prozentsatz angegeben.

Cohens Kappa (auch Kappa-Koeffizient genannt) ist ein statistisches Maß, das die Höhe der Übereinstimmung berücksichtigt, die nach dem Zufallsprinzip zu erwarten wäre. Weitere Informationen erhalten Sie im Internet im Artikel von Wikipedia zu Cohens Kappa.

So erstellen Sie eine Abfrage zum Codierungsvergleich:

1. Klicken Sie in der Navigationsansicht auf Abfragen.

2. Klicken Sie in der Hauptsymbolleiste auf die Schaltfläche Neu:

3. Klicken Sie auf Abfrage zum Codierungsvergleich in diesem Ordner.

Das Dialogfeld Abfrage zum Codierungsvergleich wird angezeigt.

4. Klicken Sie unter Codierungsvergleich zwischen auf Auswählen, um Benutzer in den Benutzergruppen A und B auszuwählen.

5. Wählen Sie im Feld In die zu vergleichenden Knoten aus. Klicken Sie auf Auswählen, um bestimmte Knoten auszuwählen.

6. Wählen Sie im Feld Umfang die Quellen für die Abfrage aus. Klicken Sie auf Auswählen, um bestimmte Quellen auszuwählen.

7. Die Kontrollkästchen Cohens Kappa anzeigen und Übereinstimmung in Prozent anzeigen sind standardmäßig aktiviert. Wenn Sie eine dieser Optionen nicht anzeigen möchten, deaktivieren Sie das entsprechende Kontrollkästchen.

8. Aktivieren Sie oben im Dialogfeld das Kontrollkästchen Zum Projekt hinzufügen, wenn Sie die Abfrage speichern möchten. Anschließend erfolgt die Eingabe des Namens und der Beschreibung auf der Registerkarte Allgemein  

   Option	Beschreibung
   Abfragetyp	Anzeige des Abfragetyps, den Sie erstellen. Sie können den Inhalt in diesem Feld nicht ändern.
   Name	Geben Sie einen Namen für die Abfrage ein.
   Beschreibung	Geben Sie bei Bedarf eine Beschreibung für die Abfrage ein.
   Speicherort	Anzeige des Ordners, in dem sich die Abfrage befindet. Sie können den Inhalt in diesem Feld nicht ändern.
   Erstellt	Anzeige des Datums mit Uhrzeit, an dem die Abfrage erstellt wurde. Sie können den Inhalt in diesem Feld nicht ändern.
   Bearbeitet	Anzeige des Datums mit Uhrzeit, an dem die Abfrage zuletzt bearbeitet wurde. Sie können den Inhalt in diesem Feld nicht ändern.

    

9. Klicken Sie auf OK, um die Abfrageeigenschaften zu speichern, ohne die Abfrage auszuführen.

10. Klicken Sie auf die Schaltfläche Ausführen, um die Abfrage auszuführen.

Ergebnisse

Die Ergebnisse enthalten eine Spalte Quellgröße, die verschiedene Quellen auf folgende Weise misst:

• Dokumente, Memos und externe Quellen = Anzahl der Zeichen

• Mediendatei = Dauer in Minuten/Sekunden/Zehntelsekunden

• Bild = Gesamtpixelanzahl als Höhe x Breite

Wenn Sie die Anzeige von Cohens Kappa und der Übereinstimmung in Prozent ausgewählt haben, enthalten die Ergebnisse eine Spalte zum Kappa-Wert und mehrere Spalten zur prozentualen Übereinstimmung bzw. Nichtübereinstimmung zwischen Benutzergruppe A und Benutzergruppe B.

Wenn vollständige Übereinstimmung zwischen den Benutzern vorliegt, ist der Kappa -Wert oder κ = 1. Wenn keine Übereinstimmung zwischen den Ratern vorliegt (abgesehen von der per Zufall zu erwartenden), ist der Kappa -Wert oder κ ≤ 0.

Die Spalten zur Übereinstimmung in Prozent umfassen folgende Werte:

• Übereinstimmung = Summe der Spalten A und B und Nicht A und nicht B

• A und B = der Prozentsatz von Datenobjektinhalt, der von Benutzergruppe A und Benutzergruppe B des Projekts im ausgewählten Knoten codiert wurde

• Nicht A und nicht B = der Prozentsatz von Datenobjektinhalt, der weder von Benutzergruppe A noch von Benutzergruppe B codiert wurde

• Nichtübereinstimmung = Summe der Spalten A und nicht B und B und nicht A

• A und nicht B = der Prozentsatz von Datenobjektinhalt, der von Benutzergruppe A codiert und von Benutzergruppe B nicht codiert wurde

• B und nicht A = der Prozentsatz von Datenobjektinhalt, der von Benutzergruppe B codiert und von Benutzergruppe A nicht codiert wurde

Verwandte Themen