Un acuerdo entre los evaluadores es una medida de cómo las medidas consistentes son entre dos o más observadores (o " evaluadores "). Por ejemplo , los investigadores médicos a menudo utilizan un grupo de médicos para observar y categorizar los efectos de un experimento de tratamiento . La medición de la consistencia entre observadores es importante porque queremos estar seguros de que cualquier efecto que vemos se deben a nuestro experimento , y no a las grandes diferencias entre los observadores. El estadístico más utilizado para medir el acuerdo entre evaluadores se llama " kappa ". Instrucciones Matemáticas 1

Calcular el porcentaje de concordancia dividiendo el número de observaciones que están de acuerdo sobre el número total de observaciones. Consideremos el ejemplo de un experimento con 100 pacientes que recibieron un tratamiento para el asma. Se pidió a dos médicos para clasificar los pacientes en dos categorías: controlados (sí ) o no controlada ( no) los síntomas del asma . Los resultados podrían tener este aspecto:

Ambos evaluadores Si 70

Ambos calificadores No 15

Evaluador # 1 Sí /Evaluador # 2 No 10

Evaluador # 1 No /Evaluador # 2 Sí 5

observaciones totales: 100

en este ejemplo, el porcentaje de concordancia ( Pa) sería el número de observaciones en el que los evaluadores están de acuerdo ( 70 +15 ) dividido por el total de observaciones ( 100 ) , o 85 por ciento . Esto será utilizado en el numerador en la ecuación final .
2

Calcular el acuerdo esperado debido a la posibilidad aleatoria . Parte de la concordancia observada se deberá pura suerte. Podemos calcular cómo sería visto mucho acuerdo si las observaciones son completamente aleatorios

En nuestro ejemplo: .

Tanto Sí 70

Ambos No 15

# 1Sí /# 2 No 10

# 1 No /# 2 Sí 5

observaciones totales: 100

Dr. # 1 clasificado Sí 80/100 o 80 por ciento del tiempo ( 0,80 ) .

Dr. # 1 clasificado n º 20/100 o 20 por ciento del tiempo ( 0,20 ) .

Dr. # 2 clasificado Si 75 /100 o 75 por ciento del tiempo ( 0,75 ) .

Dr. # 2 clasificado n º 25/100 o 25 por ciento del tiempo ( 0,25 ) .

Si las observaciones eran al azar , la probabilidad de que tanto rating Sí sería ( 0.80 ) x ( 0.75 ) , o 60 por ciento , y la probabilidad de que ambas puntuaciones No sería ( 0.15 ) x ( 0,25 ), o un 4 por ciento

Así que la probabilidad total de acuerdo debido a la casualidad ( Pe) sería la suma de estos. : ( 0,60 ) + ( 0,04 ) , o 64 por ciento . Esto será utilizado en el numerador y el denominador de la ecuación final
3

Calcular kappa utilizando la siguiente ecuación: .

K = ( Pa) - (Pe )

---------------

1 - ( Pe)

En nuestro ejemplo,

k = ( 0.85 ) - ( 0.64 ) /1 - ( 0.64 ) = ( 0.58 ) o el 58 por ciento
4

Evaluar kappa para determinar si el acuerdo entre los evaluadores es fuerte. Una buena regla de oro es que kappas encima del 80 por ciento son excelentes y por encima del 60 por ciento son buenos. Cualquier cosa por debajo de 60 por ciento se considera menos de acuerdo óptimo.

En nuestro ejemplo, el 58 por ciento está en el límite de una buena fiabilidad entre los evaluadores y los resultados del estudio deben interpretarse con esto en mente.

5

Evaluar kappa durante más de dos evaluadores mediante el uso de cálculos kappa de Fleiss . Este es un cálculo mucho más complicado que debe ser realizado por el equipo.