Friday, March 27, 2020

,

Inter-Rater Reliability

Inter-Rater Reliability Untuk Instrument Writing dan Speaking Test
Setiap instrument penelitian harus diuji validity dan reliability-nya. Untuk instrument test dimana nilai yang diberi oleh pengoreksi bersifat subjektif, reliability yang dicari bukanlah konsistensi jawaban dari responden terhadap item-item dalam instrument. Melainkan, yang diukur adalah kesepakatan antar rater dalam menilai suatu individu. Dengan demikian, reliabilitas tersebut melekat pada skor yang diberikan, bukan pada alat ukurnya.

Misalnya, pada sebuah test writing dan speaking, test tersebut hanya berisi instruksi untuk menulis atau berbicara sesuai dengan topik yang diberikan. Penilaian yang diberikan juga akan bersifat subjektif meskipun sudah menggunakan scoring rubric. Nah, untuk menghindari bias dan subjektifitas ini, maka diperlukan minimal 2 rater atau pengoreksi dalam mengoreksi hasil pekerjaan setiap responden.

Contoh Instrument Writing Test
Walaupun kedua rater tersebut telah sepakat untuk menggunakan scoring rubric yang sama, tetap saja penilaian yang diberikan dari keduanya bersifat subjektif. Nah, untuk itu, perlu kita mencari inter-rater reliability di antara 2 rater tersebut. Lebih tepatnya, untuk mengetahui seberapa kuat tingkat kesepakatan antara keduanya.

Ada beberapa teknik untuk estimasi reliabilitas antar rater yang dapat digunakan, yakni koefisien Kappa dari Cohen dan  Correlation Coefficients.

Koefisien Kappa digunakan ketika:
- Rater yang dipakai hanya 2 rater
- Skor hasil penilainya bersifat kategori dan hanya dua kategori, misal:
   Score: - 1: Setuju    - 2: tidak setuju
   Jadi kedua rater hanya memberikan nilai angka 1 dan 2.

Correlation Coeficients digunakan ketika:
- Rater yang dipakai hanya 2 rater
- Skor hasil penilainya bersifat kontinum, misal:
  Score: 0-100
  Rater 1 dan rater 2 bisa memberikan nilai berapapun diantara 0-100.

Nah, dalam kasus yang sedang kita bahas ini adalah nilai yang diberikan kepada responden bersifat kontinum, bukan bersifat kategori. Maka teknik yang digunakan adalah Correlation Coefficient.

Langkah pertama yang harus kita siapkan adalah, mencari teori level agreement dari hasil correlation coefficients tersebut.
Koefisien relibility dari Landis dan Koch (1977: p.165)
Anda bisa menggunakan teori dari jurnal Landis and Koch (1977: p. 165), anda bisa unduh artikel jurnal tersebut di link berikut.

Atau anda juga bisa menggunakan teori level agreement dari Rasyid (2015) seperti berikut ini
Koefisien reliabilitas dari Rasyid (2015)

Untuk langkah-langkah analisisnya melalui SPSS, silahkan melihat video melalui link di bawah ini: Uji Inter-Rater Reliability Melalui SPSS

Jika nilai koefisien yang didapat berada di level almost perfect atau very strong, maka data nilai dari kedua rater bisa digunakan untuk analisis data lebih lanjut (pilih salah satu, bisa menggunakan nilai rater 1 atau rater 2). Jika level agreementnya sufficient atau moderate, data nilai yang dianalisis adalah average dari nilai rater 1 dan rater 2. Nah untuk lebih amannya, pakai saja nilai average dari kedua rater tersebut.


Terimakasih, semoga bermanfaat.
Ada pertanyaan? Silahkan tulis di kolom komentar :)).

Referensi:
Landis, J. Richard and Koch, Gary G. (March, 1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33 (1), 159-174.
Rasyid, Fathor. 2015. Metodologi Penelitian Sosial. Kediri: STAIN Kediri Press.


Ditulis oleh Endang Wahyuni


6 comments:

  1. Wow..sangat membantu 👏👏

    Semoga nanti pas aku eksekusi langsung udah ga bingung lagi 😄😄

    Semangat, Min buat blog nyaaa 🤘🤘

    ReplyDelete
  2. Sangatt membantu sekali. 😍😍😍

    ReplyDelete
  3. Kalo uji validitas gimana ya kak

    ReplyDelete