Analysis of Item Difficulty Levels and Differentiating Power of TOAFL Questions at KH. Abdul Wahab Hasbullah University Jombang

Analisis Tingkat Kesukaran dan Daya Pembeda Butir Soal TOAFL di Universitas KH. A. Wahab Hasbullah Jombang

Abstract

Purpose – This study aims to evaluate the quality of the Test of Arabic Foreign Language (TOAFL) items administered at KH. Abdul Wahab Hasbullah University (UNWAHA), Jombang. Since the onset of the COVID-19 pandemic, the standard for TOAFL questions has been lowered, making them easier. Therefore, it is necessary to analyze the item difficulty levels and differentiating power to assess the test's quality

Design/methods/approach – This study employed a quantitative descriptive method. Data were obtained from the results of TOAFL Package A, administered to 20 UNWAHA students in 2024. Data collection was conducted through documentation and analyzed using ANATES software.

Findings – The findings revealed that among 140 questions, the level of difficulty of UNWAHA TOAFL items was considered good because it had a balanced proportion, namely 13 items (9.3%) easy category, 83 items (59.3%) moderate category and 44 items (31.5%) difficult category. The differentiating power of the test questions is also said to be good (56.4%) because more than 50% of the questions are able to distinguish between upper and lower group students. Only a small proportion had less (12.8%) and negatif (14.3%) differentiating power. Based on these results, the questions can be reused in future test.

Research implications/limitations – This research can provide important input for the TOAFL question-compiling team to improve the quality of questions for the better. However, this reaearch is limited to one question package only

Originality/value – This research discusses all language skills on the TOAFL test, which is tested on students from various majors and then analyzed using software.

Abstrak

Tujuan – Penelitian ini bertujuan untuk mengevaluasi kualitas butir soal Test of Arabic Foreign Language (TOAFL) yang diselenggarakan di Universitas KH. Abdul Wahab Hasbullah (UNWAHA), Jombang. Sejak awal pandemi COVID-19, standar soal TOAFL diturunkan sehingga menjadi lebih mudah. Oleh karena itu, analisis tingkat kesulitan butir soal dan daya pembeda perlu dilakukan untuk menilai kualitas tes tersebut.

Desain/metode/pendekatan – Penelitian ini menggunakan metode deskriptif kuantitatif. Data diperoleh dari hasil TOAFL Paket A yang diberikan kepada 20 mahasiswa UNWAHA pada tahun 2024. Pengumpulan data dilakukan melalui dokumentasi dan dianalisis menggunakan perangkat lunak ANATES.

Temuan – Hasil penelitian menunjukkan bahwa dari 140 soal, tingkat kesulitan butir soal TOAFL UNWAHA dinilai baik karena memiliki proporsi yang seimbang, yaitu 13 soal (9,3%) dalam kategori mudah, 83 soal (59,3%) dalam kategori sedang, dan 44 soal (31,5%) dalam kategori sulit. Daya pembeda soal tes juga dianggap baik (56,4%) karena lebih dari 50% soal mampu membedakan antara kelompok mahasiswa atas dan bawah. Hanya sebagian kecil soal yang memiliki daya pembeda kurang (12,8%) dan negatif (14,3%). Berdasarkan hasil ini, soal-soal tersebut dapat digunakan kembali pada tes di masa depan.

Implikasi/batasan penelitian – Penelitian ini dapat memberikan masukan penting bagi tim penyusun soal TOAFL untuk meningkatkan kualitas soal menjadi lebih baik. Namun, penelitian ini terbatas pada satu paket soal saja.

Orisinalitas/nilai – Penelitian ini membahas semua keterampilan bahasa dalam tes TOAFL yang diujikan pada mahasiswa dari berbagai jurusan, kemudian dianalisis menggunakan perangkat lunak.