Assessment of mathematical reasoning competence in accordance with PISA 2021 mathematics framework

Abstract

The aim of this study is to develop a rubric to evaluate mathematical reasoning proficiency. Within the scope of this purpose, each of the actions expected from the reasoning process in the PISA 2021 Mathematics Framework was taken as criteria by the researchers and a rubric was created. Data were collected from 30 primary school mathematics teachers with the data collection tool containing reasoning questions prepared by the researchers and these data were analyzed using the finalized rubric. In reliability analysis; The "percentage of agreement" among researchers was used to determine the criteria included in the rubric and to be followed with the data collection tool, "Cohen's kappa coefficient" and "Krippendorff's alpha coefficient" methods were used for the agreement between the raters after the analysis of the collected data. The findings show that the Reasoning Competence Rubric (RCR), which consists of 12 criteria, is valid and reliable at a sufficient level.

Bu çalışmanın amacı, matematiksel muhakeme etme yeterliğini değerlendirmeye yönelik bir değerlendirme tablosu geliştirmektir. Amaç bir yeterliğin değerlendirilmesi olduğu için yeterliklere önemli bir yer veren PISA sınavlarının literatürdeki çerçeveleri incelenmiştir. Matematiksel muhakeme etmeyi odağına alması ve derinlemesine incelemesi sebebiyle PISA 2021 Matematik Çerçevesi’nde yer alan matematiksel muhakeme etme sürecinden beklenen eylemlerin her biri kriter olarak ele alınıp değerlendirme tablosu oluşturulmuştur. PISA 2021 matematik alanı için genişletilmiş bir perspektif olarak sunulan kaynakta yer alan matematiksel muhakeme etme becerilerini ölçmeye uygun olduğu belirtilen sorulardan oluşturulan veri toplama aracı ile 30 ilköğretim matematik öğretmeninden veriler toplanmıştır. Toplanan veriler son hali verilen değerlendirme tablosu kullanılarak analiz edilmiştir. Güvenilirlik analizlerinde, değerlendirme tablosunda yer alan ve veri toplama aracı ile izlenecek olan kriterlerin tespiti için araştırmacılar arasındaki “uyum yüzdesi”, toplanan verilerin analizi sonrasında puanlayıcılar arasındaki uyum için “Cohen’in kappa katsayısı” ve “Krippendorff’un alfa katsayısı” yöntemleri kullanılmıştır. Değerlendirme tablosunun geçerliğini sağlamak için uzman görüşlerine başvurulmuştur. Elde edilen bulgular 12 kriterden oluşan Muhakeme Etme Yeterliği Değerlendirme Tablosunun (MYDT) yeterli düzeyde geçerli ve güvenilir olduğunu göstermektedir.