Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia : psychometrická kazuistika
Roč.27,č.1(2022)
Studia paedagogica
V roce 2020 epidemie covid‑19 znemožnila konání přijímací zkoušky do navazujícího magisterského studia psychologie na Masarykově univerzitě formou běžného písemného znalostního testu. Zvolili jsme proto náhradní formu v podobě hodnocení bakalářských prací. Tento článek je "psychometrickou kazuistikou", která dokumentuje celý postup od tvorby hodnoticích kritérií s ohledem na obsahovou validitu přes volbu designu až po výsledky. Každou práci hodnotili dva náhodně vylosování hodnotitelé, jejichž "přísnost" byla vyvážena využitím logistického lineárního testového modelu (LLTM) v rámci paradigmatu teorie odpovědi na položku (IRT). Výsledkem byl jednodimenzionální skór, férově vyvážený napříč dvěma přijímacími termíny (n1 = 82, n2 = 48) a 18 hodnotiteli. Jeho reliabilita, rxx' = 0,869, byla srovnatelná s písemnými testy v jiných letech. Přísnost hodnotitelů a obtížnost kritérií se nelišily napříč oběma termíny, výsledné hodnocení se zdá být validním ukazatelem a srovnatelně férové s písemným testem. Navržená procedura tak může posloužit jiným pracovištím a k jiným účelům, než je jen přijímací test; z těchto důvodů sdílíme analytický skript a veškeré materiály nezbytné pro replikaci celé procedury.
lineární logistický testový model; LLTM; high‑stake testy; hodnoticí škála; přijímací test; teorie zobecnitelnosti
[1] AERA, APA, & NCME. (2014). Standards for educational and psychological testing. American Educational Research Association.
[2] Bates, D., Mächler, M., Bolker, B., & Walker, S. (2015). Fitting linear mixed-effects models using lme4. Journal of Statistical Software, 67(1). https://doi-org.ezproxy.muni.cz/10.18637/jss.v067.i01 | DOI 10.18637/jss.v067.i01
[3] Bentler, P. M., & Woodward, J. A. (1980). Inequalities among lower bounds to reliability: With applications to test construction and factor analysis. Psychometrika, 45(2), 249–267. https://doi-org.ezproxy.muni.cz/10.1007/BF02294079 | DOI 10.1007/BF02294079
[4] Bentler, P. M. (2009). Alpha, dimension-free, and model-based internal consistency reliability. Psychometrika, 74(1), 137–143. https://doi-org.ezproxy.muni.cz/10.1007/s11336-008-9100-1 | DOI 10.1007/s11336-008-9100-1
[5] Bond, T. G., & Fox, C. M. (2009). Applying the Rasch model : Fundamental measurement in the human sciences. Lawrence Erlbaum Associates, Inc.
[6] Breland, H. M., Bridgeman, B., & Fowles, M. E. (1999). Writing assessment in admission to higher education: Review and framework. ETS Research Report Series, 1999(1), 1–42. https://doi-org.ezproxy.muni.cz/10.1002/j.2333-8504.1999.tb01801.x | DOI 10.1002/j.2333-8504.1999.tb01801.x
[7] Brennan, R. L. (2001). Generalizability theory. Springer-Verlag.
[8] Cai, L., & Hansen, M. (2013). Limited-information goodness-of-fit testing of hierarchical item factor models. British Journal of Mathematical and Statistical Psychology, 66(2), 245–276. https://doi-org.ezproxy.muni.cz/10.1111/j.2044-8317.2012.02050.x | DOI 10.1111/j.2044-8317.2012.02050.x
[9] Casabianca, J. M., Junker, B. W., & Patz, R. J. (2016). Hierarchical rater models. Handbook of Item Response Theory, 1, 449–465. https://doi-org.ezproxy.muni.cz/10.1201/9781315374512
[10] CERMAT. (2020). Neagregovaná položková data didaktických testů maturitní zkoušky. Portál s výsledky evaluačních projektů. https://vysledky.cermat.cz/statistika/Default.aspx
[11] Cígler, H. (2018). Matematické schopnosti: Teoretický přehled a jejich měření (EDIS). Masarykova univerzita.
[12] Cígler, H., Ježek, S., Širůček, J., & Lacinová, L. (2020). Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia: Psychometrická kazuistika. Masarykova univerzita. https://doi-org.ezproxy.muni.cz/10.17605/OSF.IO/QX5U7
[13] Cronbach, L. J., Rajaratnam, N., & Gleser, G. C. (1963). Theory of generalizability: A liberalization of reliability theory. British Journal of Statistical Psychology, 16(2), 137–163. https://doi-org.ezproxy.muni.cz/10.1111/j.2044-8317.1963.tb00206.x | DOI 10.1111/j.2044-8317.1963.tb00206.x
[14] De Boeck, P., Bakker, M., Zwitser, R., Nivard, M., Hofman, A., Tuerlinckx, F., & Partchev, I. (2012). The estimation of item response models with the lmer function from the lme4 package in R. Journal of Statistical Software, 39(12), 1–28.
[15] Fischer, G. H. (1973). The linear logistic test model as an instrument in educational research. Acta Psychologica, 37(6), 359–374. https://doi-org.ezproxy.muni.cz/10.1016/0001-6918(73)90003-6 | DOI 10.1016/0001-6918(73)90003-6
[16] Gagolewski, M. (2020). R package stringi: Character string processing facilities.
[17] Gu, Z., Gu, L., Eils, R., Schlesner, M., & Brors, B. (2014). Circlize implements and enhances circular visualization in R. Bioinformatics, 30(19), 2811–2812. https://doi-org.ezproxy.muni.cz/10.1093/bioinformatics/btu393 | DOI 10.1093/bioinformatics/btu393
[18] Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30, 179–185. https://doi-org.ezproxy.muni.cz/10.1007/BF02289447 | DOI 10.1007/BF02289447
[19] Charvát, M., & Viktorová, L. (2014). Tvorba, administrace a analýza testů studijních předpokladů. Univerzita Palackého v Olomouci. https://www.researchgate.net/publication/291295001
[20] Maydeu-Olivares, A., Cai, L., & Hernández, A. (2011). Comparing the fit of item response theory and factor analysis models. Structural Equation Modeling: A Multidisciplinary Journal, 18(3), 333–356. https://doi-org.ezproxy.muni.cz/10.1080/10705511.2011.581993 | DOI 10.1080/10705511.2011.581993
[21] Nakagawa, S., Johnson, P. C. D., & Schielzeth, H. (2017). The coefficient of determination R 2 and intra-class correlation coefficient from generalized linear mixed-effects models revisited and expanded. Journal of The Royal Society Interface, 14(134), 20170213. https://doi-org.ezproxy.muni.cz/10.1098/rsif.2017.0213 | DOI 10.1098/rsif.2017.0213
[22] Patz, R. J., Junker, B. W., Johnson, M. S., & Mariano, L. T. (2002). The hierarchical rater model for rated test items and its application to large-scale educational assessment data. Journal of Educational and Behavioral Statistics, 27(4), 341–384. htt ps://doi.org/10.3102/10769986027004341 | DOI 10.3102/10769986027004341
[23] Phillips, N. (2017). Yarrr: A companion to the e-Book "YaRrr!: The pirate's guide to R" (R package version 0.1.5). https://cran.r-project.org/package=yarrr
[24] R Core Team. (2020). R: A language and environment for statistical computing (4.02). R Foundation for Statistical Computing.
[25] Revelle, W. (2020). Psych: Procedures for psychological, psychometric, and personality research (2.0.9). Northwestern University.
[26] Revelle, W., & Zinbarg, R. E. (2009). Coefficients Alpha, Beta, Omega, and the glb: Comments on Sijtsma. Psychometrika, 74(1), 145–154. https://doi-org.ezproxy.muni.cz/10.1007/s11336-008-9102-z
[27] Salvatori, P. (2001). Reliability and validity of admissions tools used to select students for the health professions. Advances in Health Sciences Education, 6(2), 159–175. https://doi-org.ezproxy.muni.cz/10.1023/A:1011489618208 | DOI 10.1023/A:1011489618208
[28] Sarkar, D. (2008). Lattice: Multivariate data visualization with R. Springer. http://lmdvr.r-forge.r-project.org
[29] Signorell, A., Aho, K., Alfons, A., Anderegg, N., Aragon, T., Arachchige, C., Arppe, A., Baddeley, A., Barton, K., Bolker, B., Borchers, H. W., Caeiro, F., Champely, S., Chessel, D., Chhay, L., Cooper, N., Cummins, C., Dewey, M., Doran, H. C., … Zeileis, A. (2020). DescTools: Tools for descriptive statistics (R package version 0.99.32). https://cran.r-project.org/package=DescTools
[30] Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach's Alpha. Psychometrika, 74(1), 107–120. https://doi-org.ezproxy.muni.cz/10.1007/s11336-008-9101-0 | DOI 10.1007/s11336-008-9101-0
[31] Tutz, G. (1990). Sequential item response models with an ordered response. British Journal of Mathematical and Statistical Psychology, 43(1), 39–55. https://doi-org.ezproxy.muni.cz/10.1111/j.2044-8317.1990.tb00925.x | DOI 10.1111/j.2044-8317.1990.tb00925.x
[32] Wickham, H. (2007). Reshaping data with the {reshape} package. Journal of Statistical Software2, 21(12), 1–20. http://www.jstatsoft.org/v21/i12/
[33] Wind, S. A., & Peterson, M. E. (2018). A systematic review of methods for evaluating rating quality in language assessment. Language Testing, 35(2), 161–192. https://doi-org.ezproxy.muni.cz/10.1177/0265532216686999 | DOI 10.1177/0265532216686999
[34] Zamanzadeh, V., Ghahramanian, A., Valizadeh, L., Bagheriyeh, F., & Lynagh, M. (2020). A scoping review of admission criteria and selection methods in nursing education. BMC Nursing, 19(121), 1–17. https://doi-org.ezproxy.muni.cz/10.21203/rs.3.rs-31484/v1 | DOI 10.1186/s12912-020-00510-1
Copyright © 2022 Studia paedagogica