Heterogenita ve způsobu odpovídání na dotazníkové položky u českých žáků v PISA 2012 : analýza dle kraje, typu a velikosti školy

Roč.27,č.3(2022)
Studia paedagogica

Abstrakt

Rozdíly ve způsobu odpovídání na dotazníkové položky mezi žáky mohou zkreslit data (nejen) z mezinárodních výzkumů. Na vzorku z PISA 2012 zkoumáme, jak se liší způsob odpovídání českých žáků s vybranými charakteristikami (gender, vzdělání rodičů) na různých školách (kraj, typ a velikost školy) a jak způsob odpovídání souvisí s jejich výsledky v testech. Způsob odpovídání určujeme pomocí identifikace tendence souhlasit, analýzy chybějících odpovědí, metody identifikace nadhodnocování vlastních znalostí (MINa) a hodnocení ukotvujících vinět. Významné rozdíly ve způsobu odpovídání mezi žáky jsou zejména dle kraje, typu školy a genderu, a to například v hodnocení ukotvující viněty popisující nejnižší úroveň učitelova řízení třídy. Výsledky žáků v testech výrazně souvisejí se způsobem odpovídání na individuální i školní úrovni, např. korelace mezi čtenářskou gramotností a MINa indexem přesnosti je 0,49 a 0,71. Další výzkum se může zaměřit i na jiné přístupy, např. analýzu časů odpovídání na položky.


Klíčová slova:
identifikace tendence k volbě určitých škálových kategorií bez ohledu na obsah položek; analýza chybějících odpovědí; metoda identifikace nadhodnocování vlastních znalostí; ukotvující viněty; PISA

Stránky:
127–159
Reference

[1] Bachman, J. G., O'Malley, P. M., & Freedman-Doan, P. (2010). Response styles revisited: Racial/ethnic and gender differences in extreme responding. Institute for Social Research, University of Michigan. https://deepblue.lib.umich.edu/bitstream/handle/2027.42/137850/occ72.pdf

[2] Baumgartner, H., & Steenkamp, J.-B. E. M. (2001). Response styles in marketing research: A cross-national investigation. Journal of Marketing Research, 38(2), 143–156. https://doi.org/10.1509/jmkr.38.2.143.18840

[3] Bertling, J. P., Marksteiner T., & Kyllonen P. C. (2016). General noncognitive outcomes. In S. Kuger, E. Klieme, N. Jude, & D. Kaplan (Eds.), Assessing contexts of learning: Methodology of educational measurement and assessment (pp. 255–281). Springer. https://doi.org/10.1007/978-3-319-45357-6_10

[4] Blažek, R., Janotová, Z., Potužníková, E., & Basl, J. (2019). Mezinárodní šetření PISA 2018: Národní z práva. Česká školní inspekce. https://www.csicr.cz/Csicr/media/Prilohy/PDF_el._publikace/Mezin%c3%a1rodn%c3%ad%20%c5%a1et%c5%99en%c3%ad/PISA_2018_narodni_zprava.pdf

[5] Buckley, J. (2009). Cross-national response styles in international educational assessments: Evidence from PISA 2006. New York University. http://edsurveys.rti.org/PISA/documents/Buckley_PISAresponsestyle.pdf

[6] Čeněk, J., & Urbánek, T. (2019). Adaptace a ekvivalence testových metod: inspirace pro psychologické testování minorit v ČR. Československá psychologie, 63(1), 42–54.

[7] Černá, P. (2017). Sebehodnocení znalostí studentů pedagogických oborů v oblasti informačních a komunikačních technologií [Diplomová práce, Univerzita Karlova]. Digitální repozitář Univerzity Karlovy. http://hdl.handle.net/20.500.11956/92085

[8] Černochová, M., Voňková, H., Štípek, J., & Černá, P. (2018). How do learners perceive and evaluate their digital skills? International Journal of Smart Education and Urban Society, 9(1), 37–47. https://doi.org/10.4018/IJSEUS.2018010104

[9] Česká školní inspekce. (2022, 2. dubna). PISA 2012. https://www.csicr.cz/cz/Mezinarodni-setreni/PISA/Datove-soubory-a-dotazniky/PISA-2012

[10] Duckworth, A. L., & Yeager, D. S. (2015). Measurement matters: Assessing personal qualities other than cognitive ability for educational purposes. Educational Researcher, 44(4), 237–251. https://doi.org/10.3102/0013189X15584327

[11] Enders, C. K. (2010). Applied missing data analysis. The Guilford Press.

[12] Fell, C. B., König, C. J., Jung, S., Sorg, D., & Ziegler, M. (2019). Are country level prevalences of rule violations associated with knowledge overclaiming among students? International Journal of Psychology, 54(1), 17–22. https://doi.org/10.1002/ijop.12441

[13] Goecke, B., Weiss, S., Steger, D., Schroeders, U., & Wilhelm, O. (2020). Testing competing claims about overclaiming. Intelligence, 81, 2–11. https://doi.org/10.1016/j.intell.2020.101470

[14] He, J., Chung, J. M., & Van de Vijver, F. J. (2020). An examination of different scale usage correction procedures to enhance cross-cultural data comparability. Journal of Cross-Cultural Psychology, 51(10), 794–813. https://doi.org/10.1177/0022022120960815

[15] He, J., & Van de Vijver, F. (2016a). Correcting for scale usage differences among Latin American countries, Portugal, and Spain in PISA. RELIEVE, 22(1), 1–10. http://dx.doi.org/10.7203/relieve.22.1.8282

[16] He, J., & Van de Vijver, F. (2016b). The motivation-achievement paradox in international educational achievement tests: Toward a better understanding. In R. B. King & A. B. I. Bernardo (Eds.), The psychology of Asian learners: A festschrift in honor of David Watkins (pp. 253–268). Springer Science. https://doi.org/10.1007/978-981-287-576-1

[17] Hitt, C., Trivitt, J., & Cheng, A. (2016). When you say nothing at all: The predictive power of student effort on surveys. Economics of Education Review, 52, 105–119. https://doi.org/10.1016/j.econedurev.2016.02.001

[18] Jude, N., & Kuger, S. (2018). Questionnaire development and design for international large-scale assessments (ILSAs): Current practice, challenges, and recommendations. National Academy of Education. https://naeducation.org/wp-content/uploads/2018/04/Jude-and-Kuger-2018-FINAL.pdf

[19] King, G., Murray, C. J., Salomon, J. A., & Tandon, A. (2004). Enhancing the validity and cross-cultural comparability of measurement in survey research. American political science review, 98(1), 191–207. https://doi.org/10.1017/S000305540400108X

[20] Kyllonen, P. C., & Bertling, J. (2013). Innovative questionnaire assessment methods to increase cross-country comparability. In L. Rutkowski, M. von Davier, & D. Rutkowski (Eds.), A handbook of international large-scale assessment data analysis: Background, technical issues, and methods of data analysis (pp. 277–285). Chapman and Hall/CRC Press.

[21] Lebeda, T., Lysek, J., Marek, D., Meislová, M. B., Navrátilová, A., Soukop, M., Zymová, K., Zapletalová, M., Hájek, O., Zatloukal, T., Basl, J., Boudová, S., Andrys, O., Folowarczný, R., Novosák, J., Daniel, S., & Pražáková, D. (2021). Sekundární analýza PISA 2018: Well-being žáků, třídní klima, používání ICT a vnímání role učitele. Česká školní inspekce. https://www.csicr.cz/Csicr/media/Prilohy/2021_p%C5%99%C3%ADlohy/Dokumenty/Sekundarni-analyza-PISA-2018.pdf

[22] Lee, J., & Stankov, L. (2018). Non-cognitive predictors of academic achievement: Evidence from TIMSS and PISA. Learning and Individual Differences, 65, 50–64. https://doi.org/10.1016/j.lindif.2018.05.009

[23] Lu, Y. (2012). A multilevel multidimensional item response theory model to address the role of response style on measurement of attitudes in PISA 2006 [Disertační práce]. The University of Wisconsin-Madison.

[24] Minarčíková, N., Příhodová, T., Maliňaková, J., Riegel, K., Marková, J., & Preiss, M. (2017). Česká verze dotazníku přehánění vlastních znalostí–převod metody a pilotní studie. E-psychologie (E-psychology), 11(2), 34–46. https://e-psycholog.eu/pdf/minarcikova_etal.pdf

[25] Muszyński, M., Pokropek, A., & Żółtak, T. (2021). Structural Validity of Overclaiming Scores: Analysing PISA 2012 data. Psychological Test and Assessment Modeling, 63(1), 119–145.

[26] OECD. (n.d.). Database – PISA. https://www.oecd.org/pisa/data/pisa2012database-downloadabledata.htm

[27] OECD. (2014). PISA 2012 Technical Report. OECD Publishing. https://www.oecd.org/pisa/pisaproducts/PISA-2012-technical-report-final.pdf

[28] OECD. (2009). PISA data analysis manual: SPSS, second edition. OECD Publishing. https://doi.org/10.1787/9789264056275-en

[29] Otgonbaatar, K. (2021). Effectiveness of anchoring vignettes in re-evaluating self-rated social and emotional skills in mathematics. International Journal of Evaluation and Research in Education, 10(1), 237–244. http://doi.org/10.11591/ijere.v10i1.20716

[30] Palečková, J., Tomášek, V., Basl, J., Blažek, R., & Boudová, S. (2013). Hlavní z jištění PISA 2012: matematická gramotnost patnáctiletých žáků. Česká školní inspekce. http://www.csicr.cz/html/PISA2012-HZ/resources/_pdfs_/Hlavni_zjisteni_PISA2012__.pdf

[31] Paulhus, D. L. (2011). Overclaiming on personality questionnaires. In M. Ziegler, C. MacCann, & R. D. Roberts (Eds.), New perspectives on faking in personality assessment (pp. 151–164). Oxford University Press.

[32] Paulhus, D. L., & Dubois, P. J. (2014). Application of the overclaiming technique to scholastic assessment. Educational and Psychological Measurement, 74(6), 975–990. https://doi.org/10.1177/0013164414536184

[33] Paulhus, D. L., Harms, P. D., Bruce, M. N., & Lysy, D. C. (2003). The over-claiming technique: Measuring self-enhancement independent of ability. Journal of Personality and Social Psychology, 84(4), 890–904. https://doi.org/10.1037/0022-3514.84.4.890

[34] Soland, J., Zamarro, G., Cheng, A., & Hitt, C. (2019). Identifying naturally occurring direct assessments of social-emotional competencies: The promise and limitations of survey and assessment disengagement metadata. Educational Researcher, 48(7), 466–478. https://doi.org/10.3102/0013189X19861356

[35] Straková, J. (2016). Mezinárodní výzkumy výsledků vzdělávání: metodologie, přínosy, rizika a příležitosti. Univerzita Karlova.

[36] Swami, V., Papanicolaou, A., & Furnham, A. (2011). Examining mental health literacy and its correlates using the overclaiming technique. British Journal of Psychology, 102(3), 662–675. https://doi.org/10.1111/j.2044-8295.2011.02036.x

[37] Štípek, J., Králová, K., Hrabák, J., Černochová, M., Papajoanu, O., & Voňková, H. (2018). Overclaiming technique a její aplikace v různých oblastech výzkumu sebehodnocení znalostí a dovedností: výsledky pilotní studie. In A. Wiegerová & H. Navrátilová (Eds.), Transdisciplinarita v pedagogických vědách (pp. 137–138). Univerzita Tomáše Bati. https://capv.cz/wp-content/uploads/2020/11/Sbornik_forum_2018_final.pdf

[38] Van de Vijver, F., & Tanzer, N. K. (2004). Bias and equivalence in cross-cultural assessment: An overview. European Review of Applied Psychology, 54(2), 119–135. https://doi.org/10.1016/j.erap.2003.12.004

[39] Vonkova, H. (2019). Life satisfaction among different groups of children: Self-reports, differential scale usage and anchoring vignettes. Child Indicators Research, 12(6), 2111–2136. https://doi.org/10.1007/s12187-019-09629-3

[40] Voňková, H. (2017). Metoda ukotvujících vinět a její využití v pedagogickém výzkumu. Univerzita Karlova. https://pages.pedf.cuni.cz/uvrv/files/2017/09/Vonkova-Ukotvujici-vinety.pdf

[41] Voňková, H. (2012). Metoda ukotvujících vinět a možnosti využití v pedagogice. Orbis scholae, 6(1), 27–40. https://doi.org/10.14712/23363177.2015.47

[42] Vonkova, H., Bendl, S., & Papajoanu, O. (2017). How students report dishonest behavior in school: Self-assessment and anchoring vignettes. The Journal of Experimental Education, 85(1), 36–53. https://doi.org/10.1080/00220973.2015.1094438

[43] Vonkova, H., & Hrabak, J. (2015). The (in) comparability of ICT knowledge and skill self-assessments among upper secondary school students: The use of the anchoring vignette method. Computers & Education, 85, 191–202. https://doi.org/10.1016/j.compedu.2015.03.003

[44] Vonkova, H., Hrabak, J., Kralova, K., & Papajoanu, O. (2021a). Developing a framework for the examination of anchoring vignette assumptions using cognitive interviews: A demonstration in the ICT skills domain. Field Methods, 33(4), 355 –371. https://doi.org/10.1177/1525822X21991281

[45] Voňková, H., Papajoanu, O., & Bendl, S. (2016). Aplikace metody ukotvujících vinět v pedagogickém výzkumu: přehled literatury a metodologická doporučení. Pedagogická orientace, 26(3), 537–559. https://doi.org/10.5817/PedOr2016-3-537

[46] Vonkova, H., Papajoanu, O., & Kralova, K. (2022). Student online communication skills: Enhancing the comparability of self-reports among different groups of students. Education and Information Technologies, 27(2), 2181–2205. https://doi.org/10.1007/s10639-021-10685-y

[47] Vonkova, H., Papajoanu, O., & Stipek, J. (2018a). Enhancing the cross-cultural comparability of self-reports using the overclaiming technique: An analysis of accuracy and exaggeration in 64 cultures. Journal of Cross-Cultural Psychology, 49(8), 1247–1268. https://doi.org/10.1177/0022022118787042

[48] Vonkova, H., Papajoanu, O., Stipek, J., & Kralova, K. (2021b). Identifying the accuracy of and exaggeration in self-reports of ICT knowledge among different groups of students: The use of the overclaiming technique. Computers & Education, 164(1), 104–112. https://doi.org/10.1016/j.compedu.2020.104112

[49] Vonkova, H., Zamarro, G., & Hitt, C. (2018b). Cross' country heterogeneity in students' reporting behavior: The use of the anchoring vignette method. Journal of Educational Measurement, 55(1), 3–31. https://doi.org/10.1111/jedm.12161

[50] West, M. R., Kraft, M. A., Finn, A. S., Martin, R. E., Duckworth, A. L., Gabrieli, C. F. O., & Gabrieli, J. D. E. (2016). Promise and paradox: Measuring students' non-cognitive skills and the impact of schooling. Educational Evaluation and Policy Analysis, 38(1), 148–170. https://doi.org/10.3102/0162373715597298

[51] Yang, Z., Barnard-Brak, L., & Lan, W. Y. (2019). Examining the association of over-claiming with mathematics achievement. Learning and Individual Differences, 70(5), 30–38. https://doi.org/10.1016/j.lindif.2019.01.004

[52] Zamarro, G., Hitt, C., & Mendez, I. (2019). When students don't care: Reexamining international differences in achievement and student effort. Journal of Human Capital, 13(4), 519–552. https://doi.org/10.1086/705799

Metriky

0

0


17

Views

20

PDF views