Heterogenita v užívání hodnoticích škál v rámci žákovského sebehodnocení výkonové motivace napříč padesáti osmi zeměmi: využití metody ukotvujících vinět v PISA 2015
Roč.30,č.1(2025)
Studia paedagogica
Motivace žáků je klíčovým tématem pedagogického výzkumu, přičemž sebehodnoticí dotazníky s hodnoticími škálami jsou častým nástrojem jejího zkoumání. Nicméně tato data mohou být zkreslena, pokud žáci užívají škály různým způsobem. Literatura upozorňuje na paradoxní negativní vztahy na úrovni zemí mezi nekognitivními dovednostmi žáků a jejich výsledky v testech v mezinárodních studiích, které mohou být přisouzeny právě rozdílům v užívání hodnoticích škál žáky. Metoda ukotvujících vinět umožňuje modelovat tyto rozdíly v užívání hodnoticích škál respondenty. Metoda byla implementována ve výzkumu PISA 2012 a 2015. Stále však chybí ucelená analýza dat z roku 2015. V této studii analyzujeme sebehodnocení výkonové motivace u 411 367 žáků z 58 zemí a ekonomik pomocí parametrického modelu CHOPIT metody ukotvujících vinět. Výsledky dokládají rozdíly v užívání škál u žáků z různých zemí, kdy například žáci ze zemí s lepšími výsledky v testech jsou přísnější při hodnocení nízké úrovně výkonové motivace. Regionálně se například v Latinské Americe a Karibiku projevují mírnější hodnoticí standardy. Po očištění dat metodou ukotvujících vinět se sice negativní korelace na úrovni zemí mezi výkonovou motivací a výsledky v testech zmenšily, ale zůstaly záporné. Naše výsledky podporují další využití ukotvujících vinět v mezinárodních výzkumech a upozorňují na některé metodologické aspekty jejich využití.
PISA; výkonová motivace; ukotvující viněty; užívání škál; CHOPIT
[1] Ainley, M., & Ainley, J. (2019). Non-cognitive attributes: Measurement and meaning. In L. E. Suter, E. Smith, & B. D. Denman (Eds.), The SAGE handbook of comparative studies in education (pp. 103–125). SAGE.
[2] Angelini, V., Cavapozzi, D., Corazzini, L. & Paccagnella, O. (2012). Age, health and life satisfaction among older Europeans. Social Indicators Research, 105(2), 293–308. https://doi.org/10.1007/s11205-011-9882-x
[3] Bago d'Uva, T., O'Donnell, O. & van Doorslaer, E. (2008). Differential health reporting by education level and its impact on the measurement of health inequalities among older Europeans. International Journal of Epidemiology, 37(6), 1375–1383. https://doi.org/10.1093/ije/dyn146
[4] Bialo, J. A., & Li, H. (2024). An analysis of DIF and sources of DIF in achievement motivation items using anchoring vignettes. Educational Assessment, 29(4), 293–318. https://doi.org/10.1080/10627197.2024.2374298
[5] Bialo, J. A., & Li, H. (2022). Fairness and comparability in achievement motivation items: A differential item functioning analysis. Journal of Psychoeducational Assessment, 40(6), 722–743. https://doi.org/10.1177/07342829221090113
[6] Buckley, J. (2009). Cross-national response styles in international educational assessments: Evidence from PISA 2006. http://edsurveys.rti.org/PISA/documents/Buckley_PISAresponsestyle.pdf
[7] Cook, D. A., & Artino Jr, A. R. (2016). Motivation to learn: an overview of contemporary theories. Medical Education, 50(10), 997–1014. https://doi.org/10.1111/medu.13074
[8] Curran, P. G. (2016). Methods for the detection of carelessly invalid responses in survey data. Journal of Experimental Social Psychology, 66, 4–19. https://doi.org/10.1016/j.jesp.2015.07.006
[9] Česká školní inspekce (ČŠI) (n.d.). PISA 2015 žákovský dotazník obecný – česky. https://www.csicr.cz/cz/Mezinarodni-setreni/PISA/Datove-soubory-a-dotazniky/PISA-2015
[10] He, J., Buchholz, J., & Klieme, E. (2017). Effects of anchoring vignettes on comparability and predictive validity of student self-reports in 64 cultures. Journal of Cross-Cultural Psychology, 48(3), 319–334. https://doi.org/10.1177/0022022116687395
[11] He, J., & Van de Vijver, F. J. R. (2016). The motivation-achievement paradox in international educational achievement tests: Toward a better understanding. In R. B. King & A. B. I. Bernardo (Eds.), The psychology of Asian learners: A Festschrift in honor of David Watkins (pp. 253–268). Springer Science. https://doi.org/10.1007/978-981-287-576-1_16
[12] Howard, J. L., Bureau, J. S., Guay, F., Chong, J. X., & Ryan, R. M. (2021). Student motivation and associated outcomes: A meta-analysis from self-determination theory. Perspectives on Psychological Science, 16(6), 1300–1323. https://doi.org/10.1177/1745691620966789
[13] Hrabal, V., & Pavelková, I. (2010). Jaký jsem učitel. Portál.
[14] Kaufman, J. H., Engberg, J., Hamilton, L. S., Yuan, K., & Hill, H. C. (2019). Validity evidence supporting use of anchoring vignettes to measure teaching practice. Educational Assessment, 24(3), 155–188. https://doi.org/10.1080/10627197.2019.1615374
[15] King, G., Murray, C., Salomon, J., & Tandon, A. (2004). Enhancing the validity and cross-cultural comparability of measurement in survey research. American Political Science Review, 98(1), 567–583. https://doi.org/10.1017/S000305540400108X
[16] Kyllonen, P. C., & Bertling, J. (2013). Innovative questionnaire assessment methods to increase cross-country comparability. In L. Rutkowski, M. von Davier, & D. Rutkowski (Eds.), A handbook of international large-scale assessment data analysis: Background, technical issues, and methods of data analysis (pp. 277–286). London, UK: Chapman Hall/CRC Press.
[17] Marksteiner, T., Kuger, S., & Klieme, E. (2019). The potential of anchoring vignettes to increase intercultural comparability of non-cognitive factors. Assessment in Education: Principles, Policy & Practice, 26(4), 516–536. https://doi.org/10.1080/0969594X.2018.1514367
[18] OECD. (2009). PISA 2006 technical report. OECD Publishing. https://doi.org/10.1787/9789264048096-en
[19] OECD. (2014). PISA 2012 technical report. OECD Publishing. https://www.oecd.org/content/dam/oecd/en/about/programmes/edu/pisa/publications/technical-report/PISA-2012-technical-report-final.pdf
[20] OECD. (2016). PISA 2015 Results (Volume I): Excellence and Equity in Education. OECD Publishing. https://www.oecd.org/content/dam/oecd/en/publications/reports/2016/12/pisa-2015-results-volume-i_g1g7397c/9789264266490-en.pdf
[21] OECD. (2017). PISA 2015 results (volume III): Students' well-being. OECD Publishing. https://www.oecd-ilibrary.org/pisa-2015-results-volume-iii_5jfzp5qk3z24.pdf?itemId=%2Fcontent%2Fpublication%2F9789264273856-en&mimeType=pdf
[22] OECD. (n.d.-a). PISA Data Explorer. OECD Publishing. https://pisadataexplorer.oecd.org/ide/idepisa/dataset.aspx
[23] OECD. (n.d.-b). PISA 2015 student questionnaire data file [Data set]. OECD Publishing. https://www.oecd.org/en/data/datasets/pisa-2015-database.html
[24] Papajoanu, O., Voňková, H., & Vlčková, K. (2021). Motivace k učení se angličtině ve vztahu ke známkám a studijním aspiracím u žáků základních škol. Studia Paedagogica, 26(3), 29–50. https://doi.org/10.5817/SP2021-3-2
[25] Su, Y., Willis, G., & Salomon, J. A. (2017). Improving vignette descriptions and question formats to measure distance vision: Evidence from cognitive interviews among students in China. Field Methods, 29(3), 175–93. https://doi.org/10.1177/1525822X16680810
[26] United Nations. (2024, November 12). UNSD – Methodology. United Nations, Statistics Division. https://unstats.un.org/unsd/methodology/m49/
[27] Voňková, H. (2012). Metoda ukotvujících vinět a možnosti využití v pedagogice. Orbis Scholae, 6(1), 27–40. https://doi.org/10.14712/23363177.2015.47
[28] Voňková, H. (2017). Metoda ukotvujících vinět a její využití v pedagogickém výzkumu. Univerzita Karlova, Pedagogická fakulta.
[29] Voňková, H., Papajoanu, O., & Bendl, S. (2016). Aplikace metody ukotvujících vinět v pedagogickém výzkumu: přehled literatury a metodologická doporučení. Pedagogická Orientace, 26(3), 537–559. https://doi.org/10.5817/PedOr2016-3-537
[30] Vonkova, H., Bendl, S. & Papajoanu, O. (2017). How students report dishonest behavior in school: Self-assessment and anchoring vignettes. The Journal of Experimental Education, 85(1), 36–53. https://doi.org/10.1080/00220973.2015.1094438
[31] Vonkova, H., Hrabak, J., Kralova, K., & Papajoanu, O. (2021). Developing a framework for the examination of anchoring vignette assumptions using cognitive interviews: A demonstration in the ICT skills domain. Field Methods, 33(4), 355–371. https://doi.org/10.1177/1525822X21991281
[32] Vonkova, H., Papajoanu, O., & Kralova, K. (2022). Student online communication skills: Enhancing the comparability of self-reports among different groups of students. Education and Information Technologies, 27(2), 2181–2205. https://doi.org/10.1007/s10639-021-10685-y
[33] Vonkova, H., Papajoanu, O., & Stipek, J. (2018a). Enhancing the cross-cultural comparability of self-reports using the overclaiming technique: An analysis of accuracy and exaggeration in 64 cultures. Journal of Cross-Cultural Psychology, 49(8), 1247–1268. https://doi.org/10.1177/0022022118787042
[34] Vonkova, H., Zamarro, G. & Hitt, C. (2018b). Cross-country heterogeneity in students' reporting behavior: The use of the anchoring vignette method. Journal of Educational Measurement, 55(1), 3–31. https://doi.org/10.1111/jedm.12161
[35] Weiss, S., & Roberts, R. D. (2018). Using anchoring vignettes to adjust self-reported personality: A comparison between countries. Frontiers in Psychology, 9, 1–17. https://doi.org/10.3389/fpsyg.2018.00325
[36] Wigfield, A., Muenks, K., & Eccles, J. S. (2021). Achievement motivation: What we know and where we are going. Annual Review of Developmental Psychology, 3(1), 87–111. https://doi.org/10.1146/annurev-devpsych-050720-103500
[37] World Bank Group. (n.d.). Education statistics - all indicators. DataBank. World Bank Group. Retrieved November 21, 2024. https://databank.worldbank.org/reports.aspx?source=Education+Statistics#
Studie vznikla v rámci řešení projektu GA ČR "Heterogenita ve způsobu odpovídání v dotazníkových šetřeních napříč různými zeměmi, školami a skupinami respondentů (21-09064S)".
Copyright © 2025 Studia paedagogica