Míry věcné významnosti s intervaly spolehlivosti a ukázky jejich využití v pedagogické praxi

Roč.26,č.3(2021)
Studia paedagogica

Abstrakt
Předložený článek je teoreticko-metodologického charakteru a pojednává o možnostech využití měr věcné významnosti a jejich intervalů spolehlivosti na příkladu didaktických testů jako jedné z klíčových metod pedagogického výzkumu. Obsahově je rozdělen na tři částí: V první je blíže popsána a komparována problematika používání statistické a věcné významnosti; následně se text v obecné rovině věnuje základním mírám věcné významnosti a v třetí části otázce jejich praktického využití včetně intervalů spolehlivosti. V závěru autoři prezentované informace kriticky zhodnocují a syntetizují. Za cíl si kladou přiblížit tuto problematiku čtenářům natolik, aby byli schopni se dané otázce sami věnovat a využívat zmiňované analýzy ve svých výzkumech.

Klíčová slova:
míra věcné významnosti; interval spolehlivosti; kvantitativní analýza dat; didaktický test
Reference

[1] AERA. (2006). Standards for reporting on empirical social science research in AERA publications. Educational Researcher, 35(6), 33–40. https://doi.org/10.3102/0013189X035006033 | DOI 10.3102/0013189X035006033

[2] American Psychological Association [APA]. (2001). Publication manual of the American Psychological Association.

[3] American Psychological Association [APA]. (2010). Publication manual of the American Psychological Association (6th ed.).

[4] American Psychological Association [APA]. (2020). Publication manual of the American Psychological Association (7th ed.). APA. https://doi.org/10.1037/0000165-000 | DOI 10.1037/0000165-000

[5] Benjamin, D. J., Berger, J. O., Johannesson, M., … Johnson, V. E. (2018). Redefine statistical significance. Nature Human Behavior, 2(1), 6–10. https://doi.org/10.1038/s41562-017-0189-z. | DOI 10.1038/s41562-017-0189-z

[6] Beretvas, S. N., & Chung, H. (2008). A review of meta-analyses of single-subject experimental designs: Methodological issues and practice. Evidence-Based Communication Assessment and Intervention, 2(3), 129–141. https://doi.org/10.1080/17489530802446302. | DOI 10.1080/17489530802446302

[7] Blahuš, P. (2000). Statistická významnost proti vědecké průkaznosti výsledků výzkumu. Česká kinantropologie, 4(2), 53–72.

[8] Blume, J. D., Greevy, R.A., Welty, F.W., Smith, J. R., & Dupont, W. D. (2020). An introduction to second-generation p-values. The American Statistician, 73(1), 157–167. https://doi.org/10.1080/00031305.2018.1537893. | DOI 10.1080/00031305.2018.1537893

[9] Blume, J. D., McGowan, L. D., Greevy, R. A., & Dupont, W. D. (2018). Second-generation p-values: Improved rigor, reproducibility, & transparency in statistical analyses. PLoS One, 13(3), 1–17. https://doi.org/10.1371/journal.pone.0188299. | DOI 10.1371/journal.pone.0188299

[10] Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to metaanalysis. John Wiley & Sons.

[11] Cohen, J. (1988). Statistical power analysis for the behavioral science. Erlbaum.

[12] Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. https://doi.org/10.1037//0033-2909.112.1.155. | DOI 10.1037/0033-2909.112.1.155

[13] Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education. Routledge.

[14] Fan, X. (2001). Statistical significance and effect size in education research: Two sides of a "coin." TheJournal of Educational Research, 94(5), 275–282. https://doi.org/10.1080/00220670109598763. | DOI 10.1080/00220670109598763

[15] Ferjenčík, J. (2010). Úvod do metodologie psychologického výzkumu. Portál.

[16] Fico, M. (2020). Nástroje na zlepšenie štatistickej inferencie – analýza p-kriviek a ekvivalenčné testovanie. Sociológia, 52(4), 323–353. https://doi.org/10.31577/sociologia.2020.52.4.14. | DOI 10.31577/sociologia.2020.52.4.14

[17] Harris, R. J. (1997). Reforming significance testing via three-valued logic. What if there were no significance tests? Erlbaum.

[18] Hedges L. V. (2008). What are effect sizes and why do we need them? Developmental Psychology Perspectives, 2(3), 167–171. https://doi.org/10.1111/j.1750-8606.2008.00060.x. | DOI 10.1111/j.1750-8606.2008.00060.x

[19] Hedges, L. V., & Olkin, I. (1985). Statistical methods for metaanalysis. Academic Press.

[20] Hedges, L. V., Pustejovsky, J. E., & Shadish, W. R. (2012). A standardized mean difference effect size for single case designs. Research Synthesis Methods, 3(3), 224–239. https://doi.org/10.1002/jrsm.1052. | DOI 10.1002/jrsm.1052

[21] Hendl, J. (2012). Přehled statistických metod: analýza a metaanalýza dat. Portál.

[22] Hendl, J. (2014). Statistika v aplikacích. Portál.

[23] Hurlbert, S. H., & Lombardi, C. M. (2009). Final collapse of the neyman-pearson decisiontheoretic framework and rise of the neofisherian. Annales Zoologici Fennici, 46(5), 311–349. https://doi.org/10.5735/086.046.0501. | DOI 10.5735/086.046.0501

[24] Chráska, M. (2016). Metody pedagogického výzkumu: základy kvantitativního výzkumu. Grada.

[25] Ialongo, C. (2016). Understanding the effect size and its measures. Biochem Med, 26(2), 150–163. https://doi.org/10.11613/BM.2016.015 | DOI 10.11613/BM.2016.015

[26] Kaiser, H. F. (1960). Directional statistical decisions. Psychological Review, 67(3), 160–167. https://doi.org/10.1037/h0047595. | DOI 10.1037/h0047595

[27] Kline, R. B. (2013). Beyond significance testing: Statistics reform in the behavioral sciences. APA.

[28] Kočvarová, I., & Soukup, P. (2018). Výuka kvantitativní analýzy dat jako součást metodologie výzkumu v pedagogických studijních programech veřejných vysokých škol v ČR. Orbis Scholae, 12(3), 127−145. https://doi.org/10.14712/23363177.2019.2. | DOI 10.14712/23363177.2019.2

[29] Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4(863), 1–38. https://doi.org/10.3389/fpsyg.2013.00863. | DOI 10.3389/fpsyg.2013.00863

[30] Lakens, D. (2017). Equivalence tests: A practical primer for t tests, correlations, and meta-analyses. Social Psychological and Personality Science, 8(4) 355–362. https://doi.org/10.1177/1948550617697177. | DOI 10.1177/1948550617697177

[31] Lenhard, W., & Lenhard, A. (2016). Calculation of effect sizes. Psychometrica. https://www.psychometrica.de/effect_size.html.

[32] Ma, H. H. (2006). An alternative method for quantitative synthesis of single-subject design: Percentage of data points exceeding the median. Behavior Modification, 30(5), 598–617. https://doi.org/10.1177/0145445504272974. | DOI 10.1177/0145445504272974

[33] Matějů, P., Soukup, P., & Basl, J. (2007). Educational aspirations in a comparative perspective. The role of individual, contextual and stuctual factors in the formation of educational aspirations in OECD countries. Sociologický ústav AV ČR.

[34] McShane, B. B., Gal, D., Gelman, A., Robert, Ch., & Tackett, J. L. (2019). Abandon statistical significance. The American Statistician, 73(1), 235–245. https://doi.org/10.1080/00031305.2018.1527253. | DOI 10.1080/00031305.2018.1527253

[35] Papršteinová, M., Smejkalová, J., Hodačová, L., & Čermáková, E. (2011). Zdravotní stav a životní styl učitelů různých stupňů škol. Pedagogika, LXI (2), 164–174.

[36] PISA. (2018). OECD's Programme for International Student Assessment. https://www.oecd.org/pisa/publications/pisa-2018-results.htm

[37] Rabušic, L., Soukup, P., & Mareš, P. (2019). Statistická analýza sociálněvědních dat (prostřednictvím SPSS). Masarykova univerzita.

[38] Rice, M. E., & Harris, G. T. (2005). Comparing effect sizes in follow-up studies: ROC Area, Cohen's d, and r. Law and Human Behavior, 29(5), 615–620. https://doi.org/10.1007/s10979-005-6832-7. | DOI 10.1007/s10979-005-6832-7

[39] Shourki, M. M., & Edge, V. L. (1996). Statistical methods for health sciences. CRC Press.

[40] Sigmundová, D., & Sigmund, E. (2012). Statistická a věcná významnost a použití dat o pohybové aktivitě. Tělesná kultura, 35(1), 55–72. https://doi.org/10.5507/tk.2012.004. | DOI 10.5507/tk.2012.004

[41] Soukup, P. (2013). Věcná významnost výsledků a její možnosti měření. Data a výzkum, 7(2), 125–148. http://dx.doi.org/10.13060/23362391.2013.127.2.41. | DOI 10.13060/23362391.2013.127.2.41

[42] Soukup, P. (2016). Užívání statistické a věcné významnosti v časopise Pedagogická orientace a Pedagogika v posledních deseti letech: pohled statistika. Pedagogická orientace, 26(2), 182–201. https://doi.org/10.5817/PedOr2016-2-182. | DOI 10.5817/PedOr2016-2-182

[43] Soukup, P., & Kočvarová, I. (2016). Velikost a reprezentativita výběrového souboru v kvantitativně orientovaném pedagogickém výzkumu. Pedagogická orientace, 26(3), 512–536. https://doi.org/10.5507/fzv. | DOI 10.5817/PedOr2016-3-512

[44] Soukup, P., & Rabušic, L. (2007). Několik poznámek k jedné obsesi českých sociálních věd – statistické významnosti. Sociologický časopis/Czech Sociological Review, 43(2), 379–395. https://doi.org/10.13060/00380288.2007.43.2.06. | DOI 10.13060/00380288.2007.43.2.06

[45] Sullivan, G. M., & Feinn, R. (2012). Using effect size – or why the p value is not enough. Journal of Graduate Medical Education, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1. | DOI 10.4300/JGME-D-12-00156.1

[46] Steiger, J. H., & Fouladi, R. T. (1997). Noncentrality interval estimation and the evaluation of statistical models. What if there were no significance tests? Erlbaum.

[47] Tomczak, M., & Tomczak, E. (2014). The need to report effect size estimates revisited. An overview of some recommended measures of effect size. TRENDS in Sport Sciences, 21(1), 19–25.

[48] Vacha-Haase, T., & Thompson, B. (2004). How to estimate and interpret various effect sizes. Journal of Counseling Psychology, 51(4), 473–481. https://doi.org/10.1037/0022-0167.51.4.473. | DOI 10.1037/0022-0167.51.4.473

[49] Valentine, J. C., & Cooper, H. (2003). Effect size substantive interpretation guidelines: Issues in the interpretation of effect sizes. Western Michigan University. https://wmich.edu/sites/default/files/attachments/u58/2015/Effect_Size_Substantive_Interpretation_Guidelines.pdf.

[50] Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond "p<0.05". The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913. | DOI 10.1080/00031305.2019.1583913

[51] Wilkinson, L. (1999). Statistical methods in psychology journals: Guidelines and explanations. American Psychologist, 54(8), 594–604. https://doi.org/10.1037/0003-066X.54.8.594. | DOI 10.1037/0003-066X.54.8.594

Metriky

339

Views

355

PDF views