The Journey from Likert to Forced-Choice Questionnaires: Evidence of the Invariance of Item Parameters
Open Access
- 5 July 2019
- journal article
- conference paper
- Published by Colegio Oficial de la Psicologia de Madrid in Journal of Work and Organizational Psychology
- Vol. 35 (2) , 75-83
Abstract
Multidimensional forced-choice questionnaires are widely regarded in the personnel selection literature for their ability to control response biases. Recently developed IRT models usually rely on the assumption that item parameters remain invariant when they are paired in forced-choice blocks, without giving it much consideration. This study aims to test this assumption empirically on the MUPP-2PL model, comparing the parameter estimates of the forced-choice format to their graded-scale equivalent on a Big Five personality instrument. The assumption was found to hold reasonably well, especially for the discrimination parameters. In the cases in which it was violated, we briefly discuss the likely factors that may lead to non-invariance. We conclude discussing the practical implications of the results and providing a few guidelines for the design of forced-choice questionnaires based on the invariance assumption. Los cuestionarios de elección forzosa multidimensionales son bastante apreciados en la literatura de selección de personal por su capacidad para controlar los sesgos de respuesta. Los modelos de TRI desarrollados recientemente normalmente asumen que los parámetros de los ítems permanecen invariantes cuando se emparejan en bloques de elección forzosa, sin dedicarle mucha atención. Este estudio tiene como objetivo poner a prueba empíricamente este supuesto en el modelo MUPP-2PL, comparando las estimaciones de los parámetros del formato de elección forzosa con su equivalente en escala graduada, en un instrumento de personalidad ,Big Five,. Se encontró que el supuesto se cumplía razonablemente bien, especialmente para los parámetros de discriminación. En los casos en los que no se cumplió se discuten brevemente los posibles factores que pueden dar lugar a no invarianza. Concluimos discutiendo las implicaciones prácticas de los resultados y proponiendo algunas pautas para el diseño de cuestionarios de elección forzosa basados en el supuesto de invarianza.Keywords
This publication has 35 references indexed in Scilit:
- Ensuring Positiveness of the Scaled Difference Chi-square Test StatisticPsychometrika, 2009
- Reconsidering Forced-Choice Item Formats for Applicant Personality AssessmentHuman Performance, 2005
- Personality and Performance at the Beginning of the New Millennium: What Do We Know and Where Do We Go Next?International Journal of Selection and Assessment, 2001
- Hyperbolic Cosine Latent Trait Models for Unfolding Direct Responses and Pairwise PreferencesApplied Psychological Measurement, 1995
- A Probabilistic IRT Model for Unfolding Preference DataApplied Psychological Measurement, 1989
- Some properties of ipsative, normative, and forced-choice normative measures.Psychological Bulletin, 1970
- Comparative validities of forced-choice and single-stimulus tests.Psychological Bulletin, 1968
- The Forced‐Choice Technique in Self‐DescriptionPersonnel Psychology, 1954
- Forced Choice—The New Army Rating1Personnel Psychology, 1948
- A law of comparative judgment.Psychological Review, 1927