Carolyn A. Denton

S: This study evaluated the validity, reliability, and utility of five of the six subtests of Clay's (2002) Observation Survey of Early Literacy Achievement (OS), including Letter Identification, Word Reading, Writing Vocabulary, Hearing and Recording Sounds in Words, and Text Reading. In addition to a review of studies providing assessment of the reliability and validity of the OS, we analyzed (a) the concurrent validity of the OS subtests relative to other instruments with known psychometric properties, (b) their validity and accuracy as predictors of reading development in grade 1, and (c) interadministrator reliability for the Text Reading and Writing Vocabulary subtests. The score distributions of most of the OS subtests indicated inadequate floors and ceilings, suggesting that when the OS subtests are scored as recommended in the manual, they are not suitable for program evaluation. Analyses of predictive validity indicated that decisions based on the attainment of established benchmarks in OS Word Identification, Text Reading, and Writing Vocabulary would be valid for early screening purposes and to evaluate student outcomes, but more work needs to be done in setting benchmarks for these subtests. In addition to this evidence for predictive validity, there was evidence for concurrent validity of the OS. Interassessor reliability was high for both the Text Reading and Writing Vocabulary subtests in our sample. Our review of the characteristics and administration procedures of each subtest suggests cautions regarding the utility of some of the measures for diagnostic assessment and progress monitoring. Overall, with some limitations, the OS can be validly implemented to assess components of early reading development.Este estudio evaluó la validez, confiabilidad y utilidad de cinco de los seis subtests del Informe de Observación de la Alfabetización Temprana (OS) de Clay (2002). Los tests incluyen Identificación de Letras, Lectura de Palabras, Vocabulario Escrito, Escuchar y Grabar Sonidos y Lectura de Textos. Además de revisar estudios que evalúan la confiabilidad y validez del OS, analizamos: (a) la validez concurrente de los subtests del OS en relación a otros instrumentos de conocidas propiedades psicométricas, (b) la validez y precisión como predictores del desarrollo lector en 1° Grado y (c) la validez inter‐evaluador en los tests de Lectura de Textos y Vocabulario Escrito. Las distribuciones de los valores de la mayoría de los subtets de OS indicaron efectos techo y piso inadecuados, lo que sugiere que cuando los subtests de OS se computan como se recomienda en el manual, no son adecuados para la evaluación. Los análisis de la validez predictiva indicaron que las decisiones basadas en alcanzar los estándares establecidos para Identificación de Palabras, Lectura de Textos y Vocabulario Escrito serían válidas sólo en los procedimientos iniciales de evaluación y al evaluar los resultados finales. No obstante se requiere más trabajo para establecer los estándares de estos subtests. Además de evidencia sobre la validez predictiva, se halló evidencia de la validez concurrente de OS. La confiabilidad inter‐evaluador fue alta tanto para el subtest de Lectura de Textos como para el de Vocabulario Escrito. La revisión de las características y procedimientos de administración de cada subtest sugiere tener cautela con respecto a la utilidad de algunas de estas medidas para evaluación diagnóstica y control del progreso. En síntesis, con ciertas limitaciones, el OS se puede implementar con validez para evaluar los componentes del desarrollo de la lectura inicial.Diese Studie bewertete die Gültigkeit, Verläßlichkeit und Anwendung von fünf der sechs Abstufungstests von Clay (2002), der Observationsstudie (OS) des frühen Schreib‐ und Leseerfolgs, einschließlich Buchstabenerkennung, Lesen von Wörtern, Schreiben von Vokabeln, Zuhören und Aufnehmen von Betonungen in Wörtern und beim Lesen von Texten. In Ergänzung zu einer Überprüfung der Studien, die eine Bewertung über die Zuverlässigkeit und Validität der OS liefern, analysierten wir (a) die übereinstimmende Gültigkeit der OS Abstufungstests relativ zu anderen Mitteln mit bekannten psychometrischen Eigenschaften, (b) ihre Gültigkeit und Genauigkeit als Voraussage zur Leseentwicklung in der ersten Schulklasse, und (c) ihre inter‐administrative Verläßlichkeit für das Textlesen und das Schreiben von Vokabel‐Abstufungstests. Die Auswertungen der erzielten Leistungen der meisten OS Abstufungstests zeigten unzureichende Tiefen‐ und Höhenschwingungen auf, was darauf schließen läßt, vorausgesetzt die OS Abstufungstests werden wie im Anweisungshandbuch bewertet, daß sie nicht zur Programmbewertung geeignet sind. Analysen von aussagekräftiger Gültigkeit zeigten auf, daß Entscheidungen, die auf das Erreichen von festgelegten Markierungswerten der OS Worterkennung basierten, beim Textlesen und Schreiben von Vokabeln für frühzeitige Unterscheidungszwecke und zur Bewertung von Schülerergebnissen von Wert sein könnten, jedoch muß noch mehr Vorarbeit bei der Festsetzung von Markierungswerten für die Abstufungstests erfolgen. In Ergänzung zu dieser Tatsache über eine vorhersagbare Gültigkeit gab es Anzeichen einer übereinstimmenden Gültigkeit der OS. Die Zuverlässigkeit der Bewerter untereinander war sowohl beim Textlesen als auch beim Vokabelschreiben bei den Abstufungstests in unserem Musterbeispiel hoch. Unsere Überprüfung der Charakteristiken und administrativen Handhabungen jedes einzelnen Abstufungstests schlägt Vorsicht in der Anwendung einiger der...