Социологическое тестирование: нормы VS критериальные уровни
22/05/17 21:31 Относится к категории: Шкалирование | Эмпирическая социология | Теория социального измерения
Понятие «норма», применительно к психологическому тестированию, относится к результатам, которые показывают представители определенной группы по заданному тесту [Kaplan, 53]. Такие нормы вычисляются с помощью исследований стандартизации и в дальнейшем используются для оценки индивидуальных результатов психологического теста.
Исследования стандартизации заключаются в изучении репрезентативных групп с целью использования полученных результатов в качестве ориентиров сравнения индивидуальных показателей по тесту. Это позволяет выяснить относительное положение участника исследования относительно выборки стандартизации, а также обеспечивает сопоставимость результатов различных тестов [Анастази, 64-65].
Несмотря на то, что этот подход является общепринятым, некоторые его аспекты требуют более детального рассмотрения. Прежде всего это касается понятия «репрезентативность». Так, Клайн говорит о необходимости использования стратифицированной выборки, позволяющей учесть в исследование стандартизации наиболее важные параметры, влияющие на результаты использования теста. В качестве примера он приводит свое исследование, в котором учащиеся шестых классов были стратифицированы по полу, специфике финансирования школы, ее географическому размещению и статусу. Для каждой категории было отобрано по две школы. При этом все школы находились на север Англии. В финальную выборку вошло по 1000 мальчиков и девочек [Клайн, 219]. Следовательно, речь идет не о статистическом обобщении (необходима случайная выборка необходимого объема), а об аналитическом (необходимо изучение релевантных социальных контекстов).
Конечно же, для тестов, имеющих универсальную природу, исследование стандартизации может быть осуществлено и на основании случайной репрезентативной выборки, хотя это и не является принципиальным условием. Последнее связано с тем, что главная цель такого исследования — получение описания изучаемого свойства в различных контекстах, а не описание генеральной совокупности как целого. Здесь уместно вспомнить ироническое замечание Д. Кэмпбелла о том, что для понимания свойств воды, нам не надо черпать из каждой лужи.
Следующий вопрос касается преобразования или статистической нормализации сырых баллов теста, которая позволяет более эффективно решать уже упомянутые задачи — сравнение с результатами выборки стандартизации, а также результатами других тестов. При этом более актуальной задачей в данном случае является именно сравнение результатов различных тестов. Что касается сравнения с результатами выборки стандартизации, то статистические преобразования «завязаны» на феномене нормального распределения. А это значит, что чем ближе эмпирическое распределение результатов использования теста к нормальному, тем меньше смысла в его статистической нормализации. Как указывает Анастази, при приближении распределения первичных показателей к нормальному стандартные показатели, полученные с помощью линейного преобразования, практически не отличаются. Соответственно, статистическая нормализация в таком случае мало или ничего не изменит. Важно учитывать и то, что необходимо добиваться нормального распределения первичных результатов использования теста, а не нормализовать статистическими средствами явно ненормальное распределение [Анастази, 80].
Последнее, что необходимо принять во внимание, — это определение уровней выраженности свойства на основании результатов использования того или иного теста. Очевидно, что исследование стандартизации само по себе ничего не говорит о таких уровнях. По сути, оно проводится с другими целями. Единственное решение этой проблемы, которое встречается в методической литературе (впрочем, оно напрашивается естественным образом), заключается в использовании критериальных норм вместо статистических. В данном случае шкала сырых тестовых баллов калибруется уровнями, определяющими вероятность достижения некоторого критерия или уровней, позволяющих предположить качественно иные состояния участников исследования по изучаемой характеристике [Шмелев, 153-154]. Вместе с тем, о том, как определять критериальные нормы ничего не говорится.
Социологическое тестирование: нормы или критериальные уровни?
Методологические наработки относительно норм в социологическом тестировании отсутствуют Следовательно, единственным ориентиром здесь являются положения, используемые при разработке психологических тестов. Учитывая этот факт следует критически рассмотреть три описанных выше понятия, важных с точки зрения тестовых норм: репрезентативность исследования стандартизации, нормализация результатов использования теста и критериальные уровни в его результатах.
Возвращаясь к разграничению статистической и аналитической репрезентативности, я считаю вполне обоснованным использование последней точно так же, как это рекомендуется в психологических исследованиях. Это связано с тем, что современные общества характеризуются достаточно высокой гетерогенностью. Соответственно, важно понимать какие результаты социологический тест покажет при использовании в различных социальных контекстах (различных аудиториях). При этом апробация теста в статистически репрезентативном опросе также является необходимым шагом его нормализации. Полученные в таком опросе результаты очерчивают наиболее общие рамки сравнения и интерпретации результатов других опросов.
Говоря о нормализации результатов, следует признать ее ограниченность применительно к социологическим исследованиям. Во-первых, в социологических опросах акцент делается на обобщении полученных результатов, а не оценке индивидуальных показателей с тем, чтобы, среди прочего, определить их место относительно показателей генеральной совокупности (такая задача решается прежде всего в тестах оценки способностей). Во-вторых, целый спектр социальных качеств в противоположность психологическим не подчинен нормальному закону. И речь здесь не в низком качестве измерительного инструмента, а исторических особенностях тех или иных сообществ. В качестве примера можно назвать такие феномены как социальный цинизм и аномия, характер распределения которых в украинском обществе демонстрирует ярко выраженную левостороннюю асимметрию (см. рис.). В-третьих, когда речь заходит о научном исследовании, статистические нормы не столь важны [Клайн, 214]. Кроме этого есть и методический аргумент в пользу малой релевантности нормализации результатов. Учитывая требование компактности социологических тестов [Панина, 61], интервалы их возможных значений часто будут достаточно «узкими» по сравнению со многими психологическими тестами. А это вносит свои ограничения при построении достаточно точных интервалов с использованием статистической нормализации.
Что касается критериальных уровней, то данный вопрос, по моему глубокому убеждению, является одним из важнейших при разработке социологического теста. Это связано с решением двух взаимосвязанных задач социологического тестирования. Первая — показать, что тест обладает разделительным потенциалом. Например, если показатели использования некого теста авторитаризма в группе обычных респондентов мало отличаются от соответствующих характеристик крайних анархистов и крайних националистов, то критериальных уровней тест не имеет (впрочем как и не обладает он критериальной валидностью). Следовательно, для определения критериальных уровней социологического теста его автор должен быть осведомлен о существовании в обществе таких групп, которые характеризуются низким и/или высоким уровнем изучаемого свойства, а также иметь доступ к ним. Это позволит осуществить критериальную нормализацию теста, что, в свою очередь, откроет возможность решения второй задачи — выделения уровней в результатах тестирования, характеризующих респондентов с точки зрения не только количественных, но и качественных различий.
Таким образом, понятие «норма» в социологическом тестировании недостаточно точно отображает суть соответствующей методической деятельности. Более удачным термином в данном случае я считаю «критериальный уровень», отличительными свойствами которого являются следующие: 1) партикулярность в смысле привязки к специфическим, с точки зрения изучаемого свойства, социальным группам; 2) качественность, указывающая на уровни выраженности измеряемого свойства; 3) дискриминативность как разделительный потенциал теста.
blog comments powered by Disqus