Социологические тесты

Цілісне бачення процесу соціологічного вимірювання

Цілісність бачення процесу соціологічного вимірювання полягає у врахуванні дослідником чотирьох складових цього процесу, а також взаємозв’язків між ними. Такими складовими є соціологічний тест, респонденти, релевантний соціальний контекст, а також сам дослідник, який розробляє методику та/або інтерпретує її результати.
Базовий взаємозв’язок встановлюється між соціологічним тестом та респондентами під час ситуації опитування. Для його успішності респонденти повинні мати можливість та/або бажання повідомити інформацію, яка цікавить дослідника. В даному випадку мова іде про достовірність отриманої інформації (Шмелев, 1996: с. 154-155). По суті навіть використання надійної та валідної вимірювальної методики саме по собі не забезпечує отримання необхідних досліднику даних, якщо респонденти не хочу повідомляти інформацію або з якихось причин не можуть цього зробити. Відповідні зміщення відносяться до категорії помилок, що не пов’язані з вибіркою (McNabb, 2014, p. 42-46). Читать дальше...
Comments

Розробка соціологічних тестів: (само)дебрифінг методологічної ретельності

Термін «дебрифінг» вперше почав застосовуватися в армії сполучних штатів для позначення отримання інформації від пілота або солдата після виконання місії, а також його інструктування щодо того яку інформацію він може оприлюднити. Даний термін був запозичений дослідниками якісного профілю для позначення детального аналізу проведеного дослідження з метою уникнення двох видів зміщень, які можуть виникнути в процесі якісного дослідження. Перший пов’язаний з впливом дослідника на учасників дослідження або ключових інформантів, другий – з впливом учасників дослідження або ключових інформантів на дослідника. Перший різновид має місце в тих випадках, коли дослідник створює загрозу або неадекватно себе позиціонує в певних соціальних або інституційних взаємостосунках, що в подальшому веде до спротиву з боку учасників дослідження. Що стосується другого різновиду, то він має місце в ситуаціях, коли дослідник надмірно зближається з досліджуваною групою. Наприклад, стає повноцінним учасником досліджуваних процесів на противагу ролі периферійного інсайдера, який користується прийнятною аналітичною перспективою та не приймає активної участі в діяльності відповідної групи. Читать дальше...
Comments

Теория социального измерения: допущения, латентные переменные и социальные феномены

Stacks Image 14061
В основании теории измерения, повсеместно используемой сегодня в социальных науках (не важно делается ли это осознанно или на уровне стереотипных методических практик), лежит система понятий, описывающих измерительный процесс, а также система соответствующих научных допущений. Дисциплинарным полем, породившим их, является психология. Поэтому важно оценить то, насколько они релевантны с социологической точки зрения. Поскольку в центре соответствующей парадигмы находится понятие «латентная переменная», то начнем рассмотрение с нее.
Латентная переменная - изучаемый феномен или конструкт, который отображает измерительная шкала. При этом важно понимать некоторые особенности латентных переменных. Во-первых, они не наблюдается непосредственно. Во-вторых, они являются не постоянными, а переменными величинами. В-третьих, это характеристики индивидов, а не объектов, которые они оценивают.
Поскольку латентную переменную невозможно измерить непосредственно, для определения ее истинной величины на основании значений, полученных с помощью индикаторов измерительной методики, применяется ряд методологических и математических допущений. Прежде всего речь идет о допущениях классической теории измерения, к которым относятся следующие:
1. Величина ошибок (под ошибками имеется в виду влияние второстепенных факторов, которые вносят свой вклад в значение по тому или иному индикатору наравне с латентной переменной), связанная с отдельными пунктами методики варьируется случайным образом, что при использования больших выборок ведет к получению несмещенных средних этих пунктов.
2. Ошибки различных пунктов не коррелируют друг с другом. Единственным источником, связывающим значения индикаторов методики, является латентная переменная.
3. Величина ошибок не коррелирует с истинным значением латентной переменной.
Кроме приведенных выше классическая теория измерения также базируется на допущениях параллельных тестов:
1. Сила влияния латентной переменной на каждый из пунктов методики является одной и той же.
2. Каждый пункт методики имеет одинаковую величину ошибок, в том смысле, что влияние факторов отличных от латентной переменной является константой.
На основании этих допущений сформулирован ряд дополняющих их положений, необходимых для обоснования перехода от значений, полученных с помощью индикаторов измерительной шкалы, к истинному значению латентной переменной.
Используя этот подход становится понятно, почему в психологическом тестировании такое большое внимание уделяется надежности измерения — как ретестовой, так и внутренней. При наличии одной главной причины изменчивости индикаторов, которая к тому же действует на них с одинаковой силой, показатели различных видов надежности должны быть высокими.
Читать дальше...
Comments

Социологическое тестирование: нормы VS критериальные уровни

slide1_thumb
Применение норм в психологическом тестировании

Понятие «норма», применительно к психологическому тестированию, относится к результатам, которые показывают представители определенной группы по заданному тесту [Kaplan, 53]. Такие нормы вычисляются с помощью исследований стандартизации и в дальнейшем используются для оценки индивидуальных результатов психологического теста.
Исследования стандартизации заключаются в изучении репрезентативных групп с целью использования полученных результатов в качестве ориентиров сравнения индивидуальных показателей по тесту. Это позволяет выяснить относительное положение участника исследования относительно выборки стандартизации, а также обеспечивает сопоставимость результатов различных тестов [Анастази, 64-65].
Несмотря на то, что этот подход является общепринятым, некоторые его аспекты требуют более детального рассмотрения. Прежде всего это касается понятия «репрезентативность». Так, Клайн говорит о необходимости использования стратифицированной выборки, позволяющей учесть в исследование стандартизации наиболее важные параметры, влияющие на результаты использования теста. В качестве примера он приводит свое исследование, в котором учащиеся шестых классов были стратифицированы по полу, специфике финансирования школы, ее географическому размещению и статусу. Для каждой категории было отобрано по две школы. При этом все школы находились на север Англии. В финальную выборку вошло по 1000 мальчиков и девочек [Клайн, 219]. Следовательно, речь идет не о статистическом обобщении (необходима случайная выборка необходимого объема), а об аналитическом (необходимо изучение релевантных социальных контекстов).
Конечно же, для тестов, имеющих универсальную природу, исследование стандартизации может быть осуществлено и на основании случайной репрезентативной выборки, хотя это и не является принципиальным условием. Последнее связано с тем, что главная цель такого исследования — получение описания изучаемого свойства в различных контекстах, а не описание генеральной совокупности как целого. Здесь уместно вспомнить ироническое замечание Д. Кэмпбелла о том, что для понимания свойств воды, нам не надо черпать из каждой лужи.
Следующий вопрос касается преобразования или статистической нормализации сырых баллов теста, которая позволяет более эффективно решать уже упомянутые задачи — сравнение с результатами выборки стандартизации, а также результатами других тестов. При этом более актуальной задачей в данном случае является именно сравнение результатов различных тестов. Что касается сравнения с результатами выборки стандартизации, то статистические преобразования «завязаны» на феномене нормального распределения. А это значит, что чем ближе эмпирическое распределение результатов использования теста к нормальному, тем меньше смысла в его статистической нормализации. Как указывает Анастази, при приближении распределения первичных показателей к нормальному стандартные показатели, полученные с помощью линейного преобразования, практически не отличаются. Соответственно, статистическая нормализация в таком случае мало или ничего не изменит. Важно учитывать и то, что необходимо добиваться нормального распределения первичных результатов использования теста, а не нормализовать статистическими средствами явно ненормальное распределение [Анастази, 80].
Последнее, что необходимо принять во внимание, — это определение уровней выраженности свойства на основании результатов использования того или иного теста. Очевидно, что исследование стандартизации само по себе ничего не говорит о таких уровнях. По сути, оно проводится с другими целями. Единственное решение этой проблемы, которое встречается в методической литературе (впрочем, оно напрашивается естественным образом), заключается в использовании критериальных норм вместо статистических. В данном случае шкала сырых тестовых баллов калибруется уровнями, определяющими вероятность достижения некоторого критерия или уровней, позволяющих предположить качественно иные состояния участников исследования по изучаемой характеристике [Шмелев, 153-154]. Вместе с тем, о том, как определять критериальные нормы ничего не говорится. Читать дальше...
Comments

Разработка шкалы антидемократии / тоталитаризма: результаты экспертного опроса

Имелось: 25 утверждений для измерения тоталитарных и антидемократических установок.
Цель: развести их по смыслу с целью осмысленного отбора части индикаторов для измерительной шкалы.
Методы: экспертный опрос (неструктурированная сортировка утверждений, многомерное шкалирование, кластерный анализ).
Эксперты: д.филос.н. Евгений Головаха (ИС НАНУ), PhD Михаил Алексеев (Ун-т Сан Диего), д.соц.н. Александр Стегний (ИС НАНУ), к.истор.н. Екатерина Иващенко (ИС НАНУ), к.соц.н. Татьяна Любивая (ИС НАНУ), к.соц.н. Оксана Жуленева (ИС НАНУ), Ольга Максименко (ИС НАНУ), к.соц.н. Сергей Дембицкий (ИС НАНУ).
Результат:
Stacks Image 14017
Читать дальше...
Comments

Изменения в политической культуре Украины (2006, 2016 года)

Установки на демократию и гражданскую активность в Украине (2016 год):
Stacks Image 14003

Недавно я представил результаты различных способов кластеризации для социологического теста «Типы политической культуры» (Е.И. Головаха). Теперь важно сравнить различные способы кластеризация с точки зрения фиксации изменений, которые произошли в политической культуре украинского общества (см. таблицу ниже). При этом из анализа исключена кластеризация с помощью латентного классового анализа, так как она приводит к формированию по различным годам плохо сопоставимых групп – в 2006 году группы выглядят значительнее гомогеннее, чем в 2016. Кроме того, для кластерного анализа проанализированы два решения – для пяти и четырех групп. Читать дальше...
Comments

Влияние способа кластеризации на результаты использования теста "Типы политической культуры"

political divide
Тема сегодняшней статьи - влияние выбора метода статистической обработки на результаты кластеризации / типологии. В качестве примера используется применение социологического теста «Типы политической культуры» (Е.И. Головаха). Концепция данного теста заключается в использовании двух измерительных шкал - «демократии / антидемократии» и « гражданской активности / пассивности». Соответственно, в оригинальном варианте в результате ее использования респондента можно отнести к одной из четырех групп: активным демократам, пассивным демократам, пассивным антидемократам, активным антидемократам. При этом предлагается использовать кластерный анализ методом К-средних. Далее представлены результаты использования как кластерного анализа, так и ряда его альтернатив - идеальной точки деления, концептуальной типологии и латентного классового анализа.

Способы кластеризации

Идеальная точка деления задает координату, разбивающую всю совокупность респондентов на четыре группы. Поскольку в данном случае мы имеем две аддитивные шкалы с диапазоном возможных значений от 6 до 30, значение, которое делит этот диапазон на две равные половины составляет 17,5. Интуитивным улучшением этого способа является введение некоторой зоны вокруг точки деления (далее это будет 2,5 балла по обеим осям), попадание в которую трактуется как неопределенная позиция в отношении демократии и гражданской активности.

Концептуальная типология
заключается в использовании содержательных принципов анализа ответов респондентов, позволяющих сгруппировать наблюдения в рамках теоретически обоснованных групп. Для этого теста я использовал два взаимосвязанных содержательных принципа анализа: 1) «веер» ответов «полностью согласен / скорее согласен / трудно сказать, согласен или нет / скорее не согласен / абсолютно не согласен» задает три основных модальности – согласия, неопределенности и несогласия; 2) шесть индикаторов позволяют выразить респонденту одну из четырех базовых установок – поддержки (в ответах преобладает согласие), амбивалентности (в ответах в равной мере присутствует и согласие, и несогласие), сопротивления (в ответах преобладает несогласие), неопределенности (в ответах преобладает неопределенность).
Исходя из этих принципов, техническое решение для концептуальной типологии будет заключаться в перечислении всех возможных комбинаций для шести индикаторов. При этом я не проводил различия между «полностью согласен» и «скорее согласен», а также между «полностью не согласен» и «скорее не согласен»: Читать дальше...
Comments