Прагматический подход к валидизации измерительных инструментов
23/03/16 19:44 Относится к категории: Шкалирование | Эмпирическая социология | Теория социального измерения
Этап 1. Теоретическая валидизация
Феномены, подлежащие измерению могут быть самыми разными: социальными (например, отношение к властным институтам), социально-философскими (например, справедливость), социально-психологическими (например, психологический климат в коллективе), психологическими (например, тревожность).
Соответственно, в качестве теоретической базы измерения также могут использоваться различные источники:
а) научные концепции;
б) профессиональный практический опыт;
в) предварительные специальные исследования;
г) [а в определенных случаях и] универсальный опыт, то есть знания присущие всем представителям определенной социальной общности; примером измерительной методики, построенной на основе универсального опыта, я считаю «Интегральный индекс социального самочувствия».
Тут хотелось бы подчеркнуть свое неприятие подхода, представители которого утверждают, что теоретическая база должна получить свою проверку в рамках измерения. Глубоко убежден, что если исследователь не знает валидна ли она до проведения исследования, не будет знать этого и после. Связано это с тем, что «ломанные» теоретические конструкты вполне могут приводить к приемлемым результатам статистического анализа. С простым примером, проясняющим эту мысль, можно ознакомиться в моей статье «Относительно проблематичности статистической проверки теоретических конструктов».
Говоря более предметно, теоретическая база должна обеспечивать теоретическую валидность измерительного инструмента в трех компонентах – очевидном, содержательном и композиционном (в этой части я опираюсь на собственную концепцию теоретической валидности). Очевидная валидность связана с аргументацией, в рамках которой изучаемый феномен вписывается в окружающую действительность и, соответственно не является «плодом чьих-то фантазий». Содержательная валидность обеспечивает значимость и представительность элементов теоретического конструкта, а композиционная – адекватность его внутренней структуры.
Этап 2. Выбор разновидности измерительного инструмента
После утверждения валидной теоретичесокй базы, специфика разработки измерительного инструмента обуславливается выбором его разновидности. К таким, на основании известных работ Сеймура Садмена (в соавт.) и Роберта ДеВеллиса, я отношу следующие:
а) анкетные вопросы (объект изучения - мнения, поведение, знания);
б) измерительные шкалы (о.и. - латентные переменные);
в) интегральные индексы (о.и. - латентные переменные, социальные феномены).
Думаю объяснять, что такое анкетные вопросы будет излишним. Если же говорить о различии между измерительными шкалами и интегральными индексами, то в первом случае речь идет об измерении некоторого непосредственно ненаблюдаемого свойства, являющегося причиной используемых в измерительной шкале индикаторов (ответы обуславливаются латентной переменной); в случае же интегральных индексов латентная переменная или социальный феномен будут следствием используемых индикаторов (ответы обуславливают изучаемое явление). Важным методическим результатом такого разделения является нерелеватность внутренней надежности в случае валидизации интегральных индексов. Так, различные причины могут быть связаны, а могут и не быть.
Этап 3. Эмпирическая валидизация
Начать следует с того, что единого правильного пути нет. Связано это и с прагматизмом подхода, и с разнообразием разновидностей инструментов, и с «превратностями судьбы» исследователя. Поэтому далее лишь общие ориентиры.
В рамках проверки качества самого измерительного инструмента работа идет как на уровне отдельных индикаторов, так и на уровне всего инструмента. При этом проверяются конструктная и прагматическая валидность. Конструктная включает ковергентную и дискриминантную валидность («все что касается переменных»), прагматическая – предсказательную, критериальную и конкуретную («все что касается групп и конкурентов»).
Ковергентная и дискриминантная валидности понимаются здесь в терминах, предложенных Д.Кэмпбеллом (в соавт.) в его работе по MTMM (вот здесь можно почитать). На уровне простых анкетных вопросов, а также отдельных индикаторов измерительных шкал и интегральных индексов, проверка осуществляется на основании сравнительного анализа распределения ответов и базовых описательных статистик, полученных при использовании различных формулировок и шкал ответов. На уровне итогового инструмента используется корреляционный анализ (в широком смысле), если речь идет об измерительной шкале (с вниманием к внутренней согласованности) или интегральном индексе (без внимания к внутренней согласованности). Если же апробируется социологическая анкета, акцент делается на пилотных опросах с целью проверки контекстуальной обусловленности ответов при использовании различных последовательностей одних и тех же вопросов.
Критериальная валидность основывается на получении ожидаемых различий при опросе «контрастных» групп. Предсказательная валидность связана с возможностью методики предоставлять информацию, необходимую для прогнозирования будущих состояний объекта исследования. Конкурентная валидность понимается как сравнительное преимущество измерительного инструмента в ряду схожих методик. Критериальная и предсказательная валидность проверяются с помощью крос-секционных и лонгитюдных исследований. Что касается конкурентной валидности, то ее базой являются все рассмотренные выше параметны – начиная от очевидной валидности и закачивая предсказательной. Чем больше «моментов» говорит в вашу пользу, тем лучше. Всем, кто дочитал до конца, успешных измеряшечек!
После утверждения валидной теоретичесокй базы, специфика разработки измерительного инструмента обуславливается выбором его разновидности. К таким, на основании известных работ Сеймура Садмена (в соавт.) и Роберта ДеВеллиса, я отношу следующие:
а) анкетные вопросы (объект изучения - мнения, поведение, знания);
б) измерительные шкалы (о.и. - латентные переменные);
в) интегральные индексы (о.и. - латентные переменные, социальные феномены).
Думаю объяснять, что такое анкетные вопросы будет излишним. Если же говорить о различии между измерительными шкалами и интегральными индексами, то в первом случае речь идет об измерении некоторого непосредственно ненаблюдаемого свойства, являющегося причиной используемых в измерительной шкале индикаторов (ответы обуславливаются латентной переменной); в случае же интегральных индексов латентная переменная или социальный феномен будут следствием используемых индикаторов (ответы обуславливают изучаемое явление). Важным методическим результатом такого разделения является нерелеватность внутренней надежности в случае валидизации интегральных индексов. Так, различные причины могут быть связаны, а могут и не быть.
Этап 3. Эмпирическая валидизация
Начать следует с того, что единого правильного пути нет. Связано это и с прагматизмом подхода, и с разнообразием разновидностей инструментов, и с «превратностями судьбы» исследователя. Поэтому далее лишь общие ориентиры.
В рамках проверки качества самого измерительного инструмента работа идет как на уровне отдельных индикаторов, так и на уровне всего инструмента. При этом проверяются конструктная и прагматическая валидность. Конструктная включает ковергентную и дискриминантную валидность («все что касается переменных»), прагматическая – предсказательную, критериальную и конкуретную («все что касается групп и конкурентов»).
Ковергентная и дискриминантная валидности понимаются здесь в терминах, предложенных Д.Кэмпбеллом (в соавт.) в его работе по MTMM (вот здесь можно почитать). На уровне простых анкетных вопросов, а также отдельных индикаторов измерительных шкал и интегральных индексов, проверка осуществляется на основании сравнительного анализа распределения ответов и базовых описательных статистик, полученных при использовании различных формулировок и шкал ответов. На уровне итогового инструмента используется корреляционный анализ (в широком смысле), если речь идет об измерительной шкале (с вниманием к внутренней согласованности) или интегральном индексе (без внимания к внутренней согласованности). Если же апробируется социологическая анкета, акцент делается на пилотных опросах с целью проверки контекстуальной обусловленности ответов при использовании различных последовательностей одних и тех же вопросов.
Критериальная валидность основывается на получении ожидаемых различий при опросе «контрастных» групп. Предсказательная валидность связана с возможностью методики предоставлять информацию, необходимую для прогнозирования будущих состояний объекта исследования. Конкурентная валидность понимается как сравнительное преимущество измерительного инструмента в ряду схожих методик. Критериальная и предсказательная валидность проверяются с помощью крос-секционных и лонгитюдных исследований. Что касается конкурентной валидности, то ее базой являются все рассмотренные выше параметны – начиная от очевидной валидности и закачивая предсказательной. Чем больше «моментов» говорит в вашу пользу, тем лучше. Всем, кто дочитал до конца, успешных измеряшечек!
blog comments powered by Disqus