На данный момент нами можно говорить о трех подходах к разработке опросного инструментария в рамках исследований смешанного типа, а также одном кейсе, детально иллюстрирующем разработку измерительной методики с использованием исследований смешанного типа (его также можно представить в качестве отдельного подхода). Таким образом, далее речь пойдет о четырех подходах. Три из них представлены в англоязычных источниках (там они именуются «frameworks» /примечание 1/), один − в отечественных: IDCV (Э. Онвобьюзи, Р. Бустаманте, Д. Нельсон), MDVR (Р. Луйт), PEMI (П.-М. Дейно, С. Джейкоб) и TVMS (С. Дембицкий) /примечание 2/.

В работе Э. Онвобьюзи, Р. Бустаманте и Д. Нельсон (IDCV–подход) [Onwuegbuzie et al., 2010] представлен подход, который по мнению авторов, оптимизирует разработку культурно-релевантного инструментария и процесс конструктной валидизации.

• Этап 1. Концептуализация исследуемого конструкта. Цель – определение конструкта, который станет основой разработки культурно-релевантного инструментария. Процедуры достижения: работа с инсайдерами (лицами, которые имеют непосредственное отношение к исследуемому феномену и владеют экспертными знаниями в этом контексте), а также работа с собственной рефлексивностью [Creswell, 2007: p. 180].
• Этап 2. Идентификация и описание поведенческих практик, которые входят в исследуемый конструкт. Цель – детализация выбранного на предыдущем этапе теоретического конструкта. Процедуры достижения: открытое и осевое кодирование (стратегия «обоснованой теории») [Glaser et al., 1967], методы этнографического анализа (например анализ предметной области, таксономический и компонентный анализ) [Spradley, 1979], техника Дельфи.
• Этап 3. Разработка инструментария и его первичная оценка. Цель – оценка содержательной валидности методики с привлечением инсайдеров. Главная процедура реализации – построение таблицы спецификаций [Newman et al., 2013].
• Этап 4. Пилотная апробация инструментария. Цель – предварительная оценка эффективности методики «в поле». Процедуры достижения: опрос, экспертные и фокус-групповые обсуждения с инсайдерами.
• Этап 5. Полевая апробация инструментария. Цель – получение количественных и качественных данных, необходимых для дальнейшей валидизации инструмента. Процедурой реализации является опрос, основывающийся на выборке достаточного размера. Важным аспектом данного этапа является включение в опросник открытых вопросов.
• Этап 6. Валидизация инструментария: количественный анализ. Цель – проверка разных видов валидности (содержательной, критериальной, конструктной). Достигается с помощью разнообразных методов статистического анализа.
• Этап 7. Валидизация инструментария: качественный анализ. Цель – обогащение имеющейся информации с помощью «классических преимуществ» исследований смешанного типа [Greene et al., 1989]: триангуляции (комбинирования разных источников данных, с целью лучшего обоснования полученных результатов), дополнительности (определение общего и специфичного в полученных результатах), инициирования (открытие новых перспектив рассмотрения проблемы), развития (использование последовательного дизайна, где полученные результаты определяют дальнейшие методы), расширения (обеспечение широты знаний об исследуемом феномене). Процедурами достижения являются разнообразные методы анализа качественных данных [Leech et al., 2007; Leech et al., 2008].
• Этап 8. Валидизация инструментария: смешано-качественный перекрестный анализ. Цель та же, что и на предыдущем этапе. Цель достигается с помощью качественного анализа количественных данных (для соответствующей трансформации данных используют методы формирования нарративного профиля) или количественного анализа качественных данных (в данном случае может использоваться, например, бинаризация тем, присутствующих в качественных нарративах) [Onwuegbuzie, 2003].
• Этап 9. Валидизация инструментария: смешано-количественный перекрестный анализ. Авторы не дают достаточной информации, необходимой для четкого формулирования цели данного этапа. С процедурной точки зрения он представляет собой интеграцию всех количественных результатов, полученных на предыдущих этапах (как на основе количественных, так и на основе трансформированных качественных данных).
• Этап 10. Оценка полученного инструмента и процесса его разработки. Цель – принятие решения относительно прекращения или продолжения валидизации инструмента. Главной процедурой реализации является проведение дебрифинга исследователя на предмет его ощущений по отношению к процессу работы и полученных результатов [Onwuegbuzie et al., 2008].

Особенностью данного подхода является его итеративность – в случае необходимости исследователь должен вернуться к предыдущим этапам с целью улучшения валидизации. К главным преимуществам этой методики относится ее акцент на необходимости обеспечения культурной чувствительности благодаря активному общению с инсайдерами на начальных этапах. Говоря о недостатках, следует отметить перегруженность разного рода процедурами и проверками, что приводит к потере фокуса на решении конкретных задач валидизации.

MDVR-поход Р. Луйта [Luyt, 2012] основывается на работе Р. Эдкока и Д. Кольера [Adcock et al., 2001], которая обращается к понятию измерительной валидности и объясняет последнюю путем интеграции трех уровней измерения /примечание 3/: полученные на основе индикаторов (3 уровень) числовые значения (4 уровень) должны осмысленно интерпретироваться с точки зрения концепта (2 уровень), положенного в основу формулировки индикаторов (осмысленными должны быть и результаты качественной классификации числовых значений). При этом Р. Луйт делает акцент на разработке кросс-культурных измерительных инструментов.

• Этап 1. Качественный анализ инструмента: кросс-культурная содержательная валидизация. Цель – проверка содержательной эквивалентности разных языковых вариантов инструмента. Процедура достижения – проведения фокус-групповых обсуждений смысловой нагрузки индикаторов с представителями различных целевых групп.
• Этап 2. Количественный анализ инструмента: кросс-культурная валидизация. Цель – проверка схожести факторных структур инструмента в разных целевых группах. Для этого рекомендуется использовать эксплораторный факторный анализ, хотя другие методы также упоминаются (кластерный анализ, многомерное шкалирование, моделирование структурными уравнениями). Несмотря на то, что не упоминается анализ индикаторов с помощью обычной описательной статистики (как например, расчет средних значений и стандартных отклонений), из контекста статьи очевидна необходимость ее использования.
• Этап 3. Объединение результатов качественного и количественного анализа: ревизия индикаторов инструментария. Проблемные индикаторы определяются на основе результатов статистического анализа (например, ошибочная позиция в факторной структуре или нетипичные значения показателей описательной статистики). Основой для ответа на то, почему возникли подобные проблемы, являются тексты фокус-групповых обсуждений.

В подходе Р. Луйта (а точнее Р.Эдкока и Д. Кольера), как и в случае предыдущего, делается ударение на важности итеративности во время разработки инструментария, а также приводится руководство по принятию соответствующих решений. Важно указать, что описание этапов осуществлено на примере разработки конкретной методики – MANI-II предназначенной для измерения маскулинной идеологии (masculinity ideology). Данный факт несколько снижает универсальность рассмотренных в границах каждого этапа методов. Преимуществом подхода мы считаем целостность его концептуальных основ, в которых объединены идеи концептуализации, операционализации и статистической проверки. При этом, Р. Луйт обогащает базовые идеи данной концепции за счет исследований смешанного типа. К недостаткам следует отнести некоторую партикулярность используемых методов, которая оставляет ряд «белых пятен» в методологических построениях подхода.

PEMI-подход (П.-М. Дейно та С. Джейкоб) [Daigneault et al., 2014] представляет опыт разработки методики для измерения совместной оценки (participatory evaluation). В данном случае валидизация планировалась в соответствии с типично количественном подходом, но введение открытых вопросов в опросник, что трактуется отдельными ученными (как собственно и Дейно с Джейкоб) в качестве элемента исследований смешанного типа, позволило выявить важные недочеты их методики. Это в свою очередь привело к пересмотру отдельных аспектов последней. Интересно то, что авторы не имели особых ожиданий касательно качественного элемента опросника.

• Этап 1. Концептуализация и операционализация исследуемого явления. Цель – разработка содержательно валидного теоретического конструкта, формулировка индикаторов и представление их в виде анкетных вопросов [Феннето, 2004].
• Этап 2. Предварительная оценка инструмента. Цель – предварительная оценка опросного инструмента. Касательно используемых процедур указывается лишь то, что это пилотный тест, который носит неформальный качественный характер (возможно речь идет об оценке методики ключевыми информантами).
• Этап3. Количественная валидизация инструмента. Цель – проверка конвергентной валидности инструмента. Процедуры: корреляционный анализ.
• Этап 4. Смешанная валидизация инструмента. Цель – оценка того, согласны или не согласны участники предыдущего этапа с индексами, полученными на основе их ответов. Процедуры: описательная статистика (порядковая шкала для определения степени согласия/не согласия с индексами: 1 – «совсем не согласен», 2 – «в определенной степени согласен», 3 - «полностью согласен»), а также тематический анализ [Guest et al., 2012] (использовался для анализа ответов открытых вопросов относительно того, почему были даны именно такие оценки индексам).
• Этап 5. Доработка инструмента. Цель – коррекция методики с учетом результатов предыдущего этапа. Процедуры определяются в соответствии с выясненными проблемами. Для Дейно и Джейкоб было достаточно немного изменить шкалу ответов для нескольких вопросов методики.
• Этап 6. Количественная валидизация финального инструмента. Цель – проверка того, как изменения в инструменте повлияли на изменения в полученных ответах, а также как участники исследования оценивают такие изменения. Процедуры: использование дополнительных вопросов относительно совершенных изменений, статистический анализ.

Как и в случае Р. Луйта, авторы PEMI фокусируются на конкретном примере, что уменьшает универсальность их подхода. С другой стороны, его доработка не требует значительных усилий – дополнительные возможные этапы опять-таки основываются на идеи итеративности (в смысле возвращения к предыдущим этапам с целью соответствующей доработки). Интересным элементом, предложенным в работе Дейно и Джейкоб, является использование специальных вопросов в опросном инструментарии с целью обнаружения его слабых мест. Похожий, но более комплексный и методологически обоснованный подход, представленный в статье, посвященной методике оценки субъективной надежности [Головаха в соавт., 2008].

Подход С. Дембицкого (TVMS) раскрыт в двух работах. В первой рассмотрены его процедурные особенности [Дембицкий, 2012], во второй раскрыта проблематичность чисто количественной валидизации методики [Дембицкий, 2014]. Он основывается на идее, согласно которой переход к разработке и валидизации методики лишен смысла пока исследователь не будет оперировать валидной теорией, в контексте которой такая разработка должна осуществляться.

• Этап 1. Подготовка теоретической базы. Цель – разработка теоретического конструкта (а лучше теории), лежащего в основе разработки опросного инструментария. Процедуры: использование качественных (например «обоснованная теория» [Страусс, Корбин, 2001] или кейс-стади [Yin, 2009]) и смешанных (например, согласование концептов [Kane et al., 2007]) стратегий исследования /примечание 4/, пригодных для проработки теоретической базы валидизации. Такие стратегии могут использоваться в комплексе.
• Этап 2. Разработка и коррекция эмпирических индикаторов в соответствии с используемой теорией. Цель – приведение конфигурации опросной методики к такому формату, который позволяет получать результаты, которые согласовываются с используемой теорией. Процедуры: пилотные опросы, триангуляция качественных и количественных данных на базе теоретических положений.
• Этап 3. Проверка конструктной валидности и ретестовой надежности. Цель ясна исходя из названия этапа. Процедуры: опросы на основе больших выборок, статистический анализ, экспертные опросы, анализ документальных источников.
• Этап 4. Выявление специфики интерпретации полученных результатов. Цель – объяснения принципов типологии количественной информации, полученной с помощью разработанной методики (фактически, прояснение основ перехода от количественных данных к качественным). Процедуры: статистический анализ разных вариантов типологии, полученных на основе количественных данных.

Очевидно, что особенностью данного подхода является его теоретическая подчиненность – первый этап посвящен разработке теории, все остальные осуществляются в ее контексте. Преимуществом в данном случае является достижение ученным необходимого уровня теоретической чувствительности. Последняя может пониматься как «свойство проницательности, способности осмысливать данные, способности понимать и умению отделять подходящее от того, что таковым не является» [Страусс, Корбин, 2001: c. 35]. Хотя этого не видно из представленных выше этапов, данный подход также является итеративным (особенно это касается второго этапа). Если говорить о недостатках, то приведенные положения опять-таки обращаются к опыту разработки конкретной измерительной шкалы, что сужает содержательную и процедурную универсальность подхода.

Для обнаружения общего и специфичного между этими подходами следует обратиться к дизайнам, которые используются в исследованиях смешанного типа. Согласно известной типологии [Johnson et al., 2004: p. 21-22], в более общем виде, их следует разделять на конкурентные и последовательные, при этом количественный и качественный компоненты дизайна могут иметь эквивалентный или неэквивалентный статус. На наш взгляд, все четыре подхода используют последовательный дизайн (хотя последовательность качественных и количественных компонентов может отличаться). Что касается статуса компонентов, то в этом значении подходы отличаются. Первые три (IDCV, MDVR та PEMI), используют эквивалентный статус количественного и качественного компонентов, в то время как TVMS–подход исходит из доминантного статуса качественного (это связано с принципиальным значением первого этапа, результаты которого используются в качестве руководства дальнейшей валидизации).
Используя систему сокращений, применяемую в рамках данной типологии /примечание 5/, проанализированные выше подходы можно представить в виде следующих «цепочек»:

• IDCV: 1) QUAL => 2) QUAL => 3) QUAL => 4) QUAL + quan => 5) QUAN => 6) QUAN => 7) QUAL => 8) QUAL + quan => 9) QUAN + qual => 10) QUAL.
• MDVR: 1) QUAL => 2) QUAN => 3) QUAN + QUAL.
• PEMI: 1) QUAN => 2) QUAL => 3) QUAN => 4) QUAL + quan => 5) QUAN => 6) QUAN + qual.
• TVMS: 1) QUAL + quan => 2) QUAN + QUAL => 3) QUAN => 4) QUAN + QUAL.

В таком виде все подходы значительно отличаются – каждый из авторов решает задание валидизации в соответствии со своими методологическими предпочтениями. Э. Оновобьюзи, Р. Бустаманте и Д. Нельсон (IDCV-подход) предлагают специально созданный подход. Р. Луйт (MDVR-подход) в качестве руководства использует концепцию измерительной валидности Р. Эдкока и Д. Кольера. П.-М. Дейно, С. Джейкоб (PEMI-подход) приходят к пониманию необходимости особенного подхода в рамках своей исследовательской работы после получения неожиданных результатов. С. Дембицкий (TVMS-подход) обращается к концепции теоретической валидности /примечание 6/. Итак, при сопоставлении этих подходов следует принимать во внимание существенные отличия теоретическо-метологических основ, которые используются различными авторами.
Последним важным отличием между подходами является специфика их итеративности. В IDCV, MDVR и PEMI итеративность, условно говоря, носит индуктивный характер – почти на каждом из этапов могут быть получены результаты, которые заставят исследователя или корректировать методику, или возвращаться к одному из предыдущих этапов с целью его повторного проведения. При этом определяющей является именно специфика того этапа, в рамках которого были получены соответствующие результаты. Что касается TVMS, то здесь итерактивность носит скорее дедуктивный характер – все результаты инспектируются не только с учетом специфики этапа, в рамках которого они были получены, а и тех теоретических положений, которые лежат в основе валидизации измерительной методики и считаются теоретически валидными.

Рассмотренные здесь подходы хотя и относятся к парадигме исследований смешанного типа, но достаточно сильно отличаются друг от друга. Это, на наш взгляд, прежде всего обусловлено отличиями теоретико-методологических основ, используемых разными авторами.
Учитывая это, в контексте разработки измерительного инструментария с вовлечением принципов и дизайнов исследований смешанного типа перспективным видится дальнейшее накопление методического опыта успешной валидизации опросного инструментария, а также обогащение методического арсенала с помощью решения проблем, связанных с необходимостью интеграции разнообразных количественных и качественных компонентов в процессе соответствующей работы.