Некоторые технические ошибки при составлении анкет
16/01/14 00:09 Относится к категории: Эмпирическая социология
Дополнительно я остановлюсь на двух очевидных моментах (но очевидных не для всех), касающихся проведения экспериментальных исследований (в традиции, установленной Дональдом Кэмпбеллом).
Ошибка первая: отсутствие нумерации ответов вопроса.
Почему это ошибка: на этапе введения массива данных в компьютер оператор ввода должен самостоятельно определять какое значение ввести (в компьютер в подавляющем большинстве случаев вводятся имено числа); это увеличивает как время ввода данных, так и вероятность ошибок.
Пример не совсем правильного вопроса:
1. Ви користуєтесь Інтернет-мережею?
# так;
# ні.
Как он мог бы выглядеть:
1. Ви користуєтесь Інтернет-мережею?
1) так;
2) ні.
Ошибка вторая: при изучении длительности чего-либо (и при наличии возможности достаточно точной оценки этой длительности) использовать закрытый формат вопроса вместо открытого.
Почему это ошибка: теряется информация - от открытого формата при изучение соответствующих аспектов очень легко перейти к закрытому (при этом вариантов будет уйма); а вот от закрытого формата перейти к открытому не получится.
Пример не совсем правильного вопроса:
4. Скільки часу в день Ви витрачаєте на діяльність в Інтернет-мережі?
# до 0,5 год.
# 0,5-1 год.
# 1-2 год.
# 2-3 год.
# 3-6 год.
# більше 6 год.
Как он мог бы выглядеть:
4. Скільки в середньому часу в день Ви витрачаєте на діяльність в Інтернет-мережі? __________________
Ошибка третья: в вопросе, где предусмотрен выбор нескольких вариантов ответа, для последних нет альтернатив выбора.
Почему это ошибка: если респондент отмечает некоторую альтернативу (или несколько альтернатив), то мы знаем, что для них ответ утвердительный; если же варианты не выбираются, то нам неизвестно, что мы имеем в данном случае - пропуск (респондент не просматривал этот вариант ответа вообще) или отрицательный ответ.
Пример не совсем правильного вопроса:
13. З якою метою Ви спілкуєтесь в Інтернет-мережі?
# спілкуюсь виключно з навчальних питань
# як форма проведення дозвілля
# переписуюсь з друзями
# знайомлюся з новими людьми
Как он мог бы выглядеть:
13. З якою метою Ви спілкуєтесь в Інтернет-мережі?
1) спілкуюсь виключно з навчальних питань 1. так; 2. ні;
2) як форма проведення дозвілля 1. так; 2. ні;
3) переписуюсь з друзями 1. так; 2. ні;
4) знайомлюся з новими людьми 1. так; 2. ні.
Еще лучше было бы представить варианты ответа в виде соответствующей таблицы.
Ошибка четвертая: в вопросе с необходимостью проранжировать варианты ответа по какому-либо критерию таких вариантов слишком много.
Почему это ошибка: обычно при большом количестве пунктов респонденту легко упорядочить наиболее значимые варианты и наиболее незначимые, а варианты имеющие умеренную или среднюю важность упорядочить сложно.
Пример не совсем правильного вопроса:
15. Яким з перерахованих нижче засобів Інтернет-спілкування Ви користуєтесь найчастіше? Встановіть у порядку зростання:
# електронна пошта
# чат
# форум
# ICQ, Gtalk, Skype, MSN, Yahoo! та ін.
# Блоги (електронні щоденники)
# сайт знайомств
# «В контакте»
# «Одноклассники»
# «Facebook»
# «Twitter»
# «Спрашивай.ру» та ін.
# Інше
Как он мог бы выглядеть (вариант первый):
15. Нижче перераховані найпопулярніші засоби Інтернет-спілкування. Визначте, який з них ви використовуєте найчастіше (позначте одиницею - "1"), який займає друге місце по частоті використання ("2") і який третє ("3"). Також викресліть ті з них, які ви не використовуєте.
1) електронна пошта
2) чат
3) форум
4) ICQ, Gtalk, Skype, MSN, Yahoo! та ін.
5) Блоги (електронні щоденники)
6) сайт знайомств
7) «В контакте»
8) «Одноклассники»
9) «Facebook»
10) «Twitter»
11) «Спрашивай.ру» та ін.
12) Інше
Как он мог бы выглядеть (вариант второй):
15. Нижче перераховані найпопулярніші засоби Інтернет-спілкування. Оцініть кожний з них за допомогою наступної шкали: 1 - ніколи не використовував(-ла), 2 - раніше використовував(-ла), але зараз не використовую, 3 - іноді використовую, 4 - використовую постійно.
1)електронна пошта 1 2 3 4
2) чат 1 2 3 4
3) форум 1 2 3 4
4) ICQ, Gtalk, Skype, MSN, Yahoo! та ін. 1 2 3 4
5) Блоги (електронні щоденники) 1 2 3 4
6) сайт знайомств 1 2 3 4
7) «В контакте» 1 2 3 4
8) «Одноклассники» 1 2 3 4
9) «Facebook» 1 2 3 4
10) «Twitter» 1 2 3 4
11) «Спрашивай.ру» та ін. 1 2 3 4
12) Інше 1 2 3 4
Опять же, этот вариант лучше представить в виде таблицы.
Теперь рассмотри ошибки, касающиеся проектирования экспериментального дизайна.
Ошибка первая: отсутствие фиксации респондента во время констатирующего эксперимента; например, мы берем анкету, но не фиксируем, кто ее заполнял.
Почему это ошибка: в экспериментальных исследования сравниваются результаты для каждого испытуемого до и после воздействия; следовательно если мы не идентифицируем результаты для каждого испытуемого до воздействия, то потом просто не будем знать, что с чем сравнивать (обобщенные сравнения, которые остаются доступными, не являются экспериментальными).
Что делать: фиксировать, кому принадлежат ответы.
Ошибка вторая: анкеты (тесты и другие формы фиксации результатов) для констатирующего эксперимента не совпадают с аналогичными в формирующем эксперименте по причине их доработки.
Почему это ошибка: нельзя корректно сравнить уровень выраженности свойств или знаний испытуемых.
Что делать: или сразу разрабатывать приемлемую методику или довольствоваться тем, что есть.
Здесь стоит отметить, что в некоторых случаях разрабатываются две эквивалентные методики (обычно тестовые): одна используется в рамках констатирующего эксперимента, вторая - формирующего. Но это уже совсем другая история :)
Почему это ошибка: на этапе введения массива данных в компьютер оператор ввода должен самостоятельно определять какое значение ввести (в компьютер в подавляющем большинстве случаев вводятся имено числа); это увеличивает как время ввода данных, так и вероятность ошибок.
Пример не совсем правильного вопроса:
1. Ви користуєтесь Інтернет-мережею?
# так;
# ні.
Как он мог бы выглядеть:
1. Ви користуєтесь Інтернет-мережею?
1) так;
2) ні.
Ошибка вторая: при изучении длительности чего-либо (и при наличии возможности достаточно точной оценки этой длительности) использовать закрытый формат вопроса вместо открытого.
Почему это ошибка: теряется информация - от открытого формата при изучение соответствующих аспектов очень легко перейти к закрытому (при этом вариантов будет уйма); а вот от закрытого формата перейти к открытому не получится.
Пример не совсем правильного вопроса:
4. Скільки часу в день Ви витрачаєте на діяльність в Інтернет-мережі?
# до 0,5 год.
# 0,5-1 год.
# 1-2 год.
# 2-3 год.
# 3-6 год.
# більше 6 год.
Как он мог бы выглядеть:
4. Скільки в середньому часу в день Ви витрачаєте на діяльність в Інтернет-мережі? __________________
Ошибка третья: в вопросе, где предусмотрен выбор нескольких вариантов ответа, для последних нет альтернатив выбора.
Почему это ошибка: если респондент отмечает некоторую альтернативу (или несколько альтернатив), то мы знаем, что для них ответ утвердительный; если же варианты не выбираются, то нам неизвестно, что мы имеем в данном случае - пропуск (респондент не просматривал этот вариант ответа вообще) или отрицательный ответ.
Пример не совсем правильного вопроса:
13. З якою метою Ви спілкуєтесь в Інтернет-мережі?
# спілкуюсь виключно з навчальних питань
# як форма проведення дозвілля
# переписуюсь з друзями
# знайомлюся з новими людьми
Как он мог бы выглядеть:
13. З якою метою Ви спілкуєтесь в Інтернет-мережі?
1) спілкуюсь виключно з навчальних питань 1. так; 2. ні;
2) як форма проведення дозвілля 1. так; 2. ні;
3) переписуюсь з друзями 1. так; 2. ні;
4) знайомлюся з новими людьми 1. так; 2. ні.
Еще лучше было бы представить варианты ответа в виде соответствующей таблицы.
Ошибка четвертая: в вопросе с необходимостью проранжировать варианты ответа по какому-либо критерию таких вариантов слишком много.
Почему это ошибка: обычно при большом количестве пунктов респонденту легко упорядочить наиболее значимые варианты и наиболее незначимые, а варианты имеющие умеренную или среднюю важность упорядочить сложно.
Пример не совсем правильного вопроса:
15. Яким з перерахованих нижче засобів Інтернет-спілкування Ви користуєтесь найчастіше? Встановіть у порядку зростання:
# електронна пошта
# чат
# форум
# ICQ, Gtalk, Skype, MSN, Yahoo! та ін.
# Блоги (електронні щоденники)
# сайт знайомств
# «В контакте»
# «Одноклассники»
# «Facebook»
# «Twitter»
# «Спрашивай.ру» та ін.
# Інше
Как он мог бы выглядеть (вариант первый):
15. Нижче перераховані найпопулярніші засоби Інтернет-спілкування. Визначте, який з них ви використовуєте найчастіше (позначте одиницею - "1"), який займає друге місце по частоті використання ("2") і який третє ("3"). Також викресліть ті з них, які ви не використовуєте.
1) електронна пошта
2) чат
3) форум
4) ICQ, Gtalk, Skype, MSN, Yahoo! та ін.
5) Блоги (електронні щоденники)
6) сайт знайомств
7) «В контакте»
8) «Одноклассники»
9) «Facebook»
10) «Twitter»
11) «Спрашивай.ру» та ін.
12) Інше
Как он мог бы выглядеть (вариант второй):
15. Нижче перераховані найпопулярніші засоби Інтернет-спілкування. Оцініть кожний з них за допомогою наступної шкали: 1 - ніколи не використовував(-ла), 2 - раніше використовував(-ла), але зараз не використовую, 3 - іноді використовую, 4 - використовую постійно.
1)електронна пошта 1 2 3 4
2) чат 1 2 3 4
3) форум 1 2 3 4
4) ICQ, Gtalk, Skype, MSN, Yahoo! та ін. 1 2 3 4
5) Блоги (електронні щоденники) 1 2 3 4
6) сайт знайомств 1 2 3 4
7) «В контакте» 1 2 3 4
8) «Одноклассники» 1 2 3 4
9) «Facebook» 1 2 3 4
10) «Twitter» 1 2 3 4
11) «Спрашивай.ру» та ін. 1 2 3 4
12) Інше 1 2 3 4
Опять же, этот вариант лучше представить в виде таблицы.
Теперь рассмотри ошибки, касающиеся проектирования экспериментального дизайна.
Ошибка первая: отсутствие фиксации респондента во время констатирующего эксперимента; например, мы берем анкету, но не фиксируем, кто ее заполнял.
Почему это ошибка: в экспериментальных исследования сравниваются результаты для каждого испытуемого до и после воздействия; следовательно если мы не идентифицируем результаты для каждого испытуемого до воздействия, то потом просто не будем знать, что с чем сравнивать (обобщенные сравнения, которые остаются доступными, не являются экспериментальными).
Что делать: фиксировать, кому принадлежат ответы.
Ошибка вторая: анкеты (тесты и другие формы фиксации результатов) для констатирующего эксперимента не совпадают с аналогичными в формирующем эксперименте по причине их доработки.
Почему это ошибка: нельзя корректно сравнить уровень выраженности свойств или знаний испытуемых.
Что делать: или сразу разрабатывать приемлемую методику или довольствоваться тем, что есть.
Здесь стоит отметить, что в некоторых случаях разрабатываются две эквивалентные методики (обычно тестовые): одна используется в рамках констатирующего эксперимента, вторая - формирующего. Но это уже совсем другая история :)
blog comments powered by Disqus