Некоторые технические ошибки при составлении анкет
16/01/14 00:09 Относится к категории: Эмпирическая социология

Дополнительно я остановлюсь на двух очевидных моментах (но очевидных не для всех), касающихся проведения экспериментальных исследований (в традиции, установленной Дональдом Кэмпбеллом).
Ошибка первая: отсутствие нумерации ответов вопроса.
Почему это ошибка: на этапе введения массива данных в компьютер оператор ввода должен самостоятельно определять какое значение ввести (в компьютер в подавляющем большинстве случаев вводятся имено числа); это увеличивает как время ввода данных, так и вероятность ошибок.
Пример не совсем правильного вопроса:
1. Ви користуєтесь Інтернет-мережею?
# так;
# ні.
Как он мог бы выглядеть:
1. Ви користуєтесь Інтернет-мережею?
1) так;
2) ні.
Ошибка вторая: при изучении длительности чего-либо (и при наличии возможности достаточно точной оценки этой длительности) использовать закрытый формат вопроса вместо открытого.
Почему это ошибка: теряется информация - от открытого формата при изучение соответствующих аспектов очень легко перейти к закрытому (при этом вариантов будет уйма); а вот от закрытого формата перейти к открытому не получится.
Пример не совсем правильного вопроса:
4. Скільки часу в день Ви витрачаєте на діяльність в Інтернет-мережі?
# до 0,5 год.
# 0,5-1 год.
# 1-2 год.
# 2-3 год.
# 3-6 год.
# більше 6 год.
Как он мог бы выглядеть:
4. Скільки в середньому часу в день Ви витрачаєте на діяльність в Інтернет-мережі? __________________
Ошибка третья: в вопросе, где предусмотрен выбор нескольких вариантов ответа, для последних нет альтернатив выбора.
Почему это ошибка: если респондент отмечает некоторую альтернативу (или несколько альтернатив), то мы знаем, что для них ответ утвердительный; если же варианты не выбираются, то нам неизвестно, что мы имеем в данном случае - пропуск (респондент не просматривал этот вариант ответа вообще) или отрицательный ответ.
Пример не совсем правильного вопроса:
13. З якою метою Ви спілкуєтесь в Інтернет-мережі?
# спілкуюсь виключно з навчальних питань
# як форма проведення дозвілля
# переписуюсь з друзями
# знайомлюся з новими людьми
Как он мог бы выглядеть:
13. З якою метою Ви спілкуєтесь в Інтернет-мережі?
1) спілкуюсь виключно з навчальних питань 1. так; 2. ні;
2) як форма проведення дозвілля 1. так; 2. ні;
3) переписуюсь з друзями 1. так; 2. ні;
4) знайомлюся з новими людьми 1. так; 2. ні.
Еще лучше было бы представить варианты ответа в виде соответствующей таблицы.
Ошибка четвертая: в вопросе с необходимостью проранжировать варианты ответа по какому-либо критерию таких вариантов слишком много.
Почему это ошибка: обычно при большом количестве пунктов респонденту легко упорядочить наиболее значимые варианты и наиболее незначимые, а варианты имеющие умеренную или среднюю важность упорядочить сложно.
Пример не совсем правильного вопроса:
15. Яким з перерахованих нижче засобів Інтернет-спілкування Ви користуєтесь найчастіше? Встановіть у порядку зростання:
# електронна пошта
# чат
# форум
# ICQ, Gtalk, Skype, MSN, Yahoo! та ін.
# Блоги (електронні щоденники)
# сайт знайомств
# «В контакте»
# «Одноклассники»
# «Facebook»
# «Twitter»
# «Спрашивай.ру» та ін.
# Інше
Как он мог бы выглядеть (вариант первый):
15. Нижче перераховані найпопулярніші засоби Інтернет-спілкування. Визначте, який з них ви використовуєте найчастіше (позначте одиницею - "1"), який займає друге місце по частоті використання ("2") і який третє ("3"). Також викресліть ті з них, які ви не використовуєте.
1) електронна пошта
2) чат
3) форум
4) ICQ, Gtalk, Skype, MSN, Yahoo! та ін.
5) Блоги (електронні щоденники)
6) сайт знайомств
7) «В контакте»
8) «Одноклассники»
9) «Facebook»
10) «Twitter»
11) «Спрашивай.ру» та ін.
12) Інше
Как он мог бы выглядеть (вариант второй):
15. Нижче перераховані найпопулярніші засоби Інтернет-спілкування. Оцініть кожний з них за допомогою наступної шкали: 1 - ніколи не використовував(-ла), 2 - раніше використовував(-ла), але зараз не використовую, 3 - іноді використовую, 4 - використовую постійно.
1)електронна пошта 1 2 3 4
2) чат 1 2 3 4
3) форум 1 2 3 4
4) ICQ, Gtalk, Skype, MSN, Yahoo! та ін. 1 2 3 4
5) Блоги (електронні щоденники) 1 2 3 4
6) сайт знайомств 1 2 3 4
7) «В контакте» 1 2 3 4
8) «Одноклассники» 1 2 3 4
9) «Facebook» 1 2 3 4
10) «Twitter» 1 2 3 4
11) «Спрашивай.ру» та ін. 1 2 3 4
12) Інше 1 2 3 4
Опять же, этот вариант лучше представить в виде таблицы.
Теперь рассмотри ошибки, касающиеся проектирования экспериментального дизайна.
Ошибка первая: отсутствие фиксации респондента во время констатирующего эксперимента; например, мы берем анкету, но не фиксируем, кто ее заполнял.
Почему это ошибка: в экспериментальных исследования сравниваются результаты для каждого испытуемого до и после воздействия; следовательно если мы не идентифицируем результаты для каждого испытуемого до воздействия, то потом просто не будем знать, что с чем сравнивать (обобщенные сравнения, которые остаются доступными, не являются экспериментальными).
Что делать: фиксировать, кому принадлежат ответы.
Ошибка вторая: анкеты (тесты и другие формы фиксации результатов) для констатирующего эксперимента не совпадают с аналогичными в формирующем эксперименте по причине их доработки.
Почему это ошибка: нельзя корректно сравнить уровень выраженности свойств или знаний испытуемых.
Что делать: или сразу разрабатывать приемлемую методику или довольствоваться тем, что есть.
Здесь стоит отметить, что в некоторых случаях разрабатываются две эквивалентные методики (обычно тестовые): одна используется в рамках констатирующего эксперимента, вторая - формирующего. Но это уже совсем другая история :)
Почему это ошибка: на этапе введения массива данных в компьютер оператор ввода должен самостоятельно определять какое значение ввести (в компьютер в подавляющем большинстве случаев вводятся имено числа); это увеличивает как время ввода данных, так и вероятность ошибок.
Пример не совсем правильного вопроса:
1. Ви користуєтесь Інтернет-мережею?
# так;
# ні.
Как он мог бы выглядеть:
1. Ви користуєтесь Інтернет-мережею?
1) так;
2) ні.
Ошибка вторая: при изучении длительности чего-либо (и при наличии возможности достаточно точной оценки этой длительности) использовать закрытый формат вопроса вместо открытого.
Почему это ошибка: теряется информация - от открытого формата при изучение соответствующих аспектов очень легко перейти к закрытому (при этом вариантов будет уйма); а вот от закрытого формата перейти к открытому не получится.
Пример не совсем правильного вопроса:
4. Скільки часу в день Ви витрачаєте на діяльність в Інтернет-мережі?
# до 0,5 год.
# 0,5-1 год.
# 1-2 год.
# 2-3 год.
# 3-6 год.
# більше 6 год.
Как он мог бы выглядеть:
4. Скільки в середньому часу в день Ви витрачаєте на діяльність в Інтернет-мережі? __________________
Ошибка третья: в вопросе, где предусмотрен выбор нескольких вариантов ответа, для последних нет альтернатив выбора.
Почему это ошибка: если респондент отмечает некоторую альтернативу (или несколько альтернатив), то мы знаем, что для них ответ утвердительный; если же варианты не выбираются, то нам неизвестно, что мы имеем в данном случае - пропуск (респондент не просматривал этот вариант ответа вообще) или отрицательный ответ.
Пример не совсем правильного вопроса:
13. З якою метою Ви спілкуєтесь в Інтернет-мережі?
# спілкуюсь виключно з навчальних питань
# як форма проведення дозвілля
# переписуюсь з друзями
# знайомлюся з новими людьми
Как он мог бы выглядеть:
13. З якою метою Ви спілкуєтесь в Інтернет-мережі?
1) спілкуюсь виключно з навчальних питань 1. так; 2. ні;
2) як форма проведення дозвілля 1. так; 2. ні;
3) переписуюсь з друзями 1. так; 2. ні;
4) знайомлюся з новими людьми 1. так; 2. ні.
Еще лучше было бы представить варианты ответа в виде соответствующей таблицы.
Ошибка четвертая: в вопросе с необходимостью проранжировать варианты ответа по какому-либо критерию таких вариантов слишком много.
Почему это ошибка: обычно при большом количестве пунктов респонденту легко упорядочить наиболее значимые варианты и наиболее незначимые, а варианты имеющие умеренную или среднюю важность упорядочить сложно.
Пример не совсем правильного вопроса:
15. Яким з перерахованих нижче засобів Інтернет-спілкування Ви користуєтесь найчастіше? Встановіть у порядку зростання:
# електронна пошта
# чат
# форум
# ICQ, Gtalk, Skype, MSN, Yahoo! та ін.
# Блоги (електронні щоденники)
# сайт знайомств
# «В контакте»
# «Одноклассники»
# «Facebook»
# «Twitter»
# «Спрашивай.ру» та ін.
# Інше
Как он мог бы выглядеть (вариант первый):
15. Нижче перераховані найпопулярніші засоби Інтернет-спілкування. Визначте, який з них ви використовуєте найчастіше (позначте одиницею - "1"), який займає друге місце по частоті використання ("2") і який третє ("3"). Також викресліть ті з них, які ви не використовуєте.
1) електронна пошта
2) чат
3) форум
4) ICQ, Gtalk, Skype, MSN, Yahoo! та ін.
5) Блоги (електронні щоденники)
6) сайт знайомств
7) «В контакте»
8) «Одноклассники»
9) «Facebook»
10) «Twitter»
11) «Спрашивай.ру» та ін.
12) Інше
Как он мог бы выглядеть (вариант второй):
15. Нижче перераховані найпопулярніші засоби Інтернет-спілкування. Оцініть кожний з них за допомогою наступної шкали: 1 - ніколи не використовував(-ла), 2 - раніше використовував(-ла), але зараз не використовую, 3 - іноді використовую, 4 - використовую постійно.
1)електронна пошта 1 2 3 4
2) чат 1 2 3 4
3) форум 1 2 3 4
4) ICQ, Gtalk, Skype, MSN, Yahoo! та ін. 1 2 3 4
5) Блоги (електронні щоденники) 1 2 3 4
6) сайт знайомств 1 2 3 4
7) «В контакте» 1 2 3 4
8) «Одноклассники» 1 2 3 4
9) «Facebook» 1 2 3 4
10) «Twitter» 1 2 3 4
11) «Спрашивай.ру» та ін. 1 2 3 4
12) Інше 1 2 3 4
Опять же, этот вариант лучше представить в виде таблицы.
Теперь рассмотри ошибки, касающиеся проектирования экспериментального дизайна.
Ошибка первая: отсутствие фиксации респондента во время констатирующего эксперимента; например, мы берем анкету, но не фиксируем, кто ее заполнял.
Почему это ошибка: в экспериментальных исследования сравниваются результаты для каждого испытуемого до и после воздействия; следовательно если мы не идентифицируем результаты для каждого испытуемого до воздействия, то потом просто не будем знать, что с чем сравнивать (обобщенные сравнения, которые остаются доступными, не являются экспериментальными).
Что делать: фиксировать, кому принадлежат ответы.
Ошибка вторая: анкеты (тесты и другие формы фиксации результатов) для констатирующего эксперимента не совпадают с аналогичными в формирующем эксперименте по причине их доработки.
Почему это ошибка: нельзя корректно сравнить уровень выраженности свойств или знаний испытуемых.
Что делать: или сразу разрабатывать приемлемую методику или довольствоваться тем, что есть.
Здесь стоит отметить, что в некоторых случаях разрабатываются две эквивалентные методики (обычно тестовые): одна используется в рамках констатирующего эксперимента, вторая - формирующего. Но это уже совсем другая история :)
Data science (3)
Europe (2)
Geopolitics (2)
Infographics (1)
R (26)
Russia (2)
SPSS (2)
Ukraine (2)
Акционализм (1)
Анализ данных (27)
Аномия (1)
Выборка (1)
Выступления (3)
Геополитика (12)
Гражданское общество (2)
Демократизация (1)
Европа (4)
Интернет ресурсы (1)
Инфографика (8)
Исследовательские дизайны (1)
Историческая социология (10)
История социологии (5)
Киберспорт (1)
Книги (7)
Массивы (3)
Методология социальных исследований (1)
Методология социологических исследований (2)
Научная жизнь (3)
Новости (6)
Обратная связь (1)
Персоналии (3)
Православные конфессии в Украине (1)
Президентская власть (1)
Психологический дистресс (18)
Психология (5)
Публицистика (2)
Революция (1)
Результаты исследований (28)
Религия (3)
Россия (2)
Согласование концептов (4)
Социальная гетерогенность (1)
Социальная работа (1)
Социологическая теория (6)
Социологические тесты (1)
Социологическое образование (5)
Теория конфликта (2)
Теория социального измерения (8)
Украина (9)
Учебные планы (2)
Философия (1)
Шкалирование (36)
Экономика (1)
Эмпирическая социология (46)
Europe (2)
Geopolitics (2)
Infographics (1)
R (26)
Russia (2)
SPSS (2)
Ukraine (2)
Акционализм (1)
Анализ данных (27)
Аномия (1)
Выборка (1)
Выступления (3)
Геополитика (12)
Гражданское общество (2)
Демократизация (1)
Европа (4)
Интернет ресурсы (1)
Инфографика (8)
Исследовательские дизайны (1)
Историческая социология (10)
История социологии (5)
Киберспорт (1)
Книги (7)
Массивы (3)
Методология социальных исследований (1)
Методология социологических исследований (2)
Научная жизнь (3)
Новости (6)
Обратная связь (1)
Персоналии (3)
Православные конфессии в Украине (1)
Президентская власть (1)
Психологический дистресс (18)
Психология (5)
Публицистика (2)
Революция (1)
Результаты исследований (28)
Религия (3)
Россия (2)
Согласование концептов (4)
Социальная гетерогенность (1)
Социальная работа (1)
Социологическая теория (6)
Социологические тесты (1)
Социологическое образование (5)
Теория конфликта (2)
Теория социального измерения (8)
Украина (9)
Учебные планы (2)
Философия (1)
Шкалирование (36)
Экономика (1)
Эмпирическая социология (46)
January 2021
September 2020
March 2019
September 2018
August 2018
April 2018
March 2018
December 2017
November 2017
October 2017
September 2017
August 2017
July 2017
June 2017
May 2017
April 2017
March 2017
February 2017
January 2017
December 2016
November 2016
October 2016
September 2016
August 2016
July 2016
June 2016
May 2016
April 2016
March 2016
February 2016
January 2016
December 2015
November 2015
October 2015
September 2015
August 2015
July 2015
June 2015
May 2015
April 2015
March 2015
February 2015
August 2014
July 2014
June 2014
May 2014
April 2014
March 2014
February 2014
January 2014
December 2013
November 2013
October 2013
September 2013
December 2020
November 2020
October 2020September 2020
August 2020
July 2020
June 2020
May 2020
April 2020
March 2020
February 2020
January 2020
December 2019
November 2019
October 2019September 2019
August 2019
July 2019
June 2019May 2019
April 2019March 2019
February 2019
January 2019
December 2018
November 2018
October 2018September 2018
August 2018
July 2018
June 2018
May 2018April 2018
March 2018
February 2018
January 2018December 2017
November 2017
October 2017
September 2017
August 2017
July 2017
June 2017
May 2017
April 2017
March 2017
February 2017
January 2017
December 2016
November 2016
October 2016
September 2016
August 2016
July 2016
June 2016
May 2016
April 2016
March 2016
February 2016
January 2016
December 2015
November 2015
October 2015
September 2015
August 2015
July 2015
June 2015
May 2015
April 2015
March 2015
February 2015
January 2015
December 2014November 2014
October 2014
September 2014August 2014
July 2014
June 2014
May 2014
April 2014
March 2014
February 2014
January 2014
December 2013
November 2013
October 2013
September 2013