Типы данных в data science

В data science и области больших данных встречается много разных типов данных, для каждого из которых требуются свои инструменты и методы. Основные категории данных перечислены ниже.
  • Структурированные.
  • Неструктурированные.
  • На естественном языке.
  • Машинные.
  • Графовые.
  • Аудио, видео и графика.
  • Потоковые.
Все эти типы данных представляют интерес, и их стоит рассмотреть подробнее. Структурированные данные зависят от модели данных и хранятся в фиксированном поле внутри записи. Соответственно, структурированные данные часто бывает удобно хранить в таблицах, в базах данных или файлах Excel:
Stacks Image 14017
Читать дальше...
Comments

Утрата возрастающей отдачи и падение уровня реальной зарплаты: пример Монголии

Stacks Image 13947
С детских лет мы знаем - кто не учится на чужих ошибках, платит дважды. Книга Эрика Райнерта «Как богатые страны стали богатыми, и почему бедные остаются бедными» как раз о таких чужих ошибках, а также о чужих правильных решениях. Далее приводится небольшая часть книги, посвященная трагическому опыту Монголии. Почему именно Монголия? Просто потому, что мы движемся по ее пути (пусть и не так стремительно).

Обстановка в столице Монголии Улан-Баторе в марте 2000 года была ужасающей. Я был единственным европейским участником встречи в монгольском парламенте, целью которой было наметить стратегический курс развития экономики страны. В ходе холодной войны промышленный сектор Монголии, когда-то хорошо развитый, был практически искоренен. Статистические данные показывали, как одна за другой, начиная с самой продвинутой, исчезали все отрасли промышленности страны. Даже в областях, в которых импортные товары не вытеснили местные, производство резко сократилось. Производство хлеба снизилось на 71 %, а книг и газет — на 79 %, и это при том, что население страны не уменьшилось. Иными словами, монголы стали есть и читать меньше, чем раньше. Всего за несколько лет реальные зарплаты сократились почти вполовину, повсюду царила безработица. Стоимость импортируемых в страну товаров превышала стоимость экспортируемых в 2 раза, а реальная ставка процента с учетом инфляции составляла 35 %.
Секторов, которые, согласно данным национальной промышленной статистики, продолжали расти, было два: производство алкоголя, в котором наблюдался минимальный рост, и сбор птичьего пуха (в некоторой степени это занятие можно считать обрабатывающей промышленностью), производство которого выросло с момента падения Берлинской стены более чем в 2 раза. В стране были закрыты сталелитейные заводы и газеты, а ее население собирало птичий пух; эту ситуацию нельзя назвать иначе, кроме как примитивизацией экономики. В следующие несколько месяцев я усердно изучал Монголию, и чем дольше, тем яснее мне становилось, что эта страна, подавленная холодной войной, была на деле подвергнута действию Плана Моргентау.
Читать дальше...
Comments

К вопросу проблематичности моральной нейтральности при решении общесвенно важных проблем

Stacks Image 13947
Продолжаю рекламировать издательство МИФ. Сегодня хочу познакомить Вас с книгой Майкла Сэндела «Справедливость», а также предложить отрывок из нее, посвященный проблематичности моральной нейтральности в процессе решения общественно важных проблем. Либералы просвещайтесь =)

[…] В дебатах об абортах и исследованиях, проводимых на эмбриональных стволовых клетках, юридический вопрос нельзя решить, не занимая той или иной позиции, лежащей в основе моральных и религиозных вопросов. В обоих случаях нейтральность невозможна потому, что суть состоит в том, приводят ли деяния, о которых идет спор, к лишению человека жизни. Разумеется, большинство моральных и политических разногласий не связано с вопросами жизни и смерти. Таким образом, сторонники либеральной нейтральности могут отвечать, что споры об абортах и изучении стволовых клеток — особые случаи. За исключением ситуаций, связянных с определением человеческой личности, мы можем разрешать споры и разногласия в отношении справедливости и прав, не занимая какой-то позиции относительно нравственности и религии.
Однако на самом деле это не так. Рассмотрим дебаты, которые ведут вокруг заключения браков между представителями одного пола. Можете ли вы решить, должно ли государство признавать такие браки, не вступая в моральные и религиозные контроверзы относительно цели брака и морального статуса гомосексуальности? Некоторые скажут «да» и станут приводить доводы в пользу однополых браков, которые строятся на либеральных основаниях, устраняющих субъективность оценок. Сторонники однополых браков скажут: независимо от того, одобряет или осуждает человек отношения между гомосексуалистами и лесбиянками, индивидуумы должны свободно выбирать себе супругов. Разрешение вступления в брак представителям разных полов и запрещение однополых браков — дискриминация гомосексуалистов и лесбиянок, отказывающая людям нетрадиционной сексуальной ориентации в равенстве перед законом.
Если этот довод — основание, достаточное для того, чтобы государство признало однополые браки, тогда вопрос может быть решен в рамках либерального общественного мышления, которое не прибегает к противоречащим друг другу концепциям цели брачного союза и благ, предоставляемых таким союзом людям, вступающим в брак. Но доводы в пользу однополых браков нельзя привести на объективных основаниях, поскольку аргументы зависят от определенной концепции предназначения, смысла, цели брака. Как напоминает нам Аристотель, спорить о целях общественных институтов все равно, что спорить о добродетелях, которые эти институты одобряют и вознаграждают. Дебаты об однополых браках в основе своей являются спорами о том, заслуживают ли союзы между гомосексуалистами и лесбиянками уважения и признания, которыми в нашем обществе пользуются браки, одобряемые и разрешаемые государством. Так что от фундаментального морального вопроса уйти не удается.
Чтобы понять, почему не удается уйти, важно иметь в виду, что государство может проводить в отношении браков не две, а три политики. Государство может:
1) проводить традиционную политику и признавать только браки между мужчинами и женщинами;
2) последовать примеру нескольких штатов и признавать браки, заключаемые между представителями одного пола, так как оно признаёт браки между мужчинами и женщинами;
3) отказаться признавать любые браки и предоставить эту роль частным ассоциациям.
Читать дальше...
Comments

Любовь с точки зрения психологии

Хочу поделиться информацией про еще одну хорошую книгу: «Психология. Люди, концепции, эксперименты» (автор - Пол Клейман). В книге кратко (но не слишком) изложены самые известные психологические концепции. Далее [в рекламных целях] привожу главу про любовь =)

Stacks Image 13102
Любовь — одно из самых сложных чувств и, возможно, одно из самых важных для человека. Существует множество различных теорий любви, но пока еще ни один психолог четко не определил, почему и как возникает это чувство. Сегодня четыре основные теории объясняют суть любви, привязанности и симпатии.
Шкалы симпатии и любви Рубина
Одним из первых метод эмпирического измерения любви предложил психолог Зик Рубин. Он утверждал, что романтическая любовь состоит из трех составляющих: привязанности, заботы и близости.
Привязанность — потребность находиться рядом с другим человеком и получать (проявлять) его поддержку. Важными компонентами этого чувства являются физический контакт и одобрение.
Забота — действия по обеспечению благополучия другого человека. При этом потребности другого ценятся так же высоко, как и собственные.
Близость — такая степень доверия к другому человеку, при которой можно поделиться своими сокровенными мыслями, чувствами и желаниями.
Более того, Зик Рубин разработал два вопросника для оценки этих трех составляющих любви. По мнению психолога, разницу между симпатией и любовью можно увидеть по тому, как мы оцениваем другого. Его вопросы сформулированы таким образом, чтобы можно было оценить чувство симпатии и любви к другому человеку, а затем сравнить полученные результаты.
Раздав вопросники участникам опроса, исследователь просил их основывать свои ответы на чувствах, которые они испытывают по отношению к своему хорошему другу и своей второй половине (жене, мужу, возлюбленному). В итоге выяснилось, что хотя хорошие друзья получали высокие оценки по шкале симпатии, по шкале любви оценивались высоко только самые близкие, самые любимые респондентами люди.
Читать дальше...
Comments

Когнитивно-бихевиоральные приемы от автора маршмеллоу-теста

В записи представлен текст из книги известного ученого и автора не менее известного эксперимента (маршмеллоу-тест) Уолтера Мишеля «Развитие силы воли». Главная тема здесь - основы когнитивно-бихевиоральной терапии (и самотерапии) в контексте улучшения самоконтроля. Сама книга - отличная. Купить можно здесь.
Stacks Image 12638
Читать дальше...
Comments

Уроки по развитию и укреплению силы воли от Келли Макгонигал

00000460
Резюме для каждой главы из книги, которую многим было бы интересно прочитать. Сам прочитал, поэтому рекомендую =)
Глава 1. «Я буду», «Я не буду», «Я хочу»: что такое сила воли и почему она важна.
Структура современного человеческого мозга наделила каждого из нас множеством личностей, которые соревну-тся за контроль над нашими мыслями, чувствами и действиями. Любое испытание силы воли — это битва между разными ипостасями. Чтобы победило высшее «я», нужно укреплять системы самосознания и самоконтроля. Когда мы этого добьемся, мы найдем в себе силу воли и силу «Я хочу» делать то, что труднее.
Глава 2. Инстинкт силы воли: ваше тело рождено сопротивляться пирожным.
Когда мы проигрываем в волевых испытаниях, велико искушение во всем винить себя: мы слабые, ленивые, безвольные тюфяки. Но гораздо чаще проблема не в этом: просто наш мозг и тело пребывают в неподходящем для самоконтроля состоянии. Если мы подвергаемся хроническому стрессу, в испытаниях силы воли приходится участвовать нашим импульсивным «я». Чтобы победить, нам нужно найти то состояние души и тела, которое направляет энергию на самоконтроль, а не на самозащиту. Это значит, что нам необходимо восстанавливаться после стресса и беречь силы — только тогда мы будем на высоте.
Глава 3. Устал и не устоял: почему самоконтроль похож на мышцу.
Пределы самоконтроля являют собой парадокс: мы не можем контролировать все, но единственный способ укрепить самоконтроль — это расширить его границы. Как мышца, сила воли подчиняется правилу: «Используй — или потеряешь.». Если мы попытаемся сберечь силу воли, записавшись в лежебоки, мы потеряем ее без остатка. А если мы постараемся каждый день пробегать волевой марафон, то попросту развалимся. Наша задача — тренироваться, как умный спортсмен: расти над собой, но неспешно. Мы можем найти в себе силы, осознав, чт. нами движет, и придумать способы, которые помогут нашим утомленным личностям принимать благоприятные решения.
Глава 4. Разрешение на грех: почему хорошим дозволяется быть плохими.
В погоне за самообладанием не следует определять всякое волевое испытание в терминах нравственности. Мы слишком легко выдаем себе моральные кредиты за совершенные или предполагаемые добрые дела и слишком умело оправдываем уступки. Категории «добра» и «зла» скрывают от нас то, чего мы действительно хотим, провоцируют конфликт мотивов и позволяют нам саботировать свои цели. Чтобы закрепить изменения, нам надо отождествиться с самим стремлением, а не с блеском нимба, который мы получаем за хорошее поведение. Читать дальше...
Comments