TENDO
Measure the Unmeasurable
Мы создаём современные и нескучные инструменты для измерения экспертизы, компетенций и мотивации. Игры, чат-боты, датчики — мы умеем собирать данные разного формата.
С чем мы можем помочь
Аудит инструментов
Проанализировать уже работающие инструменты, определить их слабые стороны и дать рекомендации развитию. «Уже работает — хотим улучшить».
Апробация
Организовать тестирование разработанных инструментов на релевантной аудитории.
«Уже придумали, как померить — хотим проверить».
«Уже придумали, как померить — хотим проверить».
Создание с нуля
Разработать оригинальные инструменты, подготовить их техническую реализацию и внедрение. «Знаем, что хотим померить — не знаем как».
Кейсы и исследования
Кто мы
Диана
— Опыт консалтинга и аналитики для Пушкинского музея, DOC+, Авиапарка— 3 года лидер проекта по самоопределению «Образ жизни» (Победители Конкурса инноваций в образовании)
— 3 года м.н.с. в Лаборатории экспериментальной и поведенческой экономики НИУ ВШЭ
Columbia Uni, University of Londonэкономика и когнитивная психология
— 3 года м.н.с. в Лаборатории экспериментальной и поведенческой экономики НИУ ВШЭ
Columbia Uni, University of Londonэкономика и когнитивная психология
Егор
— 3 года в «Гуманитарных технологиях». Разработка, оценка качества тестов и методологии набора персонала больше чем для20 компаний, в том числе для Газпром-нефти, Сбербанка, РЖД
— Программирование, машинное обучение — R, Python
МГУ, психометрика
— Программирование, машинное обучение — R, Python
МГУ, психометрика
Оставить заявку
Присоединяйтесь к команде
Если у вас есть интересные научные проекты или вы ищите необычные задачи — присоединяйтесь. Мы независимая исследовательская студия, группа въедливых и нестандартно мыслящих аналитиков, учёные с чувством юмора и неиссякаемым любопытством.
Напишите нам о том, почему вам хочется работать с нами, а нам захочется работать с вами на адрес dianakolesnikova@gmail.com.
Напишите нам о том, почему вам хочется работать с нами, а нам захочется работать с вами на адрес dianakolesnikova@gmail.com.
Говорят, что числа правят миром. Нет, они только показывают, как правят миром.
И.В. Гёте
И.В. Гёте
Аудит системы рекрутмента для проекта «Учитель для России»
сентябрь - ноябрь 2018
Ключевая задача
Повысить эффективность воронки отбора.
Описание
Отбор сотруников на должность – ответственное дело для HR. Можно взять «не того», можно не заметить подходящего или, взяв сотрудника, создать новую должность, не всегда нужную для организации. Основа отбора кандидатов – данные о них; от качества их сбора, хранения и обработки зависит то, как скоро может быть найден «идеальный кандидат». Мы проанализировали данные, собираемых в ходе оценки кандидатов в проект «Учитель для России», выделили слабые зоны оценки и дублирование оценочных процедур. На основе этого мы смогли рекомендовать возможные пути оптимизации оценки и отбора участников.
Примеры использованных методов, областей знания
Анализ согласованности экспертов, сравнение средних.
Результаты
1 // Показали, какие данные собираются без всякой пользы, какие из них не участвуют в принятии решений по кандидатам.
2 // Разработали рекомендации по изменению системы рекрутинга и улучшению метрик на каждом этапе подбора.
Повысить эффективность воронки отбора.
Описание
Отбор сотруников на должность – ответственное дело для HR. Можно взять «не того», можно не заметить подходящего или, взяв сотрудника, создать новую должность, не всегда нужную для организации. Основа отбора кандидатов – данные о них; от качества их сбора, хранения и обработки зависит то, как скоро может быть найден «идеальный кандидат». Мы проанализировали данные, собираемых в ходе оценки кандидатов в проект «Учитель для России», выделили слабые зоны оценки и дублирование оценочных процедур. На основе этого мы смогли рекомендовать возможные пути оптимизации оценки и отбора участников.
Примеры использованных методов, областей знания
Анализ согласованности экспертов, сравнение средних.
Результаты
1 // Показали, какие данные собираются без всякой пользы, какие из них не участвуют в принятии решений по кандидатам.
2 // Разработали рекомендации по изменению системы рекрутинга и улучшению метрик на каждом этапе подбора.
4 онлайн-игры по оценке компетенций 21 века
февраль - май 2018
Ключевая задача
Разработать инструмент оценки компетенций XXI века для школьников.
Описание
Тестовая оценка навыков и компетенций порой скучна, вызывает вопросы типа «Можно ли это вообще померить тестом?» и чаще всего даёт очень общие результаты по итогам. Но оценивать навыки и умения, необходимые в работе и жизни XXI века – ценная и актуальная задача как для подбора, так и для самопознания. Мы решили пойти по пути геймификации психологической оценки и делать игры, позволяюие измерять психологические показатели. Разработали методологию, техническое решение, дизайн, игровые сценарии и правила начисления баллов – пришли к готовому инструменту оценки обучамости, склонности к риску и работы с информацией в онлайн-играх в «Колонизаторов».
Примеры использованных методов, областей знания
Методология психологических измерений, психодиагностика, моделирование в задачах изучения риска.
Результаты
1 // Разработали игровые сценарии и измерительную логику для оценки склонности к риску и обучаемости.
2 // Разработали систему рекомендаций по развитию оцениваемых компетенций.
Разработать инструмент оценки компетенций XXI века для школьников.
Описание
Тестовая оценка навыков и компетенций порой скучна, вызывает вопросы типа «Можно ли это вообще померить тестом?» и чаще всего даёт очень общие результаты по итогам. Но оценивать навыки и умения, необходимые в работе и жизни XXI века – ценная и актуальная задача как для подбора, так и для самопознания. Мы решили пойти по пути геймификации психологической оценки и делать игры, позволяюие измерять психологические показатели. Разработали методологию, техническое решение, дизайн, игровые сценарии и правила начисления баллов – пришли к готовому инструменту оценки обучамости, склонности к риску и работы с информацией в онлайн-играх в «Колонизаторов».
Примеры использованных методов, областей знания
Методология психологических измерений, психодиагностика, моделирование в задачах изучения риска.
Результаты
1 // Разработали игровые сценарии и измерительную логику для оценки склонности к риску и обучаемости.
2 // Разработали систему рекомендаций по развитию оцениваемых компетенций.
Аудит теста знаний для компании Doc+
февраль 2018
Ключевая задача
Повысить точность оценки знаний с помощью теста.
Описание
Не каждый эксперт в своей области умеет хорошо создавать тестовые задания, которые смогут проерить, есль ли у других знания о ней. Часто эксперты допускают ошибки, свойственные новичкам в конструировании тестов - их задания очень легко «взломать» – решить без всякого знания. Мы проверили каждое задание теста для терапевтов из Doc+ и смогли указать на то, какие задания требуют небольших правок, какие задания, скорее всего, не будут хорошо измерять знания и какие задания и так хороши. В своём аудите мы опирались как на статистику ответов на задание, так и на экспертные мнения о том, не допущены ли ошибки в форме задания, адекватно ли поставлен вопрос, нет ли в задании подсказок и т.д.
Примеры использованных методов, областей знания
Оценка трудности и дискрминативности тестовых заданий.
Результаты
1 // Все предоставленные задания мы разделили на 3 группы: пригодных к использованию, рекомендованных к удалению и требующих корректировки.
2 // Для последней группы заданий мы разработали рекомендации по их доработке и изменению по форме.
Повысить точность оценки знаний с помощью теста.
Описание
Не каждый эксперт в своей области умеет хорошо создавать тестовые задания, которые смогут проерить, есль ли у других знания о ней. Часто эксперты допускают ошибки, свойственные новичкам в конструировании тестов - их задания очень легко «взломать» – решить без всякого знания. Мы проверили каждое задание теста для терапевтов из Doc+ и смогли указать на то, какие задания требуют небольших правок, какие задания, скорее всего, не будут хорошо измерять знания и какие задания и так хороши. В своём аудите мы опирались как на статистику ответов на задание, так и на экспертные мнения о том, не допущены ли ошибки в форме задания, адекватно ли поставлен вопрос, нет ли в задании подсказок и т.д.
Примеры использованных методов, областей знания
Оценка трудности и дискрминативности тестовых заданий.
Результаты
1 // Все предоставленные задания мы разделили на 3 группы: пригодных к использованию, рекомендованных к удалению и требующих корректировки.
2 // Для последней группы заданий мы разработали рекомендации по их доработке и изменению по форме.
Аудит профориентационной игры
март 2018
Описание
Экспертная оценка прототипа игры для профориентации, анализ сценария игры и содержания рекомендаций.
Результаты
Разработаны рекомендации по улучшению сценария и логики работы игры.
Экспертная оценка прототипа игры для профориентации, анализ сценария игры и содержания рекомендаций.
Результаты
Разработаны рекомендации по улучшению сценария и логики работы игры.
Анализ оптимальной структуры благотворительной организации
апрель - май 2012
Ключевая задача
Рекомендовать оптимальную организационную структуру
Описание
В любой организации есть множество задач, которые распределяются между сотрудниками. Иногда это распределение далеко от оптимального. Например, есть сотрудники, чей функционал почти дублируется, при этом формально они относятся к разным отделам. Или например, есть сотрудники, чья работа полностью зависит от их коллег, что приводит к постоянным простоям и срывам сроков. Мы проанализировали пул задач небольшой благотворительной организации (15 человек), чтобы предложить более оптимальное распределение задач и более оптимальную систему «направлений работы» (фактически, отделов).
Примеры использованных методов, областей знания
Многомерный кластерный анализ
Результаты
1 // Предложили несколько возможных организационных структур («направлений» работы) для более опитмального взаимодействия между сотрудниками
2 // Предложили более оптимальное распределение задач между конкретными сотрудниками
Авторы
Колесникова Диана
Рекомендовать оптимальную организационную структуру
Описание
В любой организации есть множество задач, которые распределяются между сотрудниками. Иногда это распределение далеко от оптимального. Например, есть сотрудники, чей функционал почти дублируется, при этом формально они относятся к разным отделам. Или например, есть сотрудники, чья работа полностью зависит от их коллег, что приводит к постоянным простоям и срывам сроков. Мы проанализировали пул задач небольшой благотворительной организации (15 человек), чтобы предложить более оптимальное распределение задач и более оптимальную систему «направлений работы» (фактически, отделов).
Примеры использованных методов, областей знания
Многомерный кластерный анализ
Результаты
1 // Предложили несколько возможных организационных структур («направлений» работы) для более опитмального взаимодействия между сотрудниками
2 // Предложили более оптимальное распределение задач между конкретными сотрудниками
Авторы
Колесникова Диана
Исследование о методах калибрации прогнозов
ноябрь 2012 - июль 2013
Ключевая задача
Сравнить различные способы измерения уверенности при принятии решений, в том числе предложить бинарную шкалу, не использовавшуюся ранее.
Описание
Для многих ситуаций в бизнесе или, например, медицине, важно знать не только решение эксперта, но и уровень его уверенности в принятом решение. Известно, что даже самые крутые профессионалы склонны переоценивать правильность принятых ими решений. Это явление называется «чрезмерной уверенностью» (overconfidence). Есть множество способов оценить, насколько тот или иной человек хорошо «откалиброван» в своих прогнозах. Мы предложили новую бинарную шкалу, которая должна учитывать иррациональное поведение человека.
Шкала протестирована эмпирически.
Полный текст научной публикации:
Kolesnikova&Belyanin, 2013. Prognosis Calibration in Binary Choice Tasks. Psychology. Journal of Higher School of Economics, (10) 4, 41-64. (in Russian)
Авторы
Колесникова Диана
Белянин Алексей
Сравнить различные способы измерения уверенности при принятии решений, в том числе предложить бинарную шкалу, не использовавшуюся ранее.
Описание
Для многих ситуаций в бизнесе или, например, медицине, важно знать не только решение эксперта, но и уровень его уверенности в принятом решение. Известно, что даже самые крутые профессионалы склонны переоценивать правильность принятых ими решений. Это явление называется «чрезмерной уверенностью» (overconfidence). Есть множество способов оценить, насколько тот или иной человек хорошо «откалиброван» в своих прогнозах. Мы предложили новую бинарную шкалу, которая должна учитывать иррациональное поведение человека.
Шкала протестирована эмпирически.
Полный текст научной публикации:
Kolesnikova&Belyanin, 2013. Prognosis Calibration in Binary Choice Tasks. Psychology. Journal of Higher School of Economics, (10) 4, 41-64. (in Russian)
Авторы
Колесникова Диана
Белянин Алексей
Анализ мотивационных писем для проекта «Учитель для России»
декабрь 2018 - май 2019 (предполагаемая дата окончания)
Ключевая задача
Автоматизировать оценку ответов на открытые вопросы.
Описание
Первый шаг для попадания в программу «Учитель для России» — заполнение анкеты. Часть вопросов подразумевают ответы в формате коротких эссе. Каждую анкету читает и оценивает эксперт. Мы поставили перед собой задачу разработать алгоритм, который будет оценивать эссе по ряду критериев, а впоследствии сможет сократить время экспертов для обработки анкет. Исследование проводится совместно с представителями магистерской программы «Компьютерная лингвистика» НИУ ВШЭ.
Авторы
Колесникова Диана
Баранчикова Настя
Дорохов Егор
Автоматизировать оценку ответов на открытые вопросы.
Описание
Первый шаг для попадания в программу «Учитель для России» — заполнение анкеты. Часть вопросов подразумевают ответы в формате коротких эссе. Каждую анкету читает и оценивает эксперт. Мы поставили перед собой задачу разработать алгоритм, который будет оценивать эссе по ряду критериев, а впоследствии сможет сократить время экспертов для обработки анкет. Исследование проводится совместно с представителями магистерской программы «Компьютерная лингвистика» НИУ ВШЭ.
Авторы
Колесникова Диана
Баранчикова Настя
Дорохов Егор