Американские люди заботятся о том, как распределены раса и гендер в вашем списке цитирований
This python script guesses the race and gender (probabilistically) of the first and last authors for papers in your citation list (in the form of a .bib file) and compares your list to expected distributions based on a model that accounts for paper characteristics (e.g., author location, author seniority, journal, et cetera.) unrelated to race and gender.
https://github.com/mb3152/balanced_citer
This python script guesses the race and gender (probabilistically) of the first and last authors for papers in your citation list (in the form of a .bib file) and compares your list to expected distributions based on a model that accounts for paper characteristics (e.g., author location, author seniority, journal, et cetera.) unrelated to race and gender.
https://github.com/mb3152/balanced_citer
GitHub
GitHub - mb3152/balanced_citer: This python script guesses the race and gender (probabilistically) of the first and last authors…
This python script guesses the race and gender (probabilistically) of the first and last authors for papers in your citation list (in the form of a .bib file) and compares your list to expected dis...
A solution to the reliability paradox или о пользе моделирования
Есть такая проблема в когнитивной психологии: сильные экспериментальные эффекты (типа Струп-эффекта) демонстрируют слабую тест-ретестовую надёжность. То есть разброс по эффекту у разных испытуемых неустойчив и поэтому результаты таких тестов нельзя использовать как индивидуальную переменную. Например, результаты струп-теста для данного человека нельзя использовать как индивидуальный показатель его исполнительных функци.
Сначала все думали, что это большая проблема, но в итоге консенсус сошёлся на том, что экспериментальные и психометрические исследовательские методы просто различаются по своим статистическим свойствам, поэтому не надо переживать.
[кстати, пока писал этот пост, понял, что я уже про эту проблему писал раньше:
https://t.me/chernopsy/172,
https://t.me/chernopsy/173
- тем лучше!]
Авторы новой статьи говорят: нет! на самом деле, данные экспериментального дизайна могут обладать хорошими психометрическими свойствами, если правильно анализировать данные. Обычно посчитают среднее значение в одном условии, среднее в другом, вычтут одно из другого и вот вам индивидуальный показатель. С учётом того, что распределения (например, времени реакции), которые наблюдаются в поведенческих экспериментах, редко подчиняются нормальному закону, процедура эта очень ограничена. Авторы предлагают использовать генеративные модели, порождающие всё распределение данных для отдельных испытуемых, и потом использовать параметры этих распределений вместо обычных описательных статистик. В работе показано, что тест-ретест надёжность сильно повышается по сравнению со стандартным анализом средних. Иными словами, если вы правильно оцениваете природу ваших поведенческих данных, то и надёжность вашего теста возрастает.
Интересный поворот в этой (уже многолетней) дискуссии. #статья
Есть такая проблема в когнитивной психологии: сильные экспериментальные эффекты (типа Струп-эффекта) демонстрируют слабую тест-ретестовую надёжность. То есть разброс по эффекту у разных испытуемых неустойчив и поэтому результаты таких тестов нельзя использовать как индивидуальную переменную. Например, результаты струп-теста для данного человека нельзя использовать как индивидуальный показатель его исполнительных функци.
Сначала все думали, что это большая проблема, но в итоге консенсус сошёлся на том, что экспериментальные и психометрические исследовательские методы просто различаются по своим статистическим свойствам, поэтому не надо переживать.
[кстати, пока писал этот пост, понял, что я уже про эту проблему писал раньше:
https://t.me/chernopsy/172,
https://t.me/chernopsy/173
- тем лучше!]
Авторы новой статьи говорят: нет! на самом деле, данные экспериментального дизайна могут обладать хорошими психометрическими свойствами, если правильно анализировать данные. Обычно посчитают среднее значение в одном условии, среднее в другом, вычтут одно из другого и вот вам индивидуальный показатель. С учётом того, что распределения (например, времени реакции), которые наблюдаются в поведенческих экспериментах, редко подчиняются нормальному закону, процедура эта очень ограничена. Авторы предлагают использовать генеративные модели, порождающие всё распределение данных для отдельных испытуемых, и потом использовать параметры этих распределений вместо обычных описательных статистик. В работе показано, что тест-ретест надёжность сильно повышается по сравнению со стандартным анализом средних. Иными словами, если вы правильно оцениваете природу ваших поведенческих данных, то и надёжность вашего теста возрастает.
Интересный поворот в этой (уже многолетней) дискуссии. #статья
Telegram
Черномырдин нашей психологии
Блогпост о том, что в экспериментальных исследованиях не важна надёжность измерения зависимой переменной (в психометрическом смысле). Потому что психометрическая надёжность, которая позволяет, например, изучать корреляции между разными показателями, увеличивается…
Publish less, read more
методологическая #статья с говорящим названием. Сейчас много пишут про важность хорошей теоретической работы в психологии, но эти разговоры не очень популярны, потому что не понятно, как качество этой работы улучшать, что нужно делать. Не то, чтобы эта статья даёт эти ответы, но там есть несколько не-мейнстримных идей:
- не-репликация должна публиковаться, только если дополнительно предлагается теоретическое объяснение, почему этого эффекта не должно было быть
- так как выделить теоретический сигнал в море публикационного шума всё тяжелее, предлагается развивать методы машинного обучения для автоматического анализа аннотаций. Проблема, на решение которой это направлено: постоянное забывание психологами старой литературы и как следствие переизобретение велосипедов и продление жизни многосторонне опровергнутых теорий
- Hypothesizing after results are known (HARKing; Kerr, 1998) - обсуждается не только как возможная, но даже необходимая практика для развития научных теорий. Но помогает она, только если происходит в явном виде: "мы этого не ожидали, но объяснение могло бы быть таким, давайте проверим в следующем эксперименте". Как пишет автор: "It is even hard to think of any major concept in empirical science that did not result from some unexpected finding".
https://journals.sagepub.com/doi/full/10.1177/0959354319898250
методологическая #статья с говорящим названием. Сейчас много пишут про важность хорошей теоретической работы в психологии, но эти разговоры не очень популярны, потому что не понятно, как качество этой работы улучшать, что нужно делать. Не то, чтобы эта статья даёт эти ответы, но там есть несколько не-мейнстримных идей:
- не-репликация должна публиковаться, только если дополнительно предлагается теоретическое объяснение, почему этого эффекта не должно было быть
- так как выделить теоретический сигнал в море публикационного шума всё тяжелее, предлагается развивать методы машинного обучения для автоматического анализа аннотаций. Проблема, на решение которой это направлено: постоянное забывание психологами старой литературы и как следствие переизобретение велосипедов и продление жизни многосторонне опровергнутых теорий
- Hypothesizing after results are known (HARKing; Kerr, 1998) - обсуждается не только как возможная, но даже необходимая практика для развития научных теорий. Но помогает она, только если происходит в явном виде: "мы этого не ожидали, но объяснение могло бы быть таким, давайте проверим в следующем эксперименте". Как пишет автор: "It is even hard to think of any major concept in empirical science that did not result from some unexpected finding".
https://journals.sagepub.com/doi/full/10.1177/0959354319898250
SAGE Journals
Publish less, read more
A publication deluge has impeded rather than advanced theory in experimental psychology. Many researchers rely more on null-hypothesis significance testing than literature studies to determine whether results are worthwhile. Four problematic publication practices…
Каминг-аут: никогда не понимал толком разницу между p-value и доверительными интервалами. Если ты пытаешься только опровергнуть нулевую гипотезу, то решения всегда будут одни и те же.
Оказалось, что если чётко формулировать альтернативную гипотезу (величину ожидаемого эффекта), то из доверительных интервалов можно делать намного больше выводов, чем из p-value.
Например: вы ожидаете разницу между двумя условиями в 50 миллисекунд и получаете разницу в 30 мс с 95% доверительным интервалом [-10; 70]. То есть в доверительный интервал входит как нулевая гипотеза (0), так и альтернативная (50). Это означает, что вам нужно добрать выборку – стандартная ошибка слишком велика, чтобы сделать однозначный вывод. Только если ваш доверительный интервал включает в себя ноль, но не включает значение, определённое для альтернативной гипотезы, вы можете уверенно принять нулевую гипотезу (из книжки Z. Dienes "Understanding psychology as a science") #stats #книга
Оказалось, что если чётко формулировать альтернативную гипотезу (величину ожидаемого эффекта), то из доверительных интервалов можно делать намного больше выводов, чем из p-value.
Например: вы ожидаете разницу между двумя условиями в 50 миллисекунд и получаете разницу в 30 мс с 95% доверительным интервалом [-10; 70]. То есть в доверительный интервал входит как нулевая гипотеза (0), так и альтернативная (50). Это означает, что вам нужно добрать выборку – стандартная ошибка слишком велика, чтобы сделать однозначный вывод. Только если ваш доверительный интервал включает в себя ноль, но не включает значение, определённое для альтернативной гипотезы, вы можете уверенно принять нулевую гипотезу (из книжки Z. Dienes "Understanding psychology as a science") #stats #книга
Полная противоположность книге Фельдман-Баррет (другая крайность). Если та книга наполнена необоснованным революционным пафосом на пустом месте, то в книге Леду вообще нет никого пафоса, никакой сквозной идеи. Первая половина книги (а то и две трети) - это школьный курс биологии по происхождению жизни и эволюции от микроорганизмов до млекопитающих. Последняя часть - бесстрастное изложение фактов и теорий из современной поведенческой нейронауки, изредка приправленное скромным личным мнением. Полное соблюдение принципа научной объективности и беспристрастности при потере принципа привнесения новых идей. Специалист, да и интересующийся читатель, который видел хотя бы пару научпоп книг по современной нейронауке / когнитивке, не найдёт в книге ничего интересного – кроме оригинальных иллюстраций в стиле научных работ 19 века (правда, когда речь доходит до психологии, от унылых блок-схем, видимо, никуда не деться). Аудитория книги - 15-летние юноши и девушки, которые могут быть увлечены тем, что сознание можно изучать со стороны биологии и эволюции.
Ещё пример из серии “замечательные ответы на stack exchange”
https://math.stackexchange.com/questions/227345/name-for-diagonals-of-a-matrix/227366
https://math.stackexchange.com/questions/227345/name-for-diagonals-of-a-matrix/227366
If planning on taking psychedelics + choose to dedicate 20 mins to science
В связи с пандемией экспериментальные исследования переносятся в онлайн - В ТОМ ЧИСЛЕ И ПСИХОФАРМАКОЛОГИЧЕСКИЕ:
Imperial College London is running an online study to investigate the effects of psychedelics on cognition. If planning on taking psychedelics+choose to dedicate 20 mins to science, we put together a set of brain games you can play while you're tripping!
Maria Balaet on Twitter
В связи с пандемией экспериментальные исследования переносятся в онлайн - В ТОМ ЧИСЛЕ И ПСИХОФАРМАКОЛОГИЧЕСКИЕ:
Imperial College London is running an online study to investigate the effects of psychedelics on cognition. If planning on taking psychedelics+choose to dedicate 20 mins to science, we put together a set of brain games you can play while you're tripping!
Maria Balaet on Twitter
Twitter
Maria Balaet
Imperial College London is running an online study to investigate the effects of psychedelics on cognition. If planning on taking psychedelics+choose to dedicate 20 mins to science, we put together a set of brain games you can play while you're tripping!…
По иронии судьбы второй подряд пост про диплёрнинг. На этот раз серьёзный: пишут, что диплёрнигу и ИИ в целом нужны исполнительные функции. В нейро-терминах – PFC (prefrontal cortex). Наверное, я тут уже писал примерно такие же общие идеи: нейросети учатся лучше людей, но гибкое переключение, торможение, перенос абстрактных правил из одного контекста в другой – в этом кожаные ублюдки (с) пока ещё действительно превосходят механических #AI #AI_vs_humans #control
https://baicsworkshop.github.io/pdf/BAICS_10.pdf
https://baicsworkshop.github.io/pdf/BAICS_10.pdf
В тему к этой фразе – вспомнил пост, который видел в вк некоторое время назад. Там какой-то анонимный автор вложил обратное высказывание (о том, что психология должна быть заменена биологией) в уста Аси Казанцевой. В коменты пришла настоящая Ася Казанцева и сказала, что эти измышления не имеют к ней никакого отношения
https://vk.com/wall-189723885_179
https://vk.com/wall-189723885_179