Лонгрид про новости науки или снова про пир-ревью
В Твитере всё так быстро происходит, что крупнейший скандал прошлой недели как будто уже и забыт. Но мы к нему вернёмся. Редакция Nature объявил, что теперь в их журналах можно будет опубликовать статью с открытым доступом (то есть которая будет открыта для всех в интернете), за 9500 евро. Ну и все офигели.
Сама по себе оплата авторами публикации в открытом доступе – обычное дело. Мотивация авторов в том, что, с одной стороны это вклад в благое дело науки, доступной всем. С другой стороны, статьи в открытом доступе легче находят читателя, которые потом тебя процитирует. Но в обычных журналах эта плата составляет 1000 - 3000 евро. Lancet – $5000. (Кстати, почему-то считается, что это нормально, а вот когда университеты покупают подписки, чтобы предоставить доступ своим сотрудникам – это грабительство со стороны издательств. Мне эта логика не до конца ясна)
Но вернёмся к Nature. У академического твиттера люто бомбануло, а это, в первую очередь значит, что появилось много мемов. Главный мем: о том, что можно сделать на €9500 вместо публикации в Nature. Например, можно купить квартиру в Саратове.
Кроме шуток было и много серьёзных обсуждений, что надо мол заканчивать публиковаться в Nature (ок, не буду), а также перестать рецензировать для них. Дальше последовали обсуждения того, что раз журналы так много зарабатывают, почему они до сих пор не платят рецензентам? Ну и следом – а зачем вообще журналы, если можно выкладывать препринты в свободный доступ самим?
Всё это заставило меня снова вернуться к мыслям о пир-ревью – как-то раньше я писал об этом. С одной стороны, моя первая реакция на любую групповую шумиху – это сопротивления. Мой мозг мне как бы говорит: если толпа людей чего-то яросно требует, ничего хорошего в этом нет. Поэтому сначала я стал думать, что, ну да, это очень высокая цена, но, во-первых, раньше открытого доступа вообще не было, во-вторых, можно отправлять статьи в закрытый доступ (всё равно все кому надо – прочитают).
Разговоры о пир-ревью меня тоже напрягают. Я уже писал, что пир-ревью, то есть добровольная оценка качества исследования коллегами – это то основа всей западной науки. Это самоподдерживающаяся сеть, которая оберегает свободу научных исследований от государственного надзора и от экономических интересов. Нет, конечно, и первое, и второе влияет, но в основе всё равно всегда лежит оценка коллегами, а не какими-то внешними людьми – природа науки такова, что оценить качество новой работы могут только сами профессионалы. Поэтому все разговоры про плату за пир-ревью и науку в виде препринтов мне кажутся, конечно, бессмысленными.
С другой стороны, есть некоторые аспекты современного публикационного процесса, которые мне очень не нравятся. Например, статусные журналы, в которых все стремятся опубликоваться, чтобы получить хорошую работу после этого. И там много субъективного, корпоративного: учёные из оксбриджа и лиги плюща продвигают своих же коллег, а те воспроизводят элиту. Исследователи, публикующихся в хороших нишевых журналах получают в итоге меньше грантов и должностей. Чиновники от науки, конечно, смотрят на импакт-факторы и прочие показатели, мало что говорящие о качестве статей. И вот в этом смысле, наезд на Nature мне приходится по душе. Неравенство возможностей, престиж, формальные показатели – плохо.
В Твитере всё так быстро происходит, что крупнейший скандал прошлой недели как будто уже и забыт. Но мы к нему вернёмся. Редакция Nature объявил, что теперь в их журналах можно будет опубликовать статью с открытым доступом (то есть которая будет открыта для всех в интернете), за 9500 евро. Ну и все офигели.
Сама по себе оплата авторами публикации в открытом доступе – обычное дело. Мотивация авторов в том, что, с одной стороны это вклад в благое дело науки, доступной всем. С другой стороны, статьи в открытом доступе легче находят читателя, которые потом тебя процитирует. Но в обычных журналах эта плата составляет 1000 - 3000 евро. Lancet – $5000. (Кстати, почему-то считается, что это нормально, а вот когда университеты покупают подписки, чтобы предоставить доступ своим сотрудникам – это грабительство со стороны издательств. Мне эта логика не до конца ясна)
Но вернёмся к Nature. У академического твиттера люто бомбануло, а это, в первую очередь значит, что появилось много мемов. Главный мем: о том, что можно сделать на €9500 вместо публикации в Nature. Например, можно купить квартиру в Саратове.
Кроме шуток было и много серьёзных обсуждений, что надо мол заканчивать публиковаться в Nature (ок, не буду), а также перестать рецензировать для них. Дальше последовали обсуждения того, что раз журналы так много зарабатывают, почему они до сих пор не платят рецензентам? Ну и следом – а зачем вообще журналы, если можно выкладывать препринты в свободный доступ самим?
Всё это заставило меня снова вернуться к мыслям о пир-ревью – как-то раньше я писал об этом. С одной стороны, моя первая реакция на любую групповую шумиху – это сопротивления. Мой мозг мне как бы говорит: если толпа людей чего-то яросно требует, ничего хорошего в этом нет. Поэтому сначала я стал думать, что, ну да, это очень высокая цена, но, во-первых, раньше открытого доступа вообще не было, во-вторых, можно отправлять статьи в закрытый доступ (всё равно все кому надо – прочитают).
Разговоры о пир-ревью меня тоже напрягают. Я уже писал, что пир-ревью, то есть добровольная оценка качества исследования коллегами – это то основа всей западной науки. Это самоподдерживающаяся сеть, которая оберегает свободу научных исследований от государственного надзора и от экономических интересов. Нет, конечно, и первое, и второе влияет, но в основе всё равно всегда лежит оценка коллегами, а не какими-то внешними людьми – природа науки такова, что оценить качество новой работы могут только сами профессионалы. Поэтому все разговоры про плату за пир-ревью и науку в виде препринтов мне кажутся, конечно, бессмысленными.
С другой стороны, есть некоторые аспекты современного публикационного процесса, которые мне очень не нравятся. Например, статусные журналы, в которых все стремятся опубликоваться, чтобы получить хорошую работу после этого. И там много субъективного, корпоративного: учёные из оксбриджа и лиги плюща продвигают своих же коллег, а те воспроизводят элиту. Исследователи, публикующихся в хороших нишевых журналах получают в итоге меньше грантов и должностей. Чиновники от науки, конечно, смотрят на импакт-факторы и прочие показатели, мало что говорящие о качестве статей. И вот в этом смысле, наезд на Nature мне приходится по душе. Неравенство возможностей, престиж, формальные показатели – плохо.
А что касается науки с препринтами, то это интересный вопрос. Время всё-таки меняется и обмен информацией в 19 веке (когда зарождались научные журналы) и сейчас – это две большие разницы, спору нет. С другой стороны, существует позиция, что увеличение числа бессмысленных статей (опубликованных для статистики учёного, от которого чиновники требуют публиковаться), не нейтрально, а вредно для научного прогресса: в шуме теряется сигнал. Позиция спорная, но здравое зерно в ней есть. Препринты хорошо работают в сетях исследователей, занимающихся одной проблемой и знающих друг друга: ага, видели, что в лабе Петрова обнаружили? Но как общая модель для науки – пока непонятно. Пока писал эти строки, достаточно важный электронный журнал eLife заявил, что переходит к модели рецензирования препринтов, то есть они предоставляют рецензии для уже выложенных в открытый доступ рукописей. Посмотрим, что получится!
Чего только не ищут на stack exchange
https://psychology.stackexchange.com/questions/1120/where-does-the-distinction-between-motives-and-goals-lie-in-activity-theory
https://psychology.stackexchange.com/questions/1120/where-does-the-distinction-between-motives-and-goals-lie-in-activity-theory
Psychology & Neuroscience Stack Exchange
Where does the distinction between motives and goals lie in activity theory?
Activity has an hierarchical structure, and can be analyzed at different levels: activities, actions and operations. (Leontiev 1974)
(source: interaction-design.org)
The top level is activity it...
(source: interaction-design.org)
The top level is activity it...
Важный материал
The importance of stupidity in scientific research
https://jcs.biologists.org/content/121/11/1771
The importance of stupidity in scientific research
https://jcs.biologists.org/content/121/11/1771
Изображения нейронов, сделанные Рамон-и-Кахалем, которые стали мощным доказательством в пользу клеточной теории нервной системы. Рамон-и-Кахаль руками зарисовывал то, что видел в микроскоп – микрофотографии ещё не было.
Любопытно, что доказательство хоть и мощное, но его долго игнорировали. Во-первых, слишком красиво. А во-вторых, результаты не воспроизводились в других лабораториях. Как оказалось позже – из-за особенностей проточной воды, которую использовал для своих опытов Рамон-и-Кахаль.
Любопытно, что доказательство хоть и мощное, но его долго игнорировали. Во-первых, слишком красиво. А во-вторых, результаты не воспроизводились в других лабораториях. Как оказалось позже – из-за особенностей проточной воды, которую использовал для своих опытов Рамон-и-Кахаль.
❤🔥1
Про ego depletion
Очередная многолабораторная репликация показала, что эффекта ego-depletion нет. Ego-depletion - термин, обозначающий истощение волевых ресурсов, выражающийся в снижении эффективности выполнения задач, требующих когнитивного контроля после другой деятельности, требующей того же. Вот, значит, недавнее крупномасштабное пререгистрированное исследование не обнаружило эффекта.
При этом до этого было много мета-анализов и таких же мультисайт репликаций [1, 2] (ну, может, с меньшим числом лабораторий), показывающих то одно, то другое. Но именно последнюю статью все активно обсуждали как ставящую точку в вопросе. Интересно, что в начале года вышла статья в пользу ego-depletion, только с использованием более тонких статистических средств (было показано, как “умственное утомление“ влияет не некоторые параметры модели принятия решений). Она в репликации не обсуждается вовсе.
Научная общественность также активно обсуждала множество пострадавших аспирантов, которые не могли воспроизвести эффект и тратили время впустую.
Отмечу две вещи. Во-первых, это ещё одно свидетельство в пользу того, что данные никогда не дают ответа. Ответы – это хорошие теории, проверенные данными. Сколько бы ни было плохих ответов, данные не позволят из них выбрать, мы будем постоянно получать то поддержку, то опровержения. К теории ego depletion претензия должна быть теоретическая: чуваки, ваша теория тривиальная и включает в себя круговое объяснение; вы объясняете что-то с помощью ресурсов, природу которых не обсуждаете и не даёте никаких идей о том, как их независимо измерить. Теоретическая критика должна вести к хорошим эмпирическим свидетельствам – например, в пользу альтернативных объяснений тривиального феномена: мы, оказывается, устаём. Интеллектуально – тоже.
Второй момент – по поводу пострадавших аспирантов. Вообще, это нормальный научный процесс, когда в науке доминирует какая-то теория, а потом научно-исторический процесс выносит эту теорию на обочину (см. про эфир в физике). Так же и с эго-деплешн. Была теория, что-то как бы объясняла, провоцировала новые исследования, подтверждалась, не подтверждалась – это нормально. Теория плохая, но в психологи в целом с теориями не очень. Сейчас теория ego depletion, похоже, сходит на нет, и это естественный процесс. Если кто-то этим занимался – не повезло, увы.
Очередная многолабораторная репликация показала, что эффекта ego-depletion нет. Ego-depletion - термин, обозначающий истощение волевых ресурсов, выражающийся в снижении эффективности выполнения задач, требующих когнитивного контроля после другой деятельности, требующей того же. Вот, значит, недавнее крупномасштабное пререгистрированное исследование не обнаружило эффекта.
При этом до этого было много мета-анализов и таких же мультисайт репликаций [1, 2] (ну, может, с меньшим числом лабораторий), показывающих то одно, то другое. Но именно последнюю статью все активно обсуждали как ставящую точку в вопросе. Интересно, что в начале года вышла статья в пользу ego-depletion, только с использованием более тонких статистических средств (было показано, как “умственное утомление“ влияет не некоторые параметры модели принятия решений). Она в репликации не обсуждается вовсе.
Научная общественность также активно обсуждала множество пострадавших аспирантов, которые не могли воспроизвести эффект и тратили время впустую.
Отмечу две вещи. Во-первых, это ещё одно свидетельство в пользу того, что данные никогда не дают ответа. Ответы – это хорошие теории, проверенные данными. Сколько бы ни было плохих ответов, данные не позволят из них выбрать, мы будем постоянно получать то поддержку, то опровержения. К теории ego depletion претензия должна быть теоретическая: чуваки, ваша теория тривиальная и включает в себя круговое объяснение; вы объясняете что-то с помощью ресурсов, природу которых не обсуждаете и не даёте никаких идей о том, как их независимо измерить. Теоретическая критика должна вести к хорошим эмпирическим свидетельствам – например, в пользу альтернативных объяснений тривиального феномена: мы, оказывается, устаём. Интеллектуально – тоже.
Второй момент – по поводу пострадавших аспирантов. Вообще, это нормальный научный процесс, когда в науке доминирует какая-то теория, а потом научно-исторический процесс выносит эту теорию на обочину (см. про эфир в физике). Так же и с эго-деплешн. Была теория, что-то как бы объясняла, провоцировала новые исследования, подтверждалась, не подтверждалась – это нормально. Теория плохая, но в психологи в целом с теориями не очень. Сейчас теория ego depletion, похоже, сходит на нет, и это естественный процесс. Если кто-то этим занимался – не повезло, увы.
ResearchGate
(PDF) A Multisite Preregistered Paradigmatic Test of the Ego-Depletion Effect
PDF | We conducted a preregistered multi-laboratory project (k = 36; N = 3531) to assess the size and robustness of ego depletion effects using a novel... | Find, read and cite all the research you need on ResearchGate
В тему вчерашнего поста – короткий, но содержательный комментарий:
Willpower is overrated
"Research over the past decade makes clear that the best way to reach one’s goals is not to fight temptations but to avoid them before they arrive"
Willpower is overrated
"Research over the past decade makes clear that the best way to reach one’s goals is not to fight temptations but to avoid them before they arrive"
Любопытный материал о том, как изменилось тело человека за последние пару сотен лет
https://nplus1.ru/material/2020/12/09/homosapnov?utm_source=obrazovach&utm_medium=social&utm_campaign=evolyutsiya-cheloveka-prodolzhaetsya-dazhe-sego
https://nplus1.ru/material/2020/12/09/homosapnov?utm_source=obrazovach&utm_medium=social&utm_campaign=evolyutsiya-cheloveka-prodolzhaetsya-dazhe-sego
N + 1 — главное издание о науке, технике и технологиях
Куда пошел?
Как изменился Homo sapiens со времен Дарвина
К предыдущим обсуждениям самоконтроля и ego-depletion, вот хорошая статья с подходом, объясняющим, откуда берутся ограничения в возможности контролировать поведение. Я уже писал об этой идее: разные задачи обеспечиваются перекрывающимися репрезентациями; с одной стороны, это позволяет обобщать навыки, с другой стороны, это тормозит идеальное выполнение отдельных простых задач. Когнитивный контроль позволяет локально решать эту дилемму в разных ситуациях. Раньше я скидывал выступление Джонатана Коэна на эту тему. Вот в его группе оформили наконец статью (судя по формату - в Trends in Cognitive Sciences) #mentaleffort #control #статья
https://psyarxiv.com/vtknh/
https://psyarxiv.com/vtknh/
Читая методологическую статью, о которой я здесь писал, я узнал, что сайт semantic scholar – вообще-то не просто один из библиографических справочников, как я раньше думал. Оказывается, там применяются всякие крутые алгоритмы анализа такста для поиска релевантной литературы. Не зря название вышеупомянутой статьи “Publish less, read more” – мол, мы должны лучше делать анализ литературы.
В этом году на сайте появилось обновление: они стали использовать софтину TLDR, которая резюмирует научные статьи одним предложением. Почитать об этом можно здесь и здесь
В этом году на сайте появилось обновление: они стали использовать софтину TLDR, которая резюмирует научные статьи одним предложением. Почитать об этом можно здесь и здесь
И снова про peer-review
На днях произошло интересное обсуждение моей любимой темы в фейсбуке – рецензирования в российских журналах. Я задался вопросом, почему процесс рецензирования в российских журналах такой долгий. В результате обсуждения были высказаны интересные предположения. Резюмирую некоторые из них здесь:
1) Решения о принятии статей к публикации принимаются редколлегией, а не отдельными action editors как в большинстве международных журналов. Поэтому статьи просто лежат до очередного заседания редколлегии.
2) Журналы не используют автоматизированные редакторские системы, в которых подача статьи автоматизирована, чтобы перевести статью в новый статус от редактора требуется нажать пару кнопок вместо того, чтобы писать несколько имейлов.
3) У журналов трудности с поиском рецензентов. Русскоязычное сообщество относительно небольшое, и может оказаться, что по вашей теме вообще нет других исследователей. Однако, судя по тому, что пишут коллеги, журналы не особо активно ищут рецензентов. По-видимому, у каждого журнала есть пул “своих” рецензентов, которым они и посылают статьи. Я посчитал, что за последние пару лет я рецензировал только три статьи для трех русскоязычных журналов. При этом для международных англоязычных журналов я рецензировал больше десятка статей для минимум восьми журналов (что вспомнил). То же пишут и другие коллеги. То есть несмотря на маленькое количество специалистов в стране, многих исследователей просто не приглашают рецензировать статьи!
Если первые два пункта требуют серьёзной реорганизации работы от журнала, то третий пункт исправить очень просто. Несколько идей: 1) редакциям стоит поверить, что хороших рецензентов можно найти и за пределами их круга доверия. Например, можно считать, что все исследователи, публиковавшиеся в данном журнале (или в каком-то списке журналов), достойны быть рецензентами; 2) Можно просить авторов предлагать список из трёх-пяти рецензентов; 3) Можно просить рецензентов, которые отказываются рецензировать статью предлагать рекомендовать других рецензентов. Это простые способы расширения круга потенциальных рецензентов, это общая практика в международных журналах. Возможно, редакции боятся рецензий низкого качества, но, во-первых, редактор принимает решение о том, на какие замечания следует обратить внимание, а во-вторых, если рецензий, например, три, то одна плохая рецензия не будет критичной.
Такие идеи. Кстати, если вы имеете отношение к работе каких-то русскоязычных журналов по психологии или нейронаукам, или просто знаете, как устроено принятие решений в редколлегиях, напишите в комментариях или мне лично, мне интересно будет задать несколько вопросов.
На днях произошло интересное обсуждение моей любимой темы в фейсбуке – рецензирования в российских журналах. Я задался вопросом, почему процесс рецензирования в российских журналах такой долгий. В результате обсуждения были высказаны интересные предположения. Резюмирую некоторые из них здесь:
1) Решения о принятии статей к публикации принимаются редколлегией, а не отдельными action editors как в большинстве международных журналов. Поэтому статьи просто лежат до очередного заседания редколлегии.
2) Журналы не используют автоматизированные редакторские системы, в которых подача статьи автоматизирована, чтобы перевести статью в новый статус от редактора требуется нажать пару кнопок вместо того, чтобы писать несколько имейлов.
3) У журналов трудности с поиском рецензентов. Русскоязычное сообщество относительно небольшое, и может оказаться, что по вашей теме вообще нет других исследователей. Однако, судя по тому, что пишут коллеги, журналы не особо активно ищут рецензентов. По-видимому, у каждого журнала есть пул “своих” рецензентов, которым они и посылают статьи. Я посчитал, что за последние пару лет я рецензировал только три статьи для трех русскоязычных журналов. При этом для международных англоязычных журналов я рецензировал больше десятка статей для минимум восьми журналов (что вспомнил). То же пишут и другие коллеги. То есть несмотря на маленькое количество специалистов в стране, многих исследователей просто не приглашают рецензировать статьи!
Если первые два пункта требуют серьёзной реорганизации работы от журнала, то третий пункт исправить очень просто. Несколько идей: 1) редакциям стоит поверить, что хороших рецензентов можно найти и за пределами их круга доверия. Например, можно считать, что все исследователи, публиковавшиеся в данном журнале (или в каком-то списке журналов), достойны быть рецензентами; 2) Можно просить авторов предлагать список из трёх-пяти рецензентов; 3) Можно просить рецензентов, которые отказываются рецензировать статью предлагать рекомендовать других рецензентов. Это простые способы расширения круга потенциальных рецензентов, это общая практика в международных журналах. Возможно, редакции боятся рецензий низкого качества, но, во-первых, редактор принимает решение о том, на какие замечания следует обратить внимание, а во-вторых, если рецензий, например, три, то одна плохая рецензия не будет критичной.
Такие идеи. Кстати, если вы имеете отношение к работе каких-то русскоязычных журналов по психологии или нейронаукам, или просто знаете, как устроено принятие решений в редколлегиях, напишите в комментариях или мне лично, мне интересно будет задать несколько вопросов.
Черномырдин нашей психологии
Сегодняшний академический твиттер про одну тему: статью в Nature Communication, посвящённую менторству. Авторы показывают, что если вы женщина и вашим ментором (завлабом или научником) была женщина, ваши наукометрические успехи на старте карьеры будут низкими.…
Как я и предполагал, статью отозвали:
https://retractionwatch.com/2020/12/21/nature-communications-retracts-much-criticized-paper-on-mentorship/
https://retractionwatch.com/2020/12/21/nature-communications-retracts-much-criticized-paper-on-mentorship/
Retraction Watch
Nature Communications retracts much-criticized paper on mentorship
A month after announcing it would be conducting a “priority” investigation into a November 17 paper that claimed women in science fare better with male rather than female mentors, Nature Communicat…
Как в Америке с помощью алгоритмов выбирают кого прививать первыми: https://www.washingtonpost.com/technology/2020/12/23/covid-vaccine-algorithm-failure/