Воскрес и начал мыслить? История, взрывающая мозг 🤯
В один из весенних дней 2005 года в американском городе Хановер в 6:30 утра Крейг Беннет зашел в супермаркет и попросил продать ему тушку атлантического лосося. Он даже обратил внимание несколько удивленных ранним посетителем продавцов, что рыба ему нужна не просто так, а для науки.
🧠 Крейг — нейросайентист, в то время делал пхд в Дартмутском колледже. Его лаборатория разрабатывала новые протоколы функциональной магнитной резонансной томографии. Это когда человека помещают в сканер и просят подумать над какими-то несложными задачками. Группа собиралась исследовать мозговую активность подростков во время принятия решений. И перед тем, как проводить тестирования на человеке, нужно было откалибровать томограф на фантоме с большой контрастностью. Когнитивисты использовали то, что нашли в местном магазинчике. Сначала в сканер отправилась тыква, потом — курица. Но это всё было не совсем то, поэтому на очереди возникла рыба!
🐟 Итак, нейросаентисты засунули мертвого лосося в сканер. Он оказался отличным фантомом: ученые даже залюбовались прекрасной анатомией рыбины. Чтобы максимально воспроизвести протокол будущих когнитивных тестов (ну или просто по приколу 🤪) Беннет и коллеги буквально обращались с лососем как с подопытным человеком: показывали ему изображения людей в различных социальных ситуациях и любезно просили определить эмоции. После успешной настройки фМРТ сканера, шуточные данные с лососем отправились пылиться на полку.
Прошло 3 года. Когнитивные психологи проводили семинар, где обсуждали подводные камни в области функциональной томографии. И тут вспомнили про нейровизуализацию мозга лосося. Тогда Беннет прогнал старые данные через свой стандартный пайплайн и увидел удивительное. В мозге рыбы обнаружились участки, которые активизировались в ответ на картинки! Вообразить такое было невозможно, но статистические тесты при высочайшем уровне значимости p < 0,001 подтверждали это. Неужели лосось ожил и вдобавок начал мыслить?
🙅♂️ Ничего подобного! Дело в том, что для достижения высокого разрешения фМРТ изображений ученые обычно получают тысячи 3D-картинок кусочков мозга за один эксперимент. Это так называемые воксели — то есть объемные пиксели. И для каждого вокселя, проводится свой отдельный статтест. При таком количестве проверок гипотез неизбежно получаются ложноположительные результаты. В случае с лососем среди 8 тыс вокселей было 16 участков мозга, которые будто бы реагировали на эмоции людей на картинках. Чтобы избавиться от подобных ошибок, придумана так называемая поправка на множественные тестирования. Когда Беннет с коллегами воспользовались ею, то все значимые, но совершенно идиотские с точки зрения здравого смысла, результаты исчезли.
В 2008 году Беннету с коллегами удалось представить постер с лососем на конференции Human Brain Mapping, где история вызвала бурную дискуссию. После многочисленных реджектов Беннет и его научный руководитель таки опубликовали статью про лосося в «Журнале случайных и неожиданных результатов». Проблема рукописи была даже не в том, что исследование само по себе было нелепо и отвергалось рецензентами. А в том, что другие нейроученые, дабы уловить тонкие эффекты, пренебрегали поправкой на множественные сравнения, просто считая метод слишком грубым.
😈 Это значит, они могли получать фейковые результаты и публиковать их. Кому же понравится разоблачение их ложных открытий?
🧟♀️ В 2012 году Беннету с соавторами вручили Шнобелевскую премию за зомби-лосося. Смех смехом, но исследование заставило специалистов в области фМРТ изменить свой подход к обработке данных. Да и остальные ученые в очередной раз задумались о влиянии статистики на нашу интерпретацию мира. Как важно корректно пользоваться ею, чтобы наша жизнь не превратилась в абсурд. Ну, а где учат грамотной статистике, вы и так знаете.
Кстати, а что стало с дохлым лососем? По завершении измерений, лосось, который до сих пор будоражит умы, был благополучно запечен и съеден на ужин 🍽
Если этот текст для вас TLDR, то рекомендуем посмотреть не менее классную видеоверсию
В один из весенних дней 2005 года в американском городе Хановер в 6:30 утра Крейг Беннет зашел в супермаркет и попросил продать ему тушку атлантического лосося. Он даже обратил внимание несколько удивленных ранним посетителем продавцов, что рыба ему нужна не просто так, а для науки.
🧠 Крейг — нейросайентист, в то время делал пхд в Дартмутском колледже. Его лаборатория разрабатывала новые протоколы функциональной магнитной резонансной томографии. Это когда человека помещают в сканер и просят подумать над какими-то несложными задачками. Группа собиралась исследовать мозговую активность подростков во время принятия решений. И перед тем, как проводить тестирования на человеке, нужно было откалибровать томограф на фантоме с большой контрастностью. Когнитивисты использовали то, что нашли в местном магазинчике. Сначала в сканер отправилась тыква, потом — курица. Но это всё было не совсем то, поэтому на очереди возникла рыба!
🐟 Итак, нейросаентисты засунули мертвого лосося в сканер. Он оказался отличным фантомом: ученые даже залюбовались прекрасной анатомией рыбины. Чтобы максимально воспроизвести протокол будущих когнитивных тестов (ну или просто по приколу 🤪) Беннет и коллеги буквально обращались с лососем как с подопытным человеком: показывали ему изображения людей в различных социальных ситуациях и любезно просили определить эмоции. После успешной настройки фМРТ сканера, шуточные данные с лососем отправились пылиться на полку.
Прошло 3 года. Когнитивные психологи проводили семинар, где обсуждали подводные камни в области функциональной томографии. И тут вспомнили про нейровизуализацию мозга лосося. Тогда Беннет прогнал старые данные через свой стандартный пайплайн и увидел удивительное. В мозге рыбы обнаружились участки, которые активизировались в ответ на картинки! Вообразить такое было невозможно, но статистические тесты при высочайшем уровне значимости p < 0,001 подтверждали это. Неужели лосось ожил и вдобавок начал мыслить?
🙅♂️ Ничего подобного! Дело в том, что для достижения высокого разрешения фМРТ изображений ученые обычно получают тысячи 3D-картинок кусочков мозга за один эксперимент. Это так называемые воксели — то есть объемные пиксели. И для каждого вокселя, проводится свой отдельный статтест. При таком количестве проверок гипотез неизбежно получаются ложноположительные результаты. В случае с лососем среди 8 тыс вокселей было 16 участков мозга, которые будто бы реагировали на эмоции людей на картинках. Чтобы избавиться от подобных ошибок, придумана так называемая поправка на множественные тестирования. Когда Беннет с коллегами воспользовались ею, то все значимые, но совершенно идиотские с точки зрения здравого смысла, результаты исчезли.
В 2008 году Беннету с коллегами удалось представить постер с лососем на конференции Human Brain Mapping, где история вызвала бурную дискуссию. После многочисленных реджектов Беннет и его научный руководитель таки опубликовали статью про лосося в «Журнале случайных и неожиданных результатов». Проблема рукописи была даже не в том, что исследование само по себе было нелепо и отвергалось рецензентами. А в том, что другие нейроученые, дабы уловить тонкие эффекты, пренебрегали поправкой на множественные сравнения, просто считая метод слишком грубым.
😈 Это значит, они могли получать фейковые результаты и публиковать их. Кому же понравится разоблачение их ложных открытий?
🧟♀️ В 2012 году Беннету с соавторами вручили Шнобелевскую премию за зомби-лосося. Смех смехом, но исследование заставило специалистов в области фМРТ изменить свой подход к обработке данных. Да и остальные ученые в очередной раз задумались о влиянии статистики на нашу интерпретацию мира. Как важно корректно пользоваться ею, чтобы наша жизнь не превратилась в абсурд. Ну, а где учат грамотной статистике, вы и так знаете.
Кстати, а что стало с дохлым лососем? По завершении измерений, лосось, который до сих пор будоражит умы, был благополучно запечен и съеден на ужин 🍽
Если этот текст для вас TLDR, то рекомендуем посмотреть не менее классную видеоверсию
