Примечание Wild_Katze: Рекомендую обратить особое внимание на те места, которые выделены мною жирным шрифтом.

Источник https://lala.lanbook.com/krizis-vosproizvodimosti-v-nauke-bolshe-ne-znachit-luchshe

Кризис воспроизводимости в науке: больше не значит лучше


Проблема достоверности научных исследований становится все более актуальной. Некоторые задачи в науке можно проверить с помощью анализа или математических методов. Однако большинство исследований требуют экспериментальной проверки, особенно в области медицины. В 2015 году издание Science провело расследование, которое перевернуло представление о достоверности статей. Группа исследователей пыталась воспроизвести эксперименты, описанные в публикациях. При проведении экспериментов они обнаружили, что в две трети случаев они не получают заявленных в статьях результатов. Таким образом эти публикации не прошли проверку и больше не могут считаться достоверными. В этом и заключается кризис воспроизводимости, или репликации, знаний.

В данный момент существует множество исследований во всех областях науки, которые нельзя воспроизвести при повторном эксперименте. Тем не менее они активно тиражируются и вводят в заблуждение не только обычных людей, но и ученых. Различные образовательные организации и учреждения, финансирующие науку, в свою очередь, поощряют сенсационные результаты. В итоге отдельные ученые и целые группы склонны к осознанному, а иногда и сознательному искажению результатов. Современная ориентированность на количество, а не на качество поощряет выпуск статей с громкими заголовками и не менее раздутыми результатами исследования, которые приводят к дальнейшим искажениям. Такие заголовки подхватывают СМИ, увеличивая кликабельность публикаций. Бюджеты кафедры часто определяются простым подсчетом количества публикаций, подготовленных исследователями, без учета содержания этих статей. В самых запущенных случаях получение стороннего финансирования является самоцелью. Один из наиболее ярких примеров такой сомнительной карьеры — Брайан Вансинк (Brian Wansink) и его пищевая афера века.

Пищевая афера века

Брайан Вансинк был профессором Корнеллского университета (Cornell University) и считался высококлассным исследователем с впечатляющим послужным списком. С 2007 по 2009 год он был руководителем Центра стратегии и развития питания Министерства сельского хозяйства США (USDA) и выступал на конференциях по всему миру. По его рекомендациям была разработана и профинансирована программа школьного питания в США. Вансинк — автор бестселлеров Mindless Eating и Slim by Design. Как академик он опубликовал сотни статей, которые были процитированы более 20 000 раз, его индекс Хирша составлял 72. Вансинк был чрезвычайно популярен в СМИ, он носил почетное звание «всемирно известного эксперта по пищевому поведению», постоянно давал интервью и комментарии для прессы. Практически каждое его исследование становилось известным во всем мире, благодаря работе журналистов.

Этот «ученый» в своих публикациях распространял идеи о прямой корреляции размера тарелок и переедания, рассказывал об экспериментах с томатным супом, где испытуемые не знали, что им подливают добавку и по мнению ученого из-за этого переедали. Списки с рекомендациями Вансинка до сих пор активно распространяются СМИ и отдельными блоггерами. Однако слава Вансинка подошла к концу, когда достоверность его публикаций решили проверить другие ученые. Особенно внимательными его коллеги стали, когда Вансинк в своем блоге похвалил студента, подтасовывающего результаты исследований с помощью выборки. Практически сразу оказалось, что как минимум тридцать его статей не достоверны. Он не только хвалил студентов за подтасовку, но и занимался ей сам, а также заставлял других. Когда его переписка с коллегами стала достоянием общественности, выяснилось, что он подгонял цифры под свои идеи.

Руководство Корнеллского университета долго не хотело отстранять Вансинка, он тоже не хотел уходить и признал лишь то, что совершил некоторые статистические ошибки. Однако в 2018 году Вансинк все-таки был уволен, точнее ушел по собственному желанию. Ситуация с Брайаном Вансинком только часть всеобъемлющей проблемы падения качества знаний. Вансинк специально подтасовывал результаты исследований, а редакторы и рецензенты пропускали эти статьи, не задавая лишних вопросов. Внезапно стало понятно, что популярность автора не является знаком качества его работ.

Проблемы статистики и методологии

Помимо сомнительных способов стимулирования в науке существует и другая проблема. Статистическая теория преподается слишком поверхностно и ученые часто не имеют четких моделей для исследования. Для исследований берутся слишком маленькие выборки, а проведение повторного эксперимента до последнего времени казалось чем-то необычным, особенно в гуманитарных науках. Важно отметить, что обычные и признанные всеми методологические практики дают возможность управлять результатами и подгонять их под свою точку зрения. Существует также мнение, что если бы все статистические погрешности учитывались, то в социальных науках ни одно исследование не было бы опубликовано. В течение последних нескольких лет сами социологи были глубоко обеспокоены воспроизводимостью результатов исследований. Невероятно влиятельные концепции, в частности результаты известного зефирного эксперимента, были пересмотрены.

Пересмотр результатов и обсуждение кризиса воспроизводимости создали много противоречий в научном сообществе. Одни ученые считают, что с этим можно справиться, вводя больше контроля и разрабатывая новую методологию. Другие просто отказываются признать его существование. Какие еще решения предлагаются? Во-первых, современная система стимулирования, основанная на количестве статей, не всегда работает, поэтому необходимо вносить в нее коррективы. Во-вторых, сами ученые должны быть готовы признать, что результат их исследований может быть неверным и стать более открытыми к дискуссии. Неуверенность в собственных суждениях необходима и, возможно, должна преподаваться как дисциплина. Увеличение выборок, обязательная перепроверка результатов и использование искусственного интеллекта помогут снизить количество недостоверных статей.

Существует и совсем оптимистическая идея, что кризис репликации существовал всегда. Просто в меньший степени. А то, что все о нем заговорили и начали перепроверять результаты является первым шагом к решению проблемы. Открытая наука и широкий доступ к научным статьям способствуют более внимательному отношению к публикациям. Раньше ученый должен был убедить исключительно рецензентов, а результаты его исследования становились доступны широкой публике через долгий промежуток времени, а иногда и вовсе были закрыты. Кризис воспроизводимости делает большой толчок к прозрачности науки, улучшает исследовательскую практику и развивает новую методологию.

Заключение

Наука является наиболее объективным способом измерения реальности, который есть у человечества, и она хорошо справляется большую часть времени. Однако все мы должны работать над ее улучшением и привлекать к определенной ответственности ученых, которые специально искажают результаты. Это укрепит общественное доверие к академическим кругам и улучшит методы научного исследования.



Примечание Wild_Katze: Когда в СМИ мы видим что-то о сенсационном открытии в науке, надо не принимать это за чистую монету и всегда помнить старинную редакторскую мудрость: "Что не проверено, то переврано." и мудрость современную: "Нужно рассматривать всю информацию, которую мы получаем через СМИ, как заведомую ложь, если нет специальных оснований, чтобы считать иначе." (Стейнзальц)

Серия сообщений "Обман в науке":
Часть 1 - Ученые открыли... нет, они соврали!
Часть 2 - Ложные данные в научных исследованиях
...
Часть 20 - Израильские ученые «посрамили» британских
Часть 21 - Злой критик: Полезный куркумин с летальным исходом
Часть 22 - Враньё в науке