Источник http://www.vechnayamolodost.ru/pages/zdorovyjskepsis/uochmse0.html

Как читать научные новости

Егор Воронин по материалам Science-Based Medicine (Harriet Hall, Evaluating Treatment Claims: A Primer)
и U.S. News Health (Dr. Michael F. Roizen, Media's Responsibility: Understand Science and Don't Mislead).

Краткий список вопросов, которые стоит задавать, когда вы в очередной раз читаете о том, что «британские ученые открыли». С упором на медицину и в порядке примерной важности.

1. На каком организме было проведено исследование? Исследования на клеточных культурах, мышах, обезьянах могут показывать прекрасные результаты и быть очень информативными, но они очень редко повторяются в человеке без дополнительных исследований (большинство не повторяется вообще).

2. Что конкретно измерялось, а что является экстраполяцией? Если лекарство убивает раковые клетки, то это означает, что «лекарство убивает раковые клетки», это НЕ означает, что «лекарство лечит рак». Если первая стадия клинических испытаний вакцины прошла успешно, то это означает, что «вакцина безопасна», но ничего не говорит о том, вызывает ли она нужный иммунный ответ и уж тем более – что «вакцина эффективна».

3. Каков размер эффекта? Часто новости сообщают лишь, что «люди принимавшие Х, существенно чаще испытывали Y», но это «существенно» может относиться к статистической достоверности результата, а не к его размеру. Например, можно очень достоверно показать, что какая-нибудь диета уменьшает риск рака, но если уменьшение риска составляет всего 1%, то оно может не иметь никакой практической ценности.

4. Можно ли доверять репутации? Где было опубликовано исследование? В фейсбуке? На личной странице ученого? В солидном научном журнале? Кто сделал исследование и кто его комментирует? Если и те и другие – регулярно публикующиеся в научных журналах ученые, то доверия им больше, чем если исследователь известен в основном как автор книг о диете, а комментируют его результаты известные актрисы, клянущиеся, что диета работает.

5. Если это исследование на людях, то каков был его размер? Это единичный случай, группа из 10 человек, из 100, из 1000? Как правило, чем больше размер, тем больше достоверность результата. Обратной стороной монеты является то, что чем больше выборка, тем меньшую разницу можно обнаружить, и тогда см. пункт 3.

6. Каков дизайн исследования? Есть ли надлежащие контроли? Двойным слепым исследованиям обычно можно верить больше, особенно если речь идет о симптомах, где оценка эффективности субъективна. Часто для того, чтобы ответить на этот вопрос, нужно быть специалистом в данной теме, но иногда и человеку с улицы может быть понятно.

7. Делались ли подобные исследования раньше и что они находили? Результатам, полученным в нескольких исследованиях и разными группами, можно доверять больше, чем одиночному исследованию. Одинаковым результатам, полученным разными методами, можно доверять больше, чем простому повтору. К сожалению, не являясь специалистом в области, трудно ответить на этот вопрос, но если в новости рассказывается о предыдущих исследованиях, то это хороший знак.

8. Существуют ли объяснения механизма наблюдаемого явления, основанные на современных знаниях биологии и химии? Это не обязательное требование, но к необъяснимым результатам стоит относиться с большим скептицизмом (да, гомеопатия, это про тебя).

9. Каков общий тон сообщения? Указываются ли слабые места или направления для будущих исследований? Если утверждается, что что-то 100% работает и нет никаких нюансов, то либо журналисты переврали, либо это фуфло. Если утверждается, что что-то лечит разные не связанные между собой болезни (рак и эболу), то это на 100% фуфло. Если в новости есть сдержанные комментарии (пусть даже в целом хвалебные) от ученых, то доверия больше.

Серия сообщений "Обман в науке":
Часть 1 - Ученые открыли... нет, они соврали!
Часть 2 - Ложные данные в научных исследованиях
...
Часть 9 - Сенсационные открытия, псевдонаука и медицина
Часть 10 - Учёные о биорезонансе
Часть 11 - «Ученые открыли»: читаем между строк
Часть 12 - Десять самых крупных махинаций в науке
Часть 13 - Связь с браком
...
Часть 20 - Израильские ученые «посрамили» британских
Часть 21 - Злой критик: Полезный куркумин с летальным исходом
Часть 22 - Враньё в науке