Наука, медіа і коронавірус: Як стенфордське дослідження поставило на вуха всіх

Чи насправді коронавірус настільки смертельний, яким його вважають?

Саме з таким доволі різким заголовком наприкінці березня вийшла стаття в американському виданні The Wall Street Journal, чиї автори – дослідники Стенфордського Університету Еран Бендавід та Джей Бхаттачаря.

"Якщо через відсутність наказів залишатися вдома та карантинних заходів, справді помруть мільйони людей, тоді надзвичайні заходи, що запровадили в містах та країнах, звичайно, виправдані.

Однак достатніх доказів такому твердженню ми не маємо, а заявлений рівень смертності може виявитися надто високим", – говориться у вступі статті.

Через півтора тижні Бендавід та Бхаттачаря разом з групою колег провели дослідження під назвою "Серопреваленція антитіл COVID-19 в окрузі Санта Клара, Каліфорнія".

Його мета – з’ясувати "реальну", а не офіційну статистику поширеності вірусу шляхом проведення серологічного дослідження на наявність в крові респондентів антитіл COVID-19.

Гіпотеза авторів чітка: насправді ми не знаємо скільки людей заражені коронавірусом, тим паче в США, де не проводять масових тестувань, а отже реальна смертність від нього нам так само невідома.

В середині квітня дослідники опублікували його результати, і от що вони з’ясували:

близько 48,000-81,000 жителів округу Санта Клари були заражені коронавірусом вже на початок квітня, що у 50-85 разів більше за офіційну статистику (всього учасників дослідження – 3330, у 50-тьох виявили антитіла).

Якщо це так, то виходить, що рівень смертності від вірусу суттєво нижчий, адже, природно, що він вираховується на основі офіційних даних. 

Так це ж чудово, скаже хтось, це вам не "британські вчені", а сам Стенфордський університет! Поганого він не порадить та і напевно знається на своєму ділі.

До того ж медіа, The Wall Street Journal надав право публікації основного аргументу ще до проведення самого дослідження, а інші видання, зокрема, каліфорнійська онлайн платформа The Mercury News вже опублікувала результати, які описала, як "вражаючі".

Однозначно дослідження резонансне: чому б не поширити, наприклад, таку статтю у соцмережах та професійних колах?

Дійсно, обидві статті набули чималого резонансу (на момент написання під однією тільки публікацією The Wall Street Journal нараховується 1840 коментарів), адже в кризових умовах, як от, наприклад, в нинішній, кожна цифра чи гіпотеза – на вагу золота.

А про висновки серологічних тестів годі й казати, адже вони дають можливість дізнатися важливу інформацію про вірус у довгостроковій перспективі, зокрема, чи дійсно до нього виробляється імунітет (зараз вони також проводяться в Італії та Німеччині).

Між тим такий резонанс зіграв із авторами дослідження злий жарт, оскільки привернув увагу низки дослідників та коментаторів до того, чого медіа та публіка, як правило, не читають – заявленої методології дослідження і висновків авторів.

А як ви власне рахували?

Почати слід з того, що йдеться про кількісне, статистичне дослідження, де фокус – люди.

Як і більшість досліджень такого характеру, воно вимагає вибірки, що є одним із центральних понять статистики і одне із ключових з методологічної точки зору, адже якщо вибірка нерепрезентативна і упереджена, то результат, скоріше за все, буде так само упередженим або ж таким, що не можна генералізувати на все населення.

У випадку зі Стенфордом сталася от яка ситуація: на стадії розробки методології науковці вирішили залучити людей за допомогою таргетованої реклами на Facebook частково через поспіх і через те, що, принаймні на їх думку, так легше таргетувати людей за поштовим індексом статтю, расою, віком.

Ці люди заповнили форму і згодом пройшли тестування через три спеціальні автомобільні точки для тестування, де у них взяли кров.

Ну то й що? Хіба так не можна забезпечити випадкову вибірку?

Не зовсім, а можливо, і взагалі ні. 

Перший основний пункт критики, на якому наголосили ряд науковців та інших спостерігачів, як, наприклад, колумніст Блумберга Джастін Фокс, що подібне тестування в США не є розповсюдженим.

Тестів мало, а отже протестуються за будь-якої нагоди, тим паче якщо це безкоштовно і дозволить виявити "антитіла", як власне і заявлено в оголошенні (фото нижче).

Тож говорити можна про те, що тестуватися пішли ті, хто в певний період часу відчував симптоми і стався, якщо застосовувати науковий жаргон, самовибір.

Якщо це справді так, а за словами дослідників, їм важко оцінити вплив таких упереджень (як і тих фактів, що тестувалися користувачі Facebook та власники автомобілів), то виходить, що науковці виявили у самообраних антитіла – от вам і шалений результат. 

Друга критика стосується нерепрезентативності тієї вибірки, яку вони отримали після проведення дослідження.

Так, резидентів деяких районів та білих жінок приїхало суттєво більше порівняно із іншими групами (дехто припускає, що це сталося, зокрема, через алгоритми Facebook реклами), наприклад, представників латиноамериканських та азійських етнічних груп.

Хоча автори дослідження визнають ці факти і запевняють, що застосували спеціальні статистичні техніки для того, щоб вирівняти вибірку (науковий термін – постстратифікація), вийшло у них це не повністю.

Так, в їхній вибірці лише 5% учасників старші за 65 років, в той час як в окрузі відсоток такого населення становить – 13% 

Третій основний пункт критики стосується точності тестів (дослідники використовують термін specificity).

Тут ситуація закручена, але якщо коротко, то йдеться про те, чи справді висновкам тестів можна довіряти, адже, за словами професора політичних наук та директора Центру прикладної статистики Колумбійського університету Ендрю Гелмана "якщо х% населення мають антитіла, а показник неточності тестів не набагато нижчий за X%, то це серйозно ускладнює всю справу".

Автори дослідження пишуть, що за їхніми розрахунками тести точні у 99,5% випадках, підкріплюючи це твердження науковим терміном довірчий інтервал (у перекладі з наукового жаргону: наскільки ми впевнені в підрахунках? Ось можливий інтервал помилок), що коливається в межах 98.3-99.9%.

Справа в тому, що розрахунок такого довірчого інтервалу викликає сумнів, адже він не включає можливість нуля, що означає, що за показника в інтервалі нижче за 98,5% результат дослідження не зміниться – 50 позитивних тестів із 3330, навіть якщо антитіла відсутні у всіх учасників дослідження, на чому наголошує не тільки Гелман, а і дослідниця-інфекціоніст Каліфорнійського університета Санта Крус Марм Кілпатрік.

Від себе ж зауважу, що в методології цього дослідження ніяк не згаданий той факт про те, чи маємо ми підстави стверджувати, що ми знаємо про всі приховані смерті від COVID-19? Якщо ні, то від якої ж загальної цифри ми відштовхуємося?

У підсумку виходить наступна картина: на основі дослідження, яке було проведене один раз, із недосконалим методом рекрутингу учасників, що, скоріше за все, призвів до самовибору, не є репрезентативним за показником "вік" і виглядає на те, що містить калькуляційну неточність, яка суттєво впливає не результат тестування, було опубліковано

а) статтю у The Wall Street Journal ще до того, як було проведено саме дослідження, але де вже були висунуто всі його гіпотези в доволі жорсткій формі,

б) надано рекомендації всередині тексту, наприклад, "ці дані мають допомогти краще моделювати пандемію та її перебіг при сценаріях нон-фармацевтичного втручання",

в) вже написано статтю представників "антикарантинного" табору у якості аргументу проти обмежувальних заходів.

А може вони не помилилися?

Може!

Так, дійсно, може бути таке, що дана критика частково нівелюється, коли автори дослідження, наприклад, розкриють дані про вибірку, а точніше дані про наявність симптомів у учасників, щоб зрозуміти чи прийшли ті, хто міг перехворіти чи, припустимо, іпохондрики (чому б і ні?).

Або ж покажуть, як поширювалася таргетована реклама Facebook, аби нівелювати критику, що алгоритми Facebook доносили її до певної категорії осіб (з точністю тестів, правда, все складніше) чи проведуть додаткові дослідження, зокрема, і повторні або ж з удосконаленою методологією, які покажуть такий самий результат.

Врешті решт казати треба відверто: в науці методологічних помилок майже неможливо уникнути, адже будь-яке дослідження вимагає формалізувати реальність і перетворити її на досконалий набір змінних, де наслідок не стає причиною, і вам точно відомо, що ви врахували кожну змінну і проконтролювали її.

Власне в цьому і полягає мораль цієї історії: критики дослідження наголошують на тому, що загалом дослідники зробили крок у правильному напрямку і привідкрили завісу можливого рівня поширення вірусу, але  поспішили як із публікацією гіпотез в пресі, які були достатньо різко сформульовані, так і наголошені на тому, що його результати можуть використані для калібрації оцінки рівня смертності від коронавірусу.

На даному етапі, скоріше за все, не можуть і тут варто погодитися з позицією Кілпатрік, яка наголошує на тому, що подібні дослідження можуть призвести до падіння підтримки обмежувальних заходів на основі "хибних результатів".

Між тим цей випадок і урок, що з нього витікає, – вкрай важливі.

В сучасному медіа ландшафті опора на цифри, отримані в результаті різноманітних досліджень, як правило, статистичного характеру, зокрема, і соц опитувань, стабільно висока, хоч і не супроводжується жодною перевіркою, яку я умовно називаю data-check.

У мирний, непандемічний час така залежність є помірно безпечною, хоча і може призвести до несправедливої стигматизації певних соціальних груп або ж до формування неправдивих заголовків про ефективність того чи іншого методу лікування.

Про нинішні ж часи, де відбувається гонка за будь-якими подібними публікаціями, годі й казати, а тому на медіа зараз лежить величезна відповідальність за те, яку інформацію публікують, і кому надають право це робити.

Тим більше що, на жаль, статистичними даними вкрай легко маніпулювати під час їх моделювання і калькуляції.

Що, зокрема, показує прикрий приклад японського професора-анестезіолога Йошітакі Фуджії, який сфабрикував 172 робіт протягом 19 років, а більшості журналістів складно зрозуміти науковий жаргон і що за ним стоїть, а широкому загалу і поготів. Виходить своєрідний зіпсований телефон.

Між тим впадати у відчай не слід, адже зарадити цьому все ж можна.

Деякі із порад, зокрема, для журналістів, були нещодавно озвучені екс-редакторкою BBC Україна Ніною Кур’ятою та редакційним радником Internews Артемом Ліссом під час вебінару "Робота медіа в епоху коронавірусу".

Додати ж можна, що, по-перше, перш ніж робити публікацію на основі дослідження чи використовувати дані для аргументації певної, тим паче політичної, економічної, а в нинішніх умовах пандемічної, точки зору, слід чітко з'ясувати, чи проводилися схожі дослідження або ж дослідження-копії, себто повтор того ж дослідження іншою групою науковців (проводяться вони, на жаль, не часто, однак коли проводяться, то показують, що навіть ті дослідження, що публікуються в топ-журналах, не є незаперечними).

По-друге, оскільки більшість наукового жаргону і контенту досліджень, зокрема, і методологічного може розшифрувати більшість науковців, які знаються на кількісному методі, адже кістяк – універсальний, питатися як журналістам, так і, можливо, читачам у відповідних експертів і професорів (бажано у тих, що з одним "ф") про його деталі не просто варто, а слід (до речі, навіть професори Гарварду охоче відповідають на імейли).

І, по-третє, скептично ставитися до досліджень загалом і контенту і заголовків, що на них базуються, читати їх, але не поспішати з висновками і поширенням в соцмережах як "істини останньої інстанції".

Тож, повертаючись до дослідження "винуватця" цієї статті. Яким, виходячи із усієї інформації,

мав би бути заголовок тієї статті?

Скоріше за все, "Чи смертність від коронавірусу нижча за офіційні дані? Дослідники готуються провести перше дослідження"

А вступ? Наприклад так, "Існує гіпотеза, що ми не знаємо, скільки людей насправді заражені COVID-19, а отже можливо помиляємося щодо рівня смертності. Аби спробувати частково з'ясувати цю ситуацію ми з колегами вирішили провести дослідження, яке стане першим в ланцюжку подібних досліджень", де наголос стоїть на частково з'ясувати і першим в ланцюжку.

Леся Дубенко, магістр Європейських відносин Лундського університету (Швеція), аналітикиня ГО "Європи без бар'єрів", спеціально для УП.Життя

Стаття написана за участі кандидата економічних наук Лундського університету (Швеція) Луки Міладіновіча

Вас також може зацікавити:

Що треба знати про коронавірус: оновлені дані про COVID-19

Коли буде вакцина від коронавірусу та чи Україна її отримає

Чому Україна може не мати колективного імунітету проти коронавірусу. Пояснює МОЗ

Що робити, якщо ви запідозрили у себе коронавірус. Алгоритм дій