К содержанию
1 . 2025

Доступность доказательств эффективности предиктивных алгоритмов машинного обучения в первичном звене здравоохранения: систематический обзор

Резюме

Актуальность. Старение и полиморбидность населения, а также нехватка медицинского персонала создают значительную нагрузку на первичное звено здравоохранения. Хотя предиктивные алгоритмы машинного обучения (МО) обладают потенциалом для решения этих проблем, опасения вызывают прозрачность и недостаток сообщений о валидации модели и эффективности ее внедрения в клиническую практику.

Цели - систематически выявлять предиктивные алгоритмы МО, внедряемые в первичное звено здравоохранения, на основе рецензируемой литературы и баз данных регистрации Управления по контролю качества пищевых продуктов и лекарственных средств США (FDA) и Conformité Européene (CE), а также удостовериться в общедоступности доказательств, включая рецензируемую литературу, иные публикации и технические отчеты на различных этапах всего жизненного цикла искусственного интеллекта (ИИ).

Обзор доказательств. Поиск исследований, опубликованных с января 2000 г. по июль 2023 г., проводили в базах данных PubMed, Embase, Web of Science, Cochrane Library, Emcare, Academic Search Premier, IEEE Xplore, ACM Digital Library, MathSciNet, AAAI.org (Ассоциация по развитию искусственного интеллекта), arXiv, Epistemonikos, PsycINFO и Google Scholar с использованием поисковых запросов, связанных с ИИ, первичным звеном здравоохранения и внедрением. Поиск был расширен для охвата предиктивных алгоритмов МО, имеющих маркировку CE или одобренных FDA, полученных из соответствующих регистрационных баз данных. 2 рецензента собирали последующие доказательства, используя такие стратегии, как поиск продуктов, изучение ссылок, посещение веб-сайтов производителей, прямые запросы авторам и владельцам продуктов. Степень соответствия доказательств для каждого предиктивного алгоритма МО требованиям голландского руководства по предиктивным алгоритмам ИИ (AIPA) оценивалась по фазам жизненного цикла ИИ, что позволяло получить баллы доступности доказательств.

Результаты. Систематический поиск выявил 43 предиктивных алгоритма МО, из них 25 были коммерчески доступны и имели маркировку CE или были одобрены FDA. Предиктивные алгоритмы МО охватывают несколько клинических областей, но большинство из них [27 (63%)] посвящены сердечно-сосудистым заболеваниям и диабету. Большая часть [35 (81%)] была опубликована в течение последних 5 лет. Доступность доказательств различалась на разных этапах жизненного цикла предиктивного алгоритма МО, при этом меньше всего доказательств было представлено для этапа 1 (подготовка) и этапа 5 (оценка воздействия) - 19 и 30% соответственно. 12 (28%) предиктивных алгоритмов МО достигли приблизительно половины своего максимального индивидуального показателя доступности доказательств. В целом предиктивные алгоритмы МО из рецензируемой литературы обнаружили более высокую доступность доказательств по сравнению с полученными из баз данных, одобренных FDA или имеющих маркировку CE (45 против 29%).

Заключение. Результаты указывают на острую необходимость улучшения доступности доказательств относительно критериев качества предиктивных алгоритмов МО. Принятие голландского руководства AIPA может способствовать получению прозрачной и последовательной информации по критериям качества, что может укрепить доверие среди конечных пользователей и способствовать широкомасштабному внедрению.

Ключевые моменты

Вопрос. Какие предиктивные алгоритмы МО были внедрены в первичное звено здравоохранения и какие общедоступные данные подтверждают их качество?

Результаты. В этом систематическом обзоре содержатся 43 предиктивных алгоритма МО в первичном звене здравоохранения из научной литературы и регистрационных баз данных Управления по контролю качества пищевых продуктов и лекарственных средств США (FDA) и Conformité Européene (CE). Обнаружено ограниченное количество общедоступных доказательств по всем фазам жизненного цикла искусственного интеллекта (ИИ) от разработки до внедрения. Хотя чаще всего сообщалось о фазе разработки (фаза 2), большинство предиктивных алгоритмов МО не соответствовали половине предопределенных требований голландского руководства по предиктивным алгоритмам ИИ.

Значение. Результаты данного исследования подчеркивают настоятельную необходимость в обеспечении прозрачного и последовательного представления критериев качества в литературе, что могло бы повысить доверие конечных пользователей и облегчить широкомасштабное внедрение.

Rakers M.M., van Buchem M.M., Kucenko S., de Hond A., Kant I., van Smeden M., Moons K.G.M., Leeuwenberg A.M., Chavannes N., Villalobos-Quesada M., van Os H.J.A. Availability of evidence for predictive machine learning algorithms in primary care: a systematic review. JAMA Netw Open. 2024; 7 (9): e2432990. DOI: 10.1001/jamanetworkopen.2024.32990 PMID: 39264624. PMCID: PMC11393722.

* Это статья открытого доступа, распространяемая на условиях лицензии CC-BY. Опубликовано в JAMA Network Open, сентябрь 2024 г. © 2024 Rakers MM et al. JAMA Network Open.

Введение

В большинстве стран с высоким уровнем дохода первичное звено здравоохранения страдает от растущего бремени полиморбидности стареющего населения, а также от нехватки персонала [1]. Первичное звено здравоохранения генерирует большие объемы регулярно собираемых кодированных и свободных текстовых клинических данных, которые могут использоваться гибкими и мощными методами машинного обучения (МО) для облегчения ранней диагностики, улучшения лечения, предотвращения нежелательных эффектов и результатов [2-5]. Поэтому первичное звено здравоохранения является весьма интересной областью для внедрения предиктивных алгоритмов МО в повседневную клиническую практику [6-8].

Тем не менее научная литература описывает внедрение искусственного интеллекта (ИИ), особенно предиктивных алгоритмов МО, как ограниченное и значительно отстающее от других секторов, использующих технологии, основанные на данных. Предиктивные алгоритмы МО в здравоохранении часто подвергаются критике из-за отсутствия понятности и прозрачности для медицинских работников и пациентов, а также из-за трудности их объяснения и интерпретации [8-11]. Кроме того, публикация рецензируемых доказательств ограничена, а полезность предиктивных алгоритмов МО в клинических рабочих процессах часто остается неясной [8, 12-14].

Министерство здравоохранения, благосостояния и спорта Нидерландов заказало разработку и валидацию голландского руководства по высококачественному диагностическому и прогностическому применению ИИ в здравоохранении. Опубликованное в 2022 г. голландское руководство по предиктивному алгоритму искусственного интеллекта (AIPA) применимо к предиктивным алгоритмам МО [15, 16]. Руководство поощряет сбор данных и доказательств в соответствии с 6 фазами и критериями, изложенными в жизненном цикле ИИ (требования), предоставляя всесторонний обзор существующих аспектов руководства по исследованиям на протяжении всего жизненного цикла ИИ.

В этом систематическом обзоре мы стремились (1) выявлять предиктивные алгоритмы МО, внедряемые в первичное звено здравоохранения, на основе рецензируемой литературы и баз данных регистрации Управления по контролю качества пищевых продуктов и лекарственных средств США (FDA) и Conformité Européene (CE), а также (2) удостовериться в общедоступности доказательств, включая рецензируемую литературу, иные публикации и технические отчеты, на протяжении всех этапов жизненного цикла ИИ. Для этой цели голландское руководство AIPA было адаптировано в практический инструмент для оценки критериев качества каждого предиктивного алгоритма МО.

Методы

Мы провели систематический обзор в 2 этапа. Во-первых, мы систематически выявляли предиктивные алгоритмы МО путем поиска в рецензируемой литературе и регистрационных базах данных FDA и CE. Во-вторых, мы убедились в наличии доказательств для выявленных алгоритмов на протяжении всего жизненного цикла ИИ, систематически просматривая базы данных литературы и технические отчеты, изучая ссылки в соответствующих исследованиях, проводя поиск по продуктам, посещая веб-сайты производителей, связываясь с авторами и владельцами продуктов. Мы следовали руководству по отчетности для систематических обзоров и метаанализов (PRISMA) [17].

Критерии отбора

Рецензируемые исследования включались в обзор, если соответствовали всем критериям отбора: (1) опубликованы с января 2000 г. по июль 2023 г.; (2) написаны на английском языке; (3) опубликованы в виде оригинальных результатов; (4) посвящены предиктивному алгоритму МО, предназначенному для первичного звена здравоохранения; (5) сфокусированы на внедрении предиктивного алгоритма МО в исследовательской среде или в клинической практике, включая, например, пилотные исследования, исследования осуществимости, реализации или клинической валидации.

В данном обзоре рассматривались следующие методы МО: (глубокие) нейронные сети; метод опорных векторов и случайного леса, - разработанные для задач компьютерного зрения и обработки естественного языка, направленные на прогнозирование состояния здоровья отдельных пациентов. Мы классифицировали исследование как применяющее МО, если в нем использовался нерегрессионный статистический метод для разработки или проверки модели прогнозирования, аналогичный методу C.L. Andaur Navarro и соавт. [9], за исключением традиционных статистических подходов, таких как экспертные системы и деревья решений, основанных на экспертных знаниях. Исследования, посвященные разработке предиктивных алгоритмов МО или внешней валидации без внедрения в первичное звено здравоохранения, были исключены. Учитывая, что более 60% инструментов ИИ с маркировкой CE не встречаются в электронных исследовательских базах данных [12], в этот обзор были включены предиктивные алгоритмы МО с маркировкой CE или одобренные FDA, опубликованные в базах данных регистрации FDA и CE [18-20].

Источники данных и стратегия поиска

Поиск проводили с использованием электронных баз данных PubMed, Embase, Web of Science, Cochrane Library, Emcare, Academic Search Premier, IEEE Xplore, ACM Digital Library, MathSciNet, AAAI.org (Ассоциация по развитию искусственного интеллекта), arXiv, Epistemonikos, PsycINFO и Google Scholar. В июле 2023 г. во всех базах данных был выполнен поиск записей с января 2000 г. по июль 2023 г. Поисковые запросы, полученные из разветвленных структур MeSH (медицинские предметные рубрики) Национальной медицинской библио­теки и экспертных знаний группы экспертов, сформировали комбинацию, связанную с ИИ, первичным звеном здравоохранения [21] и реализацией [22] (определено во Вставке 1). Полная стратегия поиска представлена в онлайн-версии статьи: Приложение 1, Дополнение 1.

Процесс отбора

Трое исследователей (R.M.M., vB.M.M. и K.S.) провели независимую проверку процесса отбора, разрешив разногласия путем обсуждения со старшим рецензентом (vO.H.J.A.). Полный процесс отбора подробно описан в онлайн-версии статьи: Приложение 2, Дополнение 1.

Извлечение данных

Для сбора общедоступных доказательств для всех выявленных предиктивных алгоритмов МО использовали 5 стратегий: (1) поиск в PubMed и Google Scholar с использованием названий продуктов, компаний и имен авторов; (2) поиск технических отчетов в базах данных FDA и регистрации CE в интернете; (3) изучение ссылок в выбранных исследованиях; (4) посещение веб-сайтов производителей предиктивных алгоритмов МО; (5) сбор информации у авторов и владельцев продуктов по электронной почте или по телефону с просьбой заполнить онлайн-анкету о представленных доказательствах (см. онлайн-версию статьи: Приложение 3, Дополнение 1). Принятые источники данных включали оригинальные рецензируемые статьи на английском языке, а также демонстрационные материалы, доклады конференций и планы управления данными (DMP).

Доступность доказательств была классифицирована в соответствии с фазами жизненного цикла (Вставка 2) и требованиями для каждой фазы, установленными голландским руководством AIPA [15, 16]. Эти требования определены как аспекты, которые необходимо учитывать в течение жизненного цикла предиктивного алгоритма ИИ (табл. 1). Поэтому разработчикам, исследователям или владельцам предиктивных алгоритмов МО в идеале следует предоставлять данные и доказательства относительно этих аспектов.

Статистический анализ

Степень соответствия доказательств каждого предиктивного алгоритма МО требованиям голландского руководства AIPA оценивали на каждой фазе жизненного цикла (см. табл. 1, Вставку 2; онлайн-версию статьи: табл. 1, Дополнение 1), используя оценки доступности (2 - полная, 1 - частичная и 0 - отсутствует). Было проведено 2 анализа. Во-первых, доступность доказательств по каждому требованию была представлена в процентах с учетом требований по фазам жизненного цикла. Наличие доказательств по каждой фазе жизненного цикла было выражено в процентах и рассчитано путем деления суммы баллов конкретной фазы жизненного цикла на максимально возможный балл. Во-вторых, доступность доказательств для каждого предиктивного алгоритма МО рассчитывалась как сумма значений для всех требований, деленная на общее количество применимых требований, за исключением требований, которые не были применимы из-за фазы жизненного цикла алгоритма (см. онлайн-версию статьи: табл. 1, Дополнение 1; требования закрашены оранжевым цветом); знаменатель составил 48.

Цель этих оценок доступности - предоставить обзор реализованных предиктивных алгоритмов МО и доказательств на каждой фазе жизненного цикла.

Анализ был проведен независимо каждым автором (R.M.M., vB.M.M. и K.S.), разногласия разрешали путем обсуждения с другим автором (vO.H.J.A.). Данные анализировали с помощью Microsoft Excel для Windows 11 (Microsoft Corp).

Результаты

Предиктивные алгоритмы машинного обучения, внедренные в первичное звено здравоохранения

Из 5994 первоначально выявленных исследований 20 (включая 19 предиктивных алгоритмов МО) соответствовали критериям включения и были включены в этот систематический обзор. Один алгоритм был исключен после того, как личное общение подтвердило, что используемый инструмент был экспертной системой на основе правил [23]. Кроме того, были включены 25 коммерческих предиктивных алгоритмов МО в первичном звене здравоохранения, имеющих маркировку CE или одобренных FDA [18]. Только 2 предиктивных алгоритма МО были найдены в базах данных регистрации FDA или CE и в базах данных литературы, в которых был выполнен поиск [24-27]. В анализ были включены 43 AIPA (рис. 1).

Табл. 2 содержит обзор основных характеристик 43 предиктивных алгоритмов МО, включенных в этот обзор [24-65]. Большинство исследований [35 (81%)] были опубликованы за последние 5 лет (2018-2023) [24, 26-36, 40-46, 50-55, 57-62, 64-66, 68]. Большинство предиктивных алгоритмов МО [36 (84%)] попадают в категорию систем поддержки принятия клинических решений для диагностики или определения показаний к лечению (рис. 2) [24-29, 31-35, 37-42, 44, 46, 47, 49, 51-53, 55-61, 63-67].

27 (63%) предиктивных алгоритмов МО были сосредоточены на сердечно-сосудистых заболеваниях и диабете (см. рис. 2) [24-28, 32-34, 37-47, 50, 57, 60, 62, 64, 66, 68]. Кроме того, 9 (21%) AIPA упомянули использование ИИ в описаниях своих продуктов, но не предоставили конкретных подробностей о методе ИИ, примененном для разработки модели [37-39, 42, 45, 47, 48, 50, 54]. Эти 9 предиктивных алгоритмов МО были одобрены FDA или имели маркировку CE. 12 из 43 (28%) предиктивных алгоритмов МО были реализованы (этап жизненного цикла 6) в исследовательской среде, но не на практике [26, 31-34, 58, 61-64, 66, 67].

Доказательства эффективности предиктивных алгоритмов машинного обучения

Поиск общедоступных данных по 43 предиктивным алгоритмам МО дал 1541 результат, среди них было 33 дубликата. 82 публикации соответствовали критериям включения. Кроме того, 80 публикаций были предоставлены владельцами/авторами продукта или получены с веб-сайтов поставщиков. В общей сложности в исследование были включены 162 публикации, в том числе рецензируемые статьи, технические отчеты, демонстрационные материалы, доклады конференций и DMP (см. онлайн-версию статьи: рисунок, Дополнение 1). 9 авторов и владельцев продуктов заполнили онлайн-анкету о представленных доказательствах эффективности предиктивного алгоритма МО. Обзор опубликованных характеристик для каждого алгоритма предиктивного МО представлен в онлайн-версии статьи: табл. 2, Дополнение 1. Обзор доступности доказательств для каждого предиктивного алгоритма МО представлен в онлайн-версии статьи: табл. 3, Дополнение 1.

Доказательства по каждому требованию

Обзор доступности доказательств по каждому требованию и в соответствии с фазой жизненного цикла показан на рис. 3. Тремя наиболее распространенными типами доказательств для каждого требования были четкое определение целевого использования модели ИИ, оценка ее статистических характеристик, соблюдение стандартов и требований к программному обеспечению (доступность 78, 47 и 66% соответственно). Напротив, наименьшее количество доступных доказательств относилось к плану внедрения, мониторингу и оценке медицинских технологий (доступность 2, 2 и 14% соответственно), в основном из-за отсутствия информации от одобренных FDA и имеющих маркировку CE предиктивных алгоритмов МО.

Фазой жизненного цикла с наиболее полными доказательствами стала фаза 2 (разработка), где было получено 46% по наличию доказательств для соответствующих требований. За этим последовала фаза жизненного цикла 3 (валидация) с доступностью доказательств 39%. Фазами жизненного цикла с наиболее ограниченной доступностью доказательств были фаза 1 (подготовка) - 19%, а фаза 5 (оценка воздействия) - 30%. Имеющиеся в продаже AIPA с маркировкой CE и одобренные FDA предоставили меньше доказательств на всех этапах жизненного цикла по сравнению с AIPA, найденными в результате поиска в базе данных литературы (29 против 48% от общего балла, который необходимо было определить).

Доказательства для предиктивного алгоритма машинного обучения

Для 5 (12%) предиктивных алгоритмов МО доказательства были доступны только для 2 требований: определение целевого использования и требуемые стандарты и правила (доступность по оценке предиктивного алгоритма МО: 4 из 48 возможных баллов) [37, 38, 47, 48, 69]. 12 (28%) предиктивных алгоритмов МО получили приблизительно половину своего индивидуального максимально достижимого балла доступности доказательств [24, 26-28, 30, 31, 33, 34, 36, 41, 43, 65]. 12 (28%) не достигли фазы жизненного цикла 6 (реализация) [26, 31-34, 36, 58, 61-64, 66].

Предиктивные алгоритмы МО, которые показали самую высокую доступность доказательств на оценку предиктивного алгоритма МО, были алгоритмом прогнозирования риска для выявления недиагностированной фибрилляции предсердий [28] (36 из 48 возможных баллов) и инструментом поддержки принятия клинических решений на основе ИИ, который позволил провести раннюю диагностику низкой фракции выброса (37 из 42 возможных баллов) [34]. Оба предиктивных алгоритма МО на момент публикации не имели маркировки CE и одобрения FDA. В целом предиктивные алгоритмы МО, выявленные с помощью поиска в рецензируемой базе данных литературы, дали больше общедоступных доказательств [24, 26, 28-36, 58, 61-66] по сравнению с предиктивными алгоритмами МО, выявленными исключительно из одобренных FDA или имеющих маркировку CE баз данных (45 против 29%) (см. онлайн-версию статьи: табл. 2, Дополнение 1) [25, 27, 37-55, 57, 59, 60, 68].

Обсуждение

Насколько нам известно, этот систематический обзор дает самый полный обзор предиктивных алгоритмов МО, реализованных в первичном звене здравоохранения на сегодняшний день, и выявляет недостаточную публичную доступность доказательств широкого набора критериев качества предиктивных алгоритмов МО. Доступность доказательств была крайне противоречивой по включенным в исследование предиктивным алгоритмам МО, жизненным циклам и отдельным критериям качества. Предиктивные алгоритмы МО, выявленные на основе рецензируемой литературы, как правило, предоставляют больше общедоступных доказательств по сравнению с предиктивными алгоритмами МО, выявленными исключительно на основе баз данных регистрации FDA или CE.

Результаты совпадают с результатами ранее опубликованных исследований. Нехватка доказательств особенно выражена среди предиктивных алгоритмов МО, получивших одобрение FDA или маркировку CE [9, 12, 13, 70-72]. Известно, что многие разработчики ИИ в отрасли здравоохранения не раскрывают информацию в литературе о разработке, проверке, оценке или внедрении инструментов ИИ [12, 19, 73]. Может возникнуть противоречие между защитой интеллектуальной собственности и прозрачностью [74]. Более того, не все доказательства требуют экспертной оценки, включая нормативные процессы, такие как получение маркировки CE, когда уполномоченные органы оценивают доказательства соответствия медицинских изделий с высоким риском. Однако могут возникнуть опасения относительно сложности методологий при составлении отчетов об эффективности в клинических условиях. В таких случаях предпочтение может отдаваться рецензируемому процессу, чтобы гарантировать, что оценка не будет полагаться исключительно на уполномоченные органы [75]. Хотя FDA и Регламент Европейского Союза по медицинским изделиям, а в последнее время и Закон об искусственном интеллекте, запустили новые инициативы по повышению прозрачности, раскрытие доказательств не было обязательным на момент написания этого систематического обзора [76-80]. Было бы интересно оценить влияние нового регулирования в будущем.

Доступность доказательств способствует прозрачности и доверию среди конечных пользователей, позволяя другим исследователям тщательно изучать используемые данные и методы, обеспечивая этичные и беспристрастные методы исследований и разработок [81, 82]. Исследователи могут опираться на предыдущую работу, продвигая научные знания и предоставляя доказательства. Если исследованиям не хватает необходимых подробностей, последующие исследователи, скорее всего, создадут новую модель ИИ вместо проверки или обновления существующей. Кроме того, прозрачная отчетность о предиктивных алгоритмах МО поощряет бдительность среди пользователей, повышая уровень доверия людей к ИИ, как показывают исследования человеческого фактора [82]. В то же время непредоставление доказательств может повредить безопасности пациентов, например из-за алгоритмически сгенерированных результатов, интерпретаций и рекомендаций, которые демонстрируют необоснованные преимущества или недостатки для конкретных лиц или групп [83].

Результаты показывают, что наиболее скудными были доказательства наличия или упоминания DMP. Хотя DMP не обязательно должен быть общедоступным, он имеет решающее значение для подготовки к сбору, управлению и обработке данных. DMP играет всеобъемлющую роль на всем пути к структурному внедрению и использованию модели ИИ в повседневной практике [84]. Он образует существенный компонент для каждого этапа жизненного цикла предиктивного алгоритма МО, может гарантировать и защищать качество данных, воспроизводимость и прозрачность, стремясь к находимым, доступным, совместимым и повторно используемым (FAIR) данным [85-88]. Принципы FAIR направлены на поддержку повторного использования научных данных, включая алгоритмы, и на то, чтобы сделать данные доступными, повторно используемыми для людей и машин [87]. Хотя принципы FAIR были широко приняты в академических контекстах, реакция отрасли была менее последовательной [89].

Также было недостаточно данных относительно оценки воздействия и технологий здравоохранения с использованием предиктивных алгоритмов МО. Отсутствие доступных оценок результатов и внедрения в повседневную клиническую практику может помешать переносу результатов исследований в практическое здравоохранение [90]. Отсутствие такой информации также может препятствовать внедрению, поскольку медицинским специалистам нужны надежные доказательства, чтобы завоевать доверие к этим технологиям и последовательно интегрировать их в свой повседневный рабочий процесс. Медицинские специалисты подчеркивают важность соблюдения правовых и этических стандартов, а также стандартов качества. Они говорят о необходимости обучения интерпретации имеющихся доказательств, подтверждающих безопасность систем ИИ, включая предиктивные алгоритмы МО и их эффективность [8, 81]. Без этой информации сложно определить, обусловлен ли успех модели предиктивного алгоритма МО самой моделью, элементами ее реализации или тем и другим. В результате может быть сложно информировать заинтересованные стороны о том, какие, как и для кого предиктивные алгоритмы МО наиболее эффективны.

Значение для исследований и практики

Применение требований голландского руководства AIPA для структурирования доступности доказательств, как показано в этом систематическом обзоре, может послужить образцом для демонстрации надежности, прозрачности и передовых возможностей предиктивных алгоритмов МО методологам, врачам первичного звена здравоохранения и пациентам. Руководство также может ускорить процесс приведения в соответствие нормативным требованиям [16]. Хотя оно не является юридически обязывающим, разработчики и исследователи могут использовать руководство как основу для самооценки. Кроме того, в контексте первичного звена здравоохранения в Нидерландах, где врачи общей практики часто работают в небольших организациях, ограниченные ресурсы могут помешать им эффективно оценивать сложные модели ИИ [91]. Поэтому комплексные инструменты для оценки доступности доказательств по предиктивным алгоритмам МО, такие как голландское руководство AIPA и разработанный нами практический инструмент оценки, представляют ценность для специалистов первичного звена здравоохранения и могут способствовать широкомасштабному внедрению предиктивных алгоритмов МО в практику. Поскольку первичное звено здравоохранения во всем мире находится в жестких рамках, с точки зрения систем здравоохранения крайне важно устранить барьеры на пути внедрения инноваций, таких как предиктивные алгоритмы МО.

Ограничения

Данное исследование имеет методологические ограничения, которые следует учитывать.

Во-первых, из сферы охвата систематического обзора исключены предиктивные модели, основанные на регрессии, и простые системы, основанные на правилах. Хотя эти подходы могут иметь существенную ценность для первичного звена здравоохранения, акцент на предиктивных алгоритмах МО позволил предоставить углубленный обзор аспектов сложности и интерпретируемости модели. Хотя большинство принятых определений МО не исключают простую регрессию, ее область применения оказалась полезной для поддержания управляемого обзора более сложных моделей, которые создают уникальные проблемы для стандартизированной отчетности по разработке, проверке и внедрению моделей.

Во-вторых, мы ограничили систематический обзор статьями, опубликованными на английском языке. Мы считаем, что это ограничение не оказывает существенного влияния на обобщаемость результатов, поскольку предыдущие исследования не обнаружили никаких доказательств систематической предвзятости из-за ограничения, налагаемого английским языком [92].

В-третьих, мы не смогли формально сравнить прогностическую валидность между предиктивными алгоритмами МО из-за существенных различий в типах моделей ИИ и неоднородных методов в разных исследованиях. Кроме того, оценки доступности, представленные в данном исследовании, следует рассматривать как приблизительную оценку степени доступности доказательств для общественности в соответствии с описанными целями.

В-четвертых, голландские рекомендации AIPA являются местной нормой, не имеющей обязательной юридической силы. Существует несколько международных руководств по ИИ, которые применяются к предиктивным алгоритмам МО, например TRIPOD+AI (прозрачная отчетность многомерной прогностической модели для индивидуального прогноза или диагностики) для разработки и валидации, DECIDE-AI (Разработочные и исследовательские клинические исследования систем поддержки принятия решений, управляемых искусственным интеллектом) для изучения осуществимости и SPIRIT-AI (Стандартные пункты протокола: рекомендации для интервенционных исследований с применением искусственного интеллекта) и CONSORT-AI (Консолидированные стандарты отчетности об испытаниях с применением искусственного интеллекта) для оценки воздействия [93-97]. Однако эти международные руководства в первую очередь предназначены для исследователей. Мы решили взять за основу голландское руководство AIPA, поскольку оно обеспечивает полную, структурированную и прагматичную оценку качества, полученную на основе существующих руководств по всему жизненному циклу ИИ, а оно конкретно касается предиктивных алгоритмов, имеющих большой потенциал в медицинской отрасли [15]. Оно особо подчеркивает аспекты внедрения и применения в клинической практике и поэтому может быть полезно для специалистов первичного звена здравоохранения.

Заключение

В этом систематическом обзоре мы всесторонне определили наличие доказательств эффективности предиктивных алгоритмов МО в первичном звене здравоохранения, используя в качестве справочного материала голландское руководство AIPA. Мы обнаружили нехватку доказательств на всех этапах жизненного цикла ИИ для реализованных предиктивных алгоритмов МО, особенно из алгоритмов, опубликованных в базах данных, одобренных FDA или имеющих маркировку CE. Принятие рекомендаций, таких как рекомендации голландской AIPA, может улучшить доступность доказательств, касающихся критериев качества предиктивных алгоритмов МО. Это могло бы способствовать прозрачному и последовательному отражению критериев качества в литературе, потенциально укрепляя доверие среди конечных пользователей и способствуя широкомасштабному внедрению.

Раскрытие информации о конфликте интересов: не сообщалось.

Финансирование/поддержка. Эта работа была поддержана грантом LSHM21009 от Инициативы по инновационным медицинским изделиям (доктор van Os).

Роль владельца бюджета/спонсора: спонсор не играл никакой роли в разработке и проведении исследования, сборе, управлении, анализе и интерпретации данных, подготовке, рассмотрении или одобрении рукописи, а также в решении о представлении рукописи для публикации.

Заявление об обмене данными: см. Дополнение 2.

Дополнение 1

Приложение 1. Стратегии поиска, использованные до 7 июля 2023 г.

Приложение 2. Процесс отбора

Приложение 3. Онлайн-анкета для получения информации от авторов и владельцев коммерческих продуктов

eТаблица 1. Требования к доказательствам, установленные для каждой фазы жизненного цикла, как описано в голландском руководстве AIPA

еРисунок. Схема включения литературы для оценки 6 фаз

Таблица 2. Обзор характеристик публикации по предиктивному алгоритму машинного обучения

Таблица 3. Обзор доступности доказательств для предиктивного алгоритма МО

Дополнение 2

Заявление о совместном использовании данных

Литература/References

  1. Boerma W., Bourgueil Y., Cartier T., et al. Overview and future challenges for primary care. 2015. URL: https://www.ncbi.nlm.nih.gov/books/NBK458729/ (date of access October 20, 2023).
  2. Smeets H.M., Kortekaas M.F., Rutten F.H., et al. Routine primary care data for scientific research, quality of care programs and educational purposes: the Julius General Practitioners’ Network (JGPN). BMC Health Serv Res. 2018; 18 (1): 735. DOI: https://doi.org/10.1186/s12913-018-3528-5
  3. Kuiper J.G., Bakker M., Penning-van Beest F.J.A., Herings R.M.C. Existing data sources for clinical epidemiology: the PHARMO Database Network. Clin Epidemiol. 2020; 12: 415-22. DOI: https://doi.org/10.2147/CLEP.S247575
  4. Shilo S., Rossman H., Segal E. Axes of a revolution: challenges and promises of big data in healthcare. Nat Med. 2020; 26 (1): 29-38. DOI: https://doi.org/10.1038/s41591-019-0727-5
  5. Moons K.G.M., Kengne A.P., Woodward M., et al. Risk prediction models: I. development, internal validation, and assessing the incremental value of a new (bio)marker. Heart. 2012; 98 (9): 683-90. DOI: https://doi.org/10.1136/heartjnl-2011-301246
  6. Babel A., Taneja R., Mondello Malvestiti F., Monaco A., Donde S. Artificial intelligence solutions to increase medication adherence in patients with non-communicable diseases. Front Digit Health. 2021; 3: 669869. DOI: https://doi.org/10.3389/fdgth.2021.669869
  7. Hazarika I. Artificial intelligence: opportunities and implications for the health workforce. Int Health. 2020; 12 (4): 241-5. DOI: https://doi.org/10.1093/inthealth/ihaa007
  8. Liyanage H., Liaw S.T., Jonnagaddala J., et al. Artificial intelligence in primary health care: perceptions, issues, and challenges. Yearb Med Inform. 2019; 28 (1): 41-6. DOI: https://doi.org/10.1055/s-0039-1677901
  9. Andaur Navarro C.L., Damen J.A.A., Takada T., et al. Risk of bias in studies on prediction models developed using supervised machine learning techniques: systematic review. BMJ. 2021; 375: n2281. DOI: https://doi.org/10.1136/bmj.n2281
  10. Shaw J., Rudzicz F., Jamieson T., Goldfarb A. Artificial intelligence and the implementation challenge. J Med Internet Res. 2019; 21 (7): e13659. DOI: https://doi.org/10.2196/13659
  11. Norori N., Hu Q., Aellen F.M., Faraci F.D., Tzovara A. Addressing bias in big data and AI for health care: a call for open science. Patterns (N Y). 2021; 2 (10): 100347. DOI: https://doi.org/10.1016/j.patter.2021.100347
  12. van Leeuwen K.G., Schalekamp S., Rutten M.J.C.M., van Ginneken B., de Rooij M. Artificial intelligence in radiology: 100 commercially available products and their scientific evidence. Eur Radiol. 2021; 31 (6): 3797-804. DOI: https://doi.org/10.1007/s00330-021-07892-z
  13. Andaur Navarro C.L., Damen J.A.A., Takada T., et al. Completeness of reporting of clinical prediction models developed using supervised machine learning: a systematic review. BMC Med Res Methodol. 2022; 22 (1): 12. DOI: https://doi.org/10.1186/s12874-021-01469-6
  14. Daneshjou R., Smith M.P., Sun M.D., Rotemberg V., Zou J. Lack of transparency and potential bias in artificial intelligence data sets and algorithms: a scoping review. JAMA Dermatol. 2021; 157 (11): 1362-9. DOI: https://doi.org/10.1001/jamadermatol.2021.3129
  15. de Hond A.A.H., Leeuwenberg A.M., Hooft L., et al. Guidelines and quality criteria for artificial intelligence-based prediction models in healthcare: a scoping review. NPJ Digit Med. 2022; 5 (1): 2. DOI: https://doi.org/10.1038/s41746-021-00549-7
  16. van Smeden M., Moons K.G., Hooft L., Chavannes N.H., van Os H.J., Kant I. Guideline for high-quality diagnostic and prognostic applications of AI in healthcare. OSFHome, November 14, 2022. URL: http://OSF.IO/TNRJZ (date of access August 6, 2024).
  17. Page M.J., McKenzie J.E., Bossuyt P.M., et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. Syst Rev. 2021; 10 (1) :89. DOI: https://doi.org/10.1186/s13643-021-01626-4
  18. Muehlematter U.J., Daniore P., Vokinger K.N. Approval of artificial intelligence and machine learning-based medical devices in the USA and Europe (2015-20): a comparative analysis. Lancet Digit Health. 2021; 3 (3): e195-203. DOI: https://doi.org/10.1016/S2589-7500(20)30292-2
  19. Zhu S., Gilbert M., Chetty I., Siddiqui F. The 2021 landscape of FDA-approved artificial intelligence/machine learning-enabled medical devices: an analysis of the characteristics and intended use. Int J Med Inform. 2022; 165: 104828. DOI: https://doi.org/10.1016/j.ijmedinf.2022.104828
  20. US Food and Drug Administration. Artificial intelligence and machine learning (AI/ML)-enabled medical devices. URL: https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-and-machine-learning-aiml-enabled-medical-devices#resources (date of access August 23, 2023).
  21. Rifkin S.B. Alma Ata after 40 years: primary health care and health for all-from consensus to complexity. BMJ Glob Health. 2018; 3 (suppl 3): e001188. DOI: https://doi.org/10.1136/bmjgh-2018-001188
  22. Gama F., Tyskbo D., Nygren J., Barlow J., Reed J., Svedberg P. Implementation frameworks for artificial intelligence translation into health care practice: scoping review. J Med Internet Res. 2022; 24 (1): e32215. DOI: https://doi.org/10.2196/32215
  23. Tenhunen H., Hirvonen P., Linna M., Halminen O., Hörhammer I. Intelligent patient flow management system at a primary healthcare center - the effect on service use and costs. Stud Health Technol Inform. 2018; 255: 142-6.
  24. Liu J., Gibson E., Ramchal S., et al. Diabetic retinopathy screening with automated retinal image analysis in a primary care setting improves adherence to ophthalmic care. Ophthalmol Retina. 2021; 5 (1): 71-7. DOI: https://doi.org/10.1016/j.oret.2020.06.016
  25. Eyenuk, Inc. Harnessing deep learning to prevent blindness. URL: https://www.eyenuk.com/en/ (date of access August 5, 2024).
  26. Bachtiger P., Petri C.F., Scott F.E., et al. Point-of-care screening for heart failure with reduced ejection fraction using artificial intelligence during ECG-enabled stethoscope examination in London, UK: a prospective, observational, multicentre study. Lancet Digit Health. 2022; 4 (2): e117-25. DOI: https://doi.org/10.1016/S2589-7500(21)00256-9
  27. EKO. Unlock AI Murmur & AFib Detection with Eko+. URL: https://www.ekohealth.com/ (date of access August 5, 2024).
  28. Hill N.R., Arden C., Beresford-Hulme L., et al. Identification of undiagnosed atrial fibrillation patients using a machine learning risk prediction algorithm and diagnostic testing (PULsE-AI): study protocol fora randomised controlled trial. Contemp Clin Trials. 2020; 99: 106191. DOI: https://doi.org/10.1016/j.cct.2020.106191
  29. Herter W.E., Khuc J., Cinà G., et al. Impact of a machine learning-based decision support system for urinary tract infections: prospective observational study in 36 primary care practices. JMIR Med Inform. 2022; 10 (5): e27795. DOI: https://doi.org/10.2196/27795
  30. Bhatt S., Cohon A., Rose J., et al. Interpretable machine learning models for clinical decision-making in a high- need, value-based primary care setting. NEJM Catal Innov Care Deliv. 2021; 2 (4). DOI: https://doi.org/10.1056/CAT.21.0008
  31. Herman B., Sirichokchatchawan W., Nantasenamat C., Pongpanich S. Artificial intelligence in overcoming rifampicin resistant-screening challenges in Indonesia: a qualitative study on the user experience of CUHAS-ROBUST. J Health Res. 2021; 36 (6): 1018-27. DOI: https://doi.org/10.1108/JHR-11-2020-0535
  32. Wang S.V., Rogers J.R., Jin Y., et al. Stepped-wedge randomised trial to evaluate population health intervention designed to increase appropriate anticoagulation in patients with atrial fibrillation. BMJ Qual Saf. 2019; 28 (10): 835-42. DOI: https://doi.org/10.1136/bmjqs-2019-009367
  33. Chiang P.H., Wong M., Dey S. Using wearables and machine learning to enable personalized lifestyle recommendations to improve blood pressure. IEEE J Transl Eng Health Med. 2021; 9: 2700513. DOI: https://doi.org/10.1109/JTEHM.2021.3098173
  34. Yao X., Rushlow D.R., Inselman J.W., et al. Artificial intelligence-enabled electrocardiograms for identification of patients with low ejection fraction: a pragmatic, randomized clinical trial. Nat Med. 2021; 27 (5): 815-9. DOI: https://doi.org/10. 1038/s41591-021-01335-4
  35. Jaremko J.L., Hareendranathan A., Ehsan S., et al. AI aided workflow for hip dysplasia screening using ultrasound in primary care clinics. Sci Rep. 2023; 13 (1): 9224. DOI: https://doi.org/10.1038/s41598-023-35603-9
  36. Escalé-Besa A., Fuster-Casanovas A., Börve A., et al. Using artificial intelligence as a diagnostic decision support tool in skin disease: protocol for an observational prospective cohort study. JMIR Res Protoc. 2022; 11 (8): e37531. DOI: https://doi.org/10.2196/37531
  37. TytoCare. URL: https://www.tytocare.com/ (date of access August 5, 2024).
  38. Peerbridge Health. Home. URL: https://peerbridgehealth.com/ (date of access August 5, 2024).
  39. Rooti Labs Limited. RootiCare: dependable, continuous montioring. URL: https://www.rootilabs.com/doctor (date of access August 5, 2024).
  40. Digital Diagnostics. LumineticsCore. URL: https://www.digitaldiagnostics.com/products/eye-disease/idx-dr/ (date of access August 5, 2024).
  41. FibriCheck. Advanced monitoring of your heart rhythm for detection and treatment of atrial fibrillation. URL: https://www.fibricheck.com/nl/ (date of access August 5, 2024).
  42. Cardio-Phoenix. Cardio-HART. URL: https://www.cardiophoenix.com/ (date of access August 5, 2024).
  43. eMURMUR. Join the world’s first enterprise-level, open platform for advanced digital auscultation. URL: https://emurmur.com/ (date of access August 5, 2024).
  44. Minttihealth. Home. URL: https://minttihealth.com/ (date of access August 5, 2024).
  45. BioIntelliSense, Inc. BioIntelliSence. URL: https://biointellisense.com/ (date of access August 5, 2024).
  46. EchoNous Inc. EchoNous. URL: https://echonous.com/ (date of access August 5, 2024).
  47. Coala. COALA heart monitoring system. URL: https://www.coalalife.com/us/ (date of access August 5, 2024).
  48. My mhealth. Empowering patients to manage their asthma fora lifetime. URL: https://mymhealth.com/myasthma (date of access August 5, 2024).
  49. eMed. eMed weight loss programme. URL: https://www.emed.com/uk (date of access August 5, 2024).
  50. Huma. Longer, fuller lives with digtal-first care and research. URL: https://medopad.com/ (date of access August 8, 2024).
  51. Skin Analytics. Skin analytics. URL: https://skin-analytics.com/ (date of access August 5, 2024).
  52. ResApp Health. ResAppDx-EU. URL: https://digitalhealth.org.au/wp-content/uploads/2020/06/ResAppDx-EU-flyer.pdf (date of access August 8, 2024).
  53. MobileODT. Automated Visual Evaluation (AVE) explained: everything you need to know about the new AI for cervical cancer screening. January 14, 2019. URL: https://www.mobileodt.com/blog/everything-you-need-to-know-about-ave-automated-visual-examination-for-cervical-cancer-screening/ (date of access June 29, 2022).
  54. Kata. Inhale correctly, live better. URL: https://kata-inhalation.com/en/ (date of access August 5, 2024).
  55. SkinVision. Skin cancer melanoma tracking app. URL: https://www.skinvision.com/nl/ (date of access August 5, 2024).
  56. Medicalgorithmics. The most effective technology solutions for cardiology. URL: https://www.medicalgorithmics.com/ (date of access August 25, 2023).
  57. Apple. IRN Global 2.0. instructions for use. 2021. URL: https://www.apple.com/legal/ifu/irnf/2-0/irn-2-0-en_US.pdf (date of access August 25, 2023).
  58. Benrimoh D., Tanguay-Sela M., Perlman K., et al. Using a simulation centre to evaluate preliminary acceptability and impact of an artificial intelligence-powered clinical decision support system for depression treatment on the physician-patient interaction. BJPsych Open. 2021; 7 (1): e22. DOI: https://doi.org/10.1192/bjo.2020.127
  59. Healthy.io Ltd. Increase ACR testing by up to 50%. URL: https://healthy.io/services/kidney/ (date of access August 5, 2024).
  60. Zio by iRhythm Technologies, Inc. iRhythm gains FDA clearance for its clinically integrated ZEUS system. July 22, 2022. URL: https://www.irhythmtech.com/company/news/irhythm-gains-fda-clearance-for-its-clinically-integrated-zeus-system (date of access August 25, 2023).
  61. Breitbart E.W., Choudhury K., Andersen A.D., et al. Improved patient satisfaction and diagnostic accuracy in skin diseases with a visual clinical decision support system-a feasibility study with general practitioners. PLoS One. 2020; 15 (7): e0235410. DOI: https://doi.org/10.1371/journal.pone.0235410
  62. Kanagasingam Y., Xiao D., Vignarajan J., Preetham A., Tay-Kearney M.L., Mehrotra A. Evaluation of artificial intelligence-based grading of diabetic retinopathy in primary care. JAMA Netw Open. 2018; 1 (5): e182665. DOI: https://doi.org/10.1001/jamanetworkopen.2018.2665
  63. Long J., Yuan M.J., Poonawala R. An observational study to evaluate the usability and intent to adopt an artificial intelligence-powered medication reconciliation tool. Interact J Med Res. 2016; 5 (2): e14. DOI: https://doi.org/10.2196/ijmr.5462
  64. Romero-Brufau S., Wyatt K.D., Boyum P., Mickelson M., Moore M., Cognetta-Rieke C. A lesson in implementation: a pre-post study of providers’ experience with artificial intelligence-based clinical decision support. Int J Med Inform. 2020; 137: 104072. DOI: https://doi.org/10.1016/j.ijmedinf.2019.104072
  65. Seol H.Y., Shrestha P., Muth J.F., et al. Artificial intelligence-assisted clinical decision support for childhood asthma management: a randomized clinical trial. PLoS One. 2021; 16 (8): e0255261. DOI: https://doi.org/10.1371/journal.pone.0255261
  66. Frontoni E., Romeo L., Bernardini M., et al. A decision support system for diabetes chronic care models based on general practitioner engagement and EHR data sharing. IEEE J Transl Eng Health Med. 2020; 8: 3000112. DOI: https://doi.org/10. 1109/JTEHM.2020.3031107
  67. Escalé-Besa A., Yélamos O., Vidal-Alaball J., et al. Exploring the potential of artificial intelligence in improving skin lesion diagnosis in primary care. Sci Rep. 2023; 13 (1): 4293. DOI: https://doi.org/10.1038/s41598-023-31340-1
  68. VivaQuant. Introducing the world’s smallest one-piece MCT: RX-1 mini. URL: https://rhythmexpressecg.com/ (date of access August 5, 2024).
  69. Kaia Health. Digitale therapien bei COPD und rückenschmerzen. URL: https://kaiahealth.de/ (date of access June 29, 2022).
  70. Zuckerman D., Brown P., Das A. Lack of publicly available scientific evidence on the safety and effectiveness of implanted medical devices. JAMA Intern Med. 2014; 174 (11): 1781-7. DOI: https://doi.org/10.1001/jamainternmed.2014.4193
  71. Andaur Navarro C.L., Damen J.A.A., van Smeden M., et al. Systematic review identifies the design and methodological conduct of studies on machine learning-based prediction models. J Clin Epidemiol. 2023; 154: 8-22. DOI: https://doi.org/10.1016/j.jclinepi.2022.11.015
  72. Lu J.H., Callahan A., Patel B.S., et al. Assessment of adherence to reporting guidelines by commonly used clinical prediction models from a single vendor: a systematic review. JAMA Netw Open. 2022; 5 (8): e2227779. DOI: https://doi.org/10.1001/jamanetworkopen.2022.27779
  73. Lin S.Y., Mahoney M.R., Sinsky C.A. Ten ways artificial intelligence will transform primary care. J Gen Intern Med. 2019; 34 (8): 1626-30. DOI: https://doi.org/10.1007/s11606-019-05035-1
  74. Gerke S., Minssen T., Cohen G. Ethical and legal challenges of artificial intelligence-driven healthcare. In: Artificial Intelligence in Healthcare. 2020: 295-336. DOI: https://doi.org/10.1016/B978-0-12-818438-7.00012-5
  75. Fraser A.G., Nelissen R.G.H.H., Kjaersgaard-Andersen P., Szymański P., Melvin T., Piscoi P.; CORE-MD Investigators. Improved clinical investigation and evaluation of high-risk medical devices: the rationale and objectives of CORE-MD (Coordinating Research and Evidence for Medical Devices). EFORT Open Rev. 2021; 6 (10): 839-49. DOI: https://doi.org/10.1302/2058-5241.6.210081
  76. US Food and Drug Administration. Fostering transparency to improve public health. URL: https://www.fda.gov/news-events/speeches-fda-officials/fostering-transparency-improve-public-health (date of access May 15, 2023).
  77. US Food and Drug Administration. Public access to results of FDA-funded research. URL: https://www.fda.gov/science-research/about-science-research-fda/public-access-results-fda-funded-scientific-research (date of access August 8, 2024).
  78. Wu E., Wu K., Daneshjou R., Ouyang D., Ho D.E., Zou J. How medical AI devices are evaluated: limitations and recommendations from an analysis of FDA approvals. Nat Med. 2021; 27 (4): 582-4. DOI: https://doi.org/10.1038/s41591-021-01312-x
  79. MDR-Eudamed. Welcome to EUDAMED. URL: https://webgate.ec.europa.eu/eudamed/landing-page#/ (date of access September 7, 2023).
  80. Gasser U. An EU landmark for AI governance. Science. 2023; 380 (6651): 1203. DOI: https://doi.org/10.1126/science. adj1627
  81. Markus A.F., Kors J.A., Rijnbeek P.R. The role of explainability in creating trustworthy artificial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies. J Biomed Inform. 2021; 113: 103655. DOI: https://doi.org/10.1016/j.jbi.2020.103655
  82. Zerilli J., Bhatt U., Weller A. How transparency modulates trust in artificial intelligence. Patterns (N Y). 2022; 3 (4): 100455. DOI: https://doi.org/10.1016/j.patter.2022.100455
  83. Kordzadeh N., Ghasemaghaei M. Algorithmic bias: review, synthesis, and future research directions. Eur J Inf Syst. 2022; 31 (3): 388-409. DOI: https://doi.org/10.1080/0960085X.2021.1927212
  84. Smale N., Unsworth K., Denyer G., Barr D. A review of the history, advocacy and efficacy of data management plans. Int J Digit Curation. 2020; 15 (1): 30-58. DOI: https://doi.org/10.2218/ijdc.v15i1.525
  85. Michener W.K. Ten simple rules for creating a good data management plan. PLoS Comput Biol. 2015; 11 (10): e1004525. DOI: https://doi.org/10.1371/journal.pcbi.1004525
  86. Williams M., Bagwell J., Nahm Zozus M. Data management plans: the missing perspective. J Biomed Inform. 2017; 71: 130-42. DOI: https://doi.org/10.1016/j.jbi.2017.05.004
  87. Wilkinson M.D., Dumontier M., Aalbersberg I.J., et al. The FAIR Guiding Principles for scientific data management and stewardship. Sci Data. 2016; 3: 160018. DOI: https://doi.org/10.1038/sdata.2016.18
  88. Kanza S., Knight N.J. Behind every great research project is great data management. BMC Res Notes. 2022; 15 (1): 20. DOI: https://doi.org/10.1186/s13104-022-05908-5
  89. European Commission. H2020 Programme Guidelines on FAIR Data Management in Horizon 2020. 2016. URL: https://ec.europa.eu/research/participants/data/ref/h2020/grants_manual/hi/oa_pilot/h2020-hi-oa-data-mgt_en.pdf (date of access March 20, 2023).
  90. Matheny M., Israni S.T., Ahmed M., Whicher D. (eds). Artificial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril. The National Academies Press, 2019. DOI: https://doi.org/10.17226/27111
  91. Terry A.L., Kueper J.K., Beleno R., et al. Is primary health care ready for artificial intelligence? What do primary health care stakeholders say? BMC Med Inform Decis Mak. 2022; 22 (1): 237. DOI: https://doi.org/10.1186/s12911-022-01984-6
  92. Morrison A., Polisena J., Husereau D., et al. The effect of English-language restriction on systematic review- based meta-analyses: a systematic review of empirical studies. Int J Technol Assess Health Care. 2012; 28 (2): 138-44. DOI: https://doi.org/10.1017/S0266462312000086
  93. Collins G.S., Moons K.G.M. Reporting of artificial intelligence prediction models. Lancet. 2019; 393 (10 181): 1577-9. DOI: https://doi.org/10.1016/S0140-6736(19)30037-6
  94. Vasey B., Nagendran M., Campbell B., et al.; DECIDE-AI Expert Group. Reporting guideline for the early-stage clinical evaluation of decision support systems driven by artificial intelligence: DECIDE-AI. BMJ. 2022; 377: e070904. DOI: https://doi.org/10.1136/bmj-2022-070904
  95. Liu X., Cruz Rivera S., Moher D., Calvert M.J., Denniston A.K.; SPIRIT-AI and CONSORT-AI Working Group. Reporting guidelines for clinical trial reports for interventions involving artificial intelligence: the CONSORT-AI extension. BMJ. 2020; 370: m3164. DOI: https://doi.org/10.1136/bmj.m3164
  96. Eldridge S.M., Chan C.L., Campbell M.J., et al.; PAFS Consensus Group. CONSORT 2010 statement: extension to randomised pilot and feasibility trials. BMJ. 2016; 355: i5239. DOI: https://doi.org/10.1136/bmj.i5239
  97. Collins G.S., Dhiman P., Andaur Navarro C.L., et al. Protocol for development of a reporting guideline (TRIPOD-AI) and risk of bias tool (PROBAST-AI) for diagnostic and prognostic prediction model studies based on artificial intelligence. BMJ Open. 2021; 11 (7): e048008. DOI: https://doi.org/10.1136/bmjopen-2020-048008

Материалы данного сайта распространяются на условиях лицензии Creative Commons Attribution 4.0 International License («Атрибуция - Всемирная»)

ГЛАВНЫЙ РЕДАКТОР
ГЛАВНЫЙ РЕДАКТОР
Улумбекова Гузель Эрнстовна
Доктор медицинских наук, диплом MBA Гарвардского университета (Бостон, США), руководитель Высшей школы организации и управления здравоохранением (ВШОУЗ)
geotar-digit
Журналы «ГЭОТАР-Медиа»