Антонио Хавьер Сутиль Хименес рассказывает в этой статье о данных исследования «Модель глубокого обучения для раннего выявления когнитивного снижения по клиническим записям в электронных медицинских картах».
Почему важно это исследование модели обучения на клинических записях?
Исследование посвящено раннему выявлению когнитивного снижения у взрослых, что крайне важно для успешных терапевтических вмешательств, замедления снижения, профилактики развития заболеваний или облегчения набора участников в клинические испытания.
Болезнь Альцгеймера
Болезнь Альцгеймера — тип деменции, представляющий серьёзную проблему во всём мире. В США эта болезнь диагностирована почти у 6 миллионов человек, а её распространённость растёт с возрастом, поэтому ожидается, что старение населения в ближайшие годы увеличит заболеваемость.
Однако помимо болезни Альцгеймера очень важная проблема — лёгкие когнитивные нарушения, которые во многих случаях связаны с последующим развитием деменции.
Субъективное когнитивное снижение
Кроме того, недавно появилась категория субъективного когнитивного снижения. Этот термин означает ощущение человеком ухудшения своих когнитивных способностей по сравнению с прежним состоянием.
Хотя это не болезнь сама по себе, установлено, что люди с этим состоянием могут находиться на ранней стадии когнитивного снижения.
Выявление когнитивного снижения
Хотя прилагаются большие усилия для улучшения лечения таких пациентов, выявление когнитивного снижения остаётся сложной задачей, и для эффективности последующего лечения необходимо совершенствовать инструменты выявления.
Инструменты в первичной медицинской помощи
Поскольку число специалистов, способных работать с группой риска, ограничено, возможным решением может стать оснащение инструментами врачей первичного звена. Эти врачи не являются специалистами по деменции, но непосредственно контактируют с этой группой населения, поэтому снабдить их диагностическими инструментами — реальное решение.
Электронные медицинские карты
Использование электронных медицинских карт предлагается как подходящая основа для создания таких инструментов, поскольку в них собрана история визитов пациентов в системе здравоохранения.
Однако важно подчеркнуть трудность выявления признаков когнитивного снижения, не связанного с возрастом, которые часто фиксируются в когнитивных оценках и в жалобах пациентов, записанных медицинскими работниками. Хотя исследования с клинической информацией о пациентах проводились, использование для этой цели клинических записей в медицинских картах изучалось редко.
Клинические записи как источник информации
В исследовании предлагается использовать клинические записи как источник информации, которая не учитывается в большинстве исследований. Ручной анализ клинических записей был бы очень затратным, поэтому цель исследования — разработать модель автоматического выявления на основе глубокого обучения (deep learning).
Таким образом, подход этого исследования оригинален и нов благодаря использованию клинических записей.
Клинические записи очень важны для медицинских карт в клинической практике. Однако в науке их использовали ограниченно, поэтому их применение для раннего выявления когнитивного снижения может представлять большой интерес.
Что было сделано?
База данных
Для исследования были взяты данные частной медицинской компании; пациенты отбирались по возрасту (старше 50 лет) и диагнозу лёгких когнитивных нарушений. В частности, анализировались клинические записи за 4 года до постановки диагноза.
Определение когнитивного снижения основывалось на упоминании симптомов, диагноза, когнитивных оценок и лечения. Если записи указывали на улучшение, преходящие или обратимые эпизоды, они считались отрицательными в отношении когнитивного снижения.
Обработка клинических записей и создание базы данных
Сначала из-за большой длины клинических записей с помощью системы обработки естественного языка их разделили на разделы. Это позволило определить, указывает ли каждый раздел на когнитивное снижение.
Затем были выделены ключевые слова, отобранные экспертами и обученные выявлять разделы с признаками когнитивного снижения. Три аннотатора размечали разделы, а разногласия разрешались в обсуждении с профильными экспертами; согласованность между аннотаторами была хорошей.
Кроме того, был создан размеченный набор данных из 4950 разделов для обучения и проверки нескольких алгоритмов машинного обучения. Наконец, были созданы две базы данных для разработки и валидации модели.
Наборы данных
Первый набор данных, использованный для разработки модели, включал только разделы с выбранными ключевыми словами. Он содержал 4950 размеченных разделов, готовых для разработки моделей машинного обучения.
Второй набор данных включал 2000 случайно выбранных разделов из всех записей, за исключением использованных в первом наборе. Он использовался для проверки способности модели к обобщению на разделах записей без фильтра по ключевым словам.
Разработка и валидация модели
Для разработки модели использовали иерархическую структуру внимания на основе глубокого обучения, созданную в предыдущей работе, а также четыре базовых алгоритма машинного обучения: логистическую регрессию, random forest, support vector machine и XGBoost.
Ранее разработанная модель включала свёрточную нейронную сеть, адаптированную к контексту, что позволяло учитывать вариации слов и интерпретировать прогноз через слои внимания. Подробнее о модели — в самой статье и её дополнительных таблицах.
Интерпретация прогноза модели
Для интерпретации прогноза модели определили слова с наибольшим весом в слоях внимания, использованных при прогнозировании. Слова со значимым весом, то есть не менее чем на 2 стандартных отклонения выше среднего, считались словами с высоким вниманием и сравнивались с исходными ключевыми словами.
Для базовых моделей разделы представлялись частотой встречаемости терминов, а алгоритмы обучались и проверялись с помощью перекрёстной проверки. Затем результаты модели исследовательской группы сравнили с четырьмя базовыми моделями.
Сравнение метрик
Для сравнения использовались две метрики: AUROC (площадь под ROC-кривой) и AUPRC (площадь под кривой «точность — полнота»).
AUROC — обычный метод анализа таких моделей, позволяющий оценить разные пороги чувствительности и специфичности. AUPRC — ещё одна важная метрика, дающая дополнительную информацию для несбалансированных данных, когда доля положительных случаев мала.
Каковы основные выводы этого исследования модели обучения на клинических записях?
Главный вывод исследования: прогнозировать диагноз когнитивного снижения с помощью модели на основе клинических записей возможно. Эти пациенты могут находиться на ранних стадиях когнитивного снижения, что позволяет выявлять ранние сигналы в электронных медицинских картах.
Разработанная для этой цели модель оказалась лучшим предиктором для выявления пациентов, у которых разовьётся когнитивное снижение, без опоры на структурированные данные. Хотя лучшей была модель глубокого обучения, модель XGBoost тоже показала хорошие прогнозы и рассматривается как более простая альтернатива при отсутствии необходимой технологии.
Метрики AUROC и AUPRC
Чтобы проверить эти результаты, можно посмотреть на значения AUROC и AUPRC в наборах данных 1 и 2 (см. таблицы 1 и 2). Особенно заметно, что модель глубокого обучения — лучший предиктор по обеим метрикам.
По AUROC все значения выше 0,9, и модель глубокого обучения всегда прогнозирует лучше всех. По AUPRC это ещё нагляднее: только эта модель остаётся выше 0,9.
Различия между этими метриками подтверждают согласованность результатов: AUROC показывает соотношение доли истинно положительных и ложноположительных результатов, а AUPRC — соотношение точности и чувствительности.
На несбалансированных выборках AUROC может быть менее строгой к ложноположительным результатам, поэтому дополнительная информация AUPRC подтверждает высокую эффективность этой модели.
| Модель | AUROC | AUPRC |
| Логистическая регрессия | 0.936 | 0.880 |
| Random Forest | 0.950 | 0.889 |
| Support Vector Machine | 0.939 | 0.883 |
| XGBoost | 0.953 | 0.882 |
| Deep Learning | 0.971 | 0.933 |
| Модель | AUROC | AUPRC |
| Логистическая регрессия | 0.969 | 0.762 |
| Random Forest | 0.985 | 0.830 |
| Support Vector Machine | 0.954 | 0.723 |
| XGBoost | 0.988 | 0.898 |
| Deep Learning | 0.997 | 0.929 |
Эффективность модели
Ещё один момент, который подчёркивает исследование: длина записей может влиять на эффективность модели; однако при достаточном объёме содержания классификация по разделам оказывается осуществимой.
Кроме того, такие модели можно применять и при других заболеваниях, хотя нужно учитывать, что выявление неоднозначной или сложной информации может быть затруднено.
Чем NeuronUP мог бы помочь подобному исследованию?
NeuronUP мог бы внести вклад в такое исследование разными способами, поскольку имеет большой опыт работы с большими объёмами данных.
Как видно из исследования, работа с большими объёмами данных — одна из главных трудностей при анализе клинических записей. Поэтому команда NeuronUP, в которой есть специалисты как в клинической сфере, так и в анализе данных, могла бы внести ценный вклад в обработку информации — с использованием ключевых слов или без них.
Кроме того, исследование выделяется сравнением пяти разных моделей, что придаёт результатам надёжность. Опыт команды NeuronUP мог бы также оказаться полезным при разработке специальной модели для этой цели или при создании надёжных моделей для сравнения с разработанной.
Ли Чжоу. Более десяти лет — профессор медицины Гарвардской медицинской школы и ведущий исследователь в больнице Brigham and Women’s Hospital. Доктор биомедицинской информатики Колумбийского университета; её исследования посвящены обработке естественного языка, управлению знаниями и поддержке клинических решений. Кроме того, она была ведущим исследователем многочисленных проектов, финансируемых AHRQ, NIH и CRICO/RMF.
Библиография
- Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174
FOMO: Страх пропустить цифровую эпоху
Добавить комментарий