Модель глубокого обучения для раннего выявления когнитивных нарушений на основе клинических заметок в электронных медицинских записях

Антонио Хавьер Сутиль Хименес в этой статье рассказывает о данных, предоставленных в исследовании «Модель глубокого обучения для раннего выявления когнитивных нарушений на основе клинических заметок в электронных медицинских историях».

Почему важно это исследование модели обучения на основе клинических заметок?

Это исследование посвящено раннему выявлению когнитивных нарушений у взрослых, что является ключевым для проведения успешных терапевтических вмешательств, замедления прогрессирования, предотвращения развития заболеваний или облегчения набора участников в клинические испытания.

Болезнь Альцгеймера

Болезнь Альцгеймера — это тип деменции, представляющий большую проблему во всем мире. Эта болезнь была диагностирована почти 6 миллионов человек в США, и её распространённость увеличивается с возрастом, поэтому ожидается, что старение населения также увеличит заболеваемость в ближайшие годы.

Тем не менее, помимо болезни Альцгеймера, легкое когнитивное нарушение является значимой проблемой, которая во многих случаях связана с последующим развитием деменции.

Субъективное когнитивное нарушение

Недавно была введена категория субъективного когнитивного нарушения. Этот термин обозначает восприятие человеком того, что он испытывает ухудшение своих когнитивных функций по сравнению с прежним состоянием.

Хотя это понятие не является заболеванием само по себе, было выявлено, что люди с этим состоянием могут находиться на ранней стадии когнитивного наруше­ния.

Выявление когнитивных нарушений

Хотя прилагаются значительные усилия для улучшения лечения этих пациентов, выявление когнитивных нарушений остаётся сложной задачей, и необходимо совершенствовать инструменты для их обнаружения, чтобы последующее лечение было эффективным.

Инструменты для первичной медицинской помощи

Поскольку число специалистов, способных обслуживать пациентов из группы риска, ограничено, одним из возможных решений может быть обеспечение врачей первичной помощи инструментами. Эти врачи не являются экспертами по деменции, но имеют непосредственный контакт с этой группой пациентов, поэтому предоставление им диагностических инструментов представляется жизнеспособным решением.

Электронные медицинские записи

Использование электронных медицинских записей предлагается в качестве подходящей альтернативы для разработки таких инструментов, так как они собирают историю посещений пациентов в системе здравоохранения.

Однако важно отметить сложность выявления признаков когнитивных нарушений, не связанных с возрастом, которые часто фиксируются в результатах когнитивных оценок и в тревогах пациентов, зарегистрированных медицинскими специалистами. Хотя проводились исследования с использованием клинической информации пациентов, лишь немногие использовали клинические заметки из медицинских записей для этой цели.

Клинические заметки как информационный ресурс

В этом исследовании предлагается использовать клинические заметки как ресурс, который может содержать информацию, не учитываемую в большинстве исследований. Ручной анализ таких заметок оказался бы слишком затратным, поэтому цель исследования заключалась в разработке модели автоматического обнаружения на основе глубокого обучения.

Таким образом, подход этого исследования является оригинальным и новым, поскольку он использует клинические заметки.

Клинические заметки имеют большое значение для медицинских историй пациентов в клинической практике. Однако их использование в научных исследованиях было ограниченным, что делает их применение для раннего выявления когнитивных нарушений весьма интересным.

Что было сделано?

База данных

Для проведения этого исследования данные были взяты у частной медицинской компании, при этом пациенты отбирались по возрасту (старше 50 лет) и по диагнозу легкого когнитивного нарушения. Конкретно анализировались клинические заметки за 4 года до постановки диагноза.

Определение когнитивного нарушения основывалось на упоминании симптомов, диагнозе, когнитивных оценках и назначенных методах лечения. Если в заметках указывался прогресс, транзиторные или обратимые эпизоды, они считались отсутствием когнитивного нарушения.

Обработка клинических заметок и разработка базы данных

Во-первых, из-за большой длины заметок был использован процессор естественного языка для их разделения на секции. Это разделение позволило определить, указывает ли каждая секция на когнитивное нарушение или нет.

Затем были идентифицированы ключевые слова, отобранные экспертами, обученными обнаруживать секции с признаками когнитивного нарушения. Три аннотатора маркировали секции, а разногласия решались в обсуждениях с экспертами, что позволило достичь высокого уровня согласия между аннотаторами.

Кроме того, был создан размеченный набор данных из 4950 секций для обучения и тестирования различных алгоритмов машинного обучения. Наконец, были сформированы две базы данных, которые использовались для разработки и валидации модели.

Наборы данных

Первый набор данных, использованный для разработки модели, включал только секции с отобранными ключевыми словами. Этот набор содержал 4950 размеченных секций, готовых для разработки моделей машинного обучения.

Второй набор данных состоял из 2000 случайно выбранных секций из всех заметок, за исключением тех, что были в первом наборе. Он использовался для проверки способности модели обобщать результаты на секциях без фильтрации по ключевым словам.

Разработка модели и валидация

Для разработки модели была использована иерархическая архитектура внимания на основе deep learning, ранее разработанная в другом исследовании, а также четыре базовых алгоритма машинного обучения: логистическая регрессия, случайный лес, метод опорных векторов и XGBoost.

Ранее разработанная модель включала сверточную нейронную сеть, адаптированную к контексту, что позволяло учитывать вариации слов и интерпретировать предсказания с помощью слоёв внимания. Для получения более подробной информации рекомендуется обратиться к оригинальной статье и дополнительным таблицам.

Интерпретация предсказания модели

Для интерпретации предсказаний модели были идентифицированы слова с наибольшим весом в слоях внимания, использованных при предсказании. Слова с весом, превышающим 2 стандартных отклонения выше среднего, считались высоко значимыми и сравнивались с исходными ключевыми словами.

В случае базовых моделей секции представлялись через частоту появления терминов, а алгоритмы обучались и тестировались методом кросс-валидации. Затем результаты разработанной модели сравнивались с результатами четырёх базовых моделей.

Сравнение метрик

Для сравнения метрик использовались две меры: AUROC (площадь под ROC-кривой) и AUPRC (площадь под кривой точности и полноты).

AUROC — распространённый метод анализа в подобных моделях, позволяющий оценить баланс между чувствительностью и специфичностью. AUPRC предоставляет важную дополнительную информацию для несбалансированных данных, когда доля положительных случаев низка.

Каковы основные выводы этого исследования модели обучения на основе клинических заметок?

Основной вывод исследования заключается в том, что возможно прогнозировать диагноз когнитивного нарушения с помощью модели, основанной на клинических заметках. Такие пациенты могут находиться на ранних стадиях когнитивного наруше­ния, что позволяет выявлять ранние признаки в электронных медицинских записях.

Разработанная для этой цели модель оказалась лучшим предсказателем для выявления пациентов, у которых разовьётся когнитивное нарушение, без использования структурированных данных. Хотя модель глубокого обучения показала наилучшие результаты, XGBoost также продемонстрировал хорошие предсказания и может служить более простой альтернативой при отсутствии необходимой технологической поддержки.

Метрики AUROC и AUPRC

Для подтверждения результатов можно посмотреть показатели метрик AUROC и AUPRC для наборов данных 1 и 2 (см. таблицы 1 и 2 соответственно). Особенно примечательно, что модель глубокого обучения является лучшим предсказателем по обеим метрикам.

В случае AUROC все значения превышают 0,9, причём модель глубокого обучения всегда показывает лучший результат. Что касается AUPRC, это ещё более очевидно, поскольку только эта модель сохраняет значения выше 0,9.

Различия между этими метриками укрепляют достоверность результатов, поскольку AUROC отражает соотношение истинноположительных и ложноположительных срабатываний, а AUPRC — соотношение точности и полноты.

В несбалансированных выборках метрика AUROC может быть менее консервативной по отношению к ложноположительным срабатываниям, поэтому дополнительная информация от AUPRC позволяет подтвердить высокую эффективность модели.

Модель	AUROC	AUPRC
Логистическая регрессия	0.936	0.880
Случайный лес	0.950	0.889
Метод опорных векторов	0.939	0.883
XGBoost	0.953	0.882
Глубокое обучение	0.971	0.933

Модель	AUROC	AUPRC
Логистическая регрессия	0.969	0.762
Случайный лес	0.985	0.830
Метод опорных векторов	0.954	0.723
XGBoost	0.988	0.898
Глубокое обучение	0.997	0.929

Эффективность модели

Ещё одним важным аспектом этого исследования является то, что длина заметок может влиять на эффективность модели; однако при достаточном объёме текста показано, что классификация по секциям может быть реализована успешно.

Кроме того, такие модели могут быть применены и к другим патологиям, хотя необходимо учитывать, что выявление неоднозначной или сложной информации может представлять трудности.

Где NeuronUP может внести вклад в такое исследование?

NeuronUP может внести вклад в такое исследование по-разному, поскольку имеет большой опыт работы с большими объёмами данных.

Как показано в этом исследовании, работа с большими объёмами данных является одной из основных проблем при использовании клинических заметок. Поэтому команда NeuronUP, включающая специалистов как в клинической области, так и в анализе данных, могла бы внести ценный вклад в обработку информации, как с использованием ключевых слов, так и без них.

С другой стороны, это исследование примечательно тем, что сравниваются пять различных моделей, что придаёт полученным результатам надёжность. Опыт команды NeuronUP также может быть полезен при разработке специализированной модели для этой цели или при создании надёжных моделей для сравнения с разработанной моделью.

Li Zhou. Профессор медицины в Гарвардской медицинской школе более десяти лет и ведущий исследователь в Brigham and Women’s Hospital. Имеет докторскую степень по биомедицинской информатике в Колумбийском университете, а её исследования были посвящены обработке естественного языка, управлению знаниями и поддержке клинического принятия решений. Кроме того, она была ведущим исследователем во множестве проектов, финансируемых AHRQ, NIH и CRICO/RMF.

Библиография

• Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174

Если вам понравилась эта запись блога о модели глубокого обучения для раннего выявления когнитивных нарушений на основе клинических заметок в электронных медицинских историях, вам наверняка будут интересны эти статьи NeuronUP:

Эта статья была переведена, ссылка на оригинальную статью на испанском:
Modelo de aprendizaje profundo para la detección temprana del deterioro cognitivo a partir de notas clínicas en historias clínicas electrónicas