Какие данные использовались из электронных медицинских записей и клинических заметок?

Использовались электронные медицинские записи частной компании: пациенты старше 50 лет с легким когнитивным нарушением; анализировались клинические заметки за четыре года до диагноза с учётом симптомов, оценок и назначенного лечения.

Как обрабатывались клинические заметки и создавался размеченный набор данных?

Применили NLP для разделения заметок на разделы, отобрали ключевые слова экспертами, три аннотатора размечали разделы. Получен набор из 4 950 размеченных разделов и проверочный набор из 2 000 случайных разделов.

Какие алгоритмы и архитектура использовались в модели глубокого обучения?

Применена иерархическая модель внимания на основе глубокого обучения с адаптированной свёрточной сетью, а также четыре базовые алгоритма: логистическая регрессия, Random Forest, SVM и XGBoost; интерпретация через веса внимания.

Какие метрики AUROC и AUPRC показали результаты моделей?

Использовали AUROC и AUPRC. Модель глубокого обучения показала значения AUROC и AUPRC выше 0.9; XGBoost также дал хорошие результаты, а AUPRC подтвердило качество на несбалансированных данных.

Как NeuronUP может способствовать исследованиям на основе клинических заметок?

NeuronUP может помочь в обработке больших объёмов клинических заметок, разработке и сравнении моделей, а также в создании устойчивых прикладных решений благодаря опыту в клинической и аналитической областях.

Раннее выявление когнитивного ухудшения на основе модели глубокого обучения

Q: Почему важна модель глубокого обучения для раннего выявления когнитивного снижения?

Исследование показывает возможность ранней диагностики когнитивного снижения по клиническим заметкам, что расширяет возможности терапевтических вмешательств, замедления прогрессирования и отбора участников клинических испытаний.

Антонио Хавьер Сутиль Хименес в этой статье рассказывает о данных, представленных в исследовании «Модель глубокого обучения для раннего выявления когнитивного снижения на основе клинических записей в электронных медицинских картах».

Почему это исследование модели обучения на основе клинических заметок важно?

Это исследование посвящено раннему выявлению когнитивного снижения у взрослых, что имеет ключевое значение для возможности проведения успешных терапевтических вмешательств, замедления прогрессирования, предотвращения развития заболеваний или облегчения набора участников в клинические испытания.

Болезнь Альцгеймера

Болезнь Альцгеймера — это тип деменции, представляющий собой серьёзную глобальную проблему. Эта болезнь была диагностирована почти у 6 миллионов человек в Соединённых Штатах, и её распространённость увеличивается с возрастом, поэтому ожидается, что старение населения также приведёт к росту её заболеваемости в ближайшие годы.

Тем не менее, помимо болезни Альцгеймера, легкое когнитивное нарушение представляет собой важную проблему, которая во многих случаях связана с последующим развитием деменции.

Субъективное когнитивное снижение

Также недавно была введена категория субъективного когнитивного снижения. Этот термин обозначает восприятие самим человеком того, что его когнитивные способности ухудшились по сравнению с предыдущим состоянием.

Хотя эта категория не является заболеванием сама по себе, было установлено, что люди с этим состоянием могут находиться на ранней стадии когнитивного снижения.

Выявление когнитивного снижения

Несмотря на большие усилия по улучшению лечения таких пациентов, обнаружение когнитивного снижения по-прежнему остаётся сложной задачей, и улучшение инструментов скрининга необходимо для того, чтобы последующее лечение было эффективным.

Инструменты в первичной медицинской помощи

Учитывая ограниченное количество специалистов, способных работать с группой риска, возможным решением может быть обеспечение врачей первичной медико-санитарной помощи инструментами. Эти врачи не являются специалистами по деменции, но имеют прямой контакт с данной популяцией, поэтому предоставление им инструментов для диагностики рассматривается как жизнеспособное решение.

Электронные медицинские записи

Использование электронных медицинских записей предлагается как подходящая альтернатива для разработки таких инструментов, поскольку они собирают историю визитов пациентов в рамках системы здравоохранения.

Однако важно подчеркнуть сложность выявления признаков когнитивного снижения, не связанного с возрастом, которые во многих случаях документируются в когнитивных оценках и в записанных профессионалами здравоохранения опасениях пациентов. Хотя проводились исследования с использованием клинической информации пациентов, лишь немногие углублялись в использование именно клинических заметок из медицинских записей для этой цели.

Клинические заметки как информационный ресурс

В этом исследовании предлагается использование клинических заметок как информационного ресурса, который может фиксировать сведения, не учитываемые в большинстве исследований. Ручной анализ клинических заметок был бы очень затратным, поэтому целью исследования было разработать автоматическую модель обнаружения на основе глубокого обучения.

Таким образом, подход этого исследования является оригинальным и новым, поскольку использует клинические заметки.

Клинические заметки имеют большое значение для медицинских историй в клинической практике. Однако их использование в научной сфере было ограниченным, что делает их применение для раннего выявления когнитивного снижения особенно интересным.

Что было сделано?

База данных

Для проведения этого исследования данные были взяты у частной медицинской компании, пациенты отбирались по возрасту (должны были быть старше 50 лет) и по диагнозу легкого когнитивного нарушения. В частности, анализировались клинические заметки за 4 года до диагноза.

Определение когнитивного снижения основывалось на упоминании симптомов, диагнозе, когнитивных оценках и назначенном лечении. Когда заметки указывали на улучшение, кратковременные или обратимые эпизоды, они считались отрицательными для когнитивного снижения.

Обработка клинических заметок и разработка базы данных

Сначала, ввиду большой длины клинических заметок, использовали процессор естественного языка для их разделения на разделы. Такое разделение позволило определить, указывает ли каждый раздел на когнитивное снижение или нет.

Затем были выявлены ключевые слова, отобранные экспертами, обученными выявлять разделы, содержащие признаки когнитивного снижения. Три аннотатора маркировали разделы, а конфликты решались посредством обсуждений с экспертами в области, достигнув хорошего уровня согласия между аннотаторами.

Кроме того, был создан размеченный набор данных из 4 950 разделов для обучения и тестирования различных алгоритмов машинного обучения. В итоге были созданы две базы данных, которые использовались для разработки и валидации модели.

Наборы данных

Первый набор данных, использованный для разработки модели, включал только разделы с отобранными ключевыми словами. Этот набор содержал 4 950 размеченных разделов, готовых для разработки моделей машинного обучения.

Второй набор данных состоял из 2 000 случайно отобранных разделов из всех заметок, за исключением тех, что использовались в первом наборе. Этот второй набор использовался для проверки способности модели к обобщению на разделах заметок без фильтрации по ключевым словам.

Разработка модели и валидация

Для разработки модели они использовали иерархическую структуру внимания на основе глубокого обучения, которая была разработана в предыдущей работе, а также четыре базовых алгоритма машинного обучения: логистическая регрессия, Random Forest, метод опорных векторов и XGBoost.

Ранее разработанная модель включала свёрточную нейронную сеть, адаптированную к контексту, что позволяло учитывать вариации слов и интерпретировать предсказание с помощью слоёв внимания. Для получения дополнительной информации о модели рекомендуется обратиться к соответствующей статье и её дополнительным таблицам.

Интерпретация предсказания модели

Для интерпретации предсказания модели были выявлены слова с наибольшим весом в слоях внимания, использованных при предсказании. Слова с существенным весом, то есть как минимум на 2 стандартных отклонения выше среднего, считались высоковажными и сравнивались с исходными ключевыми словами, выбранными экспертами.

С другой стороны, для базовых моделей разделы представлялись с помощью частоты появления терминов, а алгоритмы обучались и тестировались с использованием кросс-валидации. Затем результаты модели исследовательской группы сравнивали с четырьмя упомянутыми базовыми моделями.

Сравнение метрик

Две меры, использованные для сравнения метрик, были AUROC (площадь под ROC-кривой) и AUPRC (площадь под кривой точности и полноты).

AUROC — это обычный метод анализа для таких моделей, поскольку он позволяет оценивать различные пороговые значения между чувствительностью и специфичностью. AUPRC — это ещё одна важная метрика, дающая дополнительную информацию для несбалансированных данных, когда процент положительных случаев невысок.

Каковы основные выводы этого исследования модели обучения на основе клинических заметок?

Главный вывод этого исследования заключается в том, что возможно делать диагностические предсказания когнитивного снижения, используя модель, основанную на клинических заметках. Эти пациенты могут находиться на ранних стадиях когнитивного снижения, что позволит выявлять ранние признаки в электронных медицинских записях.

Разработанная для этой цели модель оказалась лучшим предиктором для обнаружения пациентов, у которых разовьётся когнитивное снижение, без зависимости от структурированных данных. Хотя модель глубокого обучения была лучшей, модель XGBoost также показала хорошие предсказания и рассматривается как более простая альтернатива в случае отсутствия необходимых технологий.

Метрики AUROC и AUPRC

Для проверки этих результатов можно посмотреть баллы по метрикам AUROC и AUPRC в наборах данных 1 и 2 (см. таблицы 1 и 2 соответственно). Особенно заметно, что модель на основе глубокого обучения является лучшим предиктором по обеим метрикам.

В случае AUROC все значения выше 0.9, причём модель глубокого обучения всегда даёт наилучшие предсказания. Что касается AUPRC, то это ещё более очевидно, так как только эта модель сохраняет значение выше 0.9.

Различия между этими метриками укрепляют согласованность результатов, поскольку AUROC показывает соотношение между долей истинно положительных и ложноположительных, а AUPRC отражает соотношение между точностью и чувствительностью.

В несбалансированных выборках метрика AUROC может быть менее консервативной в отношении ложных срабатываний, поэтому дополнительная информация от AUPRC позволяет подтвердить хорошую работу этой модели.

Модель	AUROC	AUPRC
Логистическая регрессия	0.936	0.880
Random Forest	0.950	0.889
Метод опорных векторов	0.939	0.883
XGBoost	0.953	0.882
Глубокое обучение	0.971	0.933

Таблица 1. Сравнение моделей для набора данных с 4950 секциями.

Модель	AUROC	AUPRC
Логистическая регрессия	0.969	0.762
Random Forest	0.985	0.830
Метод опорных векторов	0.954	0.723
XGBoost	0.988	0.898
Глубокое обучение	0.997	0.929

Таблица 2. Сравнение моделей для набора данных с 2000 секциями.

Производительность модели

Ещё один момент, отмеченный в этом исследовании, заключается в том, что длина заметок может влиять на производительность модели; однако при наличии достаточного объёма содержания показано, что классификация по разделам может быть осуществима.

Кроме того, такие модели могут применяться к другим патологиям, хотя важно учитывать, что выявление неоднозначной или сложной информации может быть затруднено.

В чём NeuronUP может внести вклад в исследование такого рода?

NeuronUP мог бы внести вклад в такое исследование разными способами, поскольку компания имеет большой опыт работы с большими объёмами данных.

Как видно из этого исследования, работа с большими объёмами данных является одной из основных проблем при работе с клиническими заметками. Следовательно, команда NeuronUP, в составе которой есть специалисты как в клинической области, так и в анализе данных, могла бы внести ценный вклад в обработку информации, как с использованием ключевых слов, так и без них.

С другой стороны, это исследование примечательно сравнением пяти различных моделей, что придаёт полученным результатам надёжность. Опыт команды NeuronUP также мог бы быть полезен при разработке специализированной модели для этой цели или при создании устойчивых моделей для сравнения с разработанной моделью.

Li Zhou. Профессор медицины в Гарвардской медицинской школе более десяти лет и главный исследователь в Brigham and Women’s Hospital. Она имеет докторскую степень по биомедицинской информатике Колумбийского университета, и её исследования были сосредоточены на обработке естественного языка, управлении знаниями и поддержке принятия клинических решений. Кроме того, она была главным исследователем во множестве проектов, финансируемых AHRQ, NIH и CRICO/RMF.

Библиография

Wang L, Laurentiev J, Yang J, et al. Development and Validation of a Deep Learning Model for Earlier Detection of Cognitive Decline From Clinical Notes in Electronic Health Records. JAMA Netw Open. 2021;4(11):e2135174. doi:10.1001/jamanetworkopen.2021.35174

Если вам понравилась эта запись в блоге о модели глубокого обучения для раннего выявления когнитивного снижения на основе клинических заметок в электронных медицинских записях, вам наверняка будут интересны эти статьи NeuronUP: