Что показали крупные языковые модели в диагностике аутизма?

Модели продемонстрировали способность предсказывать диагноз РАС по клиническим отчётам и выявлять неявные языковые паттерны, которые объясняют «клиническую интуицию» при принятии диагностических решений.

Какие данные использовали крупные языковые модели для обучения?

Использована база более 40 000 клинических отчётов о детях из системы здравоохранения Массачусетса; модели включали GPT‑4 и открытый Clinician‑LLaMA, обученные на текстах наблюдений.

Какие поведенческие признаки при диагностике аутизма оказались наиболее важными для моделей?

Наиболее значимыми были повторяющееся стереотипное поведение, ограниченные интересы и сенсорные особенности; трудности в социальной коммуникации оказались менее весомыми для моделей.

Нужна ли пересмотр критериев DSM-5 из‑за результатов моделей?

Результаты не требуют немедленной ревизии DSM‑5, но указывают на разницу между теорией и практикой и обосновывают дальнейшую проверку важности и веса отдельных критериев.

Могут ли языковые модели заменять клиницистов при диагностике аутизма?

Языковые модели не предназначены для замены специалистов; они могут выступать как инструменты поддержки принятия решений, выявлять смещения и предлагать дополнительный анализ при верификации специалистами.

Как NeuronUP может помочь исследованиям с использованием языковых моделей?

NeuronUP может обеспечить структурированные данные когнитивного тестирования, облегчить репликацию в международных и неанглоязычных выборках и дополнить анализ клинических отчётов.

Языковые модели для диагностики аутизма

В этой статье аспирантка Марта Арбису Гомес излагает исследование «Крупные языковые модели деконструируют клиническую интуицию при диагностике аутизма», в котором исследуется влияние использования масштабных языковых моделей для диагностики аутизма.

Введение

Диагностика расстройства аутистического спектра (РАС) традиционно является сложной задачей, которая в значительной степени зависит от клинического опыта, детального наблюдения и интерпретации разнообразных поведенческих проявлений. Хотя существуют четкие диагностические руководства, такие как DSM-5, клиническая практика зачастую руководствуется «интуицией», которую специалисты вырабатывают за годы опыта. Но что было бы, если бы мы могли «прочитать» эту интуицию и понять её с более объективной точки зрения?

Недавнее исследование, опубликованное в журнале Cell, под заголовком «Large language models deconstruct the clinical intuition behind diagnosing autism», исследует именно такую возможность: использование крупных языковых моделей (LLMs, по-английски) чтобы распутать паттерны, которыми руководствуются клиницисты при диагностике аутизма. Результаты не только удивительны, но и могут иметь глубокие последствия для того, как мы понимаем и проводим диагностику РАС сегодня.

Контекст: почему необходимо пересмотреть способ диагностики аутизма?

РАС — это нарушение нейроразвития, характеризующееся трудностями в социальной коммуникации и ограниченными, повторяющимися паттернами поведения и интересов. Тем не менее, эти характеристики могут проявляться с большой вариативностью у разных людей, что делает процесс диагностики тонким и иногда субъективным.

Кроме того, хотя стандартизированные диагностические инструменты, такие как ADOS или ADI-R, придают структуру процессу, многие диагнозы основываются на нарративных отчетах, написанных клиницистами, которые наблюдали пациента. Иными словами, то, как клиницист описывает пациента, может иметь большое значение для окончательного диагноза.

В свете этой реальности исследователи поставили ключевой вопрос: какие элементы внутри этих письменных отчетов действительно направляют диагностические решения?

Что сделали исследователи?

Авторы исследования собрали более 40 000 клинических отчетов о детских пациентах из системы общественного здравоохранения штата Массачусетс. Эти отчеты, написанные специалистами в области психического здоровья, содержали подробные описания поведения и функционирования пациентов.

На основе этой базы данных исследователи обучили несколько языковых моделей, включая GPT-4 (разработан OpenAI) и клиническую модель с открытым исходным кодом под названием Clinician-LLaMA. Идея заключалась в том, чтобы модели научились предсказывать, соответствовал ли клинический отчет пациенту с диагнозом РАС или нет, основываясь только на тексте.

Результаты были удивительными: модели достигли заметной точности в классификации, даже когда им скрывали ключевую информацию, такую как пол или возраст пациента. Это указывало на то, что отчеты содержали неявные языковые паттерны, которые модели могли обнаруживать и которые отражали то, как клиницисты принимают решения.

Что они обнаружили?

Помимо точности предсказания, наиболее интересным было то, что модели раскрыли о самом диагностическом процессе. Анализируя, какие фрагменты текста имели наибольший вес в решениях модели, исследователи выявили, что определенные типы поведения и описаний были более определяющими, чем другие.

График 1. Факторы, имеющие наибольший вес в диагностике РАС по данным языковых моделей. Собственная разработка.

Как видно на графике, повторяющееся, стереотипное поведение, ограниченные интересы и аспекты, связанные с сенсорным восприятием, были факторами, наиболее ассоциированными с положительным диагнозом РАС. Напротив, трудности во взаимодействии в социальной сфере, которые являются одним из традиционных столпов диагноза согласно DSM-5, оказались менее значимыми для моделей.

Это не означает, что социальные трудности не имеют значения, скорее на практике клиницисты, похоже, уделяют больше внимания — возможно, бессознательно — другим поведенческим паттернам при принятии решения о том, соответствует ли пациент диагностическим критериям.

Ниже приведены основные результаты исследования в виде таблицы для облегчения понимания:

Анализируемый аспект	Результат / Наблюдение
Используемая модель	GPT-4 и Clinician-LLaMA (языковые модели, обученные на клинических отчетах).
Источник данных	Более 40 000 клинических отчетов о детях из системы общественного здравоохранения штата Массачусетс.
Задача модели	Предсказать, имел ли пациент диагноз аутизма, опираясь только на текст отчета.
Точность модели	Высокая, даже при сокрытии переменных, таких как пол или возраст.
Факторы, наиболее определяющие диагноз	Повторяющееся поведение, ограниченные интересы и сенсорные/перцептивные черты.
Менее определяющие факторы	Трудности во взаимодействии в социальной сфере.
Ключевая импликация	В клинической практике наблюдаемое поведение влияет больше, чем ожидается.
Возможное влияние на диагностические критерии	Предполагает необходимость переоценки веса некоторых критериев в DSM-5.
Применение ИИ в области психического здоровья	В качестве инструмента поддержки диагностики и анализа клинического рассуждения.

Таблица 1. Резюме основных результатов исследования. Составлено авторами.

Как видно, языковые модели не только смогли предсказать диагноз РАС с высокой точностью, но и показали, что определенные поведенческие паттерны — в частности повторяющееся поведение и ограниченные интересы — оказывают большее влияние в клинической практике, чем предполагают традиционные диагностические критерии. Это открывает пространство для размышлений о том, как эти критерии применяются в реальном контексте.

Последствия: стоит ли пересмотреть диагностические критерии аутизма?

Эти результаты порождают важную дискуссию: отражают ли текущие диагностические критерии действительно то, как специалисты оценивают пациентов?

Если клиницисты систематически придают большее значение наблюдаемому поведению, такому как стереотипии или ограниченные интересы, возможно, потребуется переоценить вес, который отводится каждой диагностической категории в официальных руководствах.

Кроме того, этот подход может иметь последствия для подготовки новых специалистов, которым было бы полезно понять, как критерии применяются в реальной практике, помимо теории.

Может ли искусственный интеллект помочь в клинической диагностике РАС?

Одна из больших надежд на применение искусственного интеллекта в здравоохранении — его способность выявлять сложные паттерны в больших массивах данных. В данном случае языковые модели выступают не только как инструменты классификации, но и как средства, позволяющие сделать видимым невидимое: неявную логику, лежащую в основе клинических решений.

Вместо того чтобы заменять специалистов, эти модели могут выступать союзниками, предлагая второе мнение на основе тысяч предыдущих случаев и помогая выявлять смещения или несоответствия в диагностических процессах.

Где NeuronUP может быть полезен в подобных исследованиях?

NeuronUP может существенно способствовать таким исследованиям, облегчив репликацию на более разнообразных и неанглоязычных популяциях, благодаря своей международной присутствию. Его платформа с более чем сотней когнитивных упражнений позволила бы дополнить анализ клинических отчетов структурированными данными о когнитивной производительности. Кроме того, этот подход можно применять к другим клиническим состояниям, таким как СДВГ или легкое когнитивное снижение, улучшая раннее выявление и точность диагностики.

Заключение исследования

Это исследование знаменует собой важную веху на пересечении искусственного интеллекта и психического здоровья. Используя языковые модели для анализа клинических отчетов, исследователи не только продемонстрировали, что диагноз аутизма можно предсказать с заметной точностью, но и показали, как формируется «клиническая интуиция», направляющая эти решения.

В ближайшем будущем такие инструменты могут быть интегрированы в системы здравоохранения для поддержки диагностики, улучшения подготовки специалистов и, возможно, даже пересмотра критериев, с помощью которых мы понимаем аутизм. Ясно одно: искусственный интеллект меняет не только технологии, но и наш способ понимания человеческого разума.

Библиография

Feng S, Sondhi R, Tu X, Buckley J, Sands A, Comiter A, Zhang H, Gao R, Sragovich S, Mello JD, Fedorenko E, Saxe R, Sontheimer EJ, Sapiro G, O’Reilly UM, McCoy TH, Beam AL. Large language models deconstruct the clinical intuition behind diagnosing autism. Cell. 2024 Mar 21. doi: 10.1016/j.cell.2024.03.004.