عملکرد الگوریتم های یادگیری ماشینی برای پیش بینی پیشرفت زوال عقل در بیماران کلینیک حافظه

تماس: Audrey Hu Whatsapp/hp: 0086 13880143964 ایمیل:audrey.hu@wecistanche.com

شارلوت جیمز، Ph.D. جانیس ام. رانسون، دکتری؛ ریچارد اورسون، دکترا. دیوید J. Llewellyn، دکترا

خلاصه

اهمیت: الگوریتم‌های یادگیری ماشینی می‌توانند به‌عنوان پایه‌ای برای کمک‌های تصمیم‌گیری بالینی برای بهبود عملکرد بالینی استفاده شوند. هدف ارزیابی توانایی الگوریتم‌های یادگیری ماشین برای پیش‌بینی بروز زوال عقل در مدت ۲ سال در مقایسه با مدل‌های موجود و تعیین رویکرد تحلیلی بهینه و تعداد متغیرهای مورد نیاز. طراحی، تنظیم، و شرکت کنندگان: این مطالعه پیش آگهی از داده های یک گروه آینده نگر از 15 307 شرکت کننده بدون زوال عقل در ابتدا استفاده کرد تا تجزیه و تحلیل ثانویه عواملی را انجام دهد که می تواند برای پیش بینی بروز زوال عقل استفاده شود. شرکت کنندگان در مرکز ملی هماهنگی آلزایمر شرکت کردندحافظهکلینیک در سراسر ایالات متحده بین 2005 و 2015. تجزیه و تحلیل ها از مارس تا 2 می021 انجام شد. قرار گرفتن در معرض: 258 متغیر در حوزه اقدامات بالینی مرتبط با زوال عقل و عوامل خطر. پیامدها و اقدامات اصلی: پیامد اصلی، زوال عقل همه‌علتی حادثه‌ای بود که طی 2 سال پس از ارزیابی پایه تشخیص داده شد. نتایج: در نمونه‌ای از 15 307 شرکت‌کننده (میانگین [SD] سن، 72.3 [9.8] سال؛ 9129 [60 درصد ] زن و 6178 [40 درصد ] مرد) بدون زوال عقل در ابتدا، 1568 (10 درصد) تشخیص زوال عقل را طی 2 سال پس از ارزیابی اولیه دریافت کردند. در مقایسه با 2 مدل موجود برای پیش‌بینی خطر زوال عقل (یعنی عوامل خطر قلبی عروقی، پیری، و میزان خطر ابتلا به زوال عقل، و شاخص مختصر غربالگری زوال عقل)، الگوریتم‌های یادگیری ماشینی در پیش‌بینی زوال عقل همه‌علتی رخ داده در عرض 2 سال برتر بودند. الگوریتم درختان تقویت شده با گرادیان دارای دقت کلی میانگین (SD) 92 درصد (1 درصد)، حساسیت 0.45 (0.05)، ویژگی 0.97 (0.01) و سطح زیر منحنی 0.92 (0.01) با استفاده از همه 258 بود. متغیرها تجزیه و تحلیل اهمیت متغیر نشان داد که برای دستیابی به دقت 91 درصد و سطح زیر منحنی حداقل 0.89، تنها 6 متغیر برای الگوریتم های یادگیری ماشین مورد نیاز است. الگوریتم‌های یادگیری ماشینی همچنین تا 84 درصد از شرکت‌کنندگانی را شناسایی کردند که تشخیص اولیه زوال عقل را دریافت کردند که متعاقباً به اختلال شناختی خفیف یا از نظر شناختی بدون اختلال تبدیل شد، که نشان‌دهنده تشخیص اشتباه احتمالی است. نتیجه‌گیری و ارتباط: این یافته‌ها نشان می‌دهد که الگوریتم‌های یادگیری ماشینی می‌توانند به طور دقیق زوال عقل رخ داده را در طی 2 سال در بیماران تحت مراقبت در پیش‌بینی کنند.حافظهکلینیک ها فقط از 6 متغیر استفاده می کنند. این یافته‌ها می‌توانند برای اطلاع از توسعه و اعتبار سنجی کمک‌های تصمیم‌گیری مورد استفاده قرار گیرندحافظهکلینیک ها

مقدمه

بسیاری از بیماران در محیط های تخصصی ارزیابی می شوند، مانندحافظهکلینیک‌ها، زمانی که برای اولین بار مراجعه می‌کنند، دچار زوال عقل نمی‌شوند. 1 تمایز بین بیمارانی که در یک بازه زمانی مرتبط بالینی دچار زوال عقل می‌شوند و بیمارانی که عاری از دمانس هستند، مهم است، زیرا این بینش می‌تواند برای اولویت‌بندی بیماران برای تحقیقات بعدی مورد استفاده قرار گیرد. و مداخلات شناسایی بیماران در معرض خطر بالای ابتلا به زوال عقل برای پزشکان چالش برانگیز است. یکی از رویکردها این است که در هنگام ارزیابی اولیه بر روی افرادی که دارای اختلال شناختی خفیف (MCI) هستند، تمرکز کنیم و این بیماران را برای پیگیری دعوت کنیم. با این حال، این می‌تواند منجر به طبقه‌بندی اشتباه قابل توجهی برای بیمارانی شود که هدف پیگیری نیستند، اما مبتلا به زوال عقل هستند و بیمارانی که برای بررسی‌های بیشتر هدف قرار گرفته‌اند اما به زوال عقل مبتلا نمی‌شوند.

اکثرحافظهبیماران کلینیک با MCI حتی پس از 10 سال با نرخ تبدیل سالانه 9.6 درصد به زوال عقل پیشرفت نمی کنند. کمک های تصمیم گیری بالینی موجود برای تخمین بروز میان مدت و بلندمدت زوال عقل در جمعیت های مختلف موجود است. به عنوان مثال، عوامل خطر قلبی عروقی، پیری و بروز زوال عقل (CAIDE) Risk Score3 برای پیش بینی خطر ابتلا به زوال عقل در 20 سال برای افراد میانسال طراحی شده است، و شاخص مختصر غربالگری دمانس (BDSI) 4 با هدف شناسایی افراد مسن است. بیماران باید با تعیین خطر ابتلا به زوال عقل در 6 سال، غربالگری شناختی را هدف قرار دهند. با این حال، بر اساس دانش ما، هیچ کمکی برای تصمیم گیری بالینی برای پیش بینی بروز زوال عقل ایجاد نشده استحافظهکلینیک ها در یک دوره بالینی مرتبط کوتاه تر. یادگیری ماشینی (ML) امکان استفاده از اطلاعات از مجموعه داده های بزرگ و پیچیده را فراهم می کند. اخیراً برای تشخیص زوال عقل و پیش‌بینی خطر استفاده شده است.5-9

با این حال، این مدل‌ها اغلب اطلاعاتی را که معمولاً در عمل بالینی معمولی در دسترس نیستند، مانند تصویربرداری عصبی پیشرفته، آزمایش‌های ژنتیکی و بیومارکرهای مایع مغزی نخاعی ترکیب می‌کنند که کاربرد بالینی را به محیط‌های تخصصی یا تحقیقاتی محدود می‌کند. ما بررسی کردیم که آیا تکنیک‌های ML می‌توانند برای پیش‌بینی بروز زوال عقل در یک دوره 2-ساله استفاده شوند یا خیر.حافظهداده های کلینیک از مرکز ملی هماهنگی آلزایمر ایالات متحده (NACC). ما همچنین حداقل مجموعه متغیرهای مورد نیاز برای مدل‌های ML را برای رسیدن به عملکرد تشخیصی کامل بررسی کردیم.

مواد و روش ها

مطالعه NACC قبل از اینکه بتواند داده‌ها را ارائه کند، تأیید اخلاقی را از هیئت بازبینی سازمانی هر سایت دریافت کرد و همه شرکت‌کنندگان رضایت کتبی آگاهانه ارائه کردند. این مطالعه پیش آگهی از تایید اخلاقی سازمانی مستثنی تلقی شد زیرا ما از داده های شناسایی نشده قبلی جمع آوری شده استفاده کردیم. داده های مورد استفاده در این مطالعه با درخواست داده به NACC در دسترس است. این مطالعه مطابق با دستورالعمل گزارش دهی شفاف یک مدل پیش بینی چند متغیره برای پیش آگهی یا تشخیص فردی (TRIPOD) گزارش شده است. داده ها از مارس تا می 2021 تجزیه و تحلیل شدند.

نمونه مطالعه

ما از داده‌های جمع‌آوری‌شده قبلی از مجموعه داده‌های یکنواخت NACC (UDS) استفاده کردیم.10 UDS حاوی داده‌های همگروهی آینده‌نگر از برنامه مرکز بیماری آلزایمر سالمندی مؤسسه ملی ایالات متحده برای تحقیقات مشترک چند مرکزی در مورد بیماری آلزایمر و سایر اختلالات عصبی است. مجموعه داده‌های ما شامل داده های کلینیک حافظه بین سپتامبر 2005 و فوریه 2015 از 30 مرکز بیماری آلزایمر واقع در ایالات متحده جمع آوری شده است. مجموعه داده‌ها شامل ویژگی‌های جمعیت‌شناختی شرکت‌کننده و مشارکت‌کننده، سابقه خانوادگی، وضعیت عملکردی، 12 نشانه رفتاری (ارزیابی شده با نتایج پرسشنامه پرسشنامه عصبی روان‌پزشکی 13)، باتری تست عصبی روان‌شناختی، 14 و تشخیص بالینی دمانس NACC است که توسط هر مرکز بیماری آلزایمر با استفاده از معیارهای تشخیصی بالینی منتشر شده تعیین شده است. بر اساس ارزیابی بالینی استاندارد UDS. جزئیات معیارهای تشخیصی اتخاذ شده توسط پروتکل UDS و راهنمای مربوطه قبلاً منتشر شده است.

ما از UDS نسخه 1 و 2 استفاده کردیم که شامل 32 573 شرکت کنندگان کلینیک حافظه با ارزیابی پایه است. اگرچه مدل‌های ما برای پیش‌بینی بروز زوال عقل در عرض 2 سال طراحی شده‌اند، اما برای در نظر گرفتن تفاوت در زمان بین قرار ملاقات‌های پیگیری، ما پیگیری‌هایی را که در طی 29 ماه پس از بازدید اولیه انجام شده بود، لحاظ کردیم تا اطمینان حاصل کنیم که بازدید اولین یا اولین ویزیت بوده است. نوبت دوم پیگیری

متغیر نتیجه

متغیر پیامد، تشخیص زوال عقل همه‌علتی در 29 ماه (تقریباً 2 سال) از ارزیابی پایه بود. این شامل زیرگروه های زوال عقل، مانند زوال عقل آلزایمر، زوال عقل با اجسام لوی، دمانس عروقی و سایر زیرگروه های نادرتر است. دمانس آلزایمر بر اساس معیارهای NINCSD-ADRDA، 16 دمانس عروقی بر اساس معیارهای NINDS-AIREN، 17 دمانس بدن لوی (LBD) بر اساس سومین گزارش از دمانس با معیارهای کنسرسیوم Lewy Bodies تشخیص داده شد، 18 و dementiaote. بر اساس معیارهای Neary و همکاران در سال 1998 تشخیص داده شد.19

پیش بینی کنندگان نامزد

ما همه متغیرهای مرتبط بالینی جمع‌آوری‌شده در طول بازدید اولیه را در نسخه‌های 1 و 2 UDS گنجاندیم (جدول 1 در مکمل). ما متغیرهایی با مقادیر متن آزاد، مانند نام داروها، و متغیرهایی که در همه شرکت‌کنندگان ثابت بودند، مانند تعداد بازدید، حذف کردیم. چهار متغیر مصنوعی برای کمک به ارزیابی اهمیت متغیر تولید شد (این متغیرها باید در رتبه پایین قرار گیرند). 3 مورد از این متغیرها جایگشت متغیرهای موجود (1 باینری، 1 متغیر طبقه‌ای و 1 متغیر عددی) و 1 متغیر به‌طور تصادفی از یک توزیع نرمال تولید شد. در مجموع 258 متغیر به دست آمد.

متغیرهای UDS گنجانده شده در مدل‌های ما شامل ویژگی‌های دموگرافیک شرکت‌کننده (15 متغیر)، ویژگی‌های جمعیت شناختی شرکت‌کننده (7 متغیر)، سابقه خانوادگی (3 متغیر)، سابقه پزشکی (47 متغیر)، داروها (21 متغیر)، فیزیکی (12 متغیر) است. نتایج معاینه عصبی (4 متغیر)، مقیاس یکپارچه رتبه بندی بیماری پارکینسون 20 (UDPRS) (28 متغیر)، مقیاس درجه بندی دمانس بالینی (CDR) 21 (8 متغیر)، وضعیت عملکردی (10 متغیر)، باتری تست عصبی روانشناختی (50 متغیر) مقیاس افسردگی سالمندان (17 متغیر)، و ارزیابی بالینی علائم (32 متغیر). از بین این متغیرها، 239 (93 درصد) برای حداقل 1 شرکت‌کننده وجود نداشت و همه شرکت‌کنندگان حداقل 1 متغیر نداشتند.

توسعه مدل

ما 4 الگوریتم ML22 را اجرا کردیم: رگرسیون لجستیک (LR)، 23 ماشین بردار پشتیبان (SVM)، 24 جنگل تصادفی (RF)، 25،26 و درختان با گرادیان تقویت شده (XGB)27 (eMethods در مکمل). این الگوریتم‌ها یک کار طبقه‌بندی را انجام می‌دهند: آنها تعیین می‌کنند که آیا یک شرکت‌کننده در کلاس 0 قرار می‌گیرد (پیش‌بینی می‌شود 29 ماه از ابتدای شروع، بدون زوال عقل باقی بماند) یا کلاس 1 (پیش‌بینی می‌شود که زوال عقل حادثه را در 29 ماه پس از شروع مطالعه تجربه کند). طبقه بندی بر اساس متغیرهایی است که در اولین بازدید از کلینیک حافظه (خط پایه) آنها ثبت شده است. برای پیاده‌سازی الگوریتم‌های ML، از کتابخانه یادگیری کیت علمی پایتون (بنیاد نرم‌افزار پایتون)،28 با اعتبارسنجی متقاطع 5-(eMethods در مکمل) استفاده کردیم. مقادیر گمشده با نمونه‌گیری با جایگزینی از مقادیر غیر گمشده منتسب شدند. تمام پردازش و تجزیه و تحلیل داده‌ها در پایتون نسخه 3.9، NumPy نسخه 1.19.4 و نسخه علمی کیت یادگیری 0.24.0 پیاده‌سازی شد.

تحلیل آماری

ارزیابی مدل

ما عملکرد همه مدل‌ها را با مقایسه دقت کلی، حساسیت و ویژگی آن‌ها برای آستانه‌های تصمیم‌گیری از پیش تعیین‌شده در ادبیات (مدل‌های موجود) یا آستانه 0.5 (مدل‌های ML) ارزیابی کردیم، که به طور مساوی وزن مثبت کاذب را دارد. و خطاهای منفی کاذب ناحیه زیر منحنی مشخصه عملکرد گیرنده (AUC)29 برای خلاصه کردن عملکرد مدل در تمام آستانه‌های ممکن و در نتیجه وزن‌های خطای طبقه‌بندی اشتباه استفاده شد.

مقایسه با مدل های موجود

BDSI و CAIDE مدل‌های موجود پیش‌بینی خطر زوال عقل هستند که به بیماران امتیازی می‌دهند که نشان‌دهنده خطر ابتلا به زوال عقل در بازه‌های زمانی طولانی‌تر است. برای استخراج امتیازات ریسک BDSI و CAIDE، متغیرهایی را از UDS انتخاب کردیم که بیشترین مطابقت را با متغیرهایی که قبلاً استفاده می‌شدند (eTable 2 در مکمل). عملکرد مدل‌های ML ما با عملکرد BDSI و CAIDE برای پیش‌بینی بروز زوال عقل 2-سال مقایسه شد.

عملکرد مدل در میان انواع فرعی دمانس

دمانس می تواند دلایل مختلفی داشته باشد که مربوط به انواع مختلف زوال عقل است. برای ارزیابی توانایی مدل‌های ML برای شناسایی زیرگروه‌های مختلف زوال عقل، موارد زوال عقل اتفاقی را به زوال عقل آلزایمر، LBD، دمانس عروقی و سایر زیرگروه‌های زوال عقل تقسیم کردیم. با استفاده از این 4 طبقه بندی، درصد شرکت کنندگان را که به درستی طبقه بندی شده بودند (نرخ مثبت واقعی) محاسبه کردیم و منحنی های ROC را برای هر مدل ML مقایسه کردیم.

بررسی ثبات تشخیصی

تشخیص بالینی زوال عقل شامل بیمارانی است که در ابتدا به اشتباه تشخیص داده شده اند (در عمل هم خطاهای مثبت کاذب و هم خطاهای منفی کاذب). و متعاقباً طی 2 سال پس از تشخیص زوال عقل، تشخیص عدم وجود زوال عقل (اعم از MCI یا شناخت بدون اختلال) را دریافت می کند. با توجه به اینکه این برگشت‌ها تشخیص‌های ناپایدار هستند و احتمالاً نتیجه تشخیص اشتباه زوال عقل بوده‌اند، ما دقت طبقه‌بندی مدل‌های ML را در نمونه‌ای از شرکت‌کنندگان با بازگشت بررسی کردیم (روش‌های الکترونیکی در مکمل). ما از تابع توزیع تجمعی (CDF) نمرات طبقه‌بندی خروجی توسط هر مدل ML برای مقایسه شرکت‌کنندگان با برگشت با بیمارانی که دچار زوال عقل بودند و بیمارانی که عاری از دمانس باقی مانده بودند، استفاده کردیم.

نتایج

پس از حذف {{0}} شرکت‌کنندگان با تشخیص زوال عقل در ابتدا، 4557 شرکت‌کننده که هیچ داده پیگیری نداشتند، و 573 شرکت‌کننده که اولین پیگیری خود را بیش از 29 ماه پس از اولین ملاقات انجام دادند. نمونه تحلیلی نهایی شامل 15 307 شرکت‌کننده بود (میانگین [SD] سن، 72.3 [9.8] سال؛ 9129 [60 درصد] زن و 6178 [40 درصد] مرد). ویژگی های نمونه در جدول 1 نشان داده شده است. در طی 2 سال از شروع مطالعه، 1568 شرکت کننده (10 درصد) تشخیص زوال عقل را دریافت کردند. از 1568 شرکت کننده ای که تشخیص زوال عقل دریافت کردند، 273 نفر (17 درصد) توسط یک پزشک تشخیص داده شدند و 1216 (78 درصد) توسط یک پانل اجماع تشخیص داده شدند. برای 79 شرکت کننده (5 درصد)، منبع تشخیص مشخص نشد. معیارهای عملکرد کلیدی که قدرت پیش‌بینی هر مدل را ارزیابی می‌کنند در جدول 2 آورده شده است. در مقایسه با مدل‌های موجود، مدل‌های ML در توانایی خود برای پیش‌بینی اینکه آیا یک فرد در عرض 2 سال دچار زوال عقل می‌شود یا نه، برتر بودند، و در همه معیارها از مدل‌های موجود بهتر عمل کردند. همه مدل‌های ML عملکرد مشابهی داشتند، با XGB که با دقت کلی (92 درصد) و AUC (میانگین [SD]، 0.92 [0.01]) بیشترین قدرت را داشت. منحنی مشخصه عملکرد گیرنده برای هر مدل شباهت بین مدل های ML و برتری آنها را در مقایسه با 2 مدل ریسک موجود نشان می دهد (شکل 1).

عملکرد مدل در میان انواع فرعی دمانس

برای ارزیابی عملکرد مدل ML در زیرگروه‌های مختلف زوال عقل، جمعیت را به 4 زیرگروه زوال عقل تقسیم کردیم: زوال عقل آلزایمر (1285 شرکت‌کننده)، LBD (82 شرکت‌کننده)، دمانس عروقی (21 شرکت‌کننده)، و سایر زیرگروه‌های دمانس (180 شرکت‌کننده). مدل LR در شناسایی زوال عقل آلزایمر و سایر زیرشاخه‌ها بهترین بود و به درستی 589 شرکت‌کننده (46 درصد) مبتلا به زوال عقل آلزایمر و 99 شرکت‌کننده (55 درصد) را با زیرگروه‌های دیگر طبقه‌بندی کرد. مدل SVM بهترین عملکرد را در شرکت‌کنندگان مبتلا به LBD داشت و 40 شرکت‌کننده (49 درصد) را به درستی طبقه‌بندی کرد. همه مدل ها به درستی 7 شرکت کننده (33 درصد) را با زوال عقل عروقی طبقه بندی کردند. منحنی‌های مشخصه عملکرد گیرنده نشان می‌دهد که همه مدل‌ها تقریباً به خوبی در هر زیرگروه عمل می‌کنند (شکل 1 در مکمل).

.

بررسی حداقل تعداد متغیرها

یکی از اشکالات احتمالی استفاده از رویکرد ML، تعداد زیاد متغیرهای درگیر است. با افزایش تعداد متغیرهای مورد نیاز یک مدل، پیاده سازی در یک محیط بالینی کمتر عملی می شود و قابلیت تفسیر مدل مختل می شود. برای ارزیابی تعداد متغیرهایی که هر مدل ML برای دستیابی به قدرت پیش‌بینی معادل با آنچه که با استفاده از تمام 258 متغیر پیدا کردیم (جدول 2) مورد نیاز است، ارزیابی کردیم که چگونه AUC با تعداد متغیرهای موجود در مدل‌ها تغییر می‌کند. به طور خاص، ما متغیرها را برای هر مدل با مرتب‌سازی آنها به ترتیب اهمیت نزولی (یعنی قدرت تمایز هر متغیر بر اساس الگوریتم؛ روش‌های e-Methods در مکمل) رتبه‌بندی کردیم. ما متعاقباً هر مدل را با تعداد فزاینده ای از متغیرها بازآموزی کردیم و از مهمترین آنها شروع کردیم. ما دریافتیم که همه مدل‌ها برای دستیابی به عملکرد تشخیصی تنها به 22 متغیر نیاز دارند که از نظر آماری قابل تشخیص از میانگین عملکرد بهینه آنها نیست (شکل 2؛ شکل 2 در مکمل). متغیرهای مصنوعی اضافه شده برای اطمینان از اعتبار ارزیابی اهمیت متغیر در 22 متغیر برتر برای هیچ مدلی قرار نگرفتند، که نشان دهنده این واقعیت است که پس از رسیدن به عملکرد تشخیصی کامل، اطلاعات کمی برای تعیین قوی رتبه بندی متغیر وجود داشت.

شناسایی عوامل خطر کلیدی

از 22 متغیر مهم برای هر مدل، تنها 5 متغیر برای همه مدل‌ها مشترک بود (یعنی قضاوت بالینی کاهش حافظه، توانایی‌های شناختی، رفتار، توانایی مدیریت امور، یا تغییرات حرکتی و حرکتی؛ زمان تکمیل تست Trail Making Test). بخش B؛ CDR: اختلال جهت گیری؛ CDR: اختلال در خانه و سرگرمی ها؛ و سطح استقلال). از بین متغیرهای باقیمانده، 10 جفت وجود داشت که همبستگی بیشتر از 0.7 داشتند، که نشان می‌دهد آنها متغیرهای مشابهی هستند (eTable 3 in Supplement). با محاسبه این همبستگی با مبادله متغیرهایی که همبستگی بالایی داشتند، دریافتیم که 6 متغیر بسیار پیش بینی کننده وجود دارد (قضاوت بالینی کاهش، زمان تکمیل تست Trail Making قسمت B، 3 جزء CDR [جهت گیری، حافظه، و خانه و سرگرمی ها اختلال]، و سطح استقلال) که در همه مدل‌های ML مشترک بود (جدول 4 در مکمل). با آموزش هر مدل فقط با استفاده از این متغیرها، متوجه شدیم که برای LR و XGB، کاهش قابل توجهی در عملکرد تشخیصی وجود ندارد: با استفاده از این مجموعه هسته‌ای 6 متغیری، این مدل‌ها دارای میانگین دقت (SD) 91 درصد بودند ({14}} درصد ) برای LR و 91 درصد (1 درصد ) برای XGB و میانگین (SD) AUC 0.89 ({18}}.01) برای LR و 0.89 (0.02) برای XGB (eجدول 5 در ضمیمه).

ثبات تشخیصی از 1568 شرکت‌کننده‌ای که طی 2 سال تشخیص زوال عقل دریافت کردند، 13{4}} (8 درصد) را به‌عنوان تجربه بازگشت شناسایی کردیم که احتمالاً در ابتدا اشتباه تشخیص داده شده بودند و بنابراین برای اهداف ML به اشتباه برچسب‌گذاری شدند. ما دریافتیم که در حالی که برگشت‌ها فقط در 0.8 درصد از شرکت‌کنندگان گزارش شده است، آنها 92 تا 109 شرکت‌کننده (7 درصد -8 درصد) از شرکت‌کنندگان طبقه‌بندی‌شده اشتباه را تشکیل می‌دهند، با مقدار کمی تفاوت بین مدل‌ها (جدول 3). مدل RF بالاترین ثبات تشخیصی را داشت و 109 نفر از 130 شرکت‌کننده را به‌درستی شناسایی کرد (84 درصد) با طبقه‌بندی آنها به عنوان پیش‌بینی‌شده بدون زوال عقل در 2 سال. برای بررسی پایداری تشخیصی مدل‌های ML، شرکت‌کنندگان را با بازگشت در طول آموزش حذف کردیم (روش‌های الکترونیکی در مکمل). پس از آموزش مجدد مدل‌ها بدون برگشت، متوجه شدیم که RF 106 شرکت‌کننده را شناسایی کرد که بازگشت‌ها را تجربه کردند (میانگین [IQR]، 82 درصد [78 درصد -82 درصد ])، SVM 93 شرکت‌کننده را شناسایی کرد که بازگشت‌ها را تجربه کردند (میانگین [IQR]، 72 درصد [69 درصد -74 درصد ])، و LR و XGB هر دو 92 شرکت‌کننده را شناسایی کردند که بازگشت‌هایی را تجربه کردند (میانگین [IQR]، 71 درصد [68 درصد -75 درصد ]). IQRها با راه‌اندازی شرکت‌کنندگانی که بازگشت را تجربه کردند، به‌دست آمد.

برای درک تفاوت بین شرکت‌کنندگان طبقه‌بندی اشتباه، شرکت‌کنندگان با بازگشت، و شرکت‌کنندگانی که دچار زوال عقل بدون بازگشت شدند، CDF امتیازات طبقه‌بندی به‌دست‌آمده از هر مدل ML را تحلیل کردیم. ما دریافتیم که نمرات شرکت‌کنندگانی که به اشتباه طبقه‌بندی شده‌اند، و شرکت‌کنندگان خاص با بازگشت، با شرکت‌کنندگانی که به زوال عقل مبتلا شده‌اند و افرادی که دچار زوال عقل نشده‌اند، متفاوت است (شکل 3 در مکمل). CDF نمرات طبقه‌بندی برای شرکت‌کنندگانی که به زوال عقل مبتلا نشده‌اند، در سمت چپ هر طرح قرار می‌گیرد، که نشان می‌دهد که مدل‌های ML به این شرکت‌کنندگان احتمال کمی برای ابتلا به زوال عقل اختصاص می‌دهند. برعکس، برای شرکت‌کنندگانی که به زوال عقل مبتلا شدند، CDFها در سمت راست طرح‌ها قرار گرفتند: احتمال بالایی برای ابتلا به زوال عقل به آنها اختصاص داده شد. برای همه مدل‌ها، توزیع نمرات برای شرکت‌کنندگان با بازگشت به سمت چپ نسبت به شرکت‌کنندگانی که به زوال عقل مبتلا شده بودند، کاهش یافت، به این معنی که شرکت‌کنندگان با برگشت به‌عنوان احتمال کمتری برای ابتلا به زوال عقل براساس این مدل‌ها ارزیابی شدند.

بحث

در این مطالعه پیش آگهی، الگوریتم های ML در مقایسه با BDSI و CAIDE دقت پیش آگهی بالاتری در پیش بینی بروز زوال عقل طی 2 سال پس از اولین ارزیابی کلینیک حافظه بیمار داشتند. دو مورد از الگوریتم‌های ML برای دستیابی به دقت 91 درصد و AUC 0.89 0 تنها با 6 متغیر کلیدی ارزیابی شدند. تحلیل‌های حساسیت نشان می‌دهد که مدل‌های ML می‌توانند به درستی نسبت بالایی از شرکت‌کنندگانی را که بازگشت را تجربه کرده‌اند و به‌طور بالقوه در طی ۲ سال از بازدید اولیه‌شان به اشتباه تشخیص داده شده‌اند، طبقه‌بندی کنند. این مطالعه دارای چندین نقطه قوت است، از جمله نمونه بزرگی از بیماران مشتق شده از کلینیک های حافظه متعدد در سراسر ایالات متحده، طیف گسترده ای از تکنیک های ML مورد استفاده، معیار مقایسه با مدل های خطر موجود، و کاوش در ثبات تشخیصی و تشخیص اشتباه احتمالی.

مطالعات قبلی در مورد استفاده از ML برای پیش‌بینی خطر زوال عقل، بر تبدیل شناختی بدون اختلال به زوال عقل آلزایمر یا MCI، 6،8 یا تبدیل از MCI به دمانس آلزایمر تمرکز کرده‌اند. سایر انواع زوال عقل 5،6،8 یا بیمارانی که در ابتدا از نظر شناختی دچار اختلال نمی شوند. 5 داده های مورد استفاده در این مطالعات شامل اسکن توموگرافی گسیل پوزیترون، 5،8، و بیومارکرهای مایع مغزی نخاعی است که معمولاً در یک محیط کلینیک حافظه در دسترس نیستند. مطالعه‌ای توسط لین و همکاران 6 با استفاده از داده‌های NACC برای یافتن مجموعه‌ای از 15 متغیر بالینی غیرتهاجمی برای ارزیابی خطر تبدیل از شناخت بدون اختلال به MCI در یک دوره 4- ساله بر این امر غلبه کرد. با این حال، ساختار MCI تا حدودی بحث‌برانگیز باقی مانده است، و نرخ تبدیل بین MCI و زوال عقل اغلب پایین است. نتیجه زوال عقل همه علل

از بین مدل‌های موجود بررسی‌شده در مطالعه ما، مدل CAIDE کمترین دقت را در پیش‌بینی خطر زوال عقل در طول 2 سال داشت، که جای تعجب نیست، با توجه به اینکه برای پیش‌بینی خطر زوال عقل طولانی‌مدت در بزرگسالان میانسال در مدت زمان طولانی‌تری ایجاد شده است. دوره پیگیری 20 ساله BDSI بهتر از CAIDE عمل کرد، که احتمالاً نشان دهنده این است که برای استفاده در افراد مسن در یک دوره پیگیری متوسط ​​6 ساله طراحی شده است. با این حال، تمام مدل‌های ML از این مدل‌های موجود بهتر عمل کردند. با استفاده از همه متغیرها، XGB قدرتمندترین رویکرد ML در پیش‌بینی بیمارانی بود که احتمالاً در عرض 2 سال مبتلا به زوال عقل تشخیص داده می‌شوند، که نشان می‌دهد روشی که در آن درخت‌های تصمیم جدید برای تصحیح خطاهای سه مورد آخر آموزش داده می‌شوند، منجر به عملکرد حاشیه‌ای می‌شود. کسب کردن. با این حال، به نظر می‌رسد که XGB کمترین توانایی را دارد تا شرکت‌کنندگانی را که بازگشت را تجربه کرده‌اند، شناسایی کند، به‌عنوان مثال، کسانی که در ابتدا در عرض 2 سال به زوال عقل مبتلا شده‌اند و این تشخیص در عرض 2 سال پس از تشخیص اولیه معکوس شده است.

عملکرد مدل‌های ML را می‌توان به‌طور قابل‌توجهی با داده‌های آموزشی برچسب‌گذاری نادرست کاهش داد. 34 به طور متضاد، حذف داده‌های آموزشی با برچسب اشتباه همیشه عملکرد را بهبود نمی‌بخشد. همان نویز در داده های اعتبارسنجی وجود دارد. بنابراین، فیلتر کردن داده های آموزشی حتی ممکن است داده های عدم اعتبار عملکرد را کاهش دهد، همانطور که در این مطالعه یافت شد. با این حال، زمانی که سطح برچسب‌گذاری نادرست کمتر از تقریباً 20 تا 40 درصد است، حذف داده‌های دارای برچسب غلط می‌تواند دقت داده‌های اعتبارسنجی را بهبود بخشد، حتی اگر داده‌های دارای برچسب اشتباه را در خود داشته باشد. داده‌های اعتبارسنجی: حتی داده‌های استاندارد معیار شامل خطاها می‌شوند.

نرخ بازگشت مشاهده شده (8 درصد) مشابه آنچه در یک مطالعه 2019 بر اساس جمعیت متفاوت ایالات متحده یافت شد.31 در مطالعه ما، بسته به نوع شناختی، درصد مثبت کاذب از 7 درصد تا 19 درصد متفاوت بود. ارزیابی استفاده شده طبق دانش ما، این اولین تجزیه و تحلیل تشخیص اشتباه احتمالی در NACC UDS است و نشان می‌دهد که استفاده از ML به عنوان یک کمک تصمیم‌گیری بالینی می‌تواند تشخیص اشتباه مثبت کاذب را تا 84 درصد کاهش دهد. با توجه به اینکه بیمارانی که بازگشت را تجربه می کنند از نظر تشخیصی مرزی هستند، از دیدگاه بالینی، ممکن است معقول باشد که به هر حال از آنها پیروی شود، با توجه به اینکه زمینه هایی برای نگرانی بالینی وجود دارد. بنابراین، XGB ممکن است بهترین مدل برای کمک تصمیم گیری بالینی باشد. روش دیگر، یک رویکرد مجموعه‌ای که پیش‌بینی‌های ثانویه را در مورد ثبات تشخیصی احتمالی و پتانسیل طبقه‌بندی اشتباه انجام می‌دهد، ممکن است مفیدتر باشد.

محدودیت ها

این مطالعه دارای چندین محدودیت است. اول، هر دو CAIDE و BDSI با استفاده از جمعیت های مختلف به جمعیت مورد استفاده در این مطالعه توسعه یافتند. همه متغیرهای مورد استفاده برای توسعه این مدل‌ها معادل دقیقی در UDS نداشتند که ممکن است بر عملکرد آنها در این مجموعه داده تأثیر بگذارد. دوم، روشی که برای انتساب داده ها استفاده می شود ممکن است منجر به خطای انتساب شود. به طور خاص، انتساب همه مقادیر از دست رفته را با یک مقدار عددی جایگزین می‌کند، اما برخی از مقادیر به دلیل ارتباط آنها با مقدار دیگری گم شده‌اند. بنابراین، این واقعیت که یک مقدار گم شده است، آموزنده است. با این حال، در حالی که شرکت کنندگان میانگین 14 درصد داده های از دست رفته داشتند، 6 متغیر کلیدی شناسایی شده برای میانگین 1 درصد از شرکت کنندگان گم شده بودند. سوم، اگرچه مطالعه ما از نمونه بزرگی از شرکت کنندگان کلینیک حافظه در ایالات متحده استفاده کرد، که نتایج ما را به شدت در این زمینه کاربردی می کند، اما میزان تعمیم این نتایج به سایر جمعیت ها ناشناخته است.

نتیجه گیری

این مطالعه پیش‌آگهی نشان داد که مدل‌های ML از مدل‌های پیش‌بینی خطر زوال عقل فعلی بهتر عمل می‌کنند و ممکن است پتانسیل بهبود پیش‌بینی زوال عقل اتفاقی را در طی 2 سال در کلینیک‌های حافظه داشته باشند. شش عامل کلیدی برای خطر زوال عقل شناسایی‌شده در این مطالعه ممکن است پتانسیل بهبود عملکرد بالینی در کلینیک‌های حافظه را داشته باشند، اگر در کمک‌های تصمیم‌گیری بالینی آینده گنجانده شوند.