یک DBNet فازی جدید برای بخش بندی تصویر پزشکی قسمت 1

خلاصه:وقتی پزشکان خسته هستند، اغلب اشتباهات تشخیصی مرتکب می شوند. به طور مشابه، داروسازان نیز ممکن است در توزیع دارو اشتباه کنند. بنابراین، تقسیم بندی اشیا در بسیاری از زمینه های مرتبط با مراقبت های بهداشتی، مانند تجزیه و تحلیل علائم در تصویربرداری زیست پزشکی و طبقه بندی دارو، نقش حیاتی ایفا می کند. با این حال، بسیاری از الگوریتم‌های سنتی یادگیری عمیق از یک نمای واحد برای تقسیم‌بندی یا طبقه‌بندی استفاده می‌کنند. هنگامی که تصویر تار یا ناقص است، این الگوریتم‌ها نمی‌توانند ناحیه آسیب‌شناسی یا شکل داروها را به طور دقیق تقسیم کنند، که می‌تواند بر برنامه‌های درمانی بعدی تأثیر بگذارد. در نتیجه، ما فازی DBNet را پیشنهاد می‌کنیم که شبکه پروانه‌ای دوگانه و ASPP فازی را در یک شبکه یادگیری عمیق ترکیب می‌کند و تصاویر را از هر دو طرف یک شی به طور همزمان پردازش می‌کند. آزمایش‌های ما از قرص‌های چند دسته‌ای و مجموعه داده‌های اشعه ایکس ریه برای آموزش استفاده کردند. میانگین ضریب تاس مدل پیشنهادی ما در بخش‌بندی چند قرصی به 95.05 درصد و در تقسیم‌بندی ریه به 97.05 درصد رسید. نتایج نشان داد که مدل پیشنهادی ما از دیگر شبکه‌های پیشرفته در هر دو کاربرد بهتر عمل می‌کند، و نشان می‌دهد که مدل ما می‌تواند از چندین نما از یک تصویر برای بدست آوردن بخش‌بندی یا شناسایی تصویر استفاده کند.

سیستانچ می تواند به عنوان یک ضد خستگی و تقویت کننده استقامت عمل کند و مطالعات تجربی نشان داده اند که جوشانده سیستانچ توبولوزا می تواند به طور موثری از سلول های کبدی و سلول های اندوتلیال آسیب دیده در موش های شناگر محافظت کند، بیان NOS3 را افزایش دهد و گلیکوژن کبدی را تقویت کند. سنتز، در نتیجه اعمال اثر ضد خستگی. عصاره Cistanche tubulosa غنی از گلیکوزید فنیل اتانوئید می تواند به طور قابل توجهی سطح کراتین کیناز، لاکتات دهیدروژناز و لاکتات سرم را کاهش دهد و سطح هموگلوبین (HB) و گلوکز را در موش ICR افزایش دهد و این می تواند با کاهش آسیب عضلانی نقش ضد خستگی ایفا کند. و به تاخیر انداختن غنی سازی اسید لاکتیک برای ذخیره انرژی در موش. قرص Cistanche Tubulosa به طور قابل توجهی زمان شنای تحمل وزن را طولانی کرد، ذخیره گلیکوژن کبدی را افزایش داد و سطح اوره سرم را پس از ورزش در موش کاهش داد و اثر ضد خستگی آن را نشان داد. جوشانده سیستانچی می تواند استقامت را بهبود بخشد و خستگی را در موش های ورزشکار تسریع کند و همچنین می تواند افزایش کراتین کیناز سرم را بعد از تمرین بارگذاری کاهش دهد و فراساختار ماهیچه های اسکلتی موش ها را پس از ورزش نرمال نگه دارد که نشان دهنده تأثیر آن است. افزایش قدرت بدنی و ضد خستگی Cistanchis همچنین به طور قابل توجهی زمان بقای موش های مسموم با نیتریت را طولانی کرد و تحمل در برابر هیپوکسی و خستگی را افزایش داد.

روی خستگی شدید کلیک کنید

【برای اطلاعات بیشتر:george.deng@wecistanche.com / WhatsApp:8613632399501】

1. معرفی

موارد متعددی وجود داشته است که تقسیم‌بندی تصویر در پزشکی عمدتاً به این دلیل اجرا شده است که تفسیر تصاویر پزشکی از اسکن‌های CT و MRI به دانش و زمان پزشکی قابل توجهی نیاز دارد. علاوه بر این، آمار نشان می دهد که خطاهای پزشکی سالانه باعث مرگ 7000 تا 9000 نفر در ایالات متحده می شود [1]. از این رو، برای پرداختن به این مسائل، راه حل های تکنولوژیکی متعددی پیشنهاد شده است. به عنوان مثال، U-Net توسعه یافته توسط Ronneberger و همکاران. [2] در تقسیم بندی تصاویر زیست پزشکی استفاده می شود. DoubleU-Net به کار گرفته شده توسط Debesh Jha و همکاران. [3] در روش هایی مانند کولونوسکوپی استفاده می شود. اساساً بر پایه U-Net و VGG-19 ساخته شده است که از دو رمزگذار و رمزگشا تشکیل شده است. به طور مشابه، چین و همکاران. [4] از الگوریتم یادگیری عمیق Mask R-CNN برای جداسازی تارهای صوتی و نواحی گلوت از ویدیوهای حنجره استفاده کنید و به پزشکان در تشخیص و درمان کمک کنید.

در میان تشخیص تصویر ریه، جاکوب و همکاران. با اشاره به اینکه نتایج تصاویر اشعه ایکس از ضایعات بیماری به راحتی توسط رگ های خونی مسدود می شود. اگرچه روش‌های یادگیری ماشین برای تشخیص تصویر ریه می‌تواند به کاهش بار پرسنل پزشکی کمک کند، دقت آنها تنها 91٪ است [5]. علاوه بر این، مدل یادگیری عمیق برای شناسایی بیماری های ریوی برتری خود را نسبت به روش های سنتی یادگیری ماشینی نشان داده است [6،7]. بنابراین از یادگیری عمیق برای تشخیص تصویر استفاده کردیم. در مورد توراکوستومی پنوموتوراکس، پزشک باید به تصویر اشعه ایکس قفسه سینه نگاه کند تا خط پلور نیمه شفافی که روی دنده ها قرار گرفته است را پیدا کند. از آنجایی که این تصویر مستعد تار شدن در اثر همپوشانی بافتی است، تشخیص سنتی تصویر موثر نیست [8]، به ویژه به این دلیل که هوا در قسمت جلوی بدن به جای در بالا جمع می‌شود و تفسیر نواحی پنوموتوراکس را برای پزشکان دشوار می‌کند. از آنجایی که علائم اولیه بسیاری از ضایعات ریوی آشکار نیست و ریه ها دارای ویژگی های پاتولوژیک پیچیده ای هستند [9]، بسیاری از محققان روش های یادگیری عمیق را برای بهبود دقت و کارایی تشخیص پیشنهاد کرده اند [10]. لورا و همکاران [11] یک شبکه پیچیده برای تشخیص تصویر ریه پیشنهاد کردند و آزمایش آنها دقت بالایی را برای تشخیص بافت نشان داد. بر این اساس، یک روش شبکه پیچیده می تواند ویژگی های مهمی را استخراج کند. الحسن و همکاران [12] از روش یادگیری گروهی برای تشخیص ذات الریه در تصاویر اشعه ایکس قفسه سینه با نرخ دقت بهبود یافته 93٪ استفاده کرد. بر اساس ویژگی های یادگیری گروه، این روش برای بهبود دقت شناسایی مدل استفاده می شود. محمد و همکاران [13] یک مدل یادگیری عمیق برای کمک به تشخیص زودهنگام COVID{19}} پیشنهاد کرد، که به کارکنان پزشکی کمک کرد تا حجم کاری خود را کاهش دهند. برای تقسیم‌بندی تصویر ریه، Feidao و همکاران. [14] یک مکانیسم توجه سه پایانی را برای برجسته کردن منطقه هدف به طور خودکار و بهبود عملکرد تقسیم‌بندی ریه پیشنهاد کرد. در نتیجه، یک ماژول دروازه توجه برای بهبود اثر آموزشی مدل استفاده می شود. با این حال، این مدل ها به طور کامل از تصاویر اشعه ایکس قفسه سینه استفاده نمی کردند. دو حالت برای گرفتن عکس با اشعه ایکس ریه وجود دارد: قدامی خلفی و خلفی قدامی. اشعه ایکس ریه قدامی خلفی از حفره قفسه سینه گرفته می شود. اشعه ایکس خلفی قدامی ریه از پشت گرفته می شود. مدل‌های یادگیری عمیق موجود فقط می‌توانند هر بار یک تصویر را برای شناسایی وارد کنند [15]. بنابراین، مدل ممکن است نتواند محل ضایعه را شناسایی کند زیرا تنها یک طرف تصویر اشعه ایکس ورودی است [16]. در نتیجه، ما از روش‌های یادگیری عمیق برای شناسایی تصویر ریه استفاده کردیم.

در بین تشخیص تصویر قرص ها، اکثر روش های طبقه بندی موجود فقط بر اطلاعات یک طرفه تکیه می کنند، اما در برخی موارد، بسیاری از انواع قرص ها را نمی توان طبقه بندی کرد. به عنوان مثال، یک نوع قرص زمانی که از زوایای مختلف دیده می شود، ممکن است شکل های متفاوتی داشته باشد. برخی از قرص ها ممکن است فقط در یک طرف حروف داشته باشند. و کسانی که شکل ها و رنگ های مشابه دارند نیز می توانند چالشی ایجاد کنند. در چنین مواردی، مدل ممکن است نتواند گروهی از قرص ها را به طور دقیق طبقه بندی کند. به دلیل همه‌گیری، تعداد زیادی از مردم هر روز به بیمارستان‌ها سرازیر می‌شوند که منجر به افزایش قابل‌توجهی در مصرف قرص‌ها و خطاهای پزشکی می‌شود [17،18]. برای رسیدگی به این مشکلات، Ou et al. [19] یک معماری یادگیری عمیق دو مرحله ای برای شناسایی و متعاقبا طبقه بندی 1000 نوع قرص پیشنهاد کرد. علاوه بر این، ارتقای دانش دارویی و ارائه اطلاعات کافی به بیماران به مسائل مهمی برای جلوگیری از ضایعات دارویی و عوارض جانبی مضر تبدیل شده است [20]. با این حال، شناسایی قرص های ظاهری یک کار دلهره آور برای بیماران باقی مانده است. وانگ و همکاران [21] از شبکه آغازین GoogLeNet برای آموزش تکنیک‌های معماری یادگیری عمیق و بهبود تصویر با تمرکز بر رنگ، شکل و نشانه‌ها استفاده کرد، اما تنها می‌تواند یک نوع قرص را شناسایی کند که این نقص بزرگ آن است. شناسایی همزمان چندین نوع قرص می تواند نیازهای عموم را بهتر برآورده کند. در زمینه تقسیم بندی تصویر قرص، کوون و همکاران. [22] از Mask R-CNN استفاده کردند و مجموعه داده های آموزشی که استفاده کردند فقط شامل 27 نوع قرص بود که هر کدام شکل و رنگ متفاوتی داشتند. با این حال، در واقعیت، بسیاری از انواع دیگر قرص ها ظاهری مشابه دارند. برای مطابقت با نیازهای دنیای واقعی، 93 نوع قرص برای آموزش مدل ما استفاده شد. آنها اشکال و رنگ‌های مشابهی داشتند و عمدتاً در نقش‌های مختلف متفاوت بودند، که باعث می‌شد مدل ما برای نیازهای بالینی کاربردی‌تر باشد. در تشخیص جسم قرص، لو و همکاران. [23] بسیاری از روش های تشخیص اشیا را پیشنهاد کرد. اگرچه این مدل‌ها موقعیت قرص‌ها را شناسایی می‌کنند، نقشه تنها 87 درصد است. علاوه بر این، محققین قبلی به طور موثر به مسائل مربوط به شناسایی قرص ها، از جمله قرار دادن تصادفی آنها و وجود قرص های متعدد در یک تصویر، پرداخته اند. تعیین و استاندارد کردن زاویه چرخش قرص برای هر کلاس قرص نیز دشوار است.

کیلر و همکاران، برای دید کامپیوتری، سایر موارد از وسایل نقلیه هوایی بدون سرنشین (پهپاد) همراه با یادگیری عمیق استفاده می کنند. [24] طبقه بندی گیاهان را از منظر فضایی و طیفی با استفاده از تصاویر RGB و طیفی پهپاد بر اساس فناوری 2D-CNN مطالعه کرد.

روش‌های فعلی برای تقسیم‌بندی تصویر بیشتر از یک تصویر به عنوان ورودی استفاده می‌کنند. هنگامی که یک تصویر با کیفیت پایین به مدل وارد می شود، مسائل مربوط به تقسیم بندی و طبقه بندی اشیاء نادقیق ایجاد می شود. در زمینه پزشکی، به دلیل ویژگی های پیچیده تصاویر، Akinobu و همکاران. [25] BtrflyNet را برای شناسایی متاستازهای استخوانی پیشنهاد کرد که می تواند دو تصویر ورودی را به طور همزمان بپذیرد. نتایج تجربی نشان داد که می تواند میزان موفقیت آموزش مدل را افزایش دهد. با این حال، این مدل فقط برای تصاویر متاستاز استخوان قابل استفاده است. بر اساس این مقاله، ما BtrflyNet را برای پیشنهاد Fuzzy DBNet که نتایج عالی در تصویر قرص و تشخیص تصویر ریه به دست آورده است، بهبود دادیم.

2. مواد و روشها

2.1. مجموعه داده ها

در این مقاله از مجموعه داده های اشعه ایکس قفسه سینه و قرص استفاده شد. داده‌های اشعه ایکس قفسه سینه از مجموعه داده‌های اشعه ایکس قفسه سینه NIH [26] حاوی 112120 تصویر به‌دست آمد که ما 72324 تصویر از هر دو نمای قدامی خلفی (AP) و خلفی قدامی (PA) همان بیماران را استخراج کردیم. سپس تصاویر AP را با تصاویر PA متناظر آنها جفت کردیم که در مجموع 267105 جفت AP-PA پس از تقویت شد.

مجموعه داده قرص شامل 93 دسته است که در مجموع 1238 تصویر دارد: گرد، بیضی، مستطیل، مثلثی و با رنگ های مختلف. برای گرفتن هر دو طرف هر قرص، تصاویر پس از پراکنده شدن قرص ها روی یک تخته شفاف و عکس برداری مستقیم از بالا و پایین گرفته شد. سپس مجموعه داده به 80% برای آموزش، 10% برای آزمایش و 10% برای اعتبار سنجی تقسیم شد. برای بهبود دقت مدل، ما از طرح AutoAugment [27] برای گسسته سازی هر اندازه عملیات (M) از [0، 10] برای تقویت داده ها استفاده کردیم که منجر به افزایش مجموعه داده 2476 تصویر شد.

مجموعه داده مهم ترین محدودیت مدل ما بود. اولاً، تصاویر ورودی ما باید دو طرفه باشند، نه تنها تصاویر عمومی، بلکه تصاویری که به اشیاء نفوذ می کنند، مانند اشعه ایکس. دوم، تطابق ثابت موقعیت اشیا در تصاویر مورد نیاز بود. برای رسیدگی به این موضوع، تیم ما تلاش هایی را انجام داد تا موقعیت قرص ها را بین تصاویر دو طرفه آنها در طول جمع آوری مجموعه داده تراز کند.

توجه به این نکته مهم است که مجموعه داده پرتو ایکس ریه مورد استفاده در این مطالعه توسط NIH ارائه شده است، در حالی که مجموعه داده قرص توسط عکاسی تیم ما گرفته شده است.

2.2. پیش پردازش داده ها

برای کمک به داروسازان در طبقه بندی قرص ها، 93 نوع قرص حاشیه نویسی شد. ما از VGG image Annotator [28] برای برچسب زدن هر یک با نام خود در 93 دسته مختلف استفاده کردیم. ما لبه قرص را برچسب گذاری کردیم و داده های برچسب گذاری شده را به عنوان حقیقت اصلی داده های آموزشی به یک فایل JSON تبدیل کردیم. الگوریتم پیش پردازش را می توان در الگوریتم A1 یافت.

2.3. DBNet فازی

این مقاله یک معماری یادگیری عمیق جدید، شبکه دو پروانه فازی (DBNet) را پیشنهاد می‌کند، که در آن دو تصویر با ویژگی‌های مکمل می‌توانند برای انجام بخش‌بندی تصویر وارد شوند. این عمدتاً از سه بخش تشکیل شده است: معماری رمزگذار-رمزگشای دو پروانه، بلوک ترکیبی هرم فضایی فازی آتروس (ASPP) و یک دروازه توجه، همانطور که در شکل 1 نشان داده شده است.

یک VGG 19 آموزش دیده برای رمزگذاری اولین معماری پروانه ای برای استخراج ویژگی های تصویر برای صرفه جویی در زمان آموزش و جلوگیری از نصب بیش از حد استفاده شد. بین دو رمزگذار و رمزگشای پروانه‌ای شکل، دو بلوک به هم پیوسته وجود داشت که دو مجموعه بلوک فازی ASPP را به هم متصل می‌کرد و در نتیجه ویژگی‌های مختلف تصاویر را رد و بدل می‌کرد. سپس، خروجی نتیجه اولیه توسط اولین معماری پروانه ای شکل با تصویر اصلی همانطور که در بلوک ضرب در شکل 1 نشان داده شده است، ضرب شد. الگوریتم فازی DBNet را می توان در الگوریتم A2 یافت.

فازی ASPP ASPP را با نظریه فازی ترکیب کرد و بین رمزگذار و رمزگشای دو شبکه پروانه ای قرار گرفت. شکل 2 ساختار فازی ASPP را نشان می دهد.

در قسمت Fuzzy Pooling از تابع عضویت زنگی شکل برای تکمیل عملیات استفاده شد و نتایج هر پچ pooling به صورت پویا تنظیم شد. الگوریتم A3 الگوریتم تنظیم پویا را نشان می دهد. هدف اصلی کاهش نسبت ویژگی تحت تأثیر عوامل عدم قطعیت بود. الگوریتم فازی ASPP را می توان در الگوریتم A4 یافت.

در اتصالات پرش، یک مکانیسم توجه برای حذف پاسخ‌های نویزدار و نامربوط با استفاده از ویژگی‌های استخراج‌شده از نقشه‌های ویژگی درشت‌تر استفاده شد. به طور موثر نویز و ویژگی های غیر ضروری را در مدل کاهش داد و عملکرد و دقت آن را بهبود بخشید. شکل 3 ساختار دروازه توجه را نشان می دهد.

3. نتیجه

3.1. تنظیم آزمایش

اعتبار سنجی آموزشی و آزمایش مدل پیشنهادی بر روی رایانه ای با 8-CPU هسته (Intel Xeon W{-3223)، حافظه 64 گیگابایتی، یک GPU (RTX 3090) با حافظه گرافیکی 24 گیگابایت، انجام شد. و 10496 هسته CUDA. پیاده سازی با استفاده از چارچوب PyTorch انجام شد. جدول 1 فراپارامترهای مورد استفاده برای همه آزمایش ها را نشان می دهد.

تابع ضرر کل (LDC) میانگین تلفات تاس (LavgDice) را با تلفات متقاطع آنتروپی طبقه‌ای (LCCE) ترکیب می‌کند و به صورت زیر محاسبه می‌شود:

که در آن N تعداد نمونه ها و C تعداد کلاس ها است. از آنجایی که خروجی شبکه تصاویر چند کلاسه بود، LCCE را با استفاده از رابطه (3) محاسبه کردیم. سپس، LDice را برای هر کلاس با استفاده از رابطه (2) محاسبه کردیم. این امکان وجود داشت که تمام پیکسل‌های موجود در Ppred را که در Ptrue فعال نبودند، صفر کرد. برای پیکسل‌های فعال، پیش‌بینی‌های کم‌اعتماد بیشتر جریمه می‌شدند، در حالی که مقادیر پیش‌بینی بالاتر، ضرایب Dice بالاتری را به‌دست آوردند. بنابراین، مدل اشیاء کلاس‌ها و اندازه‌های مختلف را از طریق LDice و LCCE یاد گرفت.

3.2. شاخص ارزیابی عملکرد

در این مطالعه، ما از سه معیار برای ارزیابی عملکرد مدل استفاده کردیم: دقت پیکسل، ضریب میانگین تاس (Dice)، و میانگین تقاطع بر روی اتحادیه (من). این شاخص ها در فرمول زیر نشان داده شده اند.

که در آن Xi مقادیر صدق پایه و Yi مقادیر پیش بینی شده را نشان می دهد. TP، FP، TN و FN به ترتیب اعداد موارد مثبت واقعی، مثبت کاذب، منفی درست و منفی کاذب را نشان می دهند. دقت پیکسلی درصد پیکسل‌هایی که به درستی شناسایی شده‌اند را در تصویر اندازه‌گیری می‌کند. نمره تاس همپوشانی بین تقسیم بندی پیش بینی شده و حقیقت زمین را اندازه گیری کرد. و mIoU تقسیم بندی پیش بینی شده را با حقیقت زمینی اندازه گیری کرد. این معیارها به این دلیل انتخاب شدند که دید جامعی از عملکرد مدل ارائه می‌کردند و امکان مقایسه معنادار با سایر مدل‌های موجود در این زمینه را فراهم می‌کردند. مقادیر بالاتر برای این معیارها نشان دهنده عملکرد بهتر مدل است.

3.3. تقسیم بندی تصاویر اشعه ایکس ریه

ما آزمایش‌هایی را برای آموزش روش پیشنهادی انجام دادیم و مدل را با استفاده از مجموعه اعتبارسنجی تأیید کردیم. همانطور که در شکل 4 نشان داده شده است، از دست دادن آموزش فازی DBNet در مجموعه داده پرتو ایکس ریه در حدود 100 دوره به همگرایی رسید و تقریباً در 300 به همگرایی کامل رسید.

در مجموعه داده پرتو ایکس ریه، مجموعه‌ای از تصاویر را به عنوان نمونه برای آزمایش مدل انتخاب کردیم. این شامل شش تصویر بود: تصاویر خام قدامی-خلفی و خلفی قدامی، تصاویر مربوط به حقیقت زمینی، و نتایج تقسیم‌بندی شده. این تصاویر در شکل 5 نشان داده شده است.

ما خروجی‌های فازی DBNet و حقیقت پایه آن را روی داده‌های آزمایشی با استفاده از ضریب میانگین Dice، mIoU و دقت پیکسلی برای اندازه‌گیری عملکرد مدل مقایسه کردیم. نتایج در جدول 2 نشان داده شده است.

ما دو مجموعه از اشعه ایکس ریه را از نتایج تقسیم بندی مجموعه آزمایش خود به عنوان نمونه انتخاب کردیم. در شکل 6، کامل بودن تقسیم بندی مدل ما بسیار بهتر از BtrflyNet بود. در شکل 7، زمانی که تصاویر ریه اصلی تار بودند، عملکرد تقسیم‌بندی DoubleU-Net ضعیف بود، در حالی که مدل ما به‌طور دقیق ریه‌ها را تقسیم‌بندی کرد.

【برای اطلاعات بیشتر:george.deng@wecistanche.com / WhatsApp:8613632399501】