تشخیص علائم راهنمایی و رانندگی بر اساس الگوریتم YOLOv3 قسمت 3

3.3. تولید فریم های پیشینی بر اساس الگوریتم خوشه بندی K-Means

مکانیسم لنگر در YOLOv2 پیاده‌سازی شد و تعداد لنگرها به 9 در YOLOv3 افزایش یافت تا مناطق کاندید تولید شده بیشتر شبیه فریم‌های برچسب‌گذاری شده اصلی شوند و فراخوانی شبکه تشخیص را تقویت کند.

یک رابطه قوی بین فریم های علامت گذاری شده و حافظه وجود دارد. علامت‌گذاری فریم‌ها می‌تواند به ما کمک کند تا یک چارچوب حافظه ثابت، منظم و منظم ایجاد کنیم و به خاطر سپردن مقادیر زیادی از اطلاعات آسان‌تر می‌شود. به عنوان مثال، هنگام یادگیری یک زبان، می توانیم از فریم های علامت گذاری شده برای به خاطر سپردن کلمات جدید و قواعد گرامری استفاده کنیم. هنگام مرور تاریخ، می توانیم از فریم های علامت گذاری شده برای به خاطر سپردن رویدادهای تاریخی و جدول زمانی استفاده کنیم. به این ترتیب می توانیم دانش انتزاعی را عینی تر و قابل فهم تر کنیم.

در عین حال، علامت گذاری فریم ها می تواند توانایی تداعی مغز ما را نیز تحریک کند و در نتیجه حافظه ما را تقویت کند. از آنجا که حافظه ما مبتنی بر تداعی و ارتباط است، با ایجاد چارچوب های مشخص شده، می توانیم به طور طبیعی دانش جدید را با دانش موجود پیوند دهیم و حافظه و درک را عمیق تر کنیم.

توانایی حافظه انسان قابل آموزش و بهبود است. با تمرین مداوم و استفاده از تکنیک های حافظه مانند علامت گذاری فریم ها، می توانیم حافظه خود را بهبود بخشیم و بهتر با اطلاعات و وظایف پیچیده زندگی و کار کنار بیاییم.

به طور خلاصه، علامت گذاری فریم ها یک تکنیک حافظه بسیار موثر است. می تواند به ما کمک کند اطلاعات مهم را سریعتر و دقیق تر به خاطر بسپاریم. همچنین می تواند توانایی انجمنی ما را تحریک کرده و حافظه ما را بهبود بخشد. اجازه دهید به طور فعال از فریم های علامت گذاری شده برای بهبود مستمر مهارت های حافظه خود استفاده کنیم! مشاهده می شود که ما نیاز به بهبود حافظه داریم و سیستانچ دسرتیکولا می تواند حافظه را به میزان قابل توجهی بهبود بخشد زیرا سیستانچ دسرتیکولا یک ماده دارویی سنتی چینی است که اثرات منحصر به فرد بسیاری دارد که یکی از آنها بهبود حافظه است. اثربخشی گوشت چرخ کرده از مواد فعال مختلفی که شامل اسید، پلی ساکاریدها، فلاونوئیدها و غیره است، ناشی می شود. این مواد می توانند به طرق مختلف سلامت مغز را ارتقا دهند.

برای بهبود حافظه کوتاه مدت، روی دانستن کلیک کنید

استفاده از لنگر اصلی مناسب نبود، زیرا علائم راهنمایی و رانندگی عمدتاً اهداف کوچک و متوسط ​​هستند، با اهداف بزرگ کمتری در مجموعه داده TT100K. برای یک مجموعه داده خاص، انتخاب یک لنگر اولیه مناسب می‌تواند اثر تشخیص را بهبود بخشد، یادگیری شبکه را آسان‌تر کند و سرعت تشخیص جعبه مرزی را افزایش دهد.

جریان الگوریتم خوشه بندی K-means برای به دست آوردن جعبه های کاندید در شکل 7 نشان داده شده است.

در مجموعه داده TT100K، ساختار شبکه پیشرفته YOLOv3 شامل یک مقیاس پیش‌بینی ویژگی بود که منجر به چهار مقیاس و دوازده لنگر شد: (4، 5)، (5، 6)، (7، 7)، (7، 13)، (8، 8)، (9، 10)، (11، 12)، (13، 14)، (16، 17)، (20، 22)، (27، 29)، و (41، 44).

4. آزمایش ها و تجزیه و تحلیل نتایج

4.1. مجموعه داده ها و شاخص های ارزیابی

چند مجموعه داده بزرگ و در دسترس عموم وجود دارد که اکثر آنها از GTSDB استفاده می کنند، اما GTSDB با علائم راهنمایی و رانندگی چینی یکسان نیست. CTSDB، CCTSDB، و TT100K، در میان دیگران، مجموعه داده های علائم ترافیکی چینی هستند.

CCTSDB بر اساس CTSDB گسترش یافت و دسته بندی های آن به علائم هشدار دهنده، علائم راهنمایی و علائم ممنوعیت بدون طبقه بندی دقیق علائم راهنمایی و رانندگی تقسیم شد.

مجموعه علامت ترافیک TT100K با همکاری Tencent و دانشگاه Tsinghua ایجاد شد. دسته بندی و شناسایی کامل علائم راهنمایی و رانندگی را ارائه می کرد، شرایط مختلف اقلیمی و روشنایی را پوشش می داد و برای موقعیت های واقعی رانندگی دقیق تر بود.

بنابراین، مجموعه داده علائم ترافیکی TT100K در این مقاله استفاده شده است و برخی از علائم راهنمایی و رانندگی و اطلاعات دسته در شکل 8 نشان داده شده است.

مجموعه داده TT100K دارای 100 عکس با وضوح 2048 x 2048 پیکسل است، اگرچه تصاویر علائم راهنمایی و رانندگی بدون برچسب وجود دارد و برخی از دسته‌ها فقط دارای چند تصویر یا تصاویر تکراری هستند که جلوه تشخیص را کاهش می‌دهد.

بنابراین، این مقاله تصاویر علائم راهنمایی و رانندگی بدون برچسب و تکراری را از مجموعه داده حذف کرد و 45 دسته با تعداد علائم راهنمایی و رانندگی بالا را انتخاب کرد که 45 دسته علائم راهنمایی و رانندگی عبارتند از: pn, pne, i5, pll, pl40, po,pl50, pl80. , io, pl60, p26, i4, pll00, pl30, il60, l5, i2, w57, p5, p10, ip, pl120, il80, p23, pr40.ph4. 5, w59, p12, p3, w55. pm20، pl20، pg، pl70، pm55، il100، p27، w13، p19، ph4، ph5، wo، p6.pm30، و w32 و تعداد هر دسته علائم راهنمایی و رانندگی در شکل 9 نشان داده شده است.

شکل 9 نشان می دهد که حتی اگر 45 دسته با تعداد زیادی علائم راهنمایی و رانندگی انتخاب شوند، باز هم عدم تعادل قابل توجهی در مقدار داده ها بین هر دسته وجود دارد که در نتیجه دقت پیش بینی مدل ضعیف است. در نتیجه، همانطور که در شکل 10 نشان داده شده است، این کار با استفاده از تاکتیک‌هایی مانند پراکندگی رنگ، نویز گاوسی و چرخش تصویر، مجموعه داده را متعادل و گسترش داد تا اطمینان حاصل شود که مقدار هر دسته تا حد امکان برابر است.

رویکرد موزاییک چهار تصویر را در یک زمان می خواند، طیف رنگی هر تصویر را مقیاس بندی و تغییر می دهد، آنها را در چهار جهت مرتب می کند و سپس تصاویر را به هم می چسباند تا کادر واقعی هدف را ایجاد کند.

روش بهبود چهار تصویر، معادل محاسبه پارامترهای چهار تصویر با یک ورودی است. این می تواند تعداد تصاویر را برای ورودی دسته ای کاهش دهد، دشواری آموزش و هزینه آموزش را کاهش دهد، سرعت آموزش را بهبود بخشد و تا حد زیادی تعداد نمونه ها را در مجموعه داده غنی کند، که برای یادگیری مفید است.

در این مقاله، معیارهای ارزیابی مجموعه داده COCO، از جمله mAPou - 050APs، APM، AP، و چندین معیار دیگر، برای ارزیابی عملکرد مدل استفاده شد. به طور خاص، بیشتر علائم راهنمایی و رانندگی در مجموعه داده علائم ترافیکی TT100K متعلق به اهداف کوچک است، بنابراین باید توجه ویژه ای به دقت تشخیص اهداف کوچک شود. معانی خاص معیارهای ارزیابی به شرح زیر است:

AP: ناحیه زیر منحنی PR، که در آن PR به ترتیب دقت و یادآوری است:

API {{0}}.50: وقتی آستانه IoU روی 0.50 تنظیم می‌شود، میانگین همه دسته‌های AP در مجموعه داده است که شاخص ارزیابی مجموعه داده PASCAL VOC است و مطابقت دارد. به APIoU=0.50 در نمایه ارزیابی COCO mAPloU= 0.50: وقتی آستانه loU روی 0.50 تنظیم شود، میانگین همه دسته‌های AP در مجموعه داده است که شاخص ارزیابی است. مجموعه داده PASCAL VOC و مطابق با APloU=0.5 در شاخص ارزیابی COCO است.

APs: مقدار متوسط ​​mAP برای اشیاء کوچک: مساحت <322، و محدوده loU=(0.5، 1.00، 0.05) برای کل از 10 یواس.

APm: اشیاء متوسط: 322 < مساحت < 962، و محدوده loU=(0.5، 1.00، 0.05) مقدار میانگین mAP برای یک در مجموع 10 IoU.

AP: مقدار میانگین mAP برای اشیاء بزرگ: مساحت > 962، و دامنه=loU (0.5، 1.00، 0.05 برای مجموع 10) IoUs.

4.2. نتایج تجربی و تجزیه و تحلیل

4.2.1. آزمایش مقایسه YOLOv3 بهبود یافته است

سه شبکه YOLOv3 با روش‌های پیشرفته در این مطالعه با استفاده از مجموعه داده‌های علائم ترافیکی TT100K و تصاویر ورودی با اندازه 608 × 608 پیکسل در این مطالعه مقایسه و آزمایش شدند. شکل 11 نقشه و AR M-YOLOv3 آموزش داده شده بر روی مجموعه داده TT100 را نشان می دهد.

نتایج تشخیص برای اندازه‌های مختلف اهداف در شکل 12 و جدول 1 نشان داده شده است. YOLOv{4}}SPP استراتژی فضای همجوشی ساختار هرمی را اتخاذ کرد. یولو3-4 استراتژی افزودن چهارمین لایه مشخصه پیش بینی با مقیاس های 152 × 152 را اتخاذ کردم. و M-YOLOv3 ساختار شبکه YOLOv3 با استفاده از همه استراتژی‌های بهبود یافته بود.

جدول 1 و شکل 12 نشان می دهد که میانگین دقت YOLOv3 اصلی بدون استفاده از هیچ استراتژی 68.9٪ بود. در مقابل، نقشه YOLOv3 ارتقا یافته با همه روش‌ها 77.3 درصد بود، بهبودی 8.4 درصدی در تشخیص.

عملکرد تلفات DIoU و تکنیک لنگر خوشه‌بندی مجدد دقت تشخیص را 1.3% افزایش داد. با این حال، بهبود به دلیل همگرایی سریعتر تابع از دست دادن در طول تمرین بود که رگرسیون جعبه هدف را پایدارتر کرد و نرخ یادآوری را بهبود بخشید. بهبودهای بارزتر در mAP در YOLOv3 مشاهده شد که شامل یک ساختار SPP بود و به 73.2٪ رسید.

ساختار SPP ویژگی‌های محلی و جهانی را ترکیب کرد و توانایی نقشه ویژگی برای بیان خود را افزایش داد و دقت تشخیص را به میزان قابل توجهی افزایش داد.

دقت تشخیص هدف کوچک در مقایسه با YOLOv3 که به طور کامل از ویژگی‌های کم عمق در شبکه برای پیش‌بینی اهداف کوچک استفاده می‌کرد، به میزان قابل توجهی بهبود یافته بود، اما به قیمت افزایش پیچیدگی و پردازش شبکه، دقت تشخیص هدف کوچک 10.5 درصد افزایش یافت. . بهترین بهبود M-YOLOv3 بود که سه روش بهبود را ترکیب کرد و به mAP 77.3% رسید که 8.4% بالاتر از میانگین دقت YOLOv30 اصلی است. شکل 13 نتایج آزمایش M-YOLOv3 را روی TT100K نشان می دهد.

4.2.2. مقایسه الگوریتم بهبود یافته YOLOv3 با الگوریتم های دیگر

M-YOLOv3 با چندین الگوریتم تشخیص هدف کلاسیک دیگر برای تأیید بیشتر تشخیص تشخیص شبکه بهبود یافته مقایسه شد و نتایج در جدول 2 نشان داده شده است.

جدول 2 نشان می دهد که M-YOLOv3 بالاترین mAP 77.3% را داشت و SSD بهترین عملکرد بلادرنگ را با FPS 42 داشت. در مقایسه با الگوریتم اصلی YOLOv3، میانگین دقت متوسط ​​بسیار بهبود یافته است، اگرچه زمان واقعی عملکرد کاهش یافت در مقایسه با الگوریتم SSD یک مرحله‌ای، mAP 12% بهبود یافت، اما هنوز شکافی در عملکرد زمان واقعی وجود داشت. در مقایسه با گوریتم شناسایی هدف دو مرحله‌ای Faster-RCNN، FPS به 22 بهبود یافت و mAP نیز 1.7٪ بهبود یافت که سرعت تشخیص و همچنین دقت تشخیص را بهبود بخشید. آزمایش‌ها نشان داد که M-YOLOv3 از نظر دقت و سرعت تشخیص بهتر عمل می‌کند.

4.2.3. اثر شناسایی بهبود یافته YOLOv3 بر علائم راهنمایی و رانندگی در یک محیط خاص

با توجه به عوامل مختلفی مانند تابش شدید نور، شب و محیط‌های خاص انسداد علائم راهنمایی و رانندگی که بر تشخیص و تشخیص علائم راهنمایی و رانندگی در سناریوهای رانندگی واقعی تأثیر می‌گذارند، لازم بود تأثیر تشخیص مدل بر علائم راهنمایی و رانندگی در محیط‌های خاص نیز در نظر گرفته شود. در شرایط خاص، مدل ارتقا یافتهYOLOv3 برای تشخیص علائم راهنمایی و رانندگی، همانطور که در شکل 13 نشان داده شده است، استفاده شد.

در شکل 14، اثر تشخیص YOLOv3 با M-YOLOv3 در یک محیط خاص مقایسه شده است. همانطور که در شکل 14 نشان داده شده است (b1,c1)، الگوریتم YOLOv3 در تشخیص علائم راهنمایی مبهم در مورد یک علامت راهنمایی مبهم شکست خورد، در حالی که الگوریتم YOLOv3 بهبود یافته به طور دقیق علامت ترافیک مبهم را شناسایی کرد. همانطور که در شکل 14 (b2,c2) نشان داده شده است، الگوریتم YOLOv3 دارای مشکلات تشخیص نادرست و تشخیص اشتباه برای تشخیص علائم ترافیکی تحت محیط تابش نور شدید بود، در حالی که الگوریتم YOLOv3 بهبود یافته تمام علائم راهنمایی و رانندگی را به دقت تشخیص داد.

الگوریتم بهبودیافته YOLOv3 مقیاس پیش‌بینی ویژگی چهارم را برای اهداف کوچک افزایش داد، و اثر تشخیص اهداف کوچک را بهبود بخشید، در حالی که الگوریتم YOLOv3 مشکلاتی با تشخیص از دست رفته و اطمینان کم برای اهداف کوچک داشت، همانطور که در شکل 14 نشان داده شده است (b3,c3). در محیط های کم نور، مانند شب، الگوریتم ارتقا یافته YOLOv3 علائم راهنمایی و رانندگی را تشخیص می دهد، همانطور که در شکل 14 (b4,c4) نشان داده شده است. با این حال روش YOLOv3 اهداف را شناسایی نکرد. در نتیجه، تحت شرایط خاص، الگوریتم به روز شده YOLOv3 همچنان نتایج تشخیص بهتری را به همراه داشت.

5. نتیجه گیری ها

یک شبکه تشخیص و شناسایی علائم راهنمایی و رانندگی بر اساس YOLOv3 اصلاح شده در این تحقیق برای رسیدگی به مشکلات اهداف کوچکی که شناسایی آنها مشکل است و دقت تشخیص پایین در وظایف تشخیص و شناسایی علائم راهنمایی و رانندگی پیشنهاد شده است.

ساختار جدید ادغام هرمی فضایی ادغام ویژگی‌های محلی و جهانی را در این مطالعه امکان‌پذیر کرد و همچنین مقیاس چهارم پیش‌بینی ویژگی را برای اهداف کوچک برای بهبود اثر تشخیص اهداف کوچک افزایش داد. برای پایدارتر کردن رگرسیون فریم هدف، از افت DIoU استفاده شد که همگرایی سریع‌تری داشت و با رگرسیون فریم هدف سازگارتر بود.

دقت شبکه تشخیص با آسیب رساندن به شبکه بلادرنگ تا حد امکان به میزان قابل توجهی بهبود یافته است. mAP 8.4 امتیاز افزایش یافت. الگوریتم ارتقا یافته YOLOv3 پیچیدگی شبکه را افزایش داد و سرعت تشخیص را کاهش داد. با این حال، تشخیص بلادرنگ هنوز فاصله زیادی دارد. بنابراین، حوزه تحقیقاتی بعدی افزایش سرعت تشخیص برای انجام اثر تشخیص بلادرنگ خواهد بود.

مشارکت های نویسنده: روش شناسی و نگارش- آماده سازی پیش نویس اصلی، AL و CG. فرمالانالیز و بررسی، YS; مدیریت داده، NX. منابع، AL; اعتبار، WH همه نویسندگان نسخه منتشر شده نسخه خطی را خوانده و با آن موافقت کرده اند.

بودجه: این پروژه توسط برنامه علوم و فناوری نوآوری جوانان آموزش عالی استان شاندونگ (Grant No.2019KJB019)، بنیاد علوم طبیعی استان شاندونگ چین (Grant No. ZR2021MF131, ZR2015EL019, and theNational Science Foundation) چین (گرنت شماره 61601265 و 51505258). این پروژه توسط بنیاد علوم پسا دکتری چین (Grant No. 2021M701405)، پروژه باز آزمایشگاه کلیدی ایالتی رفتار مکانیکی و ایمنی سیستم ساختارهای مهندسی ترافیک، چین (گرنت شماره 1903)، پروژه باز Hebei Traffic Safe تامین شده است. آزمایشگاه کلید، چین (شماره گرنت JTKY2019002)، و پروژه اصلی نوآوری علم و فناوری در استان شاندونگ (گرنت شماره 2022CXGC020706).

بیانیه هیئت بررسی نهادی: قابل اجرا نیست.

بیانیه رضایت آگاهانه: قابل اجرا نیست.

بیانیه در دسترس بودن داده ها: قابل اجرا نیست.

تشکر و قدردانی: از همه نویسندگان به خاطر مشارکت در نگارش این مقاله تشکر می کنیم.

تضاد منافع: نویسندگان هیچ گونه تضاد منافع را اعلام نمی کنند.

منابع

1. De la Escalera، A. آرمینگل، جی.ام. ماتا، ام. تشخیص و تجزیه و تحلیل علائم راهنمایی و رانندگی برای وسایل نقلیه هوشمند. تصویر Vis. محاسبه کنید. 2003،21، 247-258. [CrossRef]

2. سعدنا، ی. بهلول، ع. مروری بر روش های تشخیص و طبقه بندی علائم راهنمایی و رانندگی. بین المللی J. Multimed. اطلاعات. Retr. 2017، 6193–210. [CrossRef]

3. بومدین، م. کودل، سی. باست، ام. Ouamri، A. تشخیص علائم راهنمایی و رانندگی مثلثی بر اساس الگوریتم RSLD. ماخ Vis. Appl.2013, 24, 1721-1732. [CrossRef]

4. Maldonado-Bascón، S. لافونته-آرویو، اس. گیل-خیمنز، پ. گومز-مورنو، اچ. Lopez-Ferreras، F. تشخیص و تشخیص علائم جاده بر اساس ماشین‌های بردار پشتیبان. IEEE Trans. هوشمند ترانسپ سیستم 2007، 8، 264-278. [CrossRef]

5. بهلمن، سی. زو، ی. رامش، وی. پلکوفر، م. Koehler, T. سیستمی برای تشخیص، ردیابی و تشخیص علائم راهنمایی و رانندگی با استفاده از اطلاعات رنگ، شکل و حرکت. در مجموعه مقالات IEEE. سمپوزیوم وسایل نقلیه هوشمند، 2005، لاس وگاس، NV، ایالات متحده آمریکا، 6-8 ژوئن 2005. صص 255-260.

6. رن، اس. او، ک. گیرشیک، آر. Sun, J. Faster R-CNN: Towards towards Real-time Object Detection with Region Proposal Networks.Adv. اطلاعات عصبی روند. سیستم 2015، 28، 91-99. [CrossRef] [PubMed]

7. لیو، دبلیو. آنگلوف، دی. ایرهان، د. سگدی، سی. رید، اس. Fu، C.-Y.; Berg، AC SSD: آشکارساز MultiBox تک شات. در کنفرانس اروپایی بینایی کامپیوتر؛ Springer: Cham, Switzerland, 2016; ص 21-37.

8. ردمون، ج. دیووالا، س. گیرشیک، آر. فرهادی، الف. شما فقط یک بار نگاه می کنید: یکپارچه، تشخیص شی در زمان واقعی. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو، لاس وگاس، NV، ایالات متحده، 27-30 ژوئن 2016. IEEE: Piscataway، نیوجرسی، ایالات متحده، 2016؛ صص 779-788.

9. وانگ، ز. Guo, H. تحقیق در مورد تشخیص علائم ترافیکی بر اساس شبکه عصبی کانولوشن. در مجموعه مقالات دوازدهمین سمپوزیوم بین المللی ارتباطات و تعامل اطلاعات بصری، شانگهای، چین، 20 تا 22 سپتامبر 2019؛ صص 1-5.

10. هان، سی. گائو، جی. Zhang، Y. تشخیص علائم ترافیکی کوچک در زمان واقعی با RCNN سریعتر اصلاح شده. چند رسانه ای. ابزارهای کاربردی 2019، 78،13263–13278. [CrossRef]

11. ژانگ، ج. هوانگ، ام. جین، ایکس. Li، X. الگوریتم تشخیص علائم ترافیکی چینی در زمان واقعی بر اساس YOLOv2 اصلاح شده. Algorithms2017, 10, 127. [CrossRef]

12. زو، ز. لیانگ، دی. ژانگ، اس. هوانگ، ایکس. لی، بی. هو، اس. تشخیص و طبقه بندی علائم ترافیکی در طبیعت. در مجموعه مقالات کنفرانس IEEE در مورد بینایی کامپیوتری و تشخیص الگو 2016، لاس وگاس، NV، ایالات متحده آمریکا، 27-30 ژوئن 2016. ص 2110–2118.

For more information:1950477648nn@gmail.com