کنترل انعطاف پذیر سیگنال ترافیک مبتنی بر توسعه نمایش حالت در روش یادگیری تقویتی عمیق در هنگام وقوع تصادف در تقاطعات شهری

نوع مقاله : علمی - پژوهشی

نویسندگان

گروه کنترل، دانشکده مهندسی برق و کامپیوتر، دانشگاه تربیت مدرس، تهران، ایران

چکیده

روش‌های یادگیری تقویتی عمیق نتایج امیدوارکننده‌ای را در توسعه کنترل‌کننده‌های سیگنال ترافیک نشان داده‌اند. در این مقاله، انعطاف‌پذیری یک کنترل‌کننده مبتنی بر یادگیری تقویتی عمیق را در شرایط ترافیک با حجم زیاد و تحت طیف وسیعی از اختلالات محیطی مانند تصادفات، بررسی کرده و یک کنترل‌کننده قابل اعتماد را در محیط با ترافیک پویا پیشنهاد می‌دهیم. در این روش ،با استفاده از رویکرد گسسته‌سازی هر یک از خیابان‌های چهارراه به سلول‌هایی تقسیم شده وتاثیر اندازه این سلول‌ها به لحاظ متفاوت بودن یا یکسان بودن با یکدیگردر کارآیی الگوریتم بررسی می‌گردد. با انتخاب یک فضای حالت توسعه یافته و متراکم، اطلاعاتی به عامل به عنوان ورودی داده می‌شودکه بتواند درک کاملی از محیط را در اختیار عامل قرار دهد. برای آموزش عامل از روش یادگیری عمیق Q و بازپخش تجربه استفاده شده و مدل پیشنهادی در شبیه‌ساز ترافیک SUMO ارزیابی شده است. نتایج شبیه‌سازی کارایی روش پیشنهادی را در کاهش طول صف حتی در صورت وجود اختلال تأیید می‌کند.

کلیدواژه‌ها


عنوان مقاله [English]

A form of resilient traffic signal control based on the development of state representations in deep reinforcement learning in the presence of accidents at urban intersections

نویسندگان [English]

  • Zahra Zeinaly
  • Mahdi Sojoodi
Department of Electrical and Computer Engineering, Tarbiat Modares University, Tehran, Iran
چکیده [English]

Deep reinforcement learning methods have shown promising results in the development of traffic signal controllers. In this paper, we evaluate the flexibility of a controller based on Deep Reinforcement Learning under high traffic volume and under a variety of environmental disruptions, such as accidents, and propose a reliable controller in a dynamic traffic environment. In this method, using the discretization approach, each of the intersection roads is divided into cells and the effect of the size of these cells in terms of whether they are different or identical is studied on the efficiency of the algorithm. By selecting an extended and dense state space, the agent is given information as input that can provide it with a complete understanding of the environment. The Q-deep learning method and experience replay are used to train the agent, and the proposed model is evaluated in the SUMO traffic simulator. The simulation results confirm the efficiency of the proposed method in reducing the queue length even in the presence of a disruption.

کلیدواژه‌ها [English]

  • Traffic safety
  • Accident
  • Traffic control
  • Deep reinforcement learning

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از تاریخ 25 خرداد 1401
  • تاریخ دریافت: 11 اسفند 1400
  • تاریخ بازنگری: 18 خرداد 1401
  • تاریخ پذیرش: 21 خرداد 1401
  • تاریخ اولین انتشار: 25 خرداد 1401