Replication and Comparative Analysis of a Deep Reinforcement Learning-Based DVFS Framework for Multi-Task Edge Systems

---

شرح پروژه

1. پیاده‌سازی چارچوب پایه
بازسازی کامل چارچوب معرفی‌شده در مقاله مرجع
پیاده‌سازی اجزای اصلی الگوریتم یادگیری تقویتی شامل:

تعریف فضای حالت
تعریف فضای عمل
طراحی تابع پاداش
پیاده‌سازی الگوریتم DRL مطابق مقاله
بررسی و مقایسه نتایج به‌دست‌آمده با نتایج مقاله مرجع از نظر مصرف انرژی و زمان اجرا
 
2. شبیه‌سازی در محیط gem5
راه‌اندازی و پیکربندی شبیه‌ساز gem5
شبیه‌سازی سطوح مختلف ولتاژ و فرکانس (DVFS)
اجرای آزمایش‌ها در محیطی کنترل‌شده و تکرارپذیر
استفاده از gem5 برای تحلیل دقیق رفتار معماری و تأثیر سیاست‌های DVFS
 
3. اجرای سیستم در محیط QEMU
راه اندازی gem5  روی لینوکس توی qemu
 
4. اجرای بارهای کاری استاندارد
اجرای بارهای کاری سبک و مستقل از مجموعه MiBench (مانند bitcount، jpeg، FFT و موارد مشابه)
اندازه‌گیری شاخص‌های عملکرد شامل:

مصرف انرژی
زمان اجرای وظایف
نرخ رعایت ضرب‌الاجل‌ها
استفاده از این نتایج به‌عنوان مبنای مقایسه
 
5. اجرای بارهای کاری پیچیده‌تر و وابسته
پیاده‌سازی و اجرای بارهای کاری سنگین‌تر و وابسته، مانند:

فیلتر تصویر Sobel
یک سناریوی پردازشی چندمرحله‌ای (دریافت داده، پردازش، خروجی)
بررسی توانایی چارچوب DRL در مدیریت وابستگی بین وظایف
تحلیل رفتار سیستم در سناریوهای پیچیده‌تر
 
6. تحلیل حساسیت پارامترهای یادگیری
بررسی اثر تغییر پارامترهای کلیدی یادگیری تقویتی مانند:

نرخ یادگیری
نرخ اکتشاف
ضریب تخفیف
تحلیل تأثیر این پارامترها بر:

مصرف انرژی
پایداری الگوریتم
رعایت ضرب‌الاجل‌ها
ارائه نتایج به‌صورت نمودار و جدول همراه با تحلیل
 
7. اندازه‌گیری و تحلیل مصرف انرژی
استخراج داده‌های مصرف انرژی و عملکرد:

در gem5 از مدل‌های داخلی شبیه‌ساز
در QEMU با استفاده از ابزارهای نرم‌افزاری مانند PowerTOP و sysstat
تحلیل و مقایسه روند مصرف انرژی در دو محیط
 
8. تحلیل تطبیقی و جمع‌بندی
مقایسه نتایج به‌دست‌آمده در:

بارهای کاری سبک و سنگین
وظایف مستقل و وابسته
بررسی میزان تطبیق‌پذیری و پایداری چارچوب DVFS-DRL
جمع‌بندی نقاط قوت و محدودیت‌ها
 
9. تحویل خروجی‌ها
تحویل کامل کدهای پروژه به‌صورت قابل اجرا 

رکورد ویدیو از محیط شبیه ساز ها 

ارائه اسکریپت‌های اجرای آزمایش‌ها
تهیه نمودارها و جداول نتایج

 
10. گزارش نهایی پروژه ( گزارش نهایی پروژه حداقل 15 صفحه باشد)
تهیه گزارش نهایی شامل:

معرفی مسئله 
توضیح روش انجام پروژه و معماری سیستم
تشریح پیاده‌سازی در gem5 و QEMU
ارائه و تحلیل نتایج
نتیجه‌گیری و پیشنهاد برای کارهای آینده  

لینک مقاله : 

[1] X. Li, T. Zhou, H. Wang, and M. Lin, “Energy-Efficient Computation with DVFS using Deep Reinforcement
Learning for Multi-Task Systems in Edge Computing,” arXiv preprint, arXiv:2409.19434 v3, May 2025. [Online].
Available: https://doi.org/10.48550/arXiv.2409.19434

برای این پروژه مجری از قبل انتخاب شده 

مهارت ها و تخصص های مورد نیاز

---

---