پروژه پای اسپارک(15744)+
پنج سال پیش منتشر شده
تعداد بازدید: 345
کد پروژه: 224521
شرح پروژه
2. تجزیه و تحلیل داده های بزرگ - نمودار اجتماعی توییتر توضیحات اساسی: نمایش نمودار اجتماعی توییتر را بارگیری کنید و پاسخ س questionsالات زیر را ارائه دهید: 1. کدام 3 شناسه کاربر بیشترین دنبال کننده را دارند؟ 2. کاربر را که بیشترین تعداد حساب را دارد دنبال کنید (کاربر f). محاسبه: کوتاهترین مسیر بین f و هر کاربر دیگر u در نمودار (به عنوان مثال کمترین تعداد لبه ها بین f و u ، جایی که لبه u1-> u2 نشان دهنده u است ، به دنبال u2). طول 3 مسیر طولانی و گره های پایان را گزارش دهید. o اختیاری: طولانی ترین چرخه ، به عنوان مثال مسیر شروع و ختم در f اما حداکثر یک بار بازدید از کاربران دیگر (گزارش طول ، یا اگر طول کمتر از 20 لبه یا مساوی است ، شناسه های اشاره را گزارش دهید). 3. از داده های نمودار برای پاسخ به س questionsالات زیر استفاده کنید: آیا نمودار کم است یا متراکم؟ آیا جواب به نوعی تعیین می کند که چگونه می توان راه حل س questionsالات 1 و 2 را پیدا کرد؟ اگر نمودار متراکم است ، نمونه ای از نمودار پراکنده (و بالعکس) را ارائه دهید. o فرض کنید که داده ها به جای دنبال کردن توییتر ، انتقال پول را نشان می دهند. برای نشان دادن خطر بالای پولشویی ، به دنبال چه الگوهایی هستید؟ چه اطلاعات اضافی دیگری باید به نمودار اضافه شود تا شناسایی پولشویی ساده شود؟ دستورالعمل های دقیق: هیچ محدودیتی در فن آوری (الگوریتم ها ، نرم افزار ، زیرساخت ها) وجود ندارد ، اما ارسال باید شامل شرح روشنی باشد ، شامل. زیرساخت های مورد استفاده مجموعه کامل بزرگ است. در عوض می توانید فقط از 10 میلیون خط بالای داده های منبع استفاده کنید ، اما لطفاً گزینه های مدیریت مجموعه داده کامل را شرح دهید یک کد قابل تکرار ، و یک شرح مختصر کتبی از رویکرد و پاسخ س questionsالات بالا ارسال کنید. توضیحات می تواند در دفترچه های pdf ، .docx ، .ppt یا jupyter باشد ، اما قالب باید از ارائه کوتاه به مخاطبان فاقد پس زمینه نمودار پشتیبانی کند. لینک بارگیری اطلاعات: http://an.kaist.ac.kr/~haewoon/release/twitter_social نمودار / توییتر rv.tar.gz http://an.kaist.ac.kr/~haewoon/release/twitter_social نمودار / twitter rv.zip لینک جایگزین (اگر با مشکلات بارگیری روبرو هستید): https://open-bucket-22032021.s3.eu-central-1.amazonaws.com/twitter_rv.zip قالب داده: USERID \ t FOLLOWERID \ n
PySpark
یک پروژه تحلیل داده
+++
مهارت ها و تخصص های مورد نیاز
مهلت برای انجام
20روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت سیزده سال پیش
