انجام پروژه پایتون
شش سال پیش منتشر شده
تعداد بازدید: 521
کد پروژه: 120220
شرح پروژه
سلام
سلام وقت بخیر یه پروژه دارم بابد با اسپارک و پایتون در قالب dataframe نوشته بشه خود داده فایل json هست
چندتا سواله و از روش با کمک راهنمایی هاش باید موتور جستجو تو pyspark نوشته بشه و یه قسمت سوال هم تووو spark submit باید نوشته بشه
dataset: کل سوالات در غالب دو قسمت قرار گرفته و تمام اطلاعات مبنی بر استفاده از نوع library و اینکه باید حتما از dataframe استفاده بشه توی ا ین فایل ذکر شده و این هم گفته شده که از list, dictionary, ... استفاده نکنید . برای توضیح بیشتر تمام اطلاعاتو باز به فارسی نوشتم اما تمامی اطلاعات به صورت کامل در این فایل dataset قرار داره:
در قسمت اول سوال 1 و 2 با استفاده از یک لینک url که داده شده، فایل json بایستی خونده بشه به عنوان dataframe بایستی توی محیط pyspark اجرا بشه و دو تا سوال داره
سوال 6 و 7: با استفاده از فایل shakespeare_full.json باید به دو سوال پاسخ داده بشه که باید توی این قسمت از dataframe استفاده کرد و با توجه به خواسته سوال جواب رو به صورت خواسته شده در اورد.
در قسمت اول تمامی کدها باید توی محیط pyspark نوشته بشه
-----------------------------------------------------------------------
در قسمت دوم باید یک موتور جستجو مشابه با elasticsearch از ابتدا همه چی از اول در محیط pyspark ساخته بشه (سوال 1 و 2) و ذکر شده که
Do not use any existing libraries to compute TFIDF. It has to be done from scratch.
، تمام محاسبات و اطلاعات مورد نیاز مرحله به مرحله توضیح داده شده و اینکه چگونگی محاسبات در فایل week-11-elasticsearch-TFIDF.pdf اسلاید 12 تا 19 فایل pdf گفته شده است. توی سوال 3 در قسمت دوم در محیط spark-submit نوشته بشه
کل متن ارسالی به صورت WORD باشه به همراه کل CODE ها و از کل نتایحSCREENSHOT گرفته بشه تو فایل word گذاشته بشخه
این پروژه شامل 1 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.
مهارت ها و تخصص های مورد نیاز
مهلت برای انجام
6روز
وضعیت مناقصه
بسته
درباره کارفرما
عضویت ده سال پیش
