این پروژه اطلاعات ذخیره شده در یک مجموعه داده متنی را بررسی و تجزیه و تحلیل می کند

شرح پروژه

استخراج اطلاعات از داده های متنی

این پروژه اطلاعات ذخیره شده در یک مجموعه داده خاص را بررسی و تجزیه و تحلیل می کند. در این مورد مجموعه داده ACL Anthology (https://aclanthology.org/). ما تکنیک های مختلف برای به دست آوردن اطلاعات ارزشمند را بررسی خواهیم کرد.

وظیفه 1: یافتن موارد مشابه

به طور تصادفی 1000 چکیده از کل مجموعه داده انتخاب کنید. موارد مشابه را با استفاده از شباهت های جکارد جفتی، MinHash و LSH (نسخه های برداری شده) پیدا کنید.

عملکرد در زمان و نتایج را برای k-shingles = 3، 5 و 10، برای سه روش و آستانه تشابه s=0.1 و 0.2 مقایسه کنید. از 50 تابع هش استفاده کنید. نتایج خود را کامنت کنید

نتایج به دست آمده برای MinHash و LSH را برای آستانه شباهت های مختلف s = 0.1، 0.2 و 0.25 و 50، 100 و 200 توابع هش مقایسه کنید. نتایج خود را کامنت کنید

وظیفه 2: استخراج اطلاعات از داده های متنی

با استفاده از کل مجموعه داده انتزاعی گلچین ها. فهرستی از نویسندگان و ویراستاران در هر نشریه را استخراج کنید و سبدهایی ایجاد کنید و موارد مشابه را جستجو کنید، به عنوان مثال:

سبد 1: مصطفی زاده دوانی آیدا، کیلا دووه، لامبرت ماتیاس، ویدگن، برتی پرابهاکاران وینودکومار، وسیم، زیرک

سبد 2: سینگ سومر، لی شنگ

جفت مکرر آیتم ها (2 تایی) را با استفاده از الگوریتم های ساده، A-priori و PCY پیدا کنید. برای هر یک از اینها زمان اجرا و نتایج را برای پشتیبانی s=10، 50، 100 مقایسه کنید. نتایج خود را کامنت کنید.

برای الگوریتم PCY، حداکثر 5 جدول هش فشرده ایجاد کنید. تفاوت نتایج و زمان اجرا برای جداول 1،2،3،4 و 5 چیست؟ نتایج خود را کامنت کنید

فهرست نهایی اقلام k مکرر (k-tuples) را برای k=3 و 4 پیدا کنید. کمی آزمایش کنید و بهترین مقدار را برای پشتیبانی در هر مورد توصیف کنید. هشدار: می توانید از هر یک از سه الگوریتم استفاده کنید، اما مراقب باشید زیرا اگر الگوریتم را به درستی انتخاب نکنید، ممکن است خیلی طول بکشد ( از رویکرد naïve استفاده نکنید )).

وظیفه 3: نمودارها و شبکه های اجتماعی

با استفاده از کل مجموعه anthologies abstract dataset.

از قسمت انتزاعی، با استفاده از دو آستانه شباهت مختلف (به عنوان مثال 0.05، 0.1)، یک شبکه بدون وزن از جفت های مشابه به دست آمده (استفاده از MinHashing یا LSH) برای هر آستانه ایجاد کنید.

از لیست سبد نویسندگان/ویراستاران، با استفاده از A-Priori یا PCY، یک شبکه وزنی ایجاد کنید و از آستانه پشتیبانی به عنوان وزن استفاده کنید.

اجتماعات شبکه های به دست آمده در 1. و 2 را بیابید. نتایج را با توجه به آستانه ها و روش های مختلف نظر دهید. چگونه با همان تجزیه و تحلیل با استفاده از 1-NN انجام شده در وظایف قبلی مقایسه می شود؟

از یک نرم افزار، کتابخانه یا سرویس آماده (مثلا gephi) برای تجسم شبکه در 1 یا 2 استفاده کنید.

این پروژه شامل 2 فایل مهم است، لطفا قبل از ارسال پیشنهاد حتما نسبت به بررسی این فایل اقدام فرمایید.

مهارت ها و تخصص های مورد نیاز

درباره کارفرما

کاربر419062

عضویت سه سال پیش

1 پروژه ثبت شده ،

0 پروژه در حال انجام ،

0 پروژه آماده دریافت پیشنهاد ،

نرخ پذیرش پیشنهاد 0%