‫جستجوی هوشمند

جستجوی هوشمند
با
Elasticsearch
ارائه‌دهنده: حدیثه نقوی
مهسا اشرفی راضیه بهمن یار
نام استاد: دکتر وحیدی پور
جستجوی هوشمند با Elasticsearch
بهار 1397

فهرست
درخواست‌های پایه
مراحل نصب
آنالیزورها
مقایسه با Solr
تعریف اولیه
تاریخچه
مفاهیم پایه
اهمیت ایجاد Shard
ویژگی‌ها
کاربرد
جستجوی هوشمند با Elasticsearch

جستجوی هوشمند با Elasticsearch
موتور جستجوی full-text و آنالیز توزیع‌شده
متن باز و نوشته‌شده توسط زبان برنامه نویسی جاوا
دارای قابلیت multitenancy
ارائه سرویس به تعداد زیادی tenant توسط یک نمونه از برنامه
ساخته شده بر پایه کتابخانه‌های Apache Lucene
استفاده شده در وب‌سایت‌های مشهور نظیر گیت هاب، موزیلا، استک اورفلو
تعریف اولیه

جستجوی هوشمند با Elasticsearch
ایده اولیه در زمان انتشار نسخه سوم Compass
توسط Shay Banon
بازنویسی مجدد برنامه جهت تبدیل آن به برنامه جستجوی توزیع‌شده
قابل استفاده از طریق پروتکل HTTP
دریافت و ارسال اطلاعات به فرمت JSON
انتشار نخستین نسخه برنامه در فوریه 2010
پایه‌گذاری شرکت Elasticsearch BV در سال ۲۰۱۲
جهت ارائه سرویس‌ها و محصولات تجاری در حیطه کاری Elasticsearch
تاریخچه

جستجوی هوشمند با Elasticsearch
جایگاه الاستیک سرچ

جستجوی هوشمند با Elasticsearch
NRT یا Near Realtime
نیاز به صرف زمان خیلی کم از شروع شاخص‌بندی سند تا امکان جستجوی آن
Cluster
مجموعه‌ای از یک یا چند گره (سرور)
نگهداری تمام داده‌ها به صورت جمعی
قابلیت جستجو و شاخص‌بندی جداگانه در تمامی گره‌ها
Document
واحد پایه اطلاعات قابل شاخص‌گذاری
مفاهیم پایه (1)

جستجوی هوشمند با Elasticsearch
Node (گره)
یک سرور و بخشی از یک کلاستر
شرکت در ذخیره‌سازی، جستجو و شاخص‌بندی
Index (شاخص)
شامل مجموعه ای از اسناد با ویژگی‌های مشابه
Type (نوع)
دسته‌بندی منطقی شاخص‌ها
مفاهیم پایه (2)

جستجوی هوشمند با Elasticsearch
Shard
راه حلی برای مقابله با محدودیت‌های سخت‌افزاری گره‌ها
مثال: نیاز به یک ترابایت فضا برای شاخص یک میلیارد سند
قرار دادن شاخص روی قسمت‌های مختلف
به خودی خود شاخصی مستقل و با کارایی کامل
قابل قرارگیری بر روی هر کدام از گره‌های کلاستر
Replica
کپی کاملی از یک shard روی گره‌های دیگر
افزایش ضریب اطمینان برنامه در هنگام بروز مشکل
مفاهیم پایه (3)

جستجوی هوشمند با Elasticsearch
امکان توزیع محتوا به صورت افقی
موازی‌سازی عملیات روی چندین گره
افزایش کارایی و خروجی
اهمیت ایجاد Shard

جستجوی هوشمند با Elasticsearch
سرعت بالا در ساخت شاخص و پاسخگویی به جستجوها
مقیاس‌پذیری
قابل استفاده برای حجم بالای داده‌ها
سادگی در نصب، مدیریت و پیکربندی
عدم نیاز به تعریف اولیه ساختار داده‌ها (Schemaless)
کارایی بالا
ویژگی‌ها (1)

جستجوی هوشمند با Elasticsearch
امکان ذخیره، جستجو و آنالیز حجم عظیمی از داده‌ها به صورت آنی
قابلیت استفاده به عنوان تکنولوژی زیرساخت
نیاز مبرم برنامه‌های کاربردی به جستجو پیشرفته و سریع
قابلیت پشتیبانی از کوئری‌های پیچیده
ویژگی‌ها (2)

جستجوی هوشمند با Elasticsearch
در فروشگاه‌های آنلاین
جستجو در میان حجم عظیمی از محصولات و دستیابی به مشخصات محصول
آنالیز داده‌های مربوط به تراکنش‌ها و لاگ‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌‌ها
پیدا کردن الگو‌ها و نقاط غیرنرمال
تحلیل‌های آماری
استفاده از قابلیت Reverse Search
فراهم‌آوری امکان تعیین بازه قیمت محصولات
استفاده از Kibana
ساخت داشبوردهای تجاری و به کارگیری هوش تجاری (BI)
-ارسال درخواست ها به http
کاربرد

جستجوی هوشمند با Elasticsearch
نیاز به نصب جاوا نسخه 8 به بالا
دانلود فایل برنامه به صورت زیپ یا tar.gz از وب‌سایت elastic.co
اجرای فایل elasticsearch.bat (ویندوز) ./elasticsearch (لینوکس)
راه‌اندازی سرور به صورت پیش‌فرض روی پورت 9200
ارسال تقاضا‌ها به REST API سرور
دریافت و ارسال تقاضاها به فرمت JSON
مراحل نصب

جستجوی هوشمند با Elasticsearch
Char Filter
Tokenizer
Token Filter
هرکدام از این بخش ها برای حل کردن بخشی از مشکلات تحلیل زبان بکار می روند
بررسی آنالیزورها

جستجوی هوشمند با Elasticsearch
کارکرد بخش char filter
حل مشکل نیم فاصله در زبان فارسی
اعداد اعشاری
کارکرد بخش tokenizer
تشخیص اعداد فارسی
تشخیص توکن های تاریخ زمان
کارکرد بخش token filter
Stemmer
Stop word
Normalizer
Word deliment
synonym
آنالیزورها

جستجوی هوشمند با Elasticsearch
دارای کتابخانه‌های رسمی Java، Groovy، PHP، Javascript و.NET
در مقابل Solr فقط دارای کتابخانه جاوا
قابلیت ورود داده از منابع مختلف نظیر پایگاه داده‌ها و سیستم‌های مختلف
در مقابل پشتیبانی از تعداد محدودی منبع
امکان استفاده از کوئری‌های پیچیده DSL
قابلیت جستجو معکوس (ارسال کوئری و سپس ارسال سند برای بررسی تطابق)
استفاده آسان‌تر و راحت‌تر نسبت به Solr
مقایسه با Solr

سوال
جستجوی هوشمند با Elasticsearch