kafka vs rabitmq vs Redis

RabbitMQ چیست؟

RabbitMQ یک راه حل منبع باز شناخته شده در message queue است که با Erlang OTP نوشته شده است، یک فناوری طراحی شده برای ساخت سیستم های پایدار، قابل اعتماد، مقاوم به خطا و بسیار مقیاس پذیر. این به سیستم ها کمک می کند تا قابلیت های بومی مدیریت چندین عملیات همزمان را داشته باشند. صف پیام توسعه پذیر یک واسطه پیام است که از AMQP (پروتکل صف پیام پیشرفته) پشتیبانی می کند. علاوه بر این، با سایر راه حل های پیام رسانی مانند MQTT نیز قابل اعتماد است.

فعال کردن RabbitMQ در سطح بسیار بسیار بالا به سرویس‌های مختلف در برنامه شما اجازه می‌دهد تا بدون نگرانی در مورد از دست دادن پیام هنگام برآورده کردن الزامات مختلف کیفیت خدمات (QoS) با یکدیگر ارتباط برقرار کنند. همچنین امکان مسیریابی دقیق و کارآمد پیام ها را فراهم می کند و برنامه ها را قادر می سازد تا حد زیادی از هم جدا شوند.

ویژگی های RabbitMQ

• قابلیت اطمینان: عملکرد سرور را با قابلیت اطمینان، از جمله ماندگاری، تأیید تحویل، تأیید ناشر و در دسترس بودن بالا، افزایش می دهد.
• مسیریابی انعطاف پذیر: چندین نوع مبادله داخلی را برای مسیریابی پیام ها قبل از رسیدن به صف ارائه می دهد.
• Clustering: این کار سرور RabbitMQ را در بین چندین سرور مقیاس می دهد.
• صف های بسیار در دسترس: صف ها را می توان در چندین ماشین در یک کلاستر منعکس کرد، تا اطمینان حاصل شود که حتی در صورت خرابی سخت افزار، پیام های شما ایمن هستند.
• چند پروتکل: از ارسال پیام از طریق انواع پروتکل های پیام رسانی پشتیبانی می کند.
• بسیاری از مشتریان: تقریباً برای هر زبانی که فکرش را بکنید، کلاینت های RabbitMQ زیادی وجود دارد.
• رابط کاربری مدیریت: RabbitMQ دارای رابط کاربری مدیریتی آسانی است که به شما امکان می دهد هر جنبه ای از واسطه پیام خود را نظارت و کنترل کنید.
• سیستم پلاگین: RabbitMQ با انواع پلاگین ها عرضه می شود که آن را به روش های مختلف گسترش می دهند.

مزایای RabbitMQ

• برای messaging بسیار مفید است.
• قابلیت تحمل خطا را دارد.
• می توان آن را بدون زحمت ادغام کرد.
• همزمان و استفاده از منابع است.
• فرآیندهای داخلی را مستند می کند تا به شما کمک کند به طور کامل بفهمید چه کاری می توانید انجام دهید و چه کاری نمی توانید انجام دهید.
• فوق العاده انعطاف پذیر است.
• نتایج عملکرد دقیقی را ارائه می دهد.
• این قابلیت را دارد که داده های سیستم را در قالبی ساده تر و خواناتر تفسیر کند.
• یک single broker است که آن را کارآمد می کند.
• پلاگین های سفارشی (جاوا).
• خوشه بندی.
• با ارائه تاییدیه تحویل(delivery )، از گم شدن پیام ها جلوگیری می کند.
• الگوهای مسیریابی مختلفی را برای ارسال پیام به شما می دهد.
• به عنوان منبع باز بودن، برای همه قابل دسترسی است.
• حداقل ترافیک را دارد.
• سیستم پیکربندی کارآمد است.
• این شامل authentication  و authorization خوب است که امنیت آن را دوچندان می کند.
• با استفاده از RabbitMQ می توان یک میلیون پیام را در یک ثانیه مقیاس کرد.
• احراز هویت مبتنی بر رمز عبور را فراهم می کند.

معایب RabbitMQ

• مشکلات مربوط به پردازش حجم زیادی از داده ها.
• به ارلنگ نیاز دارد.
• نگهداری آن نسبتاً سخت است.
• Non-transactional (by default).
• در محیط های پر ترافیک به یک خوشه تبدیل می شود.
• کندی در پردازش مجموعه داده های بزرگ
• مستندات ضعیف

Redis چیست؟

Redis یا Remote Dictionary Server یک ذخیره اطلاعات ارزش کلیدی NoSQL پیشرفته است. به عنوان پایگاه داده، حافظه پنهان و رسانه پیام رسانی استفاده می شود. این به دلیل عملیات خواندن و نوشتن، انواع داده های غنی و ساختار حافظه پیشرفته محبوب است. با کمک Redis می توانید برنامه های وب با کارایی بالا و مقیاس پذیر توسعه دهید.

به دلیل اینکه کلید آن شامل رشته‌ها، هش‌ها، لیست‌ها، مجموعه‌ها، مجموعه‌های مرتب‌سازی، بیت مپ و غیره است، اغلب به آن سرور ساختار داده می‌گویند. . سازمان هایی که از Redis استفاده می کنند عبارتند از Twitter، Github، Instagram، Pinterest و Snapchat.

ویژگی های Redis

• در دسترس بودن و مقیاس پذیری بالا.
• ماندگاری داده ها
• ساختارهای داده غنی
• سادگی.
• برنامه های چت و پیام رسانی
• موارد استفاده برنامه چت و استفاده از ساختار داده مربوطه.
• Session store

نکات مثبت Redis

• سرعت - از آنجایی که یک سرور Redis داده ها را در حافظه خود ذخیره می کند، واقعاً بسیار سریع کار می کند. توانایی انجام 110000 SET در ثانیه و 81000 GET در ثانیه را دارد.
• راه اندازی آسان – می توانید بدون زحمت Redis را در سیستم خود پیکربندی کنید.
• تطبیق پذیری - Redis بسیار متنوع است. می توان از آن برای ذخیره سازی، صف های پیام رسانی و داده های کوتاه مدت مانند جلسات برنامه وب استفاده کرد.
• ارائه عملیات Atomic - ردیس Redis تضمین می کند که وقتی دو مشتری به طور همزمان به داده های خود دسترسی دارند، سرور آن تمایل به دریافت یک مقدار به روز دارد.
• پشتیبانی از انواع داده های غنی - Redis از انواع داده های زیادی مانند مجموعه، لیست، مجموعه مرتب شده، هش و بسیاری دیگر پشتیبانی می کند.

معایب Redis

• حافظه محدود - از آنجایی که Redis یک پایگاه داده در حافظه است، کل مجموعه داده در RAM قرار دارد. اگر قصد دارید مجموعه داده بزرگتری داشته باشید، می تواند منجر به سرمایه گذاری پرهزینه شود.
• پایداری - Redis از یک حافظه خالی برای ایجاد عکس های فوری استفاده می کند که برای ماندگاری استفاده می شود. بر عملکرد تاثیر می گذارد و پایگاه داده را کند می کند.
• امنیت - Redis فقط گزینه های امنیتی اساسی دارد. کاربری که از Redis استفاده می کند از مزایای کنترل دسترسی برخوردار نیست. آنها باید به دنبال لایه مجوز دیگری برای چنین ویژگی باشند.
• Query And Aggregation – Redis یک پایگاه داده با ارزش کلیدی است که پرس و جوهای غنی را محدود می کند. هیچ پشتیبانی متن کاملی وجود ندارد و مدل سازی روابط با Redis دشوار است.

RabbitMQ در مقابل Redis - تفاوت بین Message Brokers

RabbitMQ به عنوان یک کارگزار پیام اختصاصی طراحی شده است، در حالی که Redis یک پایگاه داده است که می توانید از آن به عنوان کارگزار پیام استفاده کنید. عمدتا RabbitMQ از Redis بهتر عمل می کند و با کمک دوام پیام و قدردانی، تحویل پیام را تضمین می کند.

در حالی که از مکانیسم pub یا  sub یا فرعی Redis استفاده می کند، تحویل پیام را تضمین نمی کند. یعنی اگر فعال نباشید پیامی را که در آن مشترک شده اید دریافت نخواهید کرد. از سوی دیگر، RabbitMQ از پیام‌های دائمی پشتیبانی می‌کند و برای ارائه توان عملیاتی بالا در اکثر موقعیت‌ها بدون تنظیمات طراحی شده است. علاوه بر این، از آنجایی که Redis یک ذخیره‌سازی اطلاعات در حافظه است، از پیام‌های دائمی پشتیبانی نمی‌کند.

RabbitMQ به شما امکان می دهد با استفاده از گواهینامه های SSL برای رمزگذاری داده های خود، یک لایه امنیتی اضافی داشته باشید. با این حال، Redis به صورت بومی از SSL پشتیبانی نمی کند. اگر می خواهید SSL را فعال کنید، باید یک سرویس پولی را انتخاب کنید.

در RabbitMQ، تولیدکنندگان باید نوع آن را در حین انتشار پیام در exchange مشخص کنند. برعکس، تولیدکنندگان می‌توانند هنگام انتشار پیام، کانال واقعی یا کانال تطابق الگو را انتخاب کنند.

در RabbitMQ می‌توانید تا 50 هزار پیام در ثانیه ارسال کنید، در حالی که در Redis می‌توانید تا میلیون پیام در ثانیه مقیاس دهید.

RabbitMQ با پشتیبانی از خوشه بندی بهتر عمل می کند.

هر دو پیام نقطه به نقطه و  pub sub توسط RabbitMQ پشتیبانی می شوند. با این حال، توسط Redis پشتیبانی نمی شود.

کافکا چیست؟

آپاچی کافکا یک چارچوب متن باز است که توسط آپاچی با مجوز Apache License 2.0 ایجاد شده است. از آن برای ایجاد یک جریان در زمان واقعی، خط لوله داده و برنامه های کاربردی داده استفاده می شود که به انتقال جریان های داده از یک سر به سر دیگر کمک می کند. یک خط لوله داده برای انتقال داده ها از یک سیستم به سیستم دیگر و یک برنامه داده جریانی برای مصرف جریان های داده استفاده می شود. جریان های داده، سیل داده ها را مدیریت می کنند و منابع داده را در هزاران تولید می کنند.

سرور کافکا یک پلتفرم واسطه پیام برای ایجاد یک رسانه ارتباطی بین برنامه‌ها با استفاده از مدل گزارش پارتیشن‌بندی شده است. کافکا یک پلتفرم جریان رویداد است که صف می‌دهد پردازش داده‌ها را برای مشتریان متعدد پراکنده می‌کند و انتشار اشتراک رویکرد چند مشترک را پیاده‌سازی می‌کند.

جالب توجه است که در کافکا، لاگ ترتیب مرتبی از رکورد هاست که در واحدی که با مشترکین جداگانه مرتبط است، تجزیه می شود. علاوه بر این، سه ویژگی اصلی را به کاربران خود ارائه می دهد. کاربران را قادر می‌سازد تا جریان‌های رکورد را مشترک یا منتشر کنند، جریان‌های تاریخ را ذخیره کنند و جریان‌های رکورد را در زمان واقعی اجرا کنند.

نکات مثبت کافکا

• کافکا می تواند پیام هایی را با دامنه تاخیر کم میلی ثانیه مدیریت کند.
• از طریق توانایی ذاتی خود در تحمل خطا می تواند از خطا جلوگیری کند.
• به عنوان یک بافر عمل می کند.
• نیاز به ادغام های متعدد را کاهش می دهد.
• رابط کافکا با منابع رویداد مانند Postgres، JMS یا Elasticsearch یکپارچه می شود.
• پیام‌ها را ذخیره می‌کند تا شما پیام‌ها را اشتباه جا نزنید (کپی‌هایی از پیام‌ها را نگه دارید).
• مقیاس پذیری به عنوان مجموعه داده های بزرگ به سرعت توسط کافکا پردازش و مدیریت می شود (هزاران پیام را می توان در هر ثانیه پردازش کرد).
• تطبیق پذیر است زیرا مطابق با مصرف کنندگان منحصر به فرد عمل می کند و آن را برای کاربران دوستانه تر می کند.
• مدیریت زمان واقعی و خط لوله داده در زمان واقعی.

معایب کافکا

• کمبود ابزار نظارت
• کارگزاران جدید می توانند بر عملکرد تأثیر بگذارند.
• الگوهای پیام محدودیت از صف های درخواست، پاسخ و نقطه به نقطه پشتیبانی نمی کنند.
• گاهی اوقات زمانی که دامنه خوشه های کافکا افزایش می یابد کند می شود.
• هنگامی که پیام های فشرده شده توسط مصرف کننده و کارگزار از حالت فشرده خارج می شوند، عملکرد کاهش می یابد.

RabbitMQ در مقابل کافکا

در زیر تفاوت های قابل توجه بین RabbitMQ و کافکا آمده است:

عملکرد: RabbitMQ می تواند چهار هزار تا ده هزار پیام را در ثانیه پردازش کند. در حالی که کافکا می تواند یک میلیون پیام را در ثانیه پردازش کند که باعث می شود عملکرد کافکا سریعتر از RabbitMQ باشد.

توپولوژی: RabbitMQ مبتنی بر توپولوژی صف Exchange است که در آن پیام‌های شما پس از ارسال به صف‌های مختلف برای استفاده مصرف‌کنندگان برای تبادل ارسال می‌شوند. کافکا یک توپولوژی اشتراک انتشار است که در آن پیام‌های شما پس از ارسال به کاربران از طریق گروه‌های مجاز مختلف، در قالب جریان ارسال می‌شوند.

الگوی پیام: RabbitMQ پیام‌ها را هنگام تحویل و تایید از صف‌ها حذف می‌کند. از سوی دیگر، کافکا رکوردی از پیام ها را تا تاریخ انقضا حفظ می کند و پیام ها را در صف ها ذخیره می کند.

مدل: RabbitMQ مدل Smartbroker/DumbConsumer را پیاده سازی می کند. کارگزار به طور مداوم پیام ها را برای مصرف کننده ارسال می کند و در عین حال گزارشی از وضعیت آنها دارد. در مقابل، کافکا مدل Dumbbroker/SmartConsumer را پیاده‌سازی می‌کند که رکورد را حفظ نمی‌کند، اما پیام‌های نادیده را برای یک زمان خاص نگه می‌دارد.

انتقال داده: RabbitMQ از جریان داده محدود استفاده می کند که در آن تولید کننده پیام ها را می نویسد یا ارسال می کند و مصرف کننده پیام ها را دریافت می کند. برعکس، کافکا از جریان داده های نامحدود استفاده می کند که در آن یک جفت ارزش کلیدی بدون مکث به موضوع تعیین شده جریان می یابد.

اندازه پیلود : RabbitMQ شامل حجم نامحدودی از محموله است که ظرفیت بیشتری را برای انتقال داده‌هایتان در اختیار شما قرار می‌دهد، اما برعکس در کافکا، اندازه بار پیش‌فرض یک مگابایت دارد.

موارد استفاده: RabbitMQ مبتنی بر موارد استفاده ساده است، اما از سوی دیگر کافکا بر اساس داده های عظیم یا موارد با توان بالا است.

پارادایم پیام‌رسانی ناهمزمان: RabbitMQ و کافکا هر دو از الگوی پیام‌رسانی ناهمزمان پیروی می‌کنند تا پیام‌ها را از تولیدکننده به برنامه‌های مصرف‌کننده ارسال کنند. با این حال، لازم نیست تولید کننده یا مصرف کننده همزمان با هم آنلاین باشند.

رویکرد Pull or Push : ربیت RabbitMQ از رویکرد Pull استفاده می‌کند. رویکرد Pull تضمین می‌کند که پیام‌ها باید موازی شوند و هنگام ارسال به صف‌ها پردازش شوند. در مقابل، کافکا از یک رویکرد Push استفاده می‌کند، که مصرف‌کنندگان را قادر می‌سازد تا پیام‌ها/داده‌ها را از موضوع دریافت کنند.

منابع:
https://cloudinfrastructureservices.co.uk/rabbitmq-vs-redis-message-brokers/

https://cloudinfrastructureservices.co.uk/rabbitmq-vs-kafka-message-brokers/