پروژه چراغ (cheRAGh)

محک جامع سامانه‌های بازیابی تقویت‌شده با تولید (RAG) در زبان فارسی

چراغ (cheRAGh) مجموعه‌ای از بنچمارک‌های استاندارد برای ارزیابی مؤلفه‌ها و سامانه‌های Retrieval-Augmented Generation (RAG) در زبان فارسی است. این پروژه با ارائه مجموعه‌داده‌های تخصصی، معیارهای ارزیابی استاندارد و جدول‌های رتبه‌بندی، بستری یکپارچه برای مقایسه، تحلیل و توسعه مدل‌ها و سامانه‌های RAG فارسی فراهم می‌کند.

هدف چراغ، ایجاد مرجعی متن‌باز، شفاف و بازتولیدپذیر برای پژوهشگران، توسعه‌دهندگان و سازمان‌هایی است که به دنبال ارزیابی منصفانه مدل‌های بازیابی، مدل‌های تعبیه‌سازی (Embedding)، بازرتبه‌بندی (Reranking) و سایر اجزای سامانه‌های RAG هستند.

چراغ با پوشش حوزه‌های مختلف از جمله حقوقی، دینی، علمی، آموزشی و عمومی، تلاش می‌کند تصویری دقیق از عملکرد مدل‌ها در کاربردهای واقعی ارائه دهد و امکان مقایسه آن‌ها را بر پایه معیارهای استاندارد فراهم سازد.

چراغ چیست و چه کاربردی دارد؟

سامانه‌های Retrieval-Augmented Generation (RAG) از چندین مؤلفه مستقل مانند مدل‌های تعبیه‌سازی (Embedding)، بازیابی (Retrieval)، بازرتبه‌بندی (Reranking) و مدل‌های زبانی بزرگ (LLM) تشکیل شده‌اند. کیفیت پاسخ نهایی این سامانه‌ها به عملکرد هر یک از این اجزا وابسته است؛ ازاین‌رو، ارزیابی منصفانه آن‌ها تنها در صورتی امکان‌پذیر است که بر پایه مجموعه‌داده‌های استاندارد، معیارهای سنجش مشخص و فرآیندی بازتولیدپذیر انجام شود.

چراغ (cheRAGh) با هدف ایجاد یک مرجع جامع و استاندارد برای ارزیابی سامانه‌های RAG فارسی توسعه یافته است. این پروژه مجموعه‌ای از بنچمارک‌های مستقل و مکمل را ارائه می‌کند که هر یک یکی از اجزای اصلی یک سامانه RAG را مورد ارزیابی قرار می‌دهند. تمامی ارزیابی‌ها بر پایه مجموعه‌داده‌های فارسی، معیارهای استاندارد و فرآیندهای شفاف انجام می‌شوند تا نتایج حاصل، قابل اعتماد، قابل مقایسه و قابل بازتولید باشند.

در حال حاضر، نخستین بنچمارک پروژه چراغ، ویژه ارزیابی مدل‌های تعبیه‌سازی (Embedding) منتشر شده و از طریق صفحه Embedding Benchmark در دسترس پژوهشگران و توسعه‌دهندگان قرار دارد. این بنچمارک عملکرد مدل‌های مختلف را از منظر کیفیت بازیابی اطلاعات در زبان فارسی مقایسه می‌کند. سایر بنچمارک‌های چراغ، از جمله ارزیابی مدل‌های Reranker، سامانه‌های Retrieval، مدل‌های زبانی بزرگ (LLM) و سایر اجزای زنجیره RAG نیز در مراحل توسعه قرار دارند و به‌تدریج به مجموعه افزوده خواهند شد.

حوزه‌های تحت پوشش (دامنه‌ها)

برای آنکه ارزیابی‌ها نمایانگر کاربردهای واقعی باشند، مجموعه‌داده‌های چراغ پنج دامنه مهم را پوشش می‌دهند:

بنچمارک‌های پروژه چراغ

چراغ مجموعه‌ای از بنچمارک‌های مستقل و مکمل را ارائه می‌کند که هر یک یکی از مراحل اصلی یک سامانه Retrieval-Augmented Generation (RAG) را مورد ارزیابی قرار می‌دهند. هر بنچمارک دارای مجموعه‌داده‌ها، معیارهای ارزیابی و جدول رتبه‌بندی اختصاصی خود است و به‌صورت مستقل منتشر و به‌روزرسانی می‌شود. در کنار یکدیگر، این بنچمارک‌ها تصویری جامع از عملکرد سامانه‌های RAG فارسی، از مرحله بازیابی اطلاعات تا تولید پاسخ نهایی، ارائه می‌کنند.