پایان مشکل هوش مصنوعی: SubQ با ۱۰۰۰ برابر صرفه‌جویی، Claude و GPT را به چالش می کشد؟

در دنیای هوش مصنوعی، یکی از بزرگ‌ترین مشکلات مدل‌های زبانی مثل GPT، Claude و Gemini، معماری ترنسفورمر است. این معماری که از سال ۲۰۱۷ پایه همه مدل‌های بزرگ شد، عالی کار می‌کند اما مشکل بزرگی دارد: وقتی طول متن (Context) طولانی می‌شود، هزینه پردازش به صورت نمایی (Quadratic) افزایش پیدا می‌کند.

به زبان ساده: اگر تعداد توکن‌ها دو برابر شود، محاسبات تقریباً چهار برابر می‌شود. اگر سه برابر شود، نه برابر! همین مسئله باعث شده مدل‌ها در Contextهای خیلی بزرگ کند و گران شوند و نتوانند اطلاعات طولانی را به خوبی پردازش کنند.