به نظر می‌آید که Alibaba موفق شده روش جدیدی را برای اجرای مدل‌های هوش مصنوعی روی تعداد کمتری از GPUها پیدا کند. سیستم اشتراک‌گذاری پردازنده گرافیکی علی بابا نیاز به پردازنده‌های گرافیکی انویدیا مانند H20 را تا 82 درصد کاهش می‌دهد. جزئیات بیشتر را در شهر سخت افزار بخوانید.
سیستم اشتراک‌گذاری پردازنده گرافیکی Alibaba Cloud Aegaeon را می‌توان به عنوان ترفندی جالب در زمینه اشتراک منابع محاسباتی معرفی کرد که توانسته پردازنده‌های گرافیکی انویدیا (GPU) را برای اجرای مدل‌های هوش مصنوعی تا 82 درصد کمتر درگیر کند.
این سیستم که Aegaeon نام دارد، به‌مدت بیش از سه ماه روی مدل‌های هوش مصنوعی Alibaba Cloud به‌صورت آزمایشی اجرا شد. طبق نتایج منتشرشده این فناوری توانسته تعداد GPUهای Nvidia H20 مورد نیاز برای اجرای ده‌ها مدل AI تا سقف 72 میلیارد پارامتر را از 1192 کارت گرافیک به 213 کارت کاهش دهد.
مهندسان علی بابا معتقدند که Aegaeon نخستین پروژه‌ای است که هزینه‌های بالای ناشی از اجرای هم‌زمان چندین مدل زبانی بزرگ (LLM) را کاهش می‌دهد. این پژوهش توسط گروهی از محققان دانشگاه پکن و Alibaba Cloud انجام شده است.
روش جالب علی بابا برای مدیریت منابع هوش مصنوعی
واحد Alibaba Cloud به عنوان بخش ابری و هوش مصنوعی گروه علی‌بابا محسوب می‌شود. ارائه‌دهندگان خدمات ابری مانند Alibaba Cloud و Volcano Engine متعلق به ByteDance هم‌زمان هزاران مدل هوش مصنوعی را در اختیار کاربران قرار می‌دهند.
در این میان تنها چند مدل محبوب نظیر Qwen و DeepSeek بیشترین اقبال را میان کاربران دارند و سایر مدل‌ها به‌صورت پراکنده مورد استفاده قرار می‌گیرند. این موضوع باعث اتلاف منابع محاسباتی می‌شود.
طبق اعلام scmp چیزی حدود 17.7 درصد از GPUها برای پاسخ‌گویی به تنها 1.35 درصد از درخواست‌ها در پلتفرم Alibaba Cloud تخصیص داده شده‌اند و ترفند جدید می‌تواند این مقدار را تا حد زیادی کاهش دهد.
موفقیت پروژه Aegaeon نشان می‌دهد که آینده بازار خدمات ابری به سمت اشتراک‌گذاری هوشمند منابع محاسباتی پیش می‌رود. با رشد سریع مدل‌های زبانی بزرگ (LLM) و افزایش حجم درخواست‌ها از سوی کاربران دیگر استفاده از GPUها به‌صورت اختصاصی مقرون به صرفه نیست.
نظر خود را اضافه کنید.
برای ارسال نظر وارد شوید
ارسال نظر بدون عضویت در سایت