شتاب دهنده هوش مصنوعی GB200 NVL72 انویدیا تا 28 برابر سریع‌تر از AMD MI355X عمل می‌کند

به تازگی رک‌های هوش مصنوعی GB200 NVL72 انویدیا در قالب یک محیط Mixture of Experts یا MoE مورد آزمایش قرار گرفته‌اند و موفق شده‌اند با اختلافی بسیار زیاد عملکرد بهتری از شتاب دهنده AMD Instinct MI355X ارائه دهند. عملکرد بسیار بهتر این رک‌ها نسبت به شتاب دهنده B200 انویدیا نیز از نتایج جالب و قابل توجه این بررسی است که اهمیت این محصول جدید را نشان می‌دهد.

براساس گزارش Wccftech و با استناد به بنچمارک‌های SemiAnalysis InferenceMAX می‌توان متوجه شد که سرورهای هوش مصنوعی جدید و در خانواده  Blackwell انویدیا، که با عنوان GB200 NVL72 شناخته می‌شوند، به ازای هر هسته گرافیکی و در نرخ 75 توکن بر ثانیه، 28 برابر توان عملیاتی بیشتر نسبت به شتاب دهنده MI355X شرکت AMD ارائه می‌دهند. این میزان عملکرد نسبت به شتاب دهنده‌های B200 انویدیا، چیزی در حدود 6.5 برابر بهتر توصیف شده است.

اگرچه این اختلاف عملکرد چشمگیر عجیب به نظر می‌رسد اما انویدیا پیش‌تر دلیل آن را توضیح داده است. به گفته انویدیا برای رفع گلوگاه‌های عملکردی در مقیاس‌‌دهی مدل‌های MoE، از رویکرد جدیدی با عنوان Co-Design استفاده شده است که شامل پیکربندی 72 تراشه‌ای پردازنده GB200 به ‌همراه 30 ترابایت حافظه پرسرعت می‌شود. این ترکیب، استفاده و موازی‌سازی پردازش اکسپرت‌ها را به سطح کاملاً جدیدی می‌رساند.

Mixture of Experts که به اختصار MoE نیز نامیده می‌شود یک معماری‌ در مدل‌های هوش مصنوعی است که در آن با هر ورودی به ‌جای استفاده همزمان از کل مدل، تنها چند زیرشبکه تخصصی متناسب فعال می‌شوند. این روش بهره‌وری محاسباتی را بالا می‌برد و امکان ساخت مدل‌های بسیار بزرگ‌تر را فراهم می‌کند. این موضوع سبب شده است مدل‌های هوش مصنوعی به ‌سرعت به سمت معماری‌های مبتنی بر MoE حرکت کنند، زیرا این معماری امکان استفاده به‌ مراتب کارآمدتر از منابع محاسباتی را فراهم می‌کند.

اما باید توجه داشت که استفاده از قابلیت مقیاس‌پذیری این مدل‌ها در مقایسه با مدل‌های موسوم به Dense یک گلوگاه محاسباتی ایجاد می‌کند. معماری MoE بر اجرای زیرشبکه‌های جداگانه‌ای موسوم به «اکسپرت‌ها»‌ متکی است و به همین دلیل به حجم بسیار بالایی از ارتباطات و انتقال داده بین نودها نیاز دارد؛ موضوعی که فشار شدیدی بر پهنای باند وارد کرده و مشکلاتی از بابت تاخیر را ایجاد می‌کند. این موضوع سبب شده است فاکتوری همچون بهترین نسبت عملکرد به هزینه بسیار مورد توجه قرار بگیرد که طبق آن رک هوش مصنوعی GB200 NVL72 انویدیا در آن بسیار خوب عمل کرده و گزینه‌ای مناسب برای اجرای مدل‌ها در معماری‌های MoE محسوب می‌شود.

هم اکنون بخش اعظمی از مطالعات در حوزه اقتصاد هوش مصنوعی به این موضوع می‌پردازد که کدام معماری هزینه کل مالکیت یا TCO بهتری ارائه می‌دهد. با استناد به داده‌های موجود، رک‌های GB200 NVL72 انویدیا هزینه به‌ ازای هر توکن را تا یک پانزدهم کاهش می‌دهند و در عین حال نرخ تعامل بالاتری دارند. این موضوع یکی از دلایل اصلی پذیرش گسترده سیستم‌های سخت ‌افزاری انویدیا را توجیه می‌کند. انویدیا با چرخه عرضه سالانه محصولات خود، موفق شده است در جبهه‌های مختلف هوش مصنوعی تسلط پیدا کند و برتری خود را حفظ نماید.

البته این ارقام تصویر کاملی از رقابت AMD و انویدیا در فضای هوش مصنوعی ارائه نمی‌دهند؛ چرا که AMD هنوز نسل جدید از شتاب دهنده‌های خود را معرفی نکرده است. شتاب دهنده MI355X Instinct به ‌دلیل ظرفیتی بالا از حافظه‌های HBM3e گزینه‌ای عالی در اجرای مدل‌های هوش مصنوعی Dense به‌ شمار می‌رود. اما وقتی در مورد معماری MoE صحبت می‌کنیم، انویدیا در حال حاضر با شتاب دهنده‌های جدید خود دست برنده را دارد. انتظار می‌رود بزودی با معرفی نسل جدید از شتاب دهنده‌های هوش مصنوعی AMD، رقابت در این حوزه شدیدتر شود.