وقتی هوش مصنوعی حافظه رم DDR4 را در 90 دقیقه نابود می‌کند!

ظاهراً اجرای یک مدل هوش مصنوعی 35 میلیارد پارامتری باعث از کار افتادن ماژول‌های حافظه DDR4 یک کاربر در عرض 90 دقیقه شده است. این سیستم به 128 گیگابایت حافظه DDR4 ECC مجهز بوده و مدل Ornith-1.5-35B-A3B روی آن اجرا شده است.

این کاربر پیش از این از یک مدل هوش مصنوعی 20B روی کارت گرافیک NVIDIA RTX 5070 Ti با 16GB حافظه GDDR7 استفاده می‌کرد و اجرای مدل برای ساعت‌ها بدون مشکل انجام می‌شد. با این حال، برای انجام وظایف پیچیده‌تر مرتبط با دیتابیس، تصمیم گرفت به سراغ مدل سنگین‌تر Ornith-1.5-35B-A3B برود.

اجرای مدل 35B روی 128 گیگابایت حافظه DDR4

برای اجرای این مدل، سیستم به 128 گیگابایت حافظه DDR4 ECC در قالب ماژول‌های 8GB مجهز شده بود تا بخشی از بار مدل در حافظه سیستم قرار بگیرد. کاربر پس از راه‌اندازی مدل سیستم را ترک کرد و حدود 90 دقیقه بعد متوجه شد کامپیوتر از کار افتاده است.

بررسی سیستم نشان داد یکی از ماژول‌های 8GB DDR4 خراب شده است. کاربر این ماژول را از سیستم خارج کرد و دوباره اجرای مدل 35B را آغاز کرد. به گفته او، دلیل انتخاب این مدل کیفیت خروجی آن بود و زمانی که ظرفیت 16GB حافظه گرافیکی RTX 5070 Ti پر می‌شد، استفاده از حافظه سیستم باعث افت محسوس عملکرد مدل نمی‌شد. در ابتدا احتمال داده شد که ماژول معیوب از همان ابتدا مشکل داشته است. با این حال، داستان چند روز بعد دوباره تکرار شد.

کاربر می‌گوید پس از اجرای مداوم مدل برای حدود 8 تا 9 روز، لاگ‌های سیستم نشان دادند که یک ماژول DDR4 دیگر نیز شروع به ایجاد خطا کرده است. این موضوع احتمال ارتباط میان بار کاری سنگین مدل هوش مصنوعی و فرسودگی حافظه را مطرح می‌کند.

نکته جالب اینجاست که کاربر معتقد است دما عامل خرابی نبوده است. با این حال، تنها دمای پردازنده و کارت گرافیک را گزارش کرده و گفته است هیچ‌کدام از 80 درجه سانتی‌گراد فراتر نرفته‌اند. در مقابل، دمای خود ماژول‌های RAM اعلام نشده است.

بر اساس گزارش wccftech مدل‌های زبانی بزرگ هنگام اجرای محلی، به‌ویژه زمانی که بخشی از مدل از VRAM به حافظه سیستم منتقل می‌شود، می‌توانند حجم بسیار زیادی از داده را به‌طور مداوم بین حافظه و پردازنده جابه‌جا کنند. در این مورد نیز حافظه DDR4 برای اجرای طولانی‌مدت چنین بار کاری سنگینی مورد استفاده قرار گرفته است.

البته از روی این تجربه نمی‌توان نتیجه گرفت که اجرای مدل 35B مستقیماً باعث سوختن حافظه شده است. عمر بالای ماژول‌ها، استفاده مداوم، فشار کاری طولانی‌مدت و وضعیت جریان هوا در کیس همگی می‌توانند در ایجاد خطا یا خرابی حافظه مؤثر باشند.