انویدیا به تازگی از ابزار نرم‌افزار جدیدی به نام TensorRT-LLM رونمایی کرده است که می‌تواند در سیستم‌های ویندوزی مجهز به کارت گرافیک سری GeForce RTX منجر به افزایش سرعت و بهبود عملکرد و سرعت مدل‌های زبانی بزرگ (LLM) و هوش مصنوعی مولد تا چهار برابر شود.
انویدیا در حال حاضر به عنوان یکی از شرکت‌های تأثیرگذار بر روی صنعت هوش مصنوعی مولد شناخته می‌شود، چرا که پردازنده‌های گرافیکی این شرکت در مراکز داده بزرگی که سرویس‌های AI محور مانند Bing Chat و ChatGPT را تأمین می‌کنند، در حال استفاده هستند.
حالا انویدیا تصمیم گرفته این قدرت و فناوری خود را به حوزه نرم‌افزارهای مرتبط با AI نیز وارد کند. در همین راستا، امروز از نرم‌افزار جدیدی رونمایی شد که برای تقویت عملکرد مدل‌های زبانی بزرگ (LLMها) در رایانه‌های شخصی ویندوزی طراحی شده است.
انویدیا در یک پست وبلاگی اعلام کرد که کتابخانه منبع باز TensorRT-LLM که پیش از این تنها برای مراکز داده در دسترس بود را برای رایانه‌های شخصی ویندوزی قابل دسترس کرده است.
هدف از انتشار TensorRT-LLM برای ویندوز چیست؟
اصلی‌ترین قابلیت این ابزار نرم‌افزاری آن است که به مدل‌های زبانی بزرگ اجازه می‌دهد تا در صورت شناسایی پردازنده‌های گرافیکی GeForce RTX انویدیا بر روی سیستم، تا چهار برابر سریع‌تر از قبل عمل کنند.
به گزارش Neowin، در پست وبلاگی انویدیا مزایای TensorRT-LLM برای توسعه‌دهندگان و کاربران عادی این‌گونه شرح داده شده است:
در Batchهای سایز بالا، این شتاب‌دهنده به طور قابل توجهی استفاده از مدل‌های زبانی بزرگ را بهبود خواهد بخشید، LLMهایی همچون دستیارهای نوشتن و کدنویسی که چندین نتیجه تکمیل خودکار منحصر به فرد را به طور هم‌زمان ارائه می‌دهند. TensorRT-LLM به عملکرد سریع‌تر و کیفیت بهبود یافته منجر شده و کاربران می‌توانند نتایج را انتخاب کنند.
در این پست همچنین نمونه‌ای از نحوه عملکرد TensorRT-LLM نمایش داده شده است. برای مثال از مدل زبانی استاندارد LLaMa 2 در رابطه با نحوه ایجاد پاسخ‌های احساسی توسط NVIDIA ACE پرسیده شد و این مدل زبانی نتوانست پاسخ دقیقی ارائه کند.
با این وجود، هنگامی که یک LLM در کنار یک کتابخانه بُرداری (Vector Library) یا پایگاه داده بُرداری (Vector Database) مورد استفاده قرار گرفت، نه تنها شاهد یک پاسخ دقیق هستیم بلکه TensorRT-LLM منجر به ساخت پاسخ‌هایی سریع‌تری شد.
شایان ذکر است که در جدیدترین آپدیت درایور NVIDIA GeForce نیز چند ویژگی مبتنی بر هوش مصنوعی بهبود یافته برای کارت‌های گرافیک انویدیا به ارمغان آورده شده است.
در همین رابطه بخوانید:
- انویدیا در اوج: رقبای عقب مانده و تأثیرات آن بر بازار هوش مصنوعی
- فناوری DLDSR انویدیا چیست + آموزش استفاده از آن
این بهبودها شامل انتشار نسخه 1.5 ویژگی RTX Video Super Resolution است که منجر به ارتقا فرایند افزایش مقیاس (Upscaling) و کاهش تاثیر فشرده‌سازی اطلاعات هنگام تماشای ویدئوها به صورت آنلاین است.
نظر خود را اضافه کنید.
برای ارسال نظر وارد شوید
ارسال نظر بدون عضویت در سایت