شرکت انویدیا نسخه جدیدی از TensorRT منتشر کرد که می تواند عملکرد هوش مصنوعی را در پردازنده های گرافیکی تا 10 برابر افزایش دهد.
طبق گزارش گروه فناوری اطلاعات های فن تک و به نقل از تام شاردور؛ شرکت انویدیا نسخه جدیدی از TensorRT ارائه داد که می تواند عملکرد هوش مصنوعی را در پردازنده های گرافیکی(GPU) تا 10 برابر افزایش دهد. اما، کار TensorRT چیست؟! TensorRT یک چارچوب برای اجرا و بهینه سازی الگوریتم های یادگیری عمیق است. این چارچوب برای اجرای مدل‌های یادگیری عمیق در سخت‌افزارهای GPU، CPU و سایر سخت‌افزارهای شرکت انویدیا استفاده می‌شود. نسخه جدید آن نسبت به نسخه قبلی بروز رسانی هایی دریافت کرده است که می‌تواند عملکرد هوش مصنوعی را تا 10 برابر افزایش دهد.
TensorRT می‌تواند عملیات‌هایی را که برای استنتاج لازم نیستند، شناسایی و حذف کند. به علاوه، چندین لایه از مدل را با یک لایه دیگر ترکیب کند، که باعث بهبود در عملکرد کلی می شود. یکی از مهمترین قابلیت های جدید TensorRT 8.0، پشتیبانی از مدل‌های Transformer است. Transformer ها یک نوع مدل زبانی هستند که در زمینه های مختلف مانند ترجمه ماشینی، خلاصه‌نویسی و پاسخ به سوالات کاربران کاربرد دارند. مدل‌های Transformer معمولاً در GPU خوب عمل می کنند اما، TensorRT 8.0 می تواند عملکرد آن را در بهینه‌سازی و اجرای مدل‌ها ارتقا دهد. یکی از ویژگی های جدید که در TensorRT 8.0 می بینیم قابلیت پشتیبانی از دقت 8 بیتی است.
TensorRT می‌تواند مدل هوش مصنوعی را به نوع داده‌ای با دقت پایین‌تر مانند اعداد صحیح 8 بیتی تبدیل کند. این کار هم باعث صرفه جویی در حافظه می شود و هم عملکرد آن را افزایش می دهد. از طرف دیگر؛ دقت 8 بیت نسبت به دقت 32 بیتی کمتر است اما از لحاظ سرعت 2 برابر سریعتر از مدل قبلی عمل می کند. این ویژگی TensorRT برای انجام کارهایی که خیلی به دقت بالایی نیاز ندارند مانند تشخیص چهره می تواند کاربرد داشته باشد. در مجموع TensorRT 8.0 سه بروز رسانی دریافت کرده است: بهبود در عملکرد کلی، پشتیبانی از سخت افزارهای جدید و پشتیبانی از دقت 8 بیتی. این ویژگی ها به توسعه‌دهندگان کمک می کند تا بتوانند مدل‌های هوش مصنوعی کارآمدتر و سریع‌تری بسازند.