انویدیا در بازار سخت‌افزارهای هوش مصنوعی مولد حکمرانی می‌کند و سخت‌افزارهای این شرکت در دیتاسنترهای شرکت‌هایی مانند مایکروسافت و OpenAI برای چت‌بات‌هایی مانند بینگ چت و ChatGPT مورد استفاده قرار می‌گیرد. حالا انویدیا از نرم‌افزار جدیدی رونمایی کرده است که TensorRT-LLM نام دارد و عملکرد مدل‌های زبانی بزرگ (LLM) را بهبود می‌بخشد.
انویدیا در یک پست از این ابزار متن‌باز جدید رونمایی کرده است، البته باید به این موضوع اشاره کنیم که قبل از این، TensorTR-LLM برای دیتاسنترها عرضه شده بود و حالا در اختیار کاربران ویندوزی قرار گرفته است. این ابزار سرعت اجرای مدل‌های زبانی بزرگ را روی کامپیوترهای ویندوزی مجهز به گرافیک‌های جی‌فورس RTX تا 4 برابر افزایش می‌دهد.
انویدیا در پست مربوط به معرفی این ابزار گفته است که TensorRT-LLM برای توسعه‌دهندگان و کاربران عادی مفید خواهد بود:
«در ابعاد بزرگ، این شتاب‌دهنده می‌تواند به‌طور قابل‌توجهی تجربه استفاده از مدل‌های زبانی پیچیده را بهبود ببخشد؛ مدل‌هایی مانند دستیارهای متن‌نویسی و کدنویسی که نتایج را به‌طور هم‌زمان تکمیل می‌کنند. نتیجه این رویکرد، عملکرد سریع‌تر و کیفیت بهتر می‌شود که به کاربران اجازه می‌دهد تا بهترین‌ها را انتخاب کنند.»
انویدیا با انتشار تصویری نحوه عملکرد TensorRT-LLM را نشان داده است. در این مثال، مدل استاندارد LLaMa 2 جواب دقیقی نمی‌دهد، اما زمانی که با TensorRT-LLM جفت می‌شود نه‌تنها جواب دقیق‌تری می‌دهد، بلکه سریع‌تر هم پاسخ می‌دهد.
