Вся мощь ускорителей Nvidia для ИИ теперь в Windows. Компания объявила о доступности для этой ОС своей библиотеки TensorRT-LLM
На данный момент искусственный интеллект в Windows практически никак не задействован, если не считать интеграции языковой модели GPT. Однако, во-первых, уже есть процессоры AMD с выделенным блоком для работы с ИИ, и аналогичные готовит Intel, а во-вторых, согласно слухам, вокруг ИИ будет построена Windows 12. И вот теперь сообщается, что обычные пользователи получат в свои руки фактически ускорители для ИИ от Nvidia, только в программном виде
Компания объявила, что её библиотека TensorRT-LLM, которая повышает производительность вывода для новейших моделей большого языка ИИ, теперь доступна для Windows. TensorRT-LLM позволяет значительно ускорить работу с ИИ.
