Сервер для локальной нейросети: как подобрать GPU и видеопамять
Как подобрать сервер для локального запуска LLM: память под веса и KV-кеш, квантование, параллельные запросы, совместимость GPU, питание и охлаждение.
Для локального помощника, поиска по документам или генерации текста сервер подбирают от конкретной языковой модели и режима работы. Сначала определяют нужный результат и нагрузку, затем оценивают память и выбирают совместимую платформу. В этой статье рассматриваем инференс — выполнение запросов к готовой LLM. Обучение с нуля и дообучение требуют отдельного расчёта.
Опишите сценарий запуска
Зафиксируйте название и версию модели, программный движок, допустимый формат весов, длину входных документов и ответов. Уточните число одновременно обрабатываемых запросов. Число сотрудников в компании и число параллельных генераций — разные показатели.
Для интерактивного помощника важны время до начала ответа и темп генерации, для пакетной обработки — сколько заданий выполнено за заданный период. Такой список поможет сравнить две конфигурации по вашей работе. Универсального соответствия «одна GPU на столько-то сотрудников» нет.
Сколько памяти занимают веса
Для первой оценки используйте арифметику: число параметров × число бит на параметр ÷ 8. Ниже приведён теоретический размер только весов, без служебных данных и памяти выполнения:
| Условная модель | Веса по 16 бит | Веса по 4 бита |
|---|---|---|
| 8 млрд параметров | 16 ГБ | 4 ГБ |
| 32 млрд параметров | 64 ГБ | 16 ГБ |
| 70 млрд параметров | 140 ГБ | 35 ГБ |
В таблице 1 ГБ = 10⁹ байт. Это не рекомендуемые объёмы видеокарт и не размеры готовых файлов. В реальной квантованной модели есть масштабы, метаданные и части с другой точностью; дополнительно расходуется память во время работы.
Документация Transformers описывает методы уменьшения памяти через квантование и ограничения совместимости. Выбранный формат должен поддерживаться движком и GPU. Качество ответов проверяют на ваших примерах: меньший размер весов сам по себе не подтверждает пригодность модели.
Почему нужна дополнительная память
Видеопамять расходуется также на промежуточные вычисления, библиотеки и кеш внимания — KV-кеш. По руководству Hugging Face, его поведение зависит от архитектуры модели и выбранной стратегии кеширования. Для многих авторегрессионных LLM расход увеличивается с длиной последовательности; ограничения и исключения определяются самой моделью.
Параллельные запросы тоже меняют требования к памяти выполнения. Поэтому конфигурацию проверяют на согласованных длинах контекста и одновременно обрабатываемых запросах. Способность загрузить веса ещё не подтверждает работу всего сценария.
Перенос части весов или кеша в системную ОЗУ может помочь уложиться в доступную VRAM, но добавляет обмен данными. Accelerate объясняет размещение большой модели между GPU, RAM и диском. Скорость такого режима нужно измерять; системная память не становится эквивалентом видеопамяти.
Одна карта или несколько
Сравните одну GPU достаточной ёмкости и несколько карт с распределением модели. Поддержка такого режима зависит от движка, модели и оборудования. Две карты по 24 ГБ не образуют автоматически одну универсальную GPU на 48 ГБ: приложение должно уметь распределять данные и вычисления.
Нужно различать распределение одной модели между картами и запуск независимых копий на разных GPU. Первый вариант помогает размещать большую модель, второй может обслуживать отдельные потоки запросов. Это разные схемы с разными требованиями к обмену и нагрузке.
Проверьте весь сервер
В рекомендациях NVIDIA по конфигурации выбор оборудования связан с конкретным сценарием. Поддержку ускорителя проверяют по документации точного сервера: поколение PCIe, физические размеры, riser, дополнительные кабели питания и охлаждение должны соответствовать комплектации.
Наличие свободного PCIe-разъёма не является подтверждением совместимости. Проверяйте и расчёт питания с нужным режимом резервирования, и отвод тепла для согласованного числа GPU. NVIDIA отдельно поясняет, что пассивным ускорителям нужен проходящий через них воздушный поток от системы охлаждения сервера.
CPU, системная ОЗУ и накопители нужны для запуска движка, загрузки модели и подготовки данных. Их объём считают по сценарию и измерениям. Для поиска по документам отдельно предусмотрите место и ресурсы индекса, исходных файлов и сопутствующих служб.
Посмотреть варианты можно в каталоге GPU-серверов. Окончательный состав ускорителей согласуется с платформой и программным стеком.
Как принять конфигурацию
- Зафиксировать модель, формат весов, версию движка и драйверов.
- Проверить типичные и длинные запросы при целевой параллельности.
- Измерить время начала ответа, скорость генерации и расход памяти.
- Оценить качество ответов на примерах вашей задачи.
- Проверить температуру, питание и устойчивость под длительной нагрузкой.
При выборе локальной установки также уточните лицензию модели и работу внешних интеграций. Локальное размещение оборудования само по себе не подтверждает, что приложение не отправляет данные наружу.
Для первого обращения достаточно описать задачу, число одновременных пользователей и ориентировочный бюджет. Если модель ещё не выбрана, это можно определить на этапе подготовки требований.
Источники
Сверено 21 октября 2026 года. Таблица весов — расчёт нижней теоретической оценки; результаты производительности не заявляются.
Подберём сервер для вашей LLM
Расскажите, какие задачи должна решать модель и сколько запросов ожидается. Поможем определить требования и состав оборудования.
Материал обновлён . Характеристики конкретной платформы проверяйте перед заказом.
