DeepSeek V4-Flash локально | 288GB VRAM на четырёх GPU

DeepSeek V4-Flash локально | 288GB VRAM на четырёх GPU

Краткое содержание

В видео рассматривается новая серверная платформа от ASUS и ее возможности в сочетании с нейронной моделью DeepSeek V4-Flash. Авторы демонстрируют, как оборудовать мощный GPU-сервер с использованием видеокарт RTX Pro и обсуждают разные конфигурации, их стоимость и производительность.

  • Обзор видеокарт для нейронных сетей.
  • Платформа ASUS ESC4000A-E12 и охлаждение.
  • Подробный анализ структуры сервера и его компонентов.
  • Cost и тестирование производительности.

DeepSeek V4-Flash

В начале видео представляется новая серверная платформа ASUS, на которой будет развернута нейронная модель DeepSeek V4-Flash. Указано, что для работы модели потребуется 190 ГБ видеопамяти. Оптимальным вариантом являются две RTX Pro 6000, но из-за дефицита и роста цен выгоднее выбрать четыре RTX Pro 5000, которые обеспечат достаточный объем памяти и мощность.

Выбор видеокарты

Подробно рассматривается выбор видеокарт, где упоминается, что два RTX Pro 6000 обеспечат необходимую производительность, однако четыре Pro 5000 дают дополнительное свободное пространство в видеопамяти и оказываются более доступными. Описание мотиваций выбора такой конфигурации и сравнение производительности.

ASUS ESC4000A-E12: платформа под 4 GPU

В этом разделе обсуждается сервер ASUS ESC4000A-E12, разработанный для установки четырех видеокарт под AMD Epic. Примечательные особенности платформы включают нестандартную компоновку, где блоки питания находятся спереди, что приводит к улучшенному охлаждению GPU. Рассматривается система охлаждения и компоновка вентиляции.

Как устроено охлаждение GPU-сервера

Изложены детали системы охлаждения сервера. Упоминаются вентиляторы и их эффективность, а также особенности охлаждения процессора и видеокарт. Также отмечается, что система позволяет разделить воздушные потоки для предотвращения перегрева основных компонентов.

BMC, PFR и удалённое управление

Обсуждается BMC (Baseboard Management Controller), который предоставляет возможность удаленного управления сервером. Описываются функции мониторинга работы, управления питанием и обновления прошивок, включая защиту от несанкционированных изменений с помощью PFR (Platform Firmware Resilience).

Порты задней и передней панели

Раздел, посвященный портам сервера, где указаны доступные интерфейсы USB и RJ45, а также элементы управления на передней панели. Обсуждаются энергосистемы и индикаторы работы, которые помогают в диагностике проблем.

Блоки питания и подключение дисков

Излагается информация о блоках питания сервера и их конфигурации. Обсуждается возможность подключения шести накопителей в режимах SAS, SATA и NVMe, а также универсальные разъемы для различных типов дисков.

Подробно про Riser карты

Предоставлен подробный обзор Riser-карт, их возможностей и совместимости с видеокартами. Указаны ограничения по TDP и список поддерживаемых карт, а также особенности подключения питания к старым и новым видеокартам.

Процессор, оперативная память, накопитель

Здесь рассматриваются выбор процессора AMD Epic, оперативной памяти и накопителей, подходящих для сервера. Обсуждаются характеристики и объемы, необходимы для эффективной работы.

Цена сборки - почти 5 миллионов рублей

В этом разделе озвучивается стоимость всей сборки, которая составляет около 5 миллионов рублей. Отмечается, что основными затратами являются видеокарты, с ссылкой на дополнительные данные о ценах в комментариях и описании.

Стресс-тест в Windows Server: потребление, шум, температура

Показаны результаты тестирования сервера под нагрузкой в среде Windows Server, включая замеры температуры, уровня шума и потребления энергии. Обсуждаются показатели в состоянии простоя и под нагрузкой.

GPU-BURN: реальные температуры RTX PRO 5000

Приводятся результаты тестов с использованием утилиты GPU-BURN, в процессе которых замеряются рабочие температуры видеокарт. Упоминается, что все карты работают в комфортном температурном диапазоне.

DeepSeek V4-Flash - что за модель

Рассказывается о модели DeepSeek V4-Flash, где представлены ее характеристики и преимущества по сравнению с предыдущими версиями, включая улучшения и возможности обработки данных.

Замер TPS и подробные синтетические тесты

Обсуждаются тесты, проведенные в разных условиях, включая скорость обработки данных и сравнение различных версий программного обеспечения, что позволяет оценить производительность сервера и модели.

Реверс инжиниринг GTA: San Andreas

Демонстрируется, как DeepSeek V4-Flash справляется с задачей реверс-инжиниринга, восстанавливая функции управления камерой в игре GTA San Andreas. Приводится процесс анализа и исправления исходного кода.

Создаём приложение для Android

Здесь рассматривается задача создания приложения на Android для сканирования документов. Обсуждаются функции и этапы разработки, а также успешные итоги работы модели.

Итоги по DeepSeek

Представлены итоги работы модели DeepSeek V4-Flash, включая ее применение и результаты, которые подтверждают ее эффективность и возможности в реальных задачах.

Заключение и спойлер к новому розыгрышу

В завершении подводятся итоги видео, обсуждаются достижения сервера и его применения. Также анонсируется новый розыгрыш на канале с интригующим призом, ожидающим своих победителей.

Share

Summarize Anything ! Download Summ App

Download on the Apple Store
Get it on Google Play
© 2024 Summ