Выбор Кодекса: NVIDIA показала, как встроить локальный ИИ в приложение на C++
Открытые примеры DIN Deploy помогают перенести модели распознавания речи и работы с изображениями в обычные приложения. NVIDIA описала набор 1 октября.
В DIN Deploy подготовка модели отделена от её запуска. Скрипт на Python преобразует модель в формат ONNX, а приложение на C++ выполняет её через ONNX Runtime. Для ускорения используется TensorRT RTX; предусмотрен и запуск на центральном процессоре. В репозитории есть настройки сборки для Windows и Linux.
Набор охватывает распознавание речи с OpenAI Whisper, NVIDIA Parakeet и Nemotron, выделение объектов на изображениях и видео с Meta SAM 2.1, а также генерацию картинок с FLUX.2-klein-4B. Это примеры для разработчиков, а не готовый универсальный помощник.
В замерах NVIDIA на DGX Spark модель Parakeet обрабатывала аудио со скоростью 206,41 длительности записи на GPU и 14,44 — на CPU. Число 206 означает скорость относительно реального времени, а не преимущество над процессором. Соотношение двух результатов — примерно 14,3 раза.
Исходный код доступен на GitHub. Для сборки нужны компилятор C++20 и CMake, для преобразования моделей — Python. Перед внедрением стоит проверить требования выбранной модели и её лицензию.
Фото: Fritzchens Fritz / Wikimedia Commons, CC0 1.0. Уменьшенная копия. На снимке чип RTX 4090; приведённые замеры выполнены на другой системе — DGX Spark.
Деятельность Meta Platforms Inc. по реализации социальных сетей Facebook и Instagram признана экстремистской и запрещена в Российской Федерации. Решение суда не распространяется на деятельность мессенджера WhatsApp.
Что пока неизвестно
Это результаты производителя на конкретной системе, а не независимый тест. Они не гарантируют такую же скорость на любом ПК. Подготовка требует загрузки моделей и зависимостей; локальное выполнение само по себе не доказывает конфиденциальность всего приложения.
Источники
Источник не открывается?
Оригинальная страница может быть временно недоступна. Попробуйте открыть её позже; название и дата источника сохранены выше.
Деятельность Meta Platforms Inc. по реализации социальных сетей Facebook и Instagram признана экстремистской и запрещена в Российской Федерации. Решение суда не распространяется на деятельность мессенджера WhatsApp. Официальный источник