Сводка часового зума без облака: что дал Nemotron (часть 9)

Nemotron от NVIDIA подходит для локальных сводок созвонов, если нужна открытая модель, которая работает на вашем сервере и не отправляет запись наружу. Она уверенно держит структуру протокола и длинную расшифровку, но слабее на русских именах и терминах, поэтому ей нужны глоссарий в промпте и проверка человеком.

🔒 куда уходит запись, когда нажимаешь «Сводка»

Четверг, 16:40. Руководитель отдела продаж закончил зум с закупщиком: обсуждали скидку, сроки поставки и отсрочку платежа. Запись он загрузил в облачный сервис сводок, через минуту получил аккуратный протокол и пошёл на следующий созвон. Но файл остался у провайдера, а в нём голос клиента, его фамилия и условия, которые вы не раскрываете конкурентам.

Через месяц юрист спрашивает, где лежит запись, сколько она хранится и кто из сотрудников сервиса может её открыть. Ответить нечем. В пользовательском соглашении нужный пункт есть, но проверить, как его выполняют, нельзя.

Ставка простая. Цены и условия сделки лежат вне вашего периметра, а голос и фамилия клиента относятся к персональным данным. 152-ФЗ требует хранить и обрабатывать персональные данные россиян на серверах в России (ч. 5 ст. 18), и для зарубежного облака юрист задаст этот вопрос первым.

Поэтому в этой серии у нас действует правило: запись и расшифровка не выходят за сервер компании. Модель для сводок подбирали уже под него. Девятая часть о том, почему выбрали Nemotron и что из этого вышло.

⚖️ четыре способа сделать сводку и чем они различаются

Сравнивали по трём вопросам: где лежит запись, как модель обращается с русскими именами и что нужно для запуска.

Облако выигрывает в удобстве и проигрывает в контроле. Локальные модели обменивают удобство на контроль, и дальше вопрос один: какая из них оставляет человеку меньше правок.

🧭 почему взяли Nemotron

Nemotron — семейство открытых моделей NVIDIA. Веса можно скачать и запустить у себя, а лицензия допускает коммерческое использование. Условия NVIDIA Open Model License прочитайте до запуска: они отличаются от привычных MIT и Apache.

Модели Nemotron NVIDIA дообучала выполнять инструкции, и в нашей задаче это заметно. Просишь выдать решения, поручения и сроки отдельными блоками — получаешь блоки, без вольного пересказа. Протокол потом разбирает скрипт, и ему нужен строгий формат, а красивый слог не нужен.

Ещё один довод — длинный контекст. Час разговора даёт примерно 8 000 слов, а в токенах на русском это порядка 20 000. Модель, которая вмещает такую расшифровку целиком, избавляет от нарезки на куски и сводки из сводок. Склейка как раз теряет договорённости из середины разговора.

Наконец, запуск. Модель поднимается через vLLM или похожий сервер и отвечает по стандартному API. Код, который раньше ходил в облако, переключается на неё сменой адреса, и вернуться обратно можно так же быстро.

Соблазн взять самую крупную версию понятен, но под сводку она избыточна. Растёт счёт за железо, а качество протокола упирается в расшифровку и промпт, а не в размер модели.

И одно уточнение: Nemotron работает с текстом, не со звуком. Речь в текст переводит отдельная модель распознавания, и от её качества зависит половина ошибок в итоговой сводке.

📋 что получили на практике

поручения и структура

Сводка часового зума приходит в заданном формате: решения, поручения с ответственным и сроком, открытые вопросы. Поручения модель вытаскивает уверенно, если их произнесли прямо: «Ирина, пришлёшь счёт до пятницы». Хуже, когда договорились намёком, через три реплики после обсуждения. Такие места она пропускает или приписывает не тому участнику.

имена и термины

Здесь главная слабость. Русский не основной язык этой модели, и это видно на фамилиях, названиях компаний и внутренних аббревиатурах. Ошибки вроде «Бухгалтерия предпринимателя» вместо «Бухгалтерия предприятия» попадают в протокол и выглядят убедительно. Часть таких ошибок рождает распознавание речи, но модель сводки добавляет своё: уверенно пишет неверное имя вместо того, чтобы пометить сомнение.

скорость и очередь

Скорость целиком упирается в видеокарту. Пока идёт расшифровка и сводка, карта занята, и если два отдела закончили созвон в одну минуту, второй ждёт. Для компании с десятком созвонов в день это незаметно. Если созвоны идут один за другим с утра до вечера, считайте нагрузку по пиковому часу.

Итог такой: ручное переписывание протокола ушло, осталась вычитка. Организатор правит имена и пару пунктов. Это быстрее, чем писать протокол с нуля, а запись при этом не покидает ваш сервер.

🛠 как закрывали слабые места

Слабые места лечатся четырьмя вещами, и ни одна не требует дообучения модели.

1. ✓Добавили в промпт глоссарий: фамилии сотрудников и клиентов, названия компаний, продуктов и конфигураций 1С. Модель сверяет написание с ним, и перепутанных имён становится заметно меньше.
2. ✓Разделили работу на два прохода. Первый достаёт из расшифровки факты с дословными цитатами, второй собирает из них протокол. У каждого пункта есть цитата, и проверить её можно за секунды.
3. ✓Запретили догадки. Если имя или срок не расслышаны, в протоколе стоит «неразборчиво».
4. ✓Оставили человека на финальной проверке. Организатор созвона читает сводку перед рассылкой, это занимает пару минут.

🚫 когда Nemotron не нужен

Если созвоны короткие, без коммерческих данных и на английском, облачный сервис проще: не придётся держать сервер. Если вся речь на русском со сленгом, сначала прогоните ваши записи через Qwen или Gemma. На русском они нередко сильнее, и тогда выбирать Nemotron не за что. Решение принимайте на 5–10 реальных записях: у каждой компании свои фамилии и аббревиатуры.

Ещё один случай — один созвон в неделю. Сервер с видеокартой под такую нагрузку простаивает, и разумнее арендовать мощность на время или писать протокол руками.

💻 железо и деньги: локальное не значит бесплатное

Хватит ли вашего сервера, решает память видеокарты. Для примера: модель на 8 млрд параметров в 8-битной квантизации занимает около 8 ГБ, плюс запас под контекст, и чем длиннее расшифровка, тем больше памяти она съедает. Крупные версии Nemotron требуют карт с заметно большим объёмом и на офисном компьютере не запустятся.

Распознавание речи считайте отдельно: оно идёт на той же карте или на другой. Если один сервер делает и расшифровку, и сводку, созвоны встают в очередь.

Частое заблуждение: раз модель открытая, обойдётся без затрат. Деньги уходят в два места: на видеокарту и на работу специалиста, который поднимет модель, настроит очередь и промпты и подключит результат к вашим системам. Работа сисадмина у нас стоит 3800 ₽/час. Сколько часов понадобится, зависит от числа отделов и от того, куда падают протоколы. Эту цифру мы называем после разбора ваших записей, а не по шаблону.

🔗 куда девать протокол, когда он готов

Сводка, которую прочитали один раз и забыли, ничего не меняет. Польза начинается, когда поручение сразу становится задачей. Для этого протокол отдают в 1С: модель выдаёт поручения в структурированном виде, а небольшой обмен создаёт из них задачи или документы в базе. Такой обмен делается как доработка 1С: ассистент отдаёт данные, 1С их принимает.

Заметнее всего это на проектах внедрения 1С. Созвоны по ТЗ и приёмке идут по часу и дольше, договорённости остаются в чьей-то голове, а через месяц спор «мы этого не обсуждали» разбирают по памяти участников. На внедрении 1С:ERP участников больше, а ошибка в договорённости стоит дороже, поэтому протокол с цитатами там нужнее всего.

Ту же модель можно подключить к чат-боту на сайте: он отвечает по вашим документам и прайсу, а запросы клиентов остаются на вашем сервере. Подготовка данных там другая, а развёртывание то же.

Чтобы проверить схему, возьмите один отдел и пять-десять записей, прогоните их через ассистента и посчитайте, сколько правок вносит человек. Мы можем развернуть такого ассистента на вашем сервере, подключить к 1С и показать результат на ваших созвонах.

❓ Частые вопросы

Что такое Nemotron и чем он отличается от обычных чат-моделей?

Nemotron — семейство открытых языковых моделей NVIDIA. Веса скачиваются и запускаются на своём сервере, лицензия допускает коммерческое использование. Модели дообучены выполнять инструкции и держать формат ответа, поэтому хорошо подходят для протоколов, сводок и разбора документов. Условия лицензии прочитайте до запуска.

Какая видеокарта нужна для локальной сводки зума?

Считайте по памяти видеокарты. Модель на 8 млрд параметров в 8-битной квантизации занимает около 8 ГБ, и ещё нужен запас под контекст: час разговора даёт порядка 20 000 токенов. Крупные версии требуют карт с заметно большим объёмом, а распознавание речи надо считать отдельно.

Нужно ли получать согласие участников на запись зума?

Безопаснее получать. Предупреждайте всех в начале звонка и фиксируйте это в протоколе первой строкой. Голос и фамилия — персональные данные, а 152-ФЗ требует хранить их на серверах в России. Локальная обработка снимает вопрос о передаче записи третьим лицам, но не заменяет предупреждение участников.

Сколько стоит развернуть такого ассистента?

Стоимость складывается из железа и работы специалиста. Работа сисадмина у нас стоит 3800 ₽/час. Сколько часов понадобится, зависит от числа отделов, очереди созвонов и места, куда падают протоколы, например 1С. Точную цифру называем после разбора ваших записей, а не по шаблону.

Можно ли ту же модель использовать для чат-бота на сайте?

Можно. Модель подключают к базе знаний с вашими документами и ценами, а запросы клиентов остаются на вашем сервере. Развёртывание похоже на ассистента для зумов, отличается подготовка данных и ограничения ответов. Качество на русском проверяйте на ваших реальных вопросах до запуска.