На главную / Новости

DeepSeek открыл DeepInfer: когда брать ИИ-агента, а когда скрипт

ИИ-агент имеет смысл, когда входные данные грязные и правила постоянно меняются; обычный скрипт - когда формат жесткий, а логика стабильная. Выход DeepInfer от DeepSeek важен для этого выбора: self-hosted LLM становится достаточно дешевым, чтобы агент перестал быть автоматической дырой в бюджете.

DeepSeek открыл исходники DeepInfer - движка, на котором работают их боевые сервисы. В комплекте оптимизированные ядра, детерминированный сэмплинг, структурированный вывод через JSON schema или EBNF-грамматику; работает на GPU NVIDIA SM100 и NPU Huawei Ascend 950. Дефолтный чекпоинт - DeepSeek-V4.1-Flash.

Что меняется для малого бизнеса

Раньше в споре агент против скрипта чаша весов шла в сторону скрипта, потому что каждый вызов API стоил денег. С DeepInfer и арендованной GPU магазин, который обрабатывает тысячи накладных, обращений или страниц договоров в день, может крутить свою модель и платить по часам, а не по токенам. При малых объемах - десятки документов в день - хостовый API вроде Claude или GPT проще и дешевле. На повторяемой документной рутине в больших объемах, как в пайплайне анализа тендеров, который я собирал, свой сервер уже начинает конкурировать. Структурированный вывод - практический крючок: модель отдает чистый JSON, и ИИ-шаг спокойно встает внутрь скриптового флоу.

Почему это важно: нижняя граница стоимости ИИ-агента падает, и выбор между агентом и скриптом все чаще будет определяться характером задачи, а не тем, что потянет бюджет.

Источник: Hacker News