Обычный скрипт берите, когда входные данные структурированы, а ветвление конечно; LLM-агента зовите только там, где на входе грязный текст или дерево решений слишком широкое, чтобы его закодить. Релиз vLLM 0.31 сдвигает этот баланс для self-hosted агентов, принося constrained decoding как серверный флаг.
Инженеры Ubicloud прогнали Kimi K2.6 на vLLM 0.28 и получили, что модель отдает ожидаемую схему tool-call только в 92% случаев - 2 вызова из каждых 25 возвращали битый JSON, который дальше отравлял контекст агента. С включенным constrained decoding Ubicloud фиксирует 100% соответствия схеме для моделей Kimi и DeepSeek.
Что это значит для малого бизнеса
Если у вас за CRM, счетами или складом работает open-weight модель, обновитесь до vLLM 0.31 и включите флаг до того, как наращивать шаги агента. Детерминированные подзадачи - найти SKU по штрихкоду, разобрать XML - должны оставаться в обычной функции; LLM берет на себя только то, что скриптом не описать, как в складском боте с поиском по фото и артикулу. Без гарантий схемы каждый вызов инструмента - маленькая лотерея, а многошаговые агенты эти шансы безжалостно перемножают.
Почему это важно: Тихие 8% брака на tool-call убивают надежность агента быстрее, чем ее починит любой тюнинг промпта - зафиксируйте версию инференс-движка и проверьте точность схемы до того, как выкатывать что-то многошаговое.
Источник: Hacker News