Не выбирайте AI-модель для автоматизации бизнес-процесса по публичным лидербордам - 90% рабочих часов в США уходят на задачи, которых текущие AI-бенчмарки почти не касаются. Цели автоматизации берите из своего процесса и мерьте точность на 20 реальных документах.
Mercor наложил 29 агентных бенчмарков на таксономию O*NET: 923 профессии и 18 797 задач. Только у 208 профессий нашлась задача, за которой стоит хотя бы 5 бенчмарк-промптов. У юристов AI-подверженные задачи покрыты хорошо, а у помощников юриста, секретарей суда и большинства офисных ролей среднего класса - нет. Бенчмарки идут за самыми большими фондами зарплат, а не за реальной тканью ежедневной работы.
Что это значит для малого бизнеса
Если модель возглавила рейтинг по коду или юридическому ризонингу, это почти ничего не говорит о том, сможет ли она надежно разобрать заявки из почты, вытащить позиции из накладной поставщика или довыбить у клиента недостающий документ. Прогоните пилот на 20 реальных задачах - на своих чеках, тикетах, договорах - и там мерьте точность и сэкономленные часы. Такой пайплайн я собираю за неделю, и это же способ не платить за возможности, которые вам никогда не понадобятся.
Почему это важно: Бенчмарки описывают самые блестящие 10% работы. Рабочая автоматизация обычно живет в остальных 90%, и найти ее можно только тестом на своих документах.
Источник: Hacker News