ИИ-агенты имеют ограничения в продажах и обслуживании клиентов. Компания Salesforce недавно представила новый бенчмарк под названием CRMArena-Pro, который стал важным инструментом для оценки эффективности ИИ-агентов в реальных бизнес-условиях. Этот новый стандарт выявил значительные недостатки в работе современных ИИ-агентов, особенно в таких критически важных областях, как продажи и обслуживание клиентов. CRMArena-Pro был специально разработан для оценки способности больших языковых моделей выполнять разнообразные задачи, связанные с управлением клиентскими отношениями (CRM). Это охватывает ключевые аспекты, такие как продажи, обслуживание клиентов, а также вопросы ценообразования.В отличие от предыдущей версии, новая версия бенчмарка включает 19 различных видов бизнес-активностей, что позволяет более всесторонне оценить функциональные возможности ИИ-агентов. Кроме того, в ней представлено 4280 задач, охватывающих широкий спектр сценариев, и три категории требований по защите данных, что делает исследование более тщательным и актуальным в условиях современного бизнеса.Анализ, проведенный Salesforce, выявил, что большинство существующих моделей ИИ не способны задавать уточняющие вопросы, когда информация оказывается недостаточной для адекватного решения задачи. Это является серьезным ограничением, поскольку в реальной бизнес-среде часто возникают ситуации, когда точные данные необходимы для принятия правильных решений.В рамках исследования было проанализировано 20 различных ошибок, допущенных моделью Gemini 2.5 Pro. Интересным фактом стало то, что почти в половине случаев модель даже не предприняла попыток получить недостающие данные, что указывает на недостаточную адаптивность и гибкость в общении с клиентами. В то же время, модели, которые проявляли склонность задавать больше вопросов, продемонстрировали значительно лучшие результаты. Это подчеркивает важность активного взаимодействия и способности к диалогу для успешной работы в области клиентского обслуживания.Gemini 2.5 Pro выделяется среди других моделей благодаря своим высоким показателям выполнения задач как в B2B-, так и в B2C-сценариях. В частности, она показывает отличные результаты как в одиночных, так и в многотуровых диалогах, что делает ее более эффективной в сравнении с конкурентами по версии CRMArena-Pro. Это открывает новые возможности для бизнеса, стремящегося интегрировать ИИ-технологии в свои процессы, однако также указывает на необходимость дальнейших разработок и улучшений в области ИИ для достижения максимальной эффективности и удовлетворенности клиентов.