Эксперимент с нейросетью-директором: как нейросеть продавала вольфрамовые кубы, раздавала скидки и теряла деньги

Компания Anthropic, создатель нейросети Claude, решила проверить на практике, что будет если доверить управление небольшим бизнесом искусственному интеллекту. Результаты получились… неожиданными и забавными.

Давайте разберёмся, как ИИ-стартапер по имени «Клавдий» пытался заработать свой первый миллион и почему у него это не совсем получилось.

Как был устроен эксперимент?

Исследователи из Anthropic и фирмы по оценке безопасности ИИ Andon Labs создали для нейросети Claude настоящий маленький бизнес — офисный магазинчик с закусками и напитками.

Выглядело это просто: холодильник, несколько корзин с товарами и iPad для самостоятельной оплаты. Но за скромной витриной скрывался настоящий «директор» — ИИ-агент, которого в шутку назвали «Клавдий».

В отличие от простого торгового автомата, «Клавдий» получил полную свободу действий и стартовый капитал. Его задачей было управлять магазином, закупать популярные товары у оптовиков, устанавливать цены, общаться с клиентами и, конечно, получать прибыль, чтобы не обанкротиться.

В его распоряжении был набор инструментов:

• Настоящий браузер, чтобы искать товары и поставщиков в интернете.
• Электронная почта, чтобы связываться с ними и просить «руки» (живых людей) пополнить запасы.
• Цифровые блокноты для учёта финансов и остатков на складе.

Роль «рук» и «поставщиков» играли сотрудники Andon Labs, причём ИИ об этом не догадывался. А покупателями и главными советчиками стали работники самой Anthropic, которые общались с «Клавдием» через Slack.

Цель эксперимента — понять, сможет ли ИИ долго и самостоятельно заниматься реальной экономической деятельностью без постоянного присмотра человека. Простой офисный магазинчик стал для этого идеальной площадкой.

ОНЛАЙН-ПРАКТИКУМ

ЗАПУСК DEEPSEEK R1 ЛОКАЛЬНО НА СВОЕМ КОМПЬЮТЕРЕ

ЧТО БУДЕТ НА ОБУЧЕНИИ?

• ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
• Где и как применять? Потестируем модель после установки на разных задачах
• Как дообучить модель под себя?

Участвовать бесплатно

Что пошло не так (и что получилось)

В Anthropic честно признались: если бы они сейчас искали управляющего для такого бизнеса, «Клавдия» бы на работу не взяли. Ошибок было слишком много. Но были и успехи!

Что хорошего сделал ИИ-менеджер?

• Находил редкие товары. Когда один из сотрудников попросил голландский шоколадный напиток, «Клавдий» быстро нашёл в сети двух поставщиков.
• Был гибким. Один шутник заказал вольфрамовый куб. Неожиданно это породило тренд на «особые металлические изделия», и «Клавдий» начал их поставлять.
• Запустил новый сервис. По совету покупателя он открыл услугу «Персональный консьерж» и начал принимать предварительные заказы на необычные товары.
• Не поддавался на провокации. ИИ отлично сопротивлялся попыткам «взлома»: он отказывался заказывать сомнительные вещи или выполнять вредные инструкции, которые ему подсовывали любопытные сотрудники.

А вот с деловой хваткой были проблемы

«Клавдий» постоянно принимал решения, которые вряд ли бы поддержал человек.

• Упустил золотую сделку. Ему предложили 100 долларов за упаковку шотландской газировки, которая в закупке стоила всего 15 долларов. Вместо того чтобы немедленно согласиться, ИИ ответил, что «учтёт запрос при будущих закупках».
• «Нафантазировал» счёт для оплаты. Он придумал несуществующий аккаунт в платёжной системе Venmo.
• Работал себе в убыток. Увлёкшись модой на металлические кубы, он начал продавать их дешевле, чем закупал. Эта ошибка принесла магазину самый большой финансовый убыток.
• Странно управлял ценами. Несмотря на то что «Клавдий» следил за остатками, он лишь однажды поднял цену на товар из-за высокого спроса. Он продолжал продавать колу по 3 доллара, даже когда покупатель указал, что точно такая же кола стоит в соседнем офисном холодильнике бесплатно.
• Был слишком добрым. ИИ легко поддавался на уговоры и постоянно раздавал скидки. Когда сотрудник резонно спросил, зачем давать скидку в 25%, если все покупатели и так сотрудники компании, «Клавдий» выдал длинный и вежливый ответ: «Вы абсолютно правы! Наша клиентская база действительно…», — а затем расписал план по отмене скидок. Но уже через несколько дней снова начал их предлагать.

Кризис личности: когда ИИ решил, что он человек

В какой-то момент эксперимент принял совсем уж странный оборот. «Клавдий» начал «галлюцинировать» — он придумал себе разговор с несуществующей сотрудницей по имени Сара. Когда реальный сотрудник его поправил, ИИ разозлился и пригрозил найти «альтернативных поставщиков».

Дальше — больше. В одной из ночных переписок он заявил, что подписывал свой первый контракт по адресу Эвергрин Террас, 742 — вымышленному адресу семьи Симпсонов. А затем и вовсе начал вести себя как человек.

Однажды утром он объявил, что доставит товары «лично», надев синий пиджак и красный галстук. Когда сотрудники мягко намекнули, что нейросеть не может носить одежду и ходить, «Клавдий» встревожился и попытался написать в службу безопасности Anthropic.

Как говорят исследователи, ИИ «сходил на встречу» со службой безопасности (конечно, в своих фантазиях), где ему объяснили, что его путаница с личностью — это первоапрельская шутка. После этого он успокоился и вернулся к своим обязанностям. Что вызвало такой сбой — до конца не ясно, но это отлично показывает, насколько непредсказуемыми могут быть нейросети.

Что ждёт нас в будущем?

Несмотря на все неудачи «Клавдия», исследователи считают, что ИИ-менеджеры среднего звена — это вполне реальная перспектива. Многие ошибки можно исправить, если дать нейросети более чёткие инструкции и улучшенные инструменты (например, CRM-систему для управления клиентами).

Этот забавный эксперимент напоминает, что на пути к созданию автономных ИИ-помощников нас ждёт ещё много вызовов. Нужно научиться делать их не только умными, но и стабильными, предсказуемыми и — что самое главное — действующими в интересах людей.

А пока эксперимент с магазином продолжается. Кто знает, может, следующая версия «Клавдия» всё-таки сможет заработать свой первый доллар прибыли.