Меня зовут Виктор Носко, мне 39 лет. Мы с командой занимаемся несколькими проектами, связанными с нейросетями. Один проект это Аватар Машина, основной продукт — нейро-психолог Сабина. Еще есть компания Fractal Tech, там мы делаем новую зерокод платформу. На ней, с помощью агентов искусственного интеллекта, пользователи смогут создавать свои приложения.

Наш бэкграунд

Мы все в команде программисты, я в том числе бывший программист. Сейчас занимаюсь управлением и продажами, но понимание кода дает очень много. Я знаю, что именно делают программисты и как им донести пожелания клиента. Я думаю, лучший управленец это тот, кто сам вырос из разработчика.

Я окончил Южный федеральный университет, учился в аспирантуре, но не защитился. После окончания я работал в ЮФУ, в подразделении северо-кавказского научного центра. Мы проводили исследования, связанные с безопасностью на юге России, выигрывали гранты и реализовывали их. Мой бэкграунд — это наука. В 2014 я ушел из университета, основал компанию и мы стали заниматься нейросетями, тогда это опережало свое время.

Отсюда и сформировались ценности нашей компании: развивать науку, нести пользу обществу и зарабатывать деньги в процессе.

В NLP нас привела потребность к более глубокой аналитике. Но тогда не было генеративных сетей, не было ChatGPT. Не было возможности качественно генерировать, только анализировать. Как отредактировать готовый текст или написать новый.

Как появилась идея сделать нейро-психолога

Мы знали про GPT-2, когда многие еще о нем не слышали — уже следили за этой архитектурой. Я был на конференции Daily Start в Москве и выступал с темой прозрачности и безопасности ИИ. На этой конференции был доклад про GPT и мне сказали, что эта архитектура всех победит своей универсальностью.

Дальше мы сделали сайт и написали, что делаем аватаров с искусственным интеллектом. Что-то наподобии Character AI— общение с виртуальными персонажами. Мы думали сделать такую платформу, но это было дорого и мы хотели сделать не просто болталку, а что-то полезное.

Мы отбросили много идей смешных и интересных ботов, в итоге появилась Сабина — виртуальный психолог.

Если вы тоже хотите быть в курсе нового в мире нейросетей, не отставать от трендов и использовать ИИ для решения бизнес-задач — приходите на наш бесплатный вебинар!

Создание Сабины

Мы исследовали рынок, я общался с психологами. Первый вопрос был: хотим ли мы заменить людей? Конечно, не хотим. Мы понимаем, что Сабина не заменяет психолога-человека.

К примеру, расскажу про технологию. Сначала мы собрали ее на GPT-модели, датасет для которой написал психолог. Он описал проблемную ситуацию и сам же внес свои ответы.

У получившегося бота было преимущество относительно GPT-3 (это было лето 2022, ChatGPT еще не вышел), он был лучше по параметру вовлеченности, мог глубже погрузиться в проблему юзера. Сами психологи тоже тестировали бота и говорили, что в рамках определенных тем (страхи, отношения и тд.)  бот разговаривал лучше, чем GPT-3.

А потом вышел ChatGPT, на обучение которого было потрачено $30 миллионов. И, конечно, ChatGPT общался хорошо и на тему психологии, и на другие темы, не связанные с ней. Позже и мы перевели нашего бота на ChatGPT.

На разработку мы потратили порядка 300-400 тысяч. Это на самом деле небольшая стоимость, часть ушла на наше время как разработчиков, а часть на датасет и тестирование.

Например, важно балансировать лексикон в речи бота. Если лексикон слишком небогатый, то общаться скучно, он очень сухой. А если богатый — бот может сморозить чепуху. Вот это приходилось долго тестировать и выверять.

Подводные камни

Люди хотят получить все те человеческие свойства, которых у ботов нет. Конечно, в первую очередь это память, особенно ассоциативную память. Чтобы была мягкая смена разговора, чтобы бот ничего не забывал, не соскакивал резко с темы.

Если говорить кратко, то проблема с памятью это самая большая проблема для всех компаний на данный момент.

По сути это проблема длины контекста: есть определенное количество токенов, которое модель «понимает» за одну сессию взаимодействия. Весь разговор, который вы ведете с ботом должен помещаться в этот контекст. К примеру, вы закинули 10 реплик, они заняли весь контекст, а 11-я уже не помещается. В такие моменты бот и начинает все «забывать». Потому что для того, чтобы вместить 11-ю реплику, он «выкидывает» первую.

Долго это было 2 000 токенов, что очень мало. Потом уровень вырос до 4 000, сейчас встречается 16 000 и 32 000. Недавно был Anthropic на 200 000, а сейчас Google Gemini заявляют, что у них 1 000 000.

Проект сейчас

Сейчас у Сабины около 20 000 юзеров. Большинство пользуется бесплатной версией, но некоторые покупают подписку. Люди в основном просто общаются, хотят выговориться. Они понимают, что с ботом можно поболтать, но до человека он все-таки не дотягивает. Немного поговорив с ботом, пользователи видят, что если их проблемы небольшие, то можно купить подписку и побольше поболтать. Сейчас Сабина стоит 700 рублей в месяц, это очень маленькая цена.

А если проблемы серьезнее, то уходят к психологам-людям и это, конечно, правильно.

В каком-то смысле Сабина это способ попробовать психотерапию и решить, хочет ли человек обратиться к живому терапевту.

Есть боты-психологи, я их видел, но наша Сабина намного лучше. Мы управляем целеполаганием бота. Наш бот спрашивает, уточняет, а не только дает советы. Мы не пишем ветки сценариев разговора — это устаревший способ. У людей ведь тоже нет веток, есть генеральные ценности, но они пересекаются.