Нейронные сети — относительно новая и активно развивающаяся область в информационных технологиях. Использование генеративных языковых моделей в разработке ПО очень перспективно, потому что может значительно сократить время на выполнение рутины и позволить сосредоточиться на более сложных задачах. Мы в Т‑Банке начали экспериментировать с самым популярным таким решением — GitHub Copilot, но столкнулись с несколькими проблемами:

1. Повышенные требования к безопасности и утечкам данных. Т‑Банк — финансовая экосистема, поэтому мы всегда помним о возможных уязвимостях. Наличие стороннего сервиса, у которого есть доступ к нашему исходному коду, может представлять потенциальную угрозу.
2. Санкции. К сожалению, из-за санкций мы не можем воспользоваться услугами GitHub Copilot и других похожих сервисов в масштабах всей компании.
3. Внутренняя информация и инфраструктура. Многое из того, что мы создаем в Т‑Банке, напрямую связано с нашим бизнесом и не может быть использовано в открытом виде. Поэтому для нас важно найти решение, которое позволит использовать нейронные сети в своих проектах без рисков и ограничений.

По этим причинам мы решили создать собственный внутренний продукт, который бы помогал разработчикам в повседневной работе, но при этом был полностью безопасным и управляемым. Так родился AI-ассистент для разработчиков.

Цель AI-ассистент — упростить процесс программирования и снизить когнитивную нагрузку на разработчиков. Сейчас его основная функциональность — автоматически генерировать код, чтобы ускорить процесс написания программ и сделать его более эффективным. При этом важно, чтобы подсказки было удобно принимать и проверять.

В итоге мы реализовали:

Inline-подсказки — непосредственное продолжение строчки кода, которую пишет разработчик в данный момент. Этот вид подсказок позволяет программистам получать предложения на лету, не прерывая свое основное направление работы.

Блочные подсказки — функциональность, позволяющая генерировать готовые фрагменты кода, которые можно легко вставить в проект. Это значительно ускоряет процесс написания программ и помогает сосредоточиться на более высокоуровневых задачах, а не на рутинной работе.

Концепция реализации подсказок простая: собираем контекст из релевантных файлов, добавляем информацию о текущем файле и позиции курсора в нем, а потом используем модель для генерации.

На практике же из-за того, что устройство модели сложное, а ответы недетерминированные, возникает много нюансов. Например, модель может просто отказаться генерировать что-либо из-за неправильной токенизации или пропустить важную часть входных данных, потому что они где-то в середине и на них недостаточно акцентировали внимание. В итоге получается довольно интересная исследовательская задача!

Одним из значительных примеров стала интеграция AI-ассистента во внутреннюю систему Helicopter, которую используют аналитики Т‑Банка для написания запросов, — подробнее о ней рассказываем в статье. В результате этой интеграции он стал помогать не только разработчикам в написании кода, но и аналитикам в формировании сложных SQL-запросов.

Схема работы на первый взгляд довольно простая:

1. Из расширения делается запрос с кодом в Adapter.
2. Adapter передает запрос в языковую модель и дожидается генерации.
3. Готовый ответ передается расширению.

У реализации продукта есть свои особенности. Для обеспечения удобства разработчиков нам приходится писать расширения для разных IDE: VS Code и продуктов от JetBrains. Это две совершенно разные экосистемы.

Расширения для VS Code пишутся на Typescript, а для JetBrains — на Kotlin или Java, поэтому команде приходится писать на двух языках. Взаимодействие с API сильно разное, не говоря уже о графических составляющих. Поэтому особенно интересно реализовать общий логический модуль, за счет которого можно уменьшить дублирование кода.

Оптимизация потребляемых вычислительных ресурсов тоже критична в мире, где не хватает GPU-ускорителей. Мы провели нагрузочные тесты, чтобы подобрать инференс и оптимальные параметры инференса моделей.

Важную роль играет качество самой модели. Для первичного подбора мы использовали HumanEval. Сейчас переходим на более подходящие под наш случай RepoBench и CrossCodeEval — бенчмарки, которые добавляют контекст из других файлов и оценивают совпадение сгенерированного кодового выражения с исходным.

Мы не ограничиваемся помощью только программистам и только в IDE. Мы хотим, чтобы AI-ассистент стал универсальным помощником для всех специалистов в области ИТ в Т‑Банке, включая системных аналитиков, тестировщиков и SRE. Поэтому в планах:

1. Интеграция с внутренними тулами и утилитами. Круто, если разработчик может не выходя из IDE делать ревью, деплоить приложения и смотреть на то, какие тесты «моргают». Список идей здесь и правда большой.
2. Повышение качества подсказок: новая архитектура, адаптация под внутренний стиль кода.
3. Ассистирование SRE при разборе инцидентов.
4. Выстраивание процесса от описания ТЗ и постановки задачи до ее реализации и тестирования, где умный ассистент будет всегда рядом, обладая полным контекстом и базой знаний.