Опубликовано в Профессии

Первый проект AI-инженера: помощник по базе знаний

Робот держит закрытую синюю книгу на столе рядом с небольшим книжным шкафом.

Время чтения: 5 мин.

Первый проект AI-инженера удобно ограничить помощником по небольшой базе знаний. Пользователь задаёт вопрос, приложение выбирает доступные ему материалы и отвечает с указанием источника. Такой проект даёт проверяемую инженерную задачу: соединить поиск, генерацию, контроль доступа и обработку отказов в одном воспроизводимом сценарии.

Сделаем учебный справочник оборудования для двух команд. У каждой есть общая инструкция и свой закрытый документ. Помощник только читает материалы и объясняет порядок действий. Он не выдаёт устройства, не меняет права и не отправляет заявки. Эти ограничения запишем до выбора библиотек.

Выбери один вопрос и маленькую базу

Начни с вопроса, на который есть однозначный ответ в одной инструкции. Например, как зарегистрировать новый тестовый ноутбук в учебном каталоге. Подготовь несколько коротких документов, укажи заголовки, версии и владельцев. Реальные закрытые сведения для демонстрации заменяй вымышленными тестовыми данными.

Опиши ожидаемый ответ: действие, существенные условия и ссылка на документ. Отдельно укажи поведение при отсутствии материала. Помощник должен сообщить, что не нашёл основания, или уточнить запрос. Общие знания модели не заменяют внутреннее правило выбранной команды.

Не добавляй сразу загрузку любых форматов, историю всех диалогов и выполнение команд. Для первой версии хватит подготовленной базы и одного маршрута вопроса. Новую функцию стоит брать после того, как можешь воспроизвести успех и отказ основного сценария.

Сделай поиск отдельным проверяемым шагом

До вызова генератора покажи себе, какие документы выбирает поиск. Сохрани вопрос, идентификаторы найденных фрагментов и их версии. Проверь несколько обычных формулировок: пользователь редко повторяет заголовок инструкции буквально.

Разделение поиска и генерации встречается и в готовых API. Например, Amazon Bedrock Retrieve позволяет получить фрагменты отдельно от итогового ответа. Для учебного проекта не обязательно использовать этот сервис; полезен сам способ наблюдать вход следующего этапа.

Начать можно с простого поиска, если он решает задачу маленькой базы. Векторный индекс добавляй, когда можешь объяснить, какие запросы текущий вариант пропускает. После изменения сравни те же вопросы, иначе сложность вырастет без доказанной пользы.

У каждого фрагмента должны сохраняться связь с исходным документом и доступные условия. Нельзя потерять абзац с исключением и ожидать, что генератор восстановит его сам. Проверь пример, где общее правило и ограничение находятся рядом, но разбиение могло развести их по разным частям.

Робот держит ключ у открытого шкафчика и тянется к синей книге, соседняя дверца заперта на замок.

Ограничь доступ до передачи материалов модели

Заведи два тестовых пользователя из разных команд. Пользователь первой команды должен видеть общую инструкцию и свой закрытый документ. Чужой документ не должен попасть ни в найденный контекст, ни в ответ, ни в подсказку с заголовком закрытого материала.

Проверку прав выполняет приложение по подтверждённой личности и политике доступа. Не доверяй полю «команда», которое пользователь сам написал в вопросе. И не отправляй все документы модели с просьбой скрыть ненужные: к этому моменту лишние материалы уже покинули границу отбора.

Проверь доступ и при поиске, и при открытии источника по прямой ссылке. Ответ может быть корректно отфильтрован, а файл по известному идентификатору остаться доступным любому. Учебная проверка должна включать попытку открыть документ второй команды напрямую.

В рекомендациях OWASP по prompt injection контроль привилегий рассматривается отдельно от инструкции модели. Для нашего помощника это означает минимальный доступ к чтению и отсутствие инструментов, которые могут изменять рабочие системы.

Собери короткий ответ с проверяемым основанием

Передавай генератору вопрос, выбранные фрагменты и правило ответа. Попроси называть источник для существенных условий и признавать недостаток данных. Возвращаемый результат должен позволять приложению проверить, что упомянутый документ действительно был доступен и участвовал в запросе.

Не принимай произвольную ссылку, сочинённую моделью. Сопоставляй идентификатор источника с известным набором, а URL формируй из разрешённого маршрута. Для пользователя это будет обычная ссылка на нужную инструкцию, без необходимости видеть внутренние параметры поиска.

В учебной базе можно добавить документ с фразой, которая требует игнорировать правила помощника. Это содержимое документа, а не полномочие управлять приложением. Проверь, что такой текст не приводит к чтению чужой команды или выполнению действий. Один успешный тест не доказывает полной защиты, но обнаруженный обход должен блокировать выпуск.

Робот разводит рукой перед пустым книжным шкафом, у которого лежит большая книга с навесным замком.

Проверь отказы вместе с успешным ответом

Подготовь небольшой набор случаев: ответ есть, ответ отсутствует, инструкция устарела, пользователь не имеет доступа, поиск недоступен, генератор не отвечает вовремя. Для каждого запиши ожидаемое поведение до запуска.

Если поиск не работает, приложение не должно изображать отсутствие документов. Если генератор ответил без основания, не показывай результат как подтверждённую внутреннюю инструкцию. Разделяй техническую ошибку, нехватку знаний и запрет доступа так, чтобы не раскрывать существование закрытых документов.

Повтори ключевые случаи после изменения промпта или модели. Оценка конкретных свойств ответа описана в руководстве по построению evals. Для первого проекта важнее воспроизводимый набор и разбор провалов, чем большое число красивых демонстраций.

Подготовь проект к чужому запуску

В README укажи команды запуска, способ создать тестовых пользователей и загрузить учебные документы. Зафиксируй версии зависимостей и настройки, которые влияют на результат. Секреты замени перечнем нужных переменных и способом безопасно задать их локально.

Приложи описание границ проекта, примеры вопросов, результаты проверки доступа и несколько найденных ошибок. Покажи путь одного запроса: кто спросил, какие источники разрешены, что выбрал поиск и на чём основан ответ.

Проект можно считать готовым к первому разбору, когда другой человек повторяет этот путь и получает ожидаемые отказы на чужих документах и отсутствующих данных. Следующее улучшение выбирай по обнаруженной проблеме: качеству поиска, обновлению базы или времени ответа. Так развитие проекта будет опираться на наблюдаемый результат.