fokcus

AI/ML Engineer

СберСпасибо · Москва · офис

по договорённости

Опубликовано 11 дн назад

Связаться
Как распознать мошенников

Настоящий работодатель не просит войти через iCloud или Apple ID, прислать коды из SMS, установить программу для «тестового задания», перевести деньги или оплатить обучение. Если просят — это не работа.

senior
Свежая вакансия Появилась 19 дн назад

Москва

ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ

-Повышение качества RAG-агентов на трёх направлениях: поиск по технической документации, по нормативной базе, по бухгалтерской документации; -Промпт-инжиниринг и контекст-инжиниринг для всех агентов команды; -Подготовка эталонных наборов оценки качества; -Реализация LLM-as-a-judge как методологии автоматических регрессионных проверок; -Настройка защит (guards) для production-агентов: фильтры от инъекций в промпт, валидация структуры и контента выходов, защита от утечек ПДн, anti-hallucination механизмы; A/B-тестирование промптов и моделей для подбора лучших конфигураций; -Тюнинг качества по сигналам обратной связи пользователей и трассировкам из Langfuse.

​​​​​​Требования

-Python от 2 лет коммерческой разработки; -Практический опыт RAG-систем в продакшене: эмбеддинги, векторные базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг. -Опыт построения и поддержки как минимум одного RAG-решения от начала до конца, не прототип; -Практический опыт оценки качества LLM-систем: подготовка эталонных наборов, offline-метрики, LLM-as-judge, регрессионные проверки. -Опыт работы с фреймворками оценки (Ragas, DeepEval или аналоги); -Практический опыт настройки защит для LLM-приложений: защита от инъекций в промпт, валидация структуры и контента выходов, защита от утечек персональных данных; -Опыт промпт-инжиниринга и контекст-инжиниринга в реальных проектах: итеративная настройка промптов, structured output, function calling; -Понимание архитектуры RAG: стратегии нарезки документов, метаданные, выбор моделей эмбеддингов, переранжирование, точность ссылок на источник;

-Практический опыт работы хотя бы с одним LLM-фреймворком

LangChain, LangGraph, PydanticAI, OpenAI API или аналоги; -Практический опыт A/B-тестирования промптов и моделей в продакшене; -Опыт работы с агентскими протоколами (MCP) или собственным tool-layer для агентов; -SQL и работа с реляционными базами на базовом уровне. Контакты: rkdzhanayev@spasibosb.ru

IT Jobs в Telegram | в VK | в Max

Навыки

PythonRAG-системыQdrantFAISSpgvectorRagasDeepEvalLangChainLangGraphPydanticAIOpenAI APISQL
Показать как в источнике 
AI/ML Engineer
#офис #senior
Москва
Компания: СберСпасибо

🔹ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
-Повышение качества RAG-агентов на трёх направлениях: поиск по
технической документации, по нормативной базе, по бухгалтерской
документации;
-Промпт-инжиниринг и контекст-инжиниринг для всех агентов команды;
-Подготовка эталонных наборов оценки качества;
-Реализация LLM-as-a-judge как методологии автоматических
регрессионных проверок;
-Настройка защит (guards) для production-агентов: фильтры от
инъекций в промпт, валидация структуры и контента выходов,
защита от утечек ПДн, anti-hallucination механизмы;
A/B-тестирование промптов и моделей для подбора лучших конфигураций;
-Тюнинг качества по сигналам обратной связи пользователей и
трассировкам из Langfuse.

🔹​​​​​​Требования:
-Python от 2 лет коммерческой разработки;
-Практический опыт RAG-систем в продакшене: эмбеддинги, векторные
базы (Qdrant, FAISS или pgvector), переранжирование, чанкинг.
-Опыт построения и поддержки как минимум одного RAG-решения от
начала до конца, не прототип;
-Практический опыт оценки качества LLM-систем: подготовка эталонных
наборов, offline-метрики, LLM-as-judge, регрессионные проверки.
-Опыт работы с фреймворками оценки (Ragas, DeepEval или аналоги);
-Практический опыт настройки защит для LLM-приложений: защита от
инъекций в промпт, валидация структуры и контента выходов,
защита от утечек персональных данных;
-Опыт промпт-инжиниринга и контекст-инжиниринга в реальных
проектах: итеративная настройка промптов, structured output,
function calling;
-Понимание архитектуры RAG: стратегии нарезки документов, метаданные,
выбор моделей эмбеддингов, переранжирование, точность ссылок на
источник;
-Практический опыт работы хотя бы с одним LLM-фреймворком:
LangChain, LangGraph, PydanticAI, OpenAI API или аналоги;
-Практический опыт A/B-тестирования промптов и моделей в продакшене;
-Опыт работы с агентскими протоколами (MCP) или собственным
tool-layer для агентов;
-SQL и работа с реляционными базами на базовом уровне.
Контакты: rkdzhanayev@spasibosb.ru

 IT Jobs в Telegram |  в VK | в Max
Пожаловаться

Похожие вакансии