LLMOps

Summary: Responsible for the reliable deployment, maintenance, and monitoring of Large Language Model (LLM) and GenAI solutions. The role involves automating the LLM lifecycle, ensuring quality, cost, security, and performance, and collaborating with cross-functional engineering teams.

Więcej niż jeden projekt. Więcej niż jeden rynek.

Jesteśmy częścią Hiberus, firmy technologicznej wywodzącej się z Hiszpanii z silną pozycją na rynku polskim: 4700+ specjalistów, obecnej w 14+ krajach i realizującej projekty dla klientów na całym świecie.

Pracujemy z technologiami AI, Data, Cloud, Software Development, BI i Cybersecurity. Ale przede wszystkim stawiamy na ludzi – gdy jeden projekt się kończy, szukamy kolejnych możliwości w ramach Hiberus, również w innych krajach.

Naszą wartość dodatkową stanowi Hiberus University - międzynarodowe środowisko i realna możliwość rozwijania swoich kompetencji. Ponad tysiąc osób przeszkolonych w zeszłym roku z wybranych technologii.

Pierwszy projekt to początek. Z Hiberus możesz budować swoją karierę długoterminowo.

### About the company

More Than One Project. More Than One Market.

We are part of Hiberus, a technology company founded in Spain with a strong presence in the Polish market: 4,700+ specialists, operating in 14+ countries and delivering projects for clients worldwide.

We work with technologies including AI, Data, Cloud, Software Development, BI, and Cybersecurity. But above all, we put people first. When one project comes to an end, we look for new opportunities within Hiberus — including projects in other countries.

One of our key advantages is Hiberus University — an international learning environment offering real opportunities to develop and expand your skills. More than 1,000 people were trained last year in selected technologies.

Your first project is just the beginning. With Hiberus, you can build a long-term career.

### Opis stanowiska

Poszukujemy specjalisty, który będzie odpowiadać za niezawodne wdrażanie, utrzymanie i monitorowanie rozwiązań opartych na dużych modelach językowych. Rola obejmuje automatyzację cyklu życia LLM oraz kontrolę jakości, kosztów, bezpieczeństwa i wydajności.

Zakres odpowiedzialności:

• Projektowanie i utrzymywanie procesów wdrażania oraz monitorowania rozwiązań LLM i GenAI
• Automatyzacja testów, wersjonowania modeli, promptów, konfiguracji i zbiorów ewaluacyjnych
• Monitorowanie jakości odpowiedzi, opóźnień, dostępności, kosztów i wykorzystania zasobów
• Budowanie mechanizmów obserwowalności, audytowalności i bezpiecznego zarządzania dostępem
• Współpraca z inżynierami AI, architektami, bezpieczeństwem i zespołami infrastruktury
• Obsługa incydentów oraz optymalizacja środowisk uruchomieniowych i integracji

### Job description

We are looking for a specialist who will be responsible for the reliable deployment, maintenance and monitoring of solutions based on large language models. The role involves automating the LLM lifecycle and overseeing quality, costs, security and performance.

Responsibilities:

• Designing and maintaining processes for the deployment and monitoring of LLM and GenAI solutions
• Automating tests, model versioning, prompts, configurations and evaluation datasets
• Monitoring the quality of responses, latency, availability, costs and resource utilisation
• Building mechanisms for observability, auditability and secure access management
• Collaborating with AI engineers, architects, security and infrastructure teams
• Incident handling and optimisation of runtime environments and integrations

### Benefity

• Karta Multisport
• Prywatna opieka medyczna

### Benefits

• Multisport card
• Private medical care

### Wymagane doświadczenie

• Doświadczenie w MLOps, DevOps lub utrzymaniu rozwiązań AI w środowisku produkcyjnym
• Znajomość konteneryzacji, CI/CD, API, chmur lub infrastruktury lokalnej
• Praktyczna znajomość monitorowania aplikacji wykorzystujących LLM
• Umiejętność programowania w Pythonie i pracy z repozytoriami kodu
• Znajomość zasad bezpieczeństwa danych, zarządzania sekretami i kontroli dostępu
• Doświadczenie z Kubernetes oraz środowiskami GPU wykorzystywanymi do uruchamiania modeli AI
• Znajomość podstaw sieci dla środowisk GPU

Mile widziane

• Doświadczenie z platformami do zarządzania modelami, promptami i ewaluacją LLM
• Znajomość RAG, baz wektorowych oraz mechanizmów ograniczania halucynacji

### Experience required

• Experience in MLOps, DevOps or the maintenance of AI solutions in a production environment
• Knowledge of containerisation, CI/CD, APIs, cloud or on-premises infrastructure
• Practical knowledge of monitoring applications that use LLMs
• Ability to programme in Python and work with code repositories
• Knowledge of data security principles, secret management and access control
• Experience with Kubernetes and GPU environments used to run AI models
• Knowledge of networking fundamentals for GPU environments

Nice to have:

• Experience with platforms for model management, prompts and LLM evaluation
• Knowledge of RAG, vector databases and mechanisms for mitigating hallucinations