LLM 서빙 및 추론 최적화 엔지니어

About

함께 일하게 될 AI코어개발팀은 번뜩이는 아이디어로 금융 산업에 필요한 AI 기술을 직접 개발합니다. 사용자의 입장에서 필요한 서비스를 정의하고, 적재적소에 필요한 AI 기술을 개발하여 비대면 금융 생활을 돕고 있습니다.

최신 기술을 유연하게 받아들이고, 자신의 서비스에 열정과 책임감을 가지고 함께 일할 동료를 찾고 있습니다. 끝없는 기술에 대한 호기심을 갖고 계신 분, 기술을 활용해 사용자에게 도움을 주는 데 보람을 느끼는 분을 환영합니다.

Responsibilities

• LLM 추론 서비스 개발 및 운영
• LLM 구조·서빙 워크로드·GPU 특성을 프로파일링해 병목을 찾고, 서비스 요구사항에 맞는 LLM 추론 시스템을 설계·구현
• 추론 성능과 GPU 자원 사용 현황을 모니터링하고, 모델·엔진 변경 전후를 비교하는 회귀 테스트로 문제 조기 발견
• Kubernetes 환경에 추론 시스템을 배포·운영하고, 트래픽 변화에 맞춰 요청과 GPU 자원을 효율적 배분

• 모델 추론 최적화
• vLLM·SGLang 등을 기반으로 추론 서버를 구현하고, 서비스 환경에 맞게 구성·튜닝
• 모델 압축, KV 캐시 최적화, 요청 스케줄링(Request Scheduling), 다중 GPU 분산 추론(Distributed Inference)을 적용해 추론 성능을 높이고 모델 품질 저하 여부 확인
• Speculative Decoding, Prefill/Decode Disaggregation, Expert Parallelism 등 새로운 기법을 검토하고, 워크로드에 효과적인 기법을 구현·검증

Requirements

• LLM 서빙 또는 추론 최적화 분야에서 2년 이상 실무 경험이 있는 분
• 최신 LLM 구조와 추론 과정을 이해하고, 모델과 워크로드 특성에 따라 성능 병목을 찾고 최적화 방향을 정할 수 있는 분
• vLLM, SGLang, TensorRT-LLM, TGI 중 하나 이상을 업무에 사용하고, 내부 코드를 분석·수정해 워크로드에 맞게 튜닝해 본 분
• Python을 능숙하게 사용하고, 추론 엔진의 최적화 기능을 직접 구현·검증할 수 있는 분
• 다음 중 한 분야 이상을 깊이 이해하고, 직접 구현·튜닝해 추론 성능을 개선해 본 분
· 모델 압축 또는 KV 캐시 최적화
· 서빙 시스템 최적화(요청 스케줄링, 다중 GPU 분산 추론 등)
· 고급 추론·서빙 최적화(Speculative Decoding, Prefill/Decode Disaggregation, Expert Parallelism 등)

Preferred

• CUDA, Triton, TileLang 등을 활용해 GPU 커널을 구현·튜닝해 본 분
• 다중 GPU 환경에서 LLM을 분산 서빙하고, GPU 간 통신 비용과 부하 불균형을 줄여 본 분
• MoE·긴 문맥·멀티모달 모델을 서빙하며 각 모델에서 발생하는 메모리·연산 병목을 해결해 본 분
• LLM·NLP 분야의 논문 발표 또는 추론 엔진·프레임워크 오픈소스 기여 경험이 있는 분
• Kubernetes 환경에서 플랫폼팀과 협업해 대규모 LLM 추론 서비스를 배포·운영해 본 분
• 금융 등 규제 산업에서 보안·규제 요건을 시스템 설계와 운영에 반영해 본 분

[공통 우대 사항]
· 국가유공자 및 장애인 등 취업보호대상자는 관계법령에 따라 우대합니다.
(입사지원 시 증빙서류를 첨부하는 경우에 해당하며, 증빙서류는 포트폴리오 란에 첨부해주시길 바랍니다.)

Benefits

대표 복리후생
· 성장: 연 600만원의 복지포인트를 통해 스스로 성장과 밸런스있는 삶을 고민할 수 있습니다. 취미활동, 운동, 나에게 주는 선물 등 자유롭게 자기주도 마일리지를 사용해 보세요.
· 이너피스: 만 3년 근속하신 분에게 한달간의 달콤한 안식휴가를 드립니다. 유급휴가이며 좋은 휴식이 될 수 있도록 안식휴가비 300만원을 별도로 드립니다.
· 균형있는 삶: 자유롭게 출퇴근시간을 조정할 수 있는 유연근무제를 운영하고 있습니다. 그 외에도 일과 생활의 균형을 위한 다양한 시도를 하고 있습니다.
· 건강: 본인, 배우자, 자녀, 부모, 배우자부모 대상 단체상해보험 가입을 진행하여 의료비와 진단금을 지원하고 있습니다. 본인은 물론 소중한 가족 한명에게도 건강검진을 지원합니다.
· 가족: 경조사 및 장례서비스 지원, 자녀 교육비 지원, 대출이자 지원제도, 새로운 가족을 위한 휴가/휴직 등 다양한 제도를 통해 가족의 행복을 함께 고민합니다.

더 알아보기: https://recruit.kakaobank.com/welfare