krafton · Seoul; Seoul, South Korea
Skills: Python, Docker
우리는 게이머의 로망을 실현하기 위해, 누구도 가지 않는 길을 갑니다. 예상을 뛰어넘는 과감한 상상력과 기술로, 전 세계 팬들이 잊지 못할 세상을 만들기 위해 담대하게 도전하고 개척합니다. We pioneer the path to players' dreams. With bold imagination and breakthrough technology, we create unforgettable worlds for fans across the globe. 우리 팀(프로젝트)을 소개합니다. AI Frontier 본부는 크래프톤의 AI 기술을 실제 제품과 서비스로 연결하고, 새로운 사업 기회를 검증하고 확장하는 조직입니다. 여러 Squad가 서로 다른 고객과 시장을 대상으로 사업을 추진하며, 각 Squad는 제품 개발부터 서비스 운영과 사업 성과까지 책임집니다. 고객의 요구와 실제 사용 결과를 바탕으로 제품을 개선하고, 사업성이 확인된 서비스를 확장해 나갑니다. AI Inference Platform & Operations 팀은 이러한 제품들이 공통으로 사용하는 추론 기반을 만들고, 이를 바탕으로 외부 고객에게 제공하는 추론 서비스를 구축·운영합니다. 자체 모델과 오픈웨이트 모델을 빠르고 안정적으로 서비스에 연결하고, 트래픽이 성장해도 일관된 응답 속도와 가용성을 유지하며, GPU 자원과 추론 비용을 효율적으로 운영하는 것이 팀의 미션입니다. AI Frontier 본부 구성원들은 직급과 연차에 상관없이 의견을 내고, 결정하면 빠르게 실행합니다. 장애를 겪으면 숨기지 않고 포스트모템으로 시스템을 더 단단하게 만들고, 아키텍처와 실험 결과와 의사결정 과정을 문서로 남깁니다. AI 도구를 일상적인 개발·운영 도구로 쓰며, 새로운 모델과 서빙 기술이 나오면 바로 써보고 프로덕션에 적용할 방법을 찾는 문화를 지향합니다. 우리 팀과 함께할 미션을 소개합니다. Inference fleet과 control plane 소유 추론 플랫폼의 기술 방향과 주요 기술 의사결정을 책임지는 Lead 로서 자체 모델과 오픈웨이트 모델(음성 · 멀티모달 포함)을 위한 서빙 플랫폼을 설계하고, 구축 · 운영 체계를 수립하며 팀의 실행을 이끕니다. 서빙 엔진과 오케스트레이션 계층을 선택하고, 요청 라우팅, 용량·모델·캐시 배치, 오토스케일링, 멀티 모델·멀티 테넌트 운영 정책을 포함한 기술 로드맵과 운영 표준을 수립합니다. 조직 구축과 협업 구조 정립 팀을 직접 채용·육성하고, AI Research의 컴퓨팅 최적화 R&D 조직, 사내 추론 서비스를 운영하는 IT 조직, 각 사업 Squad 사이의 단일 접점 역할을 합니다. 프로덕션의 워크로드 프로파일과 병목을 R&D 요구사항으로 구체화하고, 연구 결과를 검증·인수·배포하는 루프를 만듭니다. 안전한 모델 온보딩과 플랫폼 경험 제공 새 모델의 성능 · 품질 회귀 테스트, 릴리즈 자동화, 카나리 · 롤백, API gateway 의 인증 · 쿼터 ·rate limit, 토큰 단위 관측성을 구축합니다. 사업 Squad 와 모델 개 발자가 모델을 빠르고 일관되게 온보딩할 수 있는 셀프서비스 도구와 가이드를 제공합니다. SLO와 운영 신뢰성 확립 TTFT·TPOT·end-to-end latency의 p95·p99, 가용성, 에러율, 처리량 등 워크로드별 SLO와 error budget을 각 Squad와 함께 정합니다. 온콜, 장애 대응, 포스트모템, capacity event 대응, deploy safety를 포함한 운영 체계를 만듭니다. 포스트모템 기반의 아키텍처 개선을 주도합니다. GPU 자원과 단위 원가 관리 GPU 스케줄링 · 할당, 테넌트 격리, 쿼터 · 우선순위 정책과 capacity planning 모델을 설계 · 수립합니다. 모델 · 워크로드별 GPU 활용률, 처리량, 요청 · 토큰 · 작업 단위 원 가를 측정하고, 각 Squad 가 수요와 원가를 계획할 수 있는 지표를 제공합니다. 서빙 기법의 적용·튜닝과 서빙 시스템 개선 continuous batching, …truncated… (2-3회) (Cul…
Sign in to see the original posting
Browse more developer jobs on RoleBurst