안녕하세요!글또에 참여하면서 한 달 만에 기술 포스팅 대신 회고글을 작성하게 되었네요. 새로운 직장에 적응하면서 기술 포스팅을 쓰는 것이 여간 쉬운 게 아니네요ㅠㅠ (나름 변명 아닌 변명입니다...) 그래서 오늘은 이직 후 한 달간의 생활과 느낀 점들을 간단히 공유해보려고 합니다! 새로운 도전: 스타트업에서의 ML 엔지니어이번에 이직하면서 맡게 된 포지션은 ML 엔지니어로서 실제 프로덕트에 사용되는 AI 모델의 서빙 및 관리를 담당하는 포지션입니다. 이 포지션은 실제 모델도 다루며 서빙 및 관리까지 할 수 있는 포지션이다 보니 저에게 매우 매력적으로 다가왔는데요.특히, 팀을 이끄는 리더분이 업계에서 높은 인지도를 가진 분이어서 많이 배울 수 있겠다는 기대감으로 입사했습니다. 이제 본격적으로 느꼈던 점들에..
분류 전체보기
이번 포스팅에는 마지막 글또 활동을 시작하기 전에 다짐하는 내용을 작성해보려 합니다! 0. 글또란?글또는 다양한 직군의 사람들이 모여 글을 쓰며 서로에게 긍정적인 영향을 주는 커뮤니티입니다!저는 작년 말 처음으로 9기에 지원하면서 블로그 글을 작성하기 시작하였는데요.그때는 꾸준히 글을 써야겠다고 결심했지만, 9기가 종료된 이후엔 의지와는 달리 글쓰기가 점점 소홀해지더라고요... 그래서 다시 글 쓰는 습관을 다지고자 이번 10기에 참여하게 되었습니다!!아쉬운 점은 이번이 글또의 마지막 활동 기수라는 것입니다. 마지막인 만큼, 앞으로의 활동에 대한 제 다짐을 적어보려 합니다. 1. 커피챗에 적극적으로 참여하기처음 글또 활동했을 당시엔 블로그 글을 작성하는 것만으로 부담이 크게 느꼈던 지라 외적인 활동에 대해..
안녕하세요, 저는 최근 SK Devocean OpenLab [LLMOps]에 참여하게 되었는데요!!이번 포스팅에서는 앞으로 OpenLab에서 스터디하게 되는 AutoRAG에 대해 소개해드리겠습니다. 🙂 0️⃣ RAG에 대해 아시나요?요즘 비즈니스나 여러 프로젝트를 살펴보면 심심찮게 LLM이라는 단어를 만나볼 수 있는데요. 실제 비즈니스관점에서 LLM을 서비스로 구현할 때 가장 고민되는 점이 무엇이라 생각하시나요?대다수의 사람들이 가장 먼저 언급하는 점 중 하나는 LLM의 환각현상으로 인한 답변의 불안정성입니다. 현재 LLM은 오랜 시간동안 대량의 데이터를 학습하는 구조로 빠르게 발전하고 있는데요. 학습하는데 쓰인 데이터는 시간이 지날수록 예전의 정보가 되고, 새롭게 만들어지는 정보들(ex. 자사 신규..
안녕하세요, 이번 포스팅에서는 실제 BentoML 을 통해서 모델 서빙이 어떻게 이루어지느지에 대해 알아보겠습니다. 이번 실습에 사용할 모델은 T2I 로 유명한 Stable Diffusion 모델을 사용해볼예정인데요! 아무래도 gpu 가 필요하다보니 클라우드 환경에서의 실습예제로 소개드리려합니다! 이번 실습에서 사용된 모듈버전은 다음과 같습니다. bentoml = 1.1.5 torch == 2.0.1 transformers == 4.31.0 accelerate == 0.21.0 diffusers == 0.19.3 pydantic == 2.3.0 이번 실습의 단계를 구분하면 총 5 가지로 구분할 수 있는데요. 지금부터 하나 씩 살펴보겠습니다! 1. Saving a Model 첫번째로는 BentoML을 이용..
