에이군의 소프트웨어 엔지니어링 연구실

지금까지 LLM의 기본 개념인 동작 흐름과 학습에 대해서 살펴보았습니다. 이제부터는 본격 적으로 AI 엔지니어가 되기 위해서 준비하기 위한 기술 스택에 대해서 작성하겠습니다.먼저 기술에 발전으로 바뀐 흐름부터 살펴보면 아래와 같습니다.  과거에는 머신러닝 분야와 소프트웨어 분야는 거리가 있었습니다.  따라서 AI 엔지니어라는 명칭도 소프트웨어 엔지니어보다는 ML 모델을 연구하고 학습시키고 정확도를 높이는 연구 분야에 가까웠습니다. 시간이 지나면서 기술이 발전하여 현재는 소프트웨어 엔지니어들도 ML 기술을 다루고 서비스에 적용할 수 있도록 거리가 좁혀졌습니다. 따라서 AI 엔지니어라는 용어는 더 이상  ML 모델 만을 연구하는 분야가 아니라 모델을 응용하여 ML 기술을 다루는 전체 분야를 아우르는 용어가 ..

AI엔지니어링 2024. 12. 1. 15:25

이번글에서는 LLM의 학습에 대해서 정리할까 합니다. 이전 글에서  위 그림처럼 LLM은 먼저 모델을 학습하는 과정을 거치고 학습이 완료된 모델을 사용하여 tokenizer 로 입력값을 만들어서 모델에 입력하여 값을 예측하여 사용한다고 했습니다. 그렇다면 맨땅에 모델을 학습하려고 하면 어떤 과정을 거쳐야 할까요? 아마도 아래의 프로세스와 유사하게 진행해야 할것입니다. 먼저 당연히 학습할 데이터를 먼저 준비해야 하고 우리가 학습에 사용할 모델을 선별해야 합니다. 그리고 우리는 pre training 단계로 아무 지식이 없는 백지의 모델을 학습하게 됩니다.  그 다음에는 조금더 도메인에 맞게 fine tuning 이라는 단계를 진행하여 모델을 좀더 학습한 다음에 해당 모델을 배포해서 사용 합니다.  최근에 ..

AI엔지니어링 2024. 10. 22. 10:14

이전글에는 LLM 동작에 대한 아주 기초적인 학습 개념에 대해서 작성했었습니다.  이번글에서는 한단계 더 들어가서 실제로 LLM 이 데이터를 어떻게 인식하고 처리하는지에 대한 파이프라인을 살펴보겠습니다.결국은 LLM도 컴퓨터가 처리하는 것이기 때문에 입력 받는 문자열을 수치화 하여 입력을 해야 합니다.LLM에 원하는 입력을 하기 위해서는 데이터 전처리 단계가 필요하며 이 전처리가 끝나면 수치값으로 변환 됩니다.위처럼 문장을 데이터 전처리를 하여 수치화로 변환하는 작업은 tokenizer 가 진행 합니다.이런 tokenizer 는 다시 정규화 -> 사전토큰화 -> 학습 -> 사후처리 프로세스로 구분됩니다.정규화 단계에서는 공백 제거, 소문자 변환 및 악센트 제거 등과 같이 문자열의 일반적인 정제 작업을 진..

AI엔지니어링 2024. 9. 11. 14:31

이전글에서는 LLM에 대한 기본적인 개념을 작성했었습니다. 이번글에는 한 걸음 더 나아가서 이런 LLM에 대한 동작 관련하여 작성하겠습니다. LLM은 결국 언어모델(LM)이라고 했었습니다. 그렇다면 언어모델을 먼저 어떻게 만드는지 알아야 언어 모델의 동작 과정을 더욱 이해를 할 수 있을 것입니다.대부분의 개발자들은   "입력값" -> "동작 알고리즘" -> "결과값"의 동작 순서에 익숙하며 이해하는데 어려움이 없을 것입니다.하지만 언어 모델은 조금 다른 개념으로 동작을 진행 합니다. 언어 모델의 동작 개념을 이해하기 위해서는 기계학습(Machine Learning, ML )이라는 것을 이해해야 합니다.기계학습이란 컴퓨터에게 데이터를 학습시켜서 지능을 학습시키게 하는 방법을 연구하는 분야입니다. 언어모델을..

AI엔지니어링 2024. 7. 14. 15:21

최근에는 LLM이라는 게 개발자에게 핫하게 다가오고 있습니다.ChatGPT  서비스의 탄생으로 개발자가 필요 없어졌다는 루머? 도 들리고 개발자들에게는 다가오는 미래에 대하여 대비가 필요합니다.그런데 막상 하려고 하니 뭐부터 해야 할지 헷갈릴 수도 있고 어디까지 알아야 할지 막막할 수도 있습니다.이런 분들을 위하여 제 블로그에 개발자를 위한 LLM 엔지니어링 스리즈를 작성하려고 합니다. LLM을 하기 위해서는 간단한 머신러닝의 개념을 알면 도움이 됩니다. 예전에는 해당 영역이 개발자의 영역이기보다는 리서처 영역에 가까웠습니다. 지금은 리서처 영역 정도로 깊게 알고 진행할 필요는 없지만 기본 개념을 잘 알고 하는 것과 그렇지 못하는 건 차이가 큽니다. 이러한 이유로 LLM 개념을 간단하게 설명하는 것부터 ..

AI엔지니어링 2024. 7. 5. 16:53

langchain 은 저에게 많은 영감을 주는 프레임워크입니다.langchain에서 확장하고 있는 응용 기술과 기능들은 LLM을 이용하는 데 있어서 많은 영감을 주고 트렌디한 응용을 파악하는데 도움이 됩니다.하지만 저는 아래와 같이 2가지 이유로 아직 서비스에 직접적으로 langchain을 사용하지 않고 있습니다. 1. 낮은 버전과 잦은 변경아직은 버전이 0.2 인 것과 같이 계속해서 변경되고 있으며 발전하고 있습니다. 불과 몇 달 전에 구성됐던 코드들은 이제 더 이상 사용되지 못합니다. 새로운 기능이나 개선 사항들은 더 이상 이전 버전에서 유지관리가 되지 않는 문제가 많이 발생하고 있습니다. 2. 이해하기 힘들고 컨트롤할 수 없는 세부적인 동작추상화는 확장성과 유지관리를 유용하게 하지만 내부에 동작하는..

AI엔지니어링 2024. 6. 16. 21:02

최근에는 AI 엔지니어링의 의미는 폭넓게 사용됩니다.  용어는 때로는 시대의 흐름에 따라 다르게 사용되기도 합니다.AI엔지니어링 이라는 용어도 시대의 변화에 따라서 범위나 의미가 변화 되고 있습니다.개인적으로 실무를 하면서 AI 엔지니어링의 의미가 chatgpt 등장 이전과 이후로 크게 변화 되었다고 생각이 듭니다.여러 견해가 있지만 아래는 제가 생각하는 AI 엔지니어링의 의미 변화입니다.가장 큰 분기점은 chatgpt 서비스의 등장 전후가 되지 않을까 합니다. (정확하게는 gpt3.5-turbo model 의 등장)chatgpt 란 openai 에서 gpt 언어 모델을 이용하여 제공되는 서비스 입니다.해당 서비스는 채팅 인터페이스를 제공하여 사용자의 지시에 따라 응답을 제공하는 서비스 입니다.chatg..

AI엔지니어링 2024. 6. 7. 09:48

LLM 기술을 가지고 어떤것을 활용해 볼까 하다가 제가 좋아하는 축구에 대한 주제로 뭔가를 하면 좋지 않을까 하고 AI SOCCER LAB 을 시작하게 되었습니다. AI SOCCER LAB 은 LLM을 기반으로 자연어 처리 관련 TASK 와 데이터 분석을 진행하여 서비스를 구축하는것을 목적으로 하고 있습니다. 기본적으로 구현하고 있는 서비스 데이터 프로세스 파이프라인 구조는 아래와 같습니다. news info 리스트 수집 :  축구관련 기사 목록을 수집news body 수집: 수집한 기사 리스트에 대해서 본문을 수집news Summary: 수집한 기사의 본문을 이용해서 요약을 진행news image generate : 기사의 요약한 내용에 맞는 이미지를 생성data analysis : 수집한 기사에 대한..

AI엔지니어링 2024. 5. 30. 17:18