AI엔지니어링

왜 나의 서비스는 AI 경쟁력에 뒤쳐질까?

에이군 2024. 5. 30. 12:34

얼마전에 공개된 GPT-4O 버전의 성능은 우리에게 많은 놀라움을 주었습니다. 영화에서 보았던 자비스와 HER 같은 인공지능 시스템이 이제는 상상속에서만 이야기하는 것이 아니라는게 현실에서 실현도 얼마 남지 않았다는 기대감을 가질수 있게 해주었습니다.

사실은 자연어 처리 분야에서는 미리 예견된 사실이었습니다. ChatGPT 의 등장과 함께 이전과는 다르게 많은것을 바뀌게 했습니다.

아직은 서비스에서 적용하기 어려웠던 점들을 ChatGPT의 등장으로 "이제는 서비스에 적용할 수 있겠구나" 로 패러다임을 바꾸었습니다.

 

그런데 아쉽게도 많은 기업들이 ChatGPT와 같은 자사 서비스나 본인의 서비스에 적용하는데 어려움을 가지고 있습니다. 

오늘은 실제로 실무를 진행하면서 경험했던 실제 서비스에 적용할때 어려움을  정리 할까 합니다.

 

1. 기존 개발자들의 러닝커브

예전보다는 많은 벽이 허물어진건 사실이고 API형태로 제공도 되기 때문에 기존 개발자들도 접근은 가능 합니다. 하지만 LLM과 같은 기본적인 AI 지식이 없으면 접근할때 시행착오를 많이 경험하고 해당 인프라 지식에 대한 학습의 러닝커브가 필요합니다. 따라서 기존개발자들이 접근할때  개발자들의 현재 수준을 고려해야 하고 별도의 학습 비용을 같이 생각해야 합니다.

 

2. AI Product Virtuous cycle 의 이해

 

Andrew’s Ng’s “Virtuous Cycle of AI”, illustrated.

 

AI 기능을 만드는것은 서비스에 기능을 만드는 기존 방식과 접근방법이 다릅니다. AI 의 Virtuous Cycle 을 잘 이해하고 전략적으로 기능을 추가 하고 계획해야 합니다. 

기존에는 기능의 요건을 기획하고 기능을 추가 하면 그만이지만 AI 기능은 초반에는 부족한 기능을 인정하고 리스크가 없는 방향으로 설계를 하고 지속적으로 데이터를 수집하고 최적화 정책을 수립해야 합니다. 그렇지 않을경우 기능을 추가하고 실망감에 삐지거나 고객에게 실망을 안겨 주어서 고객을 잃을수도 있습니다.

어쩌면 많은 예산을 투입하고도 나오지 않은 성과로 많은 사람이 고통을 받을수도 있습니다. 그렇게 때문에 처음부터 많은 예산을 투입하고 진행하는 것보다는 POC로 진행을 시작하거나 진행되는 사항을 보고 단계적으로 비용을 투입하는 계획을 작성하는게 좋습니다.

 

3. 정보의 홍수에서 올바른 데이터 찾기

자체적으로 AI 모델 및 LLM을 학습 하지 않는다고 하더라도  GPT-4O 와 같은 세계적인 기술을 API 형태로 쓸수 있습니다. 하지만 너무 많은 정보로 인해서 자신의 서비스에 맞는 기술이 무엇인지 찾는데 시간이 많이 걸릴수 있습니다.

gpt , gemini, claude, llama, embbding model, vector db, RAG... , ? 어떤것을 사용하여 어떻게 조합해야 자신의 서비스에 맞는 최상의 서비스 아키텍처를 구성 할수 있을지 찾는데 한참 걸릴수도 있습니다.