2024-11-27 인프런 밋업 AI DEV

세션AI 회사들을 만나며 느낀 AI개발의 현주소

 

이호연님(그랩)

 

RAG에 대한 조금 더 딥한 내용을 다룰 예정

 

RAG:

쿼리에 관련 있는 데이터 넣어주기 위한 기술집합체

 

advanced RAG

4가지 단계.

indexing( contextual embedding, metadata extraction)
pre processing( 쿼리 decomposition, 퀄 expansion,,)

Retrieval(Chunking hierarchy, Hybrid Search)

Post Processing(Reranking(검색엔진에서 자주 사용), Agentic Reasoning(답변전 검증)

 

 

Picks

1.RAG Builder

Langchain(Langgraph), LLamaIndex

2.vector DB

cloud vendors(gcp, ..), milvus(open source), pinecone(close source)- 잘 안쓴다고 한다.

 

3. Tracing

Langsmith, Langfuse

 

4. Prompt management(Versioning)

SaaS(vellum, Prompt Hub, ..)

 

5. Evaluation

RAGAS(openSource), W&B(GUI)

 

 

 

2. FAQ& Guides

1. data preprocessing

여러 데이터 포맷 처리?

Contextual하게 쪼개는게 몹시 중요하다. 대중적인 AI파서도 추천. 정확도가 떨어지면 추가적인 조정 필요.

 

데이터 전처리 인프라 구성?

기존 데이터 엔지니어링과 유사. Vector DB 레이어 추가.

동일한 데이터를 여러 형식으로 넣어야 할 수 있어서 멱등한 데이터환경 중요

 

메타데이터 활용(ex: 특정

필터링이나 하이브리드 search시 유용

어떤 메타 데이터 넣을지 고민 -> 임베딩할 데이터 structure잡기 -> 도메인 전문가와 협업

 

Retrieval

좋은 데이터 가져오는 방법?

여러 Retrieval 방식 앙상블하기.(A vector DB에서 10개, 

Hierarchy 두기

관련있는 것들 많이 가져오고, 필터, Reranking방식 적용이 낫다.

Semantic, Keyword,Hybrid 는 케바케. 

맹목적인 하이브리드 서치 지향은 지양

시멘틱이 보통 굿

 

rag tech

최신 RAG 기술들을 계속해서 찾아보기?

advanced rag만으로도 시간없으면 충분.

기존영역 강화방법 고민 추천

본인은 슬로우 어댑터 유형. 좋아보이는 기술 대부분 케바케.

 

graphRAG

추가적인 context를 요하는 쿼리에 대해 1depth retrieval에 비해 잘한다.

복잡도, 데이터 관리측면 비용소요.

필요할떄 도입검토하기 추천

 

evaluation

평가는 어떻게 시작?

 

평가는 Retrieval(조회 데이터), Generation(RAG의 결과) 2개를 한다.

테스트셋 구성 중요(Unhappy Path 위주로)

평가기준 세우기

ML논문들에서 보이는 metric, 평가방식 그대로보단 본인 문제에 맞게 재정의 추천

1-5점, true/false, %등 dimension응 다양할 수 있ㄷㅏ.

정성적인 평가 기준으로 가면 LLM 사용이 낫다.

 

4 수기로 사람이 쭉해본다.(추천)

 

5: 메카니컬한 지점 찾아서 자동화

 

tool selection

 

툴선택 기준?

1. 안정적인가

2. 툴에 크게 의존되는가

3. 커뮤니티 지원 충분한가

 

처음이거나 안익숙하면 대중적인 툴추천(Langchain 생태계)

문제가 보이고 새툴로 옮겨도 된다. RAG는 복잡하지 않다.

DE 인프라는 충분히 고민하고 선택하기.(데이터 쪽이 제일 중요함)

 

1.주로 도입하고 있는 기술들

 

 

 

 

3.사전 질문

 

ai가 개발자에게 미치는 영향

-> 커서 ai를 사용해서 많은 도움을 받음.

루비등 처음 써보는 기술을 프로젝트 온보딩시 커서 ai도움을 잘 받음.

걱정보다는 기대.

이런 툴들을 사용해서 새로운 걸 배우기 쉬워서.

 

ai의 승부는 지식을 알고 있냐기 보다 ai를 어떻게 잘 부려먹을지 생각을 해야 한다는 방향

기본기가 너무 더 중요해지겠다는 생각. ai에 맹목적인 의지는 좋지 않다. 비판적인 결과 판단을 하기 위한 기본기의

중요성 강조

ex : gpt 안쓰고 개발하기. -> 굳이 라는 주관적인 의견.

 

툴에 너무 의존없는 기본기 연습 및 비판적 사고의 강조

 

2. LLMOps, AI software 엔지니어로 커리어 전환 or 기존 커리어 활용시 방식?

기존에는 석사학위 필요.

지금은 허들이 많이 낮아짐. 모델을 직접 개발하지 않아도 인프라, 어플리케이션을 만들 수 있음.

Large모델을 많이 쓸수록

소프트웨어 엔지니어링 역량이 더 중요해진다고 생각.

 

소프트웨어 역량이 있으면 RAG 구축도 금방 가능하다.

LLM native한 어플리케이션을 만들 수있는 세상이 오고 있다.

LLM을 직접 만들지 않고도 기존에서 빠르게 온보딩 가능.

 

LLM 어플리케이션 토이프로젝트 or 파일럿 형태로 해보는 것도 추천.

앞으로 커리어에서도 유지될지도 의문.

데이터 쪽을 조금 더 잘하는게 중요해질 것이라고 생각하심.

 

데이터적으로 인프라 관리방법, 대용량 처리 방법 등

 

 

 

현장 질문예

 

DB 느린 경우, 툴 선택 조언

 

빠른 도입: vector DB 파인콘 -> 100만건까지는 큰 이슈없다고 판단

elk or open search 추천

 

회사에 따라 다름

비용 효율성

qps

 

 

2. LLM 만든 경험 있음.

기존 RAG 고정되어 있음.

데이터 추가적재시 성능 떨어짐.

 

어쩔 수 없는 부분.

메타데이터 처리 or graph등으로 도입

 

 

3.LLM만들며 도메인 중요성 깨달음

도메인전문가와의 소통방식

 

케바케다

언어장벽이 더 컸다.

도메인, 소프트웨어 엔지니어링 반비례 느낌. 친절함 정도 신경씀.