혜윰멘토님께서도 오늘 전달하고자 하는 강의가 우리에게 AI ML이 재밌게 느껴지길 바라시는 마음으로
2부: AI ML 강의
- 인공지능의 정의와 개념
- 인공지능은 지능을 가진 기계를 만드는 방법을 연구하는 학문/기술
- ML : 신경망 등 다양한 기법 존재
- Deeplearning : 신경망 모델을 깊게 구축하고 학습시키는 방법 -신경망 모델 : 뇌 유런과 유사한 정보 입력층계층 -활용->데이터 학습 아키텍쳐 기반을 학습된 모델들이 LLM
전통적인 알고리즘 방식 고양이인지 개인지 구별하는 규칙 및 기준(Rule-based) 규칙을 생성하고 평가하는 과정에 인간이 직접 개입해 문제를 해결하는 것
cf. 머닝러닝은 데이터가 주어지면 기계가 스스로 학습 고양이 데이터, 강아지 데이터 다양하게 주고 알아서 기준 자체를 알아서 구분하라! 기준은 데이터를 통해서 기계(모델)이 직접 학습하도록 하는 것! (rule based와 다르다) -> 기준을 사람이 줄 수 없다는 것이 제약이기도 함.
cf. 데이터의 유형 - 데이터 구조에 따른 구분
[정형 데이터] ->모든 데이터가 테이블의 형태로 정리됨(컴퓨터가 알아 들을 수 있는 형태)
- 사전에 잘 정의된 데이터 모델
- 모든 데이터가 동일한 형태->분석이 용이
- 표 형태로 구조화된 데이터, 행과 열로 데이터를 표현
비정형데이터에서 정형데이터로 변형 필요 [비정형 데이터] -> 분석이 어려움
정형 데이터는 (1)샘플 . (2)특징.특성 (3)레이블/타깃으로 나뉨 (1)데이터 집합에서의 데이터 요소 특징들과 샘플이 합쳐져서 데이터가 되는데 ex) 나이 레이블 : 나이라는 레이블/ 샘플은 21살, 20살(행), 특징 21살의 “여성”(열)
- 머신러닝, 딥러닝 기초 머신러닝은 데이터 적어도 성능 확보 가능 딥러닝은 데이터가 적으면 성틍이 적고 고사양 필요
머신러닝은 설명가능기법이 존재 / 딥러닝은 내부 논리 추론이 어려움 문제해결방법 *** 질문 -> 딥러닝은 내부논리 추론이 어렵다면, 채용에서의 활용 등 부분에서는 아무래도 활용이 쉽지 않은 부분인지, 아니면 어떤 기준으로 채용을 하였다는 설명 자체는 가능한지? -> 설명자체는 가능하지만, 채용 또는 암 진단 등등 규제가 엄격하고 설명가능한 기준이라는 부분의 규제가 빡센 부분은 머신러닝이 좀 더 적합하다고 봄
ai 모델은 질문과 답변의 반복 instruct dataset을 학습시켜야 base 모델과 instruct모델, reasoning model base는 평문을 학습한거고 instruct는 질문과 답변쌍을 학습한거 추론 과정을 학습한 게 reasoning model 파인튜닝도 학습의 과정
구조가 커지면 학습시키는데에도 돈이많이 들기에
- [실습] 모델 사용 간단한 인공지능 모델 사용해보기-데이터는 mnist- 손으로 쓴 숫자들로 이뤄진 대형 데이터베이스 손으로 쓴 숫자 이미지들을 픽셀단위로 쪼개서 비정형 이미지를 픽셀단위로 쪼갠 것을 정형으로 학습시키고 학습을 시킨 것을 추론시키는 예제
이런 데이터를 많이 학습시키는 것이 딥러닝이다.
- 주요분석 기법(1)
- 머신러닝의 분석기법
- 머신러닝의 종류 (1)지도학습 : 레이블이 있는 문제를 다루는 방법 목표는 레이블을 예측하도록 하는 것
특징 레이블이 있으면 -> 머신러닝 알고리즘 -> 모형/모델 ->레이블 예측 (정답을 보면서 학습하는 것)
(2)비지도 학습 : 레이블이 없는 문제를 다루는 문제 이미지셋은 있는데 이게 컵이라는 레이블을 먹이는데 돈이 많이 든다 정답이 있지 않고 숨겨진 구조, 패턴을 발견하여 새로운 인사이트를 도출해 냄 비슷한 데이터를 묶어주는 군집화, 데이터가 표현되는 차원을 줄이는 차원 축소
지도학습이 주요한 분석 기법 기본적으로는 지도 학습(supervised learning)으로 학습시킴-분류 (고전적 기준) 머신러닝 - (1)지도학습 - 1)분류 - 2)회귀 - liner regression, decision tree - (2)비지도학습 - 1)군집화 - K-means, Hierarchical clustering - 2)차원축소 - PDA, MDS, Locally Linear Embedding, t-SNE 등 이산적인 클래스(범주)인 경우 - >몇 개의 범주로 할당시킬 것인지 분류학습 : 훈련 데이터 분류 + 테스트 데이터 분류 -> 훈련 데이터와 테스트 데이터도 잘 분류하는 규칙을 학습시키는 함수 찾기
ex)고양이랑 - 분류시킴 강아지
- 회귀 - >ex 집값을 예측 연속적인 클래스(범주)
(2) 비지도학습 unsupervised learning의 경우 - 의미있는 정보를 추출하기 위해 데이터 구조를 탐색 및 패턴 발견 비지도 학습은 유사한 정보로 클러스터링함
텍스트간의 유사한 맥락 등을 찾아야 하기에 텍스트를 벡터값 매겨서 맥락 찾음
비지도학습도 중요함.
- 군집화
- 차원 축소 :거대한 데이터를 축소시켜 특징을 뚜렷하게 저차원의 데이터로 축소함. 고차원의 너무나 방대한 데이터를 인간이 이해할 수 있는 범위로 좁히기
!!비교적 최근엔(학습방식) 강화학습 - - ------------------------> 배워서 뭐하나(역할) (판별모델) 스스로 행동하고 보상을 해서 분포를 배워 새 데이터를 만든다 학습(ChatGPT의 예절 수업 RLHF) (생성모델)(2010년 이후 도입개념) human by human feedback(사람이 가중치 줌) 새문장(gpt), 새 이미지, 새음성
gpt도 자기지도학습에 가깝 강화학습의 시초가 chatGPT 전통적인 학습기법에서 나와서 계속 더 나아간 거다라고 보면 됨.
생성모델은 분류모델을 두고 있긴 하지만 결국엔 생성모델 텍스트 생성에서 넘어서 이미지, 음성 등
- 주요분석 기법(2) [데이터 수집]->[데이터 전처리]->[모델 검증 및 선택]->[성능 평가]->[활용]
데이터 전처리 : 분석에 적합한 형태로 데이터 형태를 갖추게 하는 것. 데이터를 병합하거나 특성을 추출 및 선택하여 형태를 갖춘다. 파이썬과 관련됨. 이미지를 표형태로 바꾸는것
[데이터 분할] 전체 데이터 - 훈련 데이터 :모델학습용 -검증데이터 :모델 성능 조정용 -서로다른 알고리즘 학습 -시험데이터 :모델 성능 평가용
데이터량이 적으면 훈련데이터와 시험데이터로만 하기도 함.
훈련 데이터 - 검증 데이터 - 시험 데이터 =>loss를 계속 줄여가는 과정 모델 검증이 필요한 경우는 과소적합 : 훈련데이터가 아직 덜 학습된 상태 과대적합 (과적합) :훈련데이터를 너무 많이 학습시킨 상태
과적합 -> 훈련 데이터 크기가 너무 작고, 입력데이터 값을 정확히 나타내기에 데이터 샘플이 충분하지 않을때 데이터가 너무 적을때 생기는 문제. -관련 없는 정보가 너무 많이 포함된 경우(노이즈 데이터) -단일 샘플 데이터에서 너무 오래 훈련한 경우 -모델 복잡도가 너무 높아서 노이즈 데이터를 학습하는 경우 필요하지 않은 맥락까지도 다 학습해버린 경우
-> 지금 계속해서 과적합을 방지하면서 학습을 시켜가는 게 중요함
매우 중요한 개념이 -> 손실함수(LOSS Function) -실제 값과 예측 값이 얼마나 차이가 나는지 측정하는 함수 매우 중요한 개념인데 -비용함수, 목적함수
학습목적 : 손실 함수를 최소화 할 수 있는 모형 만들기(모수 측정)
회귀의 손실함수와 분류의 손실함수 의 수식이 다르다. 손실함수 측정하는 함수도 다르다.
loss의 손실함수를 기반으로 [성능지표-회귀] loss함수의 종류에는 세 종류 있는데 의미가 조금씩 다르다 MSE-오류의 크기 (제곱) MAPE -정답 대비 오답률 RMSE - MSE 값의 왜곡을 줄여 데이터의 크기 일치(벡터를 매김)
다양한 로스값들이 있고 모델 목적에 따라서 로스를 줄이기 위해 해석해야 할 수도 있다. -> 낮을수록 좋다
좀 더 중요한 의미로는!! [성능지표- 분류] 혼돈 행렬(Confusion Matrix) 모델의 정확도 정밀도 모델의 정확도와 정밀도를 어떻게 계산하는가
재현도
혼돈 행렬(confusion matrix)
actual values
제대로예측 type 1 error : you are pregnant : 잘못 예측(오탐)
false positive
type2 error you aren’t pregnant :맞는데 통과시킴 false negative
모델이 어떤 부분에서 약한지!!! 모델의 정확도 - > 전체 중 모델이 바르게 분류한 비율 정밀도는 -> 해당 모델이 어느정도 오탐을 했는지 알 수 있고,type1 error 재현도는 -> type2 에러,놓친 것의 비율을 알 수 있다.
도메인에 따라 뭐가 중요한지다른데 예를 들어 암을 진단할땐 놓치면 안되니까 재현도가 낮아야 더 중요!!!! 스팸메일의 경우는 -> 스팸인걸 놓쳐도 되지만, 중요한 메일이 스팸메일에 들어가면 안되기에 (정밀도가 중요)
-> 목적에 따라 모델의 효용을 어느 측면에서 확인해볼때
데이터 불균형data imbalance 이슈 불균형하게 나타나는 상태 ex.
종합적으로 모델 성능 측정할 때 f1 score = 정밀도, 재현도 다 고려
성능지표 - LLM LLM은 어떻게 성능측정하는가? Perplexity(혼란도) : 다음 단어를 얼마나 확신있게 맞히는가?(낮을수록 좋음)
ppl이 만약 2.xx라면 혼란을 작게 한다. 2개중에서 헷갈려 한다.
ex. ppl이 50이라면 50개 중에 헷갈려 하는거
-> 크로스 엔트로피 손실의 직계 후손
단, 제품 품질 지표는 아님
벤치마크 - 표준 시험지 점수 - “모델 순위” 기사에 나오는 그것 모의고사는 실무 능력은 아님. 문제 유출(오염)도 존재 기본적으로 표준데이터셋
사람 선호 평가 - 두 답변 중 사람이 더 나은 쪽을 고르게 해 순위화
chatbot arena
-> 가장 정직하지만 비싸고 시간 오래걸림.(사람 실제평가도 포함)
https://arena.ai/leaderboard
기업에서도 모델 고를때 많이 참고함
체감이 더 되기에
LLM-as-a-Judge -채점 기준을 프롬프트로 주고, 다른 ai가 점수매김 ->현재 실무 표준 -싸고 빠르지만 채점자도 편향이 있음 사람과 유사하지만 빠르고 쌈. llm 구축할때 기본 점수 매기는 표준임. 반드시 최종 성능평가는 사람이 하게 되는게 일반적 태스크 지표 -환각률, 근거충실도(RAG), 형식 준수율, 사용자 채택률 —> PM이 정의에 참여하는 층위 -> 우리 제품에서 아픈실수 부터 정한다. (제품 관점)
AI는 확률 기반으로 움직이고 예측되고 설계되었기에 어떻게 동작하는지에 대한 블랙박스인 위험성이 늘 있고, 성능 평가에 대해서도 난제로 늘 가지고 있다.
[3] AI PM으로서 알아야 할 ML, 딥러닝, AI 부분
- 가장 많이 의뢰하는 AI 프로젝트 유형 챗봇, 대화형 AI(45%) 사내검색, 교육 지원등으로 확장 문서, 데이터 자동화(20%)->업무 효율화 핵심 도구 -> 2가지 형태가 수요가 높고 이미지, 영상 생성(17%):생성형 AI 기반 콘텐츠 제작 혁신 추천, 예측AI(9%):고객 개인화 및 이상감지
->위시켓 의뢰프로젝트 80%이상이 실제 비즈니스 운영을 위한 상용 목적 [출처:위시켓 기업AI도입 데이터리포트]
- 산업별 AI도입 최우선 영역 분석 IT&비즈니스 문서 작성 자동화(61%) 보고서, 계약서, 법률 문서 요약등 업무시간 단축 집중 커머스 ->고객 탐색, 상담, 결제 전 과정에서 UX 개선이 목적 제조&건설 ->불량 및 이상감지 공정 데이터 실시간 분석 통한 결함 예측 및 품질 개선
의료 진단, 판별 38% : 판별 고도화를 위한 부분 -> 도메인별 특성에 따라 어떤 문제를 주로 해결하고자 하는지 부분을 고려하는게 중요
카테고리별 AI도입 평균 비용(단위 : 만원) 개인화&추천 : 평균적으로 4,654만원 이미지/영상 도 높음
프로젝트 규모별 특징:AI챗봇사례 소형(실험형) - 500~1,000만원, GPT API 연동, 단일 기능형(FAQ), 한정된 데이터셋 사용
중형(적용형) - 1,0003,000만원 , UX/UI 디자인 포함, 관리자 페이지 구축, DB 연동 상용화 초기
대형(플랫폼형) 3,0001.5억원 , RAG구조, 사내 인프라/보안 연동, 다중 데이터 소스통합
데이터 정제 수준과 보안 요건에 따라 비용은 2~3배 차이날 수 있음. 최근 사내LLM구축 : GPU사는것 자체가 어려움 이해관계자가 많고 쉽지 않음 그럼에도 보안을 중시하는 큰 조직들은 구축함.
- AI 성공 위한 전략 (1)전략1: 핵심 밸류체인과 ROI 연결
PM이 반드시 확인해야 할 ROI는 중요도 x 자동화 가능성 x 기술 실현성 x 실현 용이성 반복성 : 매일/매주 반복되는 작업인가? 규모 : 상당한 인력과 시간이 투입되나? 패턴 :일정한 규칙이나 판단 기준이 있는가? 중요도 : 매출이나 비용에 직접 영향을 주는가?
=> 그 기업에서 핵심 문제가 무엇인가를 긁어주는게 중요!!
그것이 문제정의다!!!
챗봇을 만들고 싶다는건 문제정의가 아니다
문제정의가 아닌것 ai를 한번 적용해보자
[제대로된 문제정의] 고객 문의의 60%가 반복 질문이라 상담사가 중요한 상담에 집중하지 못한다 반복 처리 시간을 70% 줄이겠다
===>문제 정의에만 3개월 걸리고 리서치 반드시 필요함!!!==
업무중요도 x 자동화 가능성 x 기술실현성x실행 용이성
**무엇을 해결하고자 하는가?!와**
**ai를 치밀하게 설계하고 관리하는것이 매우 매우 중요함**
(2)전략 2: 비옥한 토양(시스템 상태) 진단
ai 이전에 시스템 진단이 먼저 좋은 데이터가 있는게 매우 중요함!!!!!!!
제대로 된 데이터를 구축해 두는게 매우 중요 데이터 정제에 많은 시간이 필요
데이터 정리부터 꼭 해야함!!!!
진단 체크리스트
- 데이터가 정규화된 DB에 구축되어 있는가?
- 등 데이터관련 체크
- 개인정보 정책이 잘 구축되어 있는가
(3)전략 3 : PoC를 “운영 전제”로 설계해야만 한다!! 시연용이 아니라 실제로 상용화 되었을때를 계속 전제하면서 하야한다.
운영전제 PoC(성공패턴) 실제 사람의 데이터가 들어가는게 매우 매우 매우 중요하고 프로젝트 처음 단계부터 계속 들어가는게 정말로 중요하다
성공적인 AI 도입로드맵 5단계 목표설정 - 시스템 정비(데이터 정규화) 등
[4] AI PM이 가져야 할 역량
- AI제품의 특성 : 늘 불확실성이 있다. AI제품은 확률적 제품 AI 제품은 95% 훌륭한 답, 5%는 엉뚱한 답
출력은 ‘아마도’ : 확률을 다룬다 5%를 버그처럼 없애려 하면 실패
즉 AI PM은 이 불확실성을 다루는 것이 중요
- AI플라이휠 : 쓸수록 똑똑해지는 구조
사용자가 늘수록 제품이 더 똑똑해지지 않으면 그 제품엔 AI 전략이 없는것 PM의 일 : 데이터가 쌓이도록 상호작용을 설계하고, 그 데이터가 모델로 되돌아가는 루프를 만드는 것
사용자 상호작용 -> 데이터 수집- > 모델 개선 -> 더나은 경험 -> 사용자 상호작용 ->…
어떻게 하면 이 구조를 띌 수 있을까를 계속 연구하면서 고민하면서 나아가야 함. [참고] 요즘IT, “경쟁력 있는 AI PM이 되기 위한 2026 로드맵”(yozm.wishket.com/magazine/detail/3575)
ai 특성을 이해하고 ai가 들어갔을 때의 제품 전략을 잘 세우는 것이 중요한 역량이다.
- 데이터 사이언스 ‘언어’로 말하기 엔지니어가 모델 정확도가 낮아서 출시 못합니다라고 말했다. ai pm : 어떤 지표인가요? 오버 피팅은 아닌가요? 피처 선택은 적절했나요?
오늘 배운 것이 이 언어!
분류vs 회귀 - 문제에 맞는 접근을 고를 수 있는가 과적합 - “훈련 데이터에서만 잘 되는 것 아닌가요?”를 물을 수 있는가 정확도의 함정
- 생성형 ai : ‘얇은 래퍼’를 넘어서 지금은 골드 러시 : 많은 제품은 llm api 위에 얇게 덧붙임 모델의 작동 원리를 이해해야 실패 원인을 구분할 수 있음
ex. **챗봇이 계속 근거 없는 정보를 사실처럼 생성한다면?**
- **프롬프트 설계의 문제인가?**
- **temperature(창의성 조절 파라미터)설정의 문제인가?**
**->> 이 둘을 구분할 수 있는 PM 과 없는 PM의 차이가 곧 경쟁력**
가치를 창출할 수 있는지의 부분인지 고려
- 프로토타이핑 : 스펙 대신 “작동하는 것”을 보여라 과거 엔지니어가 만들 때까지 몇 주 대기 지금은 아이디어 -> AI 도구로 반나절 만에 직접 프로토타입-> 작동하는 것을 보여줌
프로덕션 코드가 아니라 ‘가능한지 확인’이 목적이다-> API 연결, 파라미터 조정 수준이면 충분 작동하는 프로토타입을 보여주는 PM은 엔지니어링 팀과의 관계 자체가 달라짐
*회고 : 이 프로젝트에 AI가 꼭 필요한가? AI로 문제를 해결하는 것이 가장 적합한 문제인가의 기술방향성cx를 늘 치밀하게 고민하시는 pm의 모습이 나한테도 꼭 나와야 겠음
QNA: 상용화 베타테스트, 성능테스트란 -> ex 환각률을 얼마나 줄였는가, 얼마나 말투를 따뜻하게 하는가