하나의 제품안에서 전반적인 방향성을 제시할 수 있어야 함 제품의 성장방향을 제시할 수 있는 방향성 지표(Metric)을 바탕으로 팀원을 설득하고 실행가능한 액션플랜을 도출하는 역량 서비스의 사용률, 만족도, 이탈지점을 데이터로 짚어내고, 개선 방향까지 근거로 제시할 수 있는 역량
결과물은 팀별 데이터 분석 발표목표 : 문제정의부터 인사이트 도출과 제안까지의 분석 과정을 전달 구성:발표 구성 템플릿 8단계에 따라 정리
문제정의 - 가설 - 인사이트들 정리 - 문제해결한 과정들
결과물이 증명하는 역량 데이터를 조회, 가공하는 능력(sql) 데이터 시각화하여 설명할 수 있는 스킬 문제 정의하고 가설 세워 근거를 만드는 논리적 사고 분석 결과를 의사결정으로 연결하는 능력 함께 일하는 사람과의 커뮤니케이션
1.문제정의
- 이 프로젝트를 왜 시작했는지, 그리고 이 분석이 누구에게 어떤 의사결정을 돕기 위한 것인지를 설명
2.데이터 소개 분석에 사용한 데이터가 어떤 데이터인지 간단히 설명한다.(신빙성 있는 데이터라는 부분을 간단히 설명해야 함!!!) -데이터의 주요 특징 -분석결과 해석에 영향을 줄 수 있는 한계 (실제 사람을 구할 정도로 바쁜 매장이 맞는지는 n잡 급구상 사람을 구하는지 여부와 추후 결부시켜서 설명가능)
3.가설소개 문제정의를 어떤 관점에서 검증하고자 했는지 설명 3~4개 정도의 핵심가설만 제시 무엇을 확인하고 싶었는가에 집중
4.분석과정은 (간략) 주요내용으로 간략하게 큰 그림만 전달 -분석의 주요단계 -핵심적으로 수행한
5.핵심 인사이트 -분석을 통해 무엇을 알게 되었는지를 명확히 전달 -가장 중요한 인사이트 1~3개 -데이터 분석을 통해 새롭게 발견한 점
6.액션 제안 -인사이트를 바탕으로 실제로 무엇을 하면 좋을지를
7.회고
8.부록 ->발표는 10장(부록은 따로 뒤로 빼기) 전처리 및 분석코드 추가 시각화 결과 상세 분석 과정
[데이터분석 프로젝트 단계]
1.문제정의 2.가설수립 3.데이터 수집과 정리 4.패턴 인식 5.가설검증 6.결론과 의사결정
1.문제정의란 **현장이나 비즈니스의 모호한 요구를 무엇을 해결할 지 명확한 질문으로 바꾸는 것** **"대략적인 문제에 대한 정확한 답을 내기보다** **올바른 문제에 대해 대략적인 답을 내는 것이 바람직하다" -존 튜키**
문제정의를 만드는 순서
- 데이터를 훑어보며 궁금한 점을 자유롭게 적는다
- 그중 데이터로 확인가능하고 팀이 관심이 있는 것을 고른다
- 문장으로 다듬는다 —>원래 문제의식을가지고 있는 것을 기반으로 시작하라
문제후보를 찾는 방법 비교할 수 있는 두 대상을 나눠본다(이전 vs 이후),(a그룹vsb그룹)(이지역 vs 저지역) 그 사이에서 눈에 띄는 차이나 패턴을 찾는다 (유독 크거나 작은 값 등) -차이를 찾았다면 거기서 멈추지 말고 “왜 이런 차이가 날까?”를 반드시 붙여본다 ->이 한걸음이 얕은 문제정의를 본질적인 문제정의로 만든다
한 번 작성하고 끝나는 게 아니라 해결 과정에서 끊임없이 재검토 필요 가지고 있는(구할 수 있는)데이터에 따라서 문제 정의가 필요함
비즈니스적인 결정을 할 때 도움을 주는 데이터분석인지 고민
좋은 문제정의의 기준 -문장이 명확하다 - 읽으면 바로 이해된다 -막연한 표현이 없다 - “좋아졌으면 한다 ” 같은 추상적인 문장은 피한다 -범위가 구체적이다 -언제, 무엇을 대상으로 하는지 정해져 있따 -단순 비교,집계로 끝나지 않고
2.가설 수립 -가설이란? 가설은 막연한 추측x -문제정의라는 하나의 큰 질문을 데이터로
가설 세우는 이유는 문제정의만 갖고 바로 데이터를 보면 확인해야 할 데이터범위가 너무 넓음 가설은 범위를 좁혀주는 역할 이런 조건이면 이런 결과가 나올 것이라고 미리 방향을 정해두는것
방향이 정해져 있어야 데이터에서 무엇을 확인하면 되는지가 명확해짐 가설없이 보면 데이터를 무작정 뒤지게 되고, 가설이 있으면 확인할 대상이 분명해짐.
좋은 가설의 조건 -문제 정의와 연결되는가? -데이터로 측정가능한가?
- 데이터 수집및 정리 -데이터 추출, 정합성 검사, 전처리에 해당하는 과정 -분석에 적합한 형태로 데이터 바꾸기 -데이터 전처리 과정(결측치 처리, 데이터 정제 등)
데이터 전처리 단계
- 데이터 이해 및 탐색
- 데이터 정제
- 데이터형식의 통일
- 데이터 변환
- 데이터 통합
- 피처 엔지니어링
- 데이터 품질 검증
[데이터 이해 및 탐색] 데이터 이해 및 탐색
- 데이터의 구조, 타입, 첫 번째 몇 줄의 데이터를 살펴보며 데이터에 대한 초기 이해
- 기본 통계량(평균, 중앙값, 표준편차 등)을 확인하여 데이터의 기본적인 특성 파악
데이터 정제
- 결측치 처리 : 결측치가 있다면 적절하게 처리 -ex) 평균값이나 중앙값 대체 또는 행이나 열 제거
- 이상치 탐지 및 처리 박스 플롯 등을 사용하여 이상치 탐지, 제거하거나 대체하기
데이터 형식의 통일
- 날짜, 시간 등의 데이터 타입을 적절한 형식으로 변환
- 문자열 데이터에서 대소문자를 통일하거나, 공백 제거 데이터 통합[#join]
- 여러 테이블에서 수집된 데이터를 하나의 세트로 통합
- 데이터 통합 시 키(key)가 되는 열을 잘 확인하고 중복 또는 불일치하는 데이터를 처리합니다.
피처 엔지니어링
- 데이터에서 새로운 피처(column)을 생성하거나, 기존 피처를 변형하여 분석에 더 유용하게 만듦
- 불필요하거나 중복적인 피처는 제거 데이터 품질 검증
- 전처리한 데이터의 품질을 검증 Ex) 결측치나 이상치 처리
- 데이터의 일관성과 정확성을 다시 한 번 확인
데이터 검토, 정합성 검사, 전처리 “ 데이터 과학의 80%는 데이터 클리닝에 소비되고, 나머지 20%는 데이터 클리닝 하는 시간을 불평하는데 쓰인다”
- 안소니 골드블럼 (전 캐글 CEO) -
- 패턴 인식 • EDA를 통해서 데이터 내의 패턴, 추세, 상관관계 등을 탐색 • 데이터 시각화, 통계적 분석을 통해 중요한 인사이트를 발견
EDA ! Exploratory Data Analysis, 탐색적 데이터 분석. 주어진 데이터를 “탐색”하고 “이해”하는 과정! = 데이터에 대한 일종의 “견적”을 내는 일
“탐색적 데이터 분석(EDA)는 우리가 존재한다고 믿는 것들은 물론이고 존재하지 않는다고 믿는 것들을 발견하려는 태도, 유연성, 그리고 자발성이다”
- 존 튜키 (도서 Doing Data Science중 ) -
- 데이터의 각 column들과 row의 의미 이해
- 결측치 처리 및 데이터 클렌징
- 시각화
EDA 데이터 분석에서 주의해야 할 점 무의식적 판단/인지적 편향X -> 정보(데이터로)
5.가설 검증 초기설정 가설을 데이터로 검증 필요한 경우 모델링을 통해 가설을 검증
- 결론과 의사결정 • 분석 결과를 바탕으로 결론을 도출 • 분석 결과 : 데이터 분석 과정에서 나온 직접적인 출력 (ex. 통계적 수치, 차트 등) • 결론 : 분석 결과를 해석하여 그 의미를 도출 • 분석 결과가 비즈니스 문제, 기회, 전략 등과 어떻게 연결되는지를 설명 • 결과를 기반으로 실질적인 비지니스 의사 결정 • (선택사항) 발견된 문제를 해결할 수 있는 서비스를 제안해도 좋습니다
데이터추출로 가져오기 가능
대시보드 태블로에서 다운받을때:패키지 통합문서로 형식을 바꿔서 저장해야 한다! 태블로 로그인 해서 퍼블릭 올려서 다운받으면 된다