[ADsP] 2과목 요약 정리 : 2-1 데이터 분석 기획의 이해

'ADsP 데이터 분석 준전문가 (데이터에듀)' 교재를 참고하여 간략히 정리하였습니다.

01 분석 기획 방향성 도출

• 분석 기획
  • 실제 분석을 수행하기 전에 분석과제를 정의하고 의도했던 결과를 도출할 수 있도록 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업
    
    

    	분석대상 O	분석대상 X
    분석방법 O	최적화	통찰
    분석방법 X	솔루션	발견

• 목표 시점 별 분석 기획 방안의 차이
  • 당면한 분석 주제의 해결(과제 단위) → 지속적 분석 문화 내제화(마스터 플랜 단위)
  • 1차 목표: Speed & Test → Accuracy & Deploy
  • 과제의 유형: Quick & Win → Long Term View
  • 접근 방식: Problem Solving → Problem Definition
• 분석 기획 시 고려사항
  • 분석의 기본이 되는 데이터 고려: 데이터 확보, 데이터 유형에 따른 선행 분석
    1. 정형 데이터: DB
    2. 비정형 데이터: 보고서, 이메일, 소셜데이터
    3. 반정형 데이터: 센서를 통한 스트리밍되는 머신데이터
  • 분석을 통해 가치 창출되는 적절한 활용방안과 유즈케이스 탐색
  • 분석 수행시 발생 가능한 장애요소와 대책에 대한 사전 계획 수립

02 분석 방법론

• 방법론: 절차, 방법, 도구와 기법, 템플릿과 산출물로 구성
  • 폭포수 모델: 단계를 순차적으로 진행, 문제 발견시 피드백 과정 수행
  • 나선형 모델: 반복을 통해 점증적으로 개발
  • 프로토타입 모델: 점진적으로 시스템 개발, 일부분 우선 개발해 요구사항 개선
• KDD 분석 방법론
  1. 데이터셋 선택: Target Data
  2. 데이터 전처리: Preprocessed Data
  3. 데이터 변환: Transformed Data
  4. 데이터 마이닝: Patterns
  5. 결과 평가: Interpretaion/Evaluation
• CRISP-DM 방법론
  • 여러 단계(Phases) → 일반화 태스크 → 세분화 태스크 → 프로세스 실행
  1. 업무 이해: 업무 목적 파악, 상황 파악, 목표 설정, 계획 수립
  2. 데이터 이해: 초기 데이터 수집, 데이터 기술 분석, 데이터 탐색, 품질 확인
  3. 데이터 준비: 분석용 데이터 셋 선택, 데이터 정제, 데이터 통합, 포맷팅
  4. 모델링: 모델링 기법 선택, 테스트 계획, 모델 작성, 모델 평가
  5. 평가: 분석 결과 평가, 모델링 과정 평가, 모델 적용성 평가
  6. 전개: 전개 계획 수립, 모니터링과 유지보수 계획 수립, 종료 보고서 작성, 프로젝트 리뷰
• 빅데이터 분석 방법론
  • 계층적 프로세스 모델
    1. 단계: 단계별 산출물 생성, 버전 관리 등 통제
    2. 태스크: 단계를 구성하는 활동
    3. 스텝: WBS의 워크 패키지, 입력자료/처리 및 도구/출력자료로 구성된 단위 프로세스
  1. 분석 기획: 비즈니스 이해 및 범위 설정, 프로젝트 정의 및 계획 수립, 프로젝트 위험계획 수립
     → SOW(프로젝트 범위 정의서), 프로젝트 정의서, WBS, 위험관리 계획서
  2. 데이터 준비: 필요 데이터 정의, 데이터의 스토어 설계, 데이터 수집 및 정합성 점검
     → 데이터 정의서, 데이터 스토어 설계서, 메타 데이터, 데이터 사전, 데이터 정합성 점검 보고서
  3. 데이터 분석: 분석용 데이터 준비, 텍스트 분석, 탐색적 분석, 모델링, 모델 평가 및 검증, 모델 적용 및 운영방안 수립
     → 비즈니스 룰, 분석용 데이터 셋, 텍스트 분석 보고서, 데이터 탐색/시각화 보고서, 모델링 결과 보고서, 알고리즘 설명서, 모니터링 방안, 모델 평가/검증 보고서
  4. 시스템 구현: 설계 및 구현, 현시스템 테스트 및 운영
     → 시스템 분석 및 설계서, 구현 시스템, 시스템 테스트 결과 보고서, 매뉴얼, 운영 계획서
  5. 평가 및 전개: 모델 발전계획 수립, 프로젝트 평가 및 보고
     → 모델 발전 계획서, 프로젝트 성과 평가서, 프로젝트 최종 보고서

03 분석 과제 발굴

1. 하향식 접근
   • 문제가 주어지고 이에 대한 해법을 찾기 위해 각 과정이 체계적이고 단계화되어 수행
2. 상향식 접근
   • 문제의 정의 자체가 어려운 경우 데이터를 기반으로 문제 재정의 및 해결방안을 탐색하고 이를 지속적으로 개선

하향식 접근 방식

1. 문제 탐색
   • 비즈니스 모델 기반: 업무, 제품, 고객, 규제와 감사, 자원 인프라 등 5가지 영역
     1. 거시적 관점 : 메가 트렌드에서 해당 산업에 폭넓게 영향을 미치는 사회, 경제적 요인을 STEEP으로 요약하여 사회, 기술, 경제, 환경, 정치 영역
     2. 경쟁자 확대 관점 : 사업 영역의 직접 경쟁자 및 제품, 서비스 뿐만 아니라 대체제와 신규 진입자 등으로 확대
     3. 시장의 니즈 탐색 관점 : 사업에서의 고객 영역, 채널 영역, 영향자들 영역
     4. 역량의 재해석 관점 : 내부 역량 영역, 파트너와 네트워크 영역
   • 외부 참조 모델 기반: 유사, 동종 사례를 벤치마킹을 통해 분석 기회 발굴, Quick&Easy 방식, 브레인스토밍
   • 분석 유즈케이스 정의
2. 문제 정의
   • 비즈니스 문제를 데이터와 분석 문제로 변환하여 정의
3. 해결방안 탐색
   • 분석 역량, 분석 기법 및 시스템
4. 타당성 검토
   • 경제적 타당성, 데이터 및 기술적 타당성

상향식 접근법

• 기업이 보유하고 있는 다양한 원천 데이터로부터 분석을 통하여 통찰력과 지식을 얻는 접근 방법
• 하향식 접근법(기존): 논리적 단계별 접근법으로 다양한 환경의 문제를 해결하기 어려워 디자인적 사고 접근법을 통해 WHY 관점을 강조했지만, 객관적으로 존재하는 데이터 그 자체를 관찰하여 문제를 해결하는 WHAT 관접으로 접근
• 비지도 학습 방법으로 수행되며, 데이터 자체의 결합, 연관성, 유사성을 중심으로 접근 (지도 학습: 목적이 명확)
• 시행착오를 통한 문제 해결
  • 프로토타이핑 접근법: 완벽하진 못해도 신속하게 해결책이나 모형 제시 (빅데이터 분석 환경에서 필요성 대두)
  • 문제 인식 수준, 필요 데이터 존재 여부의 불확실성, 데이터 사용 목적의 가변성

분석과제 정의

• 분석과제 정의서를 통해 분석별 필요 소스 데이터, 분석 방법, 데이터 입수 및 분석의 난이도, 분석 수행 주기, 검증 오너십, 상세 분석 과정 등 정의

04 분석 프로젝트 관리 방안

• 관리 특성
  1. 데이터 양
  2. 비정형 데이터
  3. 속도
  4. 분석 모델의 정확도와 복잡도: 모델이 복잡할수록 정확도는 올라가지만 해석이 어려워짐
  5. Accuracy: 모델과 실제 값 사이 차이가 적음(활용적 측면) Precision: 모델을 지속적으로 반복했을 때 편차의 수준으로써 일관적으로 동일한 결과 제시(안정성 측면)
• 분석 프로젝트 특성
  • 도출된 결과의 재해석을 통한 지속적인 반복 및 정교화가 수행되는 경우가 대부분 → 프로토타이핑 방식의 애자일 프로젝트 관리방식에 대한 고려 필요
• 관리 방안
  • 주제: 통합, 이해관계자, 범위, 자원, 시간, 원가, 리스크, 품질, 조달, 의사소통