빅데이터취업과정 - 빅데이터 자바 파이썬을 활용한 머신러닝 과정

과목명

모듈

세부과정

빅데이터

빅데이터 수집 시스템 개발

• Web Scraping 기초

• BeautifulSoup 설치, 기본 트리 운행, 정규 표현식 이용

• 한겨레 신문 뉴스, Naver 뉴스, 동아 일보 뉴스 검색 crawling

• Web Scraping library Beautiful Soup 실습

• 시카고 샌드위치 맛집 분석

• 네이버 영화 평점 기준 영화의 평점 변화 확인하기

빅데이터 저장 시스템 개발

• Python CSV 파일 입출력

• MongoDB 특징, 구조, MongoDB 설치, 서버 실행 및 종료

• Database 생성 및 삭제, Collection 생성 및 삭제

• Documents 생성 및 삭제, 대용량 파일의 import 

• MongoDB client Compass 설치 및 이용

• PyMongo 설치하기, Pycharm에서의 MongoDB와 Python 연동

• Jupyter Notebook에서의 MongoDB와 Python 연동

• Hadoop 설정 및 활용

• R, Hadoop 연동 실습 

R,

빅데이터 처리 시스템 개발,

텍스트 데이터 분석,

빅데이터 분석 결과 시각화

• R project 설치, RStudio 설치 및 설정, R 프로젝트 생성

• R 데이터 구조, 데이터의 종류, 벡터(Vector)

• 연산자, 제어문, 벡터 생성 함수, 

• 데이터 유형과 구조, 벡터(Vector), 연산자 실습, Factor 실습

• 행열(Matrix), 배열(Array), 리스트(List)

• 데이터 프레임(DataFrame) 

• 외부 데이터 읽기(CSV, TXT, Excel, XML), 키보드 입력

• Web에서 HTML 파일 가져오기

• 외부로 데이터 출력, 외부 파일로 저장하기(TXT, Excel)

• RData 다루기

• 함수(사용자 정의 함수, 주요 내장함수)

• 데이터 조작 - plyr, reshape, reshape2 패키지

• dplyr 패키지 활용, dplyr 패키지, filter(), select()

• arrange() 실습, mutate(), summarise(), group_by() 실습

• dplyr 활용 데이터 전처리 left_join(), bind_rows() 실습

• 데이터 정제, 빠진데이터(NA), 이상한 데이터 제거하기(Outlier)

• 범주형(정수형) 전처리, 연속형(실수형) 데이터 전처리

• 전처리 및 탐색적 분석을 위한 시각화, 파생 변수

• 데이터프레임 결합, 표본의 추출

• 다양한 주제를 대상으로한 개발 실습

• 시각화 도구의 분류, barplot, legend, title, dotchart 실습

• pie, boxplot, hist, lines, dnorm, rnorm 실습

• 중첩 자료 시각화(숫자형 컬럼 2개 이상 사용), 산점도

• abline, scatterplot3d, 3차원 챠트, 3차원 산점도 시각화

• 히스토그램, 밀도 그래프, 막대 그래프, 점 그래프 제작 실습

• 산점도 그래프, 데이터 범주화 제작 실습

• 조건 그래프, 3차원 산점도 그래프 제작 실습

• ggplot2 package를 이용한 시각화

빅데이터 분석 시스템 개발 

• 분석 절차와 기본 통계 지식

• 가설(hypothesis) 설정, 유의수준 결정, 측정 도구의 설계

• 척도의 분류, 데이터의 수집, 데이터 코딩

• 통계 분석 수행 원리 분석

• 통계학의 구분, 조사의 방법, 모집단과 표본, 통계적 추정

• 기각역(Critical region)과 채택역(Acceptance region) 파악

• 양측검정과 단측검정, 가설 검정 오류, 검정 통계량 파악

• 정규 분포, 모수와 비모수 검정 분석

• 표준정규분포, 표준화 변수 Z, Z값과 확률 구간, 신뢰구간 파악

• 표본오차, 왜도(Skewness)와 첨도 분석

• 기술 통계(Descriptive Statistics) 분석, 척도별 기술 통계량

• 대표값 산출, 산포도, 변동계수, 빈도분석

• 교차분석과 카이제곱 검정

• 일원 카이제곱 검정(적합도 검정, 선호도 분석)

• 이원카이제곱검정(독립성 검정, 동질성 검정)

• 추정과 검정, 모수와 표본의 구분, 점추정과 신뢰구간 추정의 구분

• 모평균의 구간 추정

• 단일 집단 비율 검정, 단일집단 평균검정(단일표본 T검정)

• 두 집단 비율 검정, 두집단 평균검정((독립표본 T검정)

• 세 집단 비율 검정

• 분산 분석(F 검정, ANOVA: Analysis Of Variance) 

• 요인 분석(Factor Analysis)

• 상관관계 분석(Correlation Analysis) 

빅데이터 플랫폼 테스트

• 요구사항을 기반으로 빅데이터 플랫폼 테스트 계획을 수립

• 상세 설계된 빅데이터 플랫폼 세부 시스템의 단위기능에 대하여 기

능 테스트 시나리오를 작성

• 요구사항 명세와 아키텍처 설계서를 기반으로 빅데이터 플랫폼의

• 비기능 요소를 식별하고 평가기준을 수립

• 작성된 빅데이터 플랫폼 테스트 시나리오를 기반으로 동적 테스트

를 수행하고 결함여부와 개선의견을 포함하는 테스트 결과서 작성

응용 SW/파이썬/머신러닝

응용SW 기초기술 활용(JAVA)

• Software 개론, 자바 언어의 이해, JDK1.8.0 설정 

• Eclipse JAVA Application 개발 환경 설정

• 컴파일, 자바 프로그램의 구조

• 데이터 형(data type), 연산자(Operator)

• 제어문의 실습

• OOP 특성, Class, Method, 생성자, Package, 예외처리

• Call By Reference, 메소드로 객체의 전달

• 추상 메소드, 추상 클래스(Abstract Class), 인터페이스(Interface) 

• File IO 프로그램 개발

• Network 프로그램의 개발

• JDBC 프로그램의 개발

데이터 입출력 구현(Oracle)

• Oracle XE 11g 개발자 버전 설치, 최소 설치 사양

• SQL Developer 설치

• Sql developer sql 파일 생성, RDBMS 테이블 결합 JOIN ERD 제작

• self join ERD 제작

• DDL(Data Definition Language) 명령어 실습

• Single-Row Function(단일행 함수) 실습

• GROUP BY, HAVING, Group Functions(그룹화 함수), SubQuery 

• Transaction, Sequence, Index 관리

• VIEW 제작

• 데이터 사전(Data Dictionary), 제약 조건의 조회, 추가, 삭제

• PL/SQL의 이해, PL/SQL의 종류, PL/SQL의 구조, Script

• Stored Procedure Create & Execution - IN/OUT 매개변수

• Stored Procedure INSERT, SELECT, UPDATE, DELETE의 이용

• Stored Function, Trigger

화면 구현(Javascript, jQuery, Bootstrap)

• Data Type, Variable, Operator(연산자), 제어문

• function(함수), 시스템 지원 전역 함수의 사용, 가변인수

• 객체 지향 프로그래밍

• Event의 처리(INPUT, BUTTON, SUBMIT)

• Ajax(Asynchronous JavaScript and XML), XMLHttpRequest 객체 

• JSON(JavaScript Object Notation) 출력의 Ajax 처리

• Javascript framework jQuery 설치

• selector를 이용한 DOM Element(태그)의 검색

• jQuery Ajax 요청의 처리, GET, POST 방식과 한글 처리

• Bootstrap 활용

서버 프로그램 구현(JSP, Spring, Spring Boot 2)

• TOMCAT 8 Install

• JSP 스크립트 기본 문법, JSP 스크립틀릿 코드의 생성 및 실행

• Page 지시자(Directive), class import, request 내부 객체 실습

• response 내부 객체, out 내부 객체, application 내부 객체의 사용

• GET, POST Form Data 전송 방식

• CSS(Cascading Style Sheet)의 사용

• JSP 기반 공지사항의 제작 및 응용

• JSP 기반 회원 관련 제작

• JSP 기반 로그인/로그아웃, Cookie, Session의 활용

• STS(Spring Tool Suite) 설치(권장)

• Data Management(SQL Development) 설정

• servlet원리, servlet을 이용한 폼 데이터의 처리, Servlet 실습

• Spring기반 MVC의 원리, STS Spring MVC의 개발 구조 분석

• Maven 의존성 추가, Local 저장소의 설정, settings.xml 

• EL(표현 언어, Expression Language)의 사용

• JSTL(JSP Standard TAG Library)의 사용

• DI(Dependency Injection)의 구현

• MyBATIS 설치 및 사용

• Spring 기반 공지사항의 제작 및 응용

• Spring 기반 자료실의 제작 및 응용

• Spring 기반 회원(관리자) 관련 기능의 제작 및 응용

• Spring boot 2 기반 공지사항의 제작 및 응용

• Spring boot 2 기반 자료실의 제작 및 응용

• Spring boot 2 기반 회원(관리자) 관련 기능의 제작 및 응용

• Filter, Interceptor의 활용

• AOP(Aspect Oriented Programming)의 구현

• Transaction 구현

• AOP + MyBATIS + Oracle기반 선언적 Trancation

파이썬

• 파이썬 설치와 환경 설정,Anaconda (Python 3) 설치

• Conda를 이용한 Python 3 기반 가상환경 생성

• 내장 데이터 타입, 숫자, 시퀀스, 매핑, set 타입

• 연산자, 제어문의 실습, 함수의 제작 실습

• 모듈과 패키지, datetime 모듈, 상속, import

• 객체지향 프로그래밍, 클래스 제작

• Class 선언, 클래스 멤버, 메소드, 인스턴스 멤버, 메소드의 실습, 생성자, 소멸자, 모듈 분리

• try ~ except를 사용한 예외 처리

• 파일 입출력 처리

• 네트워크 프로그래밍, 네트워크 Server/Client의 제작

• MySQL DBMS 사용하기

• DBMS 응용 Application 제작

• BeautifulSoup 설정

• 웹 크롤러를 활용한 데이터의 수집

• 수집된 데이터의 저장

• 파이썬 라이브러리를 활용한 데이터 분석

• 데이터 시각화 library Matplotlib(맷플롯립)

• 대용량 데이터 연산 package(library) Numpy

• 데이터셋 생성 및 분석 package(library) Pandas

• 데이터 분석 및 스토리 텔링 프로젝트 실습

머신러닝 기반 데이터 분석

(R programming

/

Tensorflow 2)

• 개발 환경 설정, Anaconda install

• CPU 기반 Conda를 이용한 Python 3 기반 가상환경 생성

• Tensorflow 2 설치

• Jupyter Notebook 커널 연동, 개발 환경 구성

• 머신러닝 개론

• 선형 회귀(Linear Regression), 성적 예측 모델 구현

• 평균 제곱근 오차(RMSE: Root Mean Square Error)

• 정규 분포 난수의 생성, 균등 분포 난수의 생성

• Tensorflow에서의 경사 하강법(gradient decent)

• 다중 선형 회귀(Multiple Linear Regression) 모델

• 로지스틱 회귀(Logistic Regression) 모델의 구현,

• 퍼셉트론(perceptron), 오차 역전파(Back Propagation)

• 기울기 소실 문제와 활성화 함수, 손실 함수

• 수치 예측 모델의 개발

• 이항 분류(Binary Classification) 모델 개발

• 와인의 종류 예측하기(이항 분류(binary classification)), 모델 업데이트 및 저장

• 다중 분류(Multi Classification) 모델 개발

• 아이리스(붓꽃) 품종 예측, 원-핫 인코딩(one-hot-encoding)

• GPU 기반, CUDA, cuDNN, Conda를 이용한 Python 3 가상환경 설정

• 컨볼루션 신경망 레이어 CNN 모델 개발

• 미국 국립 표준 기술원(NIST)의 MNIST 이용 모델 제작 

• CIFAR-10, OpenCV를 이용한 이미지 인식 모델 개발

• VGG 학습모델 재사용

• 순환 신경망 레이어 RNN 모델 개발

• 다양한 분야의 예측 모델 주제 선정

• Django Web Application library의 생성 및 설정

• Django application 세부 환경 설정

• DJango와 딥러닝 모델의 연동을 통한 지능형 웹 개발 

프로젝트/

빅데이터 플랫폼 요구사항 분석/

빅데이터 플랫폼 아키텍처 설계

/빅데이터 품질관리시스템 개발/통합 구현

• 프로젝트 주제, 주제 결정, 프로젝트 주요 기술 결정

• 프로젝트 주제 개인 역활의 결정, 개발 요소 파악하기

• 개발 요소 등록

• Amateras UML 객체 분석 설계 툴 설치

• 데이터베이스 설계 ERD 툴 설치

• 빅데이터 플랫폼 요구사항 분석

• 요구사항의 파악, 요구 사항 정의(Defining Requirement)

• Usecase Diagram 작성 실습

• 팀 통합 프로젝트 및 개인별 개발 프로젝트의 생성

• 빅데이터 플랫폼 아키텍처 설계

• 빅데이터 품질관리시스템 개발

• DBMS 설계, DBMS 정규화(Normalization)

• AmaterasERD 파일 생성, 모델링(논리적/물리적) 실습

• 테이블 3개이상의 JOIN

• Import, TABLE 구조 생성, SQL 생성

• Local 저장소의 설정

• Maven 설정, Spring 환경 설정

• 화면 Layout, Action TAG를 이용한 Mneu 페이지의 제작

• JSP Template 설정

• 화면구현(User Interface Design, Prototype, Storyboard)

• Prototype 제작 실습

• VO(DTO), XML, DAO, Controller 기초 코드 작업

• 컨텐츠별 CRUD 구현

• Frontend 제작

• 파이썬을 통한 웹 데이터 수집 및 DBMS에 저장

• R Studio에서의 파일 데이터 분석 및 시각화 제작

• 텐서플로 케라스 연동 각종 예측 시스템 개발

• 수집 및 분석된 데이터 Spring 프레임워크로 웹 서비스 구축 및 테스트

• Github 소스 통합 구현

• 프로젝트 통합 및 변경 사항 수정

• 프로젝트 운영 테스트 및 수정

• 프로젝트 문서화 작업 및 발표