[빅데이터] 커리어 가이드

1. 빅데이터란 무엇일까?

4차 산업혁명과 함께 너무나도 많이 들어온 빅데이터.

이 업계가 유망하다는 것을 누구나 알지만, 자세히는 아는 사람은 많지 않습니다.

따라서 빅데이터가 무엇인지, 실제로 무슨 일을 하는지 한번 알아보겠습니다.

빅데이터라고 하면 흔히 떠오르는 이미지(출처:데일리포스트)

 

먼저 빅데이터의 정의는 아래와 같습니다.

빅데이터란, 다양하고(variety), 빠르고(velocity), 방대하게(volume) 쏟아지는 가치있는(value) 데이터

 빅데이터 시대에는 데이터베이스에 차곡차곡 쌓이던 기존의 정형화된 데이터와 달리, 사진과 이미지, 영상등의 다양한 비정형데이터가 전체 데이터의 90%를 차지하고 있습니다. 이러한 디지털 데이터는 매우 빠른 속도로 생산되므로 이를 실시간으로 저장, 유통, 수집, 분석 처리할 수 있는 성능이 요구됩니다. 또한 빅데이터(Big Data)라는 단어에서 알 수 있듯, 데이터의 규모가 수십 테라바이트 혹은 페타바이트 이상 규모의 데이터를 의미합니다. 하지만 아무리 많은 데이터라고 하더라도 활용할 수 없는 데이터라면 의미가 없습니다. 데이터 자체가 중요한 것이 아니라 의사결정에 유용한 ‘정보(Information)’로활용되어야 하고, ‘지식(Knowledge)’으로 축적되어야 합니다.

---

 

2. 빅데이터 직군의 직업들

다음은 빅데이터 업계에는 어떠한 직업이 있는지 알아보겠습니다.

크게 4가지로 구분하였으며, 그 외 데이터 모듈러, 데이터 기획자 등 다양한 직업이 있습니다.

 

1) 데이터 분석가(data analyst)

(1) 업무

데이터 추출, 전처리 및 분석 또는 데이터 시각화

 데이터 분석가는 데이터를 분석 및 처리하여, 비즈니스에 의미있는 인사이트(개선해야 할 문제)를 도출합니다.

또한 이를 시각화하여 데이터 보고서를 작성하고 다양한 부서 사람에게 효율적으로 전달합니다. 

 

(2) 요구사항

- 비즈니스 전반의 도메인 지식 필요

- SQL 기초 통계 지식 필수

- 태블로, 스팟파이어 등 데이터 시각화 도구 사용 경험 우대

- AWS 등 클라우드 솔루션 활용 경험 우대

- 데이터 분석에 활용할 수 있는 프로그래밍 언어 지식 우대

 

토스채용

---

 

2) 데이터 엔지니어(Data Engineer)

(1) 업무

데이터 자체와 데이터를 둘러싼 시스템(수집, 보관, 처리 시스템의 개발, 구조 설계, 유지 보수)을 책임지는 사람.

비즈니스를 이해하고 대량의 데이터셋을 가공하며, 데이터 파이프라인을 개발하고 관리합니다.

또한 사내 데이터 애널리스트와 데이터 사이언티스트가 제품을 최적화하기 위한 분석 도구를 개발합니다.

 

(2) 요구사항

- 컴퓨터 관련 전공.

- SQL 필수. 시스템 개발에 필요한 프로그래밍 언어 지식 필수

- 하둡(Hadoop), 스파크(Spark) 등 빅데이터 도구 경험자 우대

- 도커 개발 및 배포 경험 우대

 

데이터 엔지니어 - 당근페이 | 당근마켓 채용

---

 

3) 데이터 사이언티스트(Data Scientist)

(1) 업무

과거 패턴으로 부터 미래 예측. 비즈니스에 여러 알고리즘을 적용시켜 새로운 분석 모델 및 머신러닝 모델 개발

통계, 머신러닝, 데이터 마이닝 지식을 기반으로 한 분석 기법을 적용하여, 현재 상황 뿐 아니라 미래 상황을 예측하여 문제를 해결 및 예방합니다. 데이터 사이언티스트는 데이터 전처리 및 분석도 하기는 하나, 주로 모델링을 통한 비즈니스에 필요한 정보를 예측합니다.

 

(2) 자격 요소

- 통계, 수학, 컴퓨터 공학, 산업공학 등의 대학원 졸업자 우대

- 데이터 애널리스트 경력자 우대

- SQL 필수

- 데이터 분석을 위한 1개 이상의 프로그래밍 언어 지식 필수(Python, Scala)

- 머신러닝 알고리즘으로 데이터 분석 프로젝트 진행 우대

 

카카오 영입

---

 

3. 출처

조성준, 「빅데이터 커리어 가이드북」, 길벗(2021)

"데이터 사이언티스트 vs 애널리스트", smalldataguru, 2022.05.02, https://brunch.co.kr/@smalldataguru/23 

"사진 1,000장은 빅데이터일까?",LG CNS 블로그, 2022.05.03, https://blog.lgcns.com/2245

"4차산업 핵심 ‘빅데이터’…미래 우리 삶은 어떻게 달라질까?", 데일리포스트, 2022.04.28, https://www.thedailypost.kr/news/articleView.html?idxno=70286