[빅데이터 기초4] - 빅데이터 분석 방법론1 - 통계분석 (요약통계,상관분석,회귀분석:선형회귀-Linear regression)

-들어가며 이번 포스팅에서는 빅데이터 기초3 포스팅에서 언급된 저장방법들로 저장되어진 데이터들을 분석하는 다양한 방법론 중 통계분석방법에 대해서 알아보도록 하겠습니다. 그리고 이번 포스팅도 마찬가지로 방법론에 대한 것이기 때문에 자세하게 다루지는 않겠습니다. ​ ​ - 빅데이터 분석에 대해서 분석 방법론에 대해서 말하기전에 우선적으로 분석의 목적은 무엇이 되어야하는지 그리고 분석과정은 어떻게 되는지에 대해서 개괄적으로 짚고 넘어가도록 하겠습니다. ​ 1. 데이터 분석의 목적설정 우리는 데이터 분석의 목적에 따라서 어떤 데이터를 어떻게 분석하냐가 결정되기 때문에 기본적으로 데이터 분석의 목적을 분명히하고 분석작업을 수행하는 것이 기본입니다. ​ 그렇다면 데이터 분석의 목적은 어떤 것들이 될 수 있을까요? ..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms

[빅데이터 기초3] - 빅데이터 저장,관리 그리고 처리기술 (NoSQL, Hadoop)

- 들어가며 이번 포스팅에서는 빅데이터 기초2 포스팅에 이어 수집된 데이터들을 어떻게 저장하고 관리하는지 즉, 빅데이터와 관련된 데이터 저장기술 및 관리기술에 대해서 알아보도록 하겠습니다. 이번 포스팅도 마찬가지로 빅데이터들을 저장하고 관리하는 기술에 대한 소개정도이며 구체적인인 내용은 다른 포스팅에서 다루도록 하겠습니다. ​ ​ - 데이터를 어떻게 저장해야할까? 여러분들은 데이터를 어떻게 저장하고 계신가요? 여러분의 컴퓨터 HHD나 SSD에만 저장하시는 분들도 있겠지만 외장하드, USB, 클라우드 등을 이용하시는 분들도 많을텐데요. 이렇게 개인적으로 사용하는 데이터들은 각자 그냥 어떠한 저장공간에 저장만하면 되겠지만 ​ 데이터를 조직단위에서 저장하고 관리하게 된다면 이렇게 저장공간에만 저장해서 꺼내쓰는..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms

[빅데이터 기초2] - 빅데이터 처리과정 및 데이터 수집방법론

- 들어가며 이번 포스팅에서는 이전 빅데이터 기초1 포스팅의 내용에 이어지는 내용으로 빅데이터의 개념을 이해했으니 빅데이터는 어떠한 처리과정을 거치는지에 대해서 알아보고 그 처리과정 중 데이터를 수집하는 방법론에 대해서 살펴보고자 합니다. ​ 이번 포스팅도 마찬가지로 이해하시려면 DB(Database)에 대한 개념이 어느정도 있으면 이해하기 쉽겠지만 DB에 대해서 잘 알지 못하시는분들에게도(D알못도) 이해하기 쉽도록 최대한 풀어서 글을 작성해보고자 합니다. ​ 그리고 이 포스팅은 데이터를 수집하는 방법론이기 때문에 이글에서 소개해드리는 데이터 수집기술들에 대한 구체적인 방법에 대해서는 다루지 않습니다. (어차피 이러한 기술들은 금방사리지고 금방 새로운게 나오고 합니다....) ​ 데이터를 수집하는 기술들..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms

[빅데이터 기초1] - 빅데이터의 배경, 정의 그리고 특성

- 들어가며 안녕하세요. 이번포스팅에서는 빅데이터의 배경과 빅데이터란 무엇인지 그 정의와 특성에 대해서 알아보도록 하겠습니다. 작성된 글은 제가 학교에서 배운내용들과 관련 서적들을 읽으면서 정리한 것들을 기반으로 저의 생각을 곁들여서 정리해보았습니다. ​ 비전공자분들도 편하게 읽으실 수 있도록 최대한 풀어서 설명하기 때문에 간단한 내용이지만 글이 길어 질 수 있다는 점 양해부탁드릴게요! ​ 우선 빅데이터는 DB를 빼놓고는 얘기할 수 없기 때문에 DB에 관한 내용을 알고 계신분들은 지금 이 글을 읽으시는데에 문제가 없겠지만 DB를 모르는 분들을 위해서 간단하게 설명을 드리자면 ​ DB​ (Database)란 데이터들을 일정하게 규격화하여 모아놓은것(마치 엑셀처럼)이라고 생각하시고 글을 읽어주시면 될 것 같..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms