[빅데이터 기초6 : Final] - 데이터 시각화(Data Viz : Data Visualization)

- 들어가며 데이터 시각화는 통계학에 대한 전문적인 지식이 없을지라도 통계용어에 대한 개념적 이해가 바탕이 된다면 데이터를 시각화하면서 데이터를 효과적으로 분석하거나 설명할 수 있게됩니다. ​ 여러분들 혹시 위 그림을 보면 통계학적 전문지식이 없기 때문에 그래프를 이해할 수 없으신가요? 전혀 아닙니다. 이처럼 우리는 알게모르게 통계적인 수치를 시각화하는 것을 배워왔습니다. ​ 데이터를 시각화하는 것은 그 데이터를 잘 이해할 수 있도록 도와주며 이러한 시각화는 탐색적 분석을 하는데 매우 용이합니다. (탐색적 분석이란 ? : 수집한 데이터를 이해하는 과정으로써 다양한 각도에서 관찰하여 이해하는 과정, 즉 데이터를 분석하기 전에 그래프나 통계적 방법으로 자료를 직관적으로 바라보는 과정 ) 하지만 데이터의 복잡..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms

[빅데이터 기초5] - 빅데이터 분석 방법론2 - 데이터마이닝(DataMining)과 머신러닝(기계학습 :ML)의 차이 그리고 딥러닝에 대해

-들어가며 지난 빅데이터 기초4 포스팅에서는 분석방법론중 하나인 통계 기법을 살펴보았는데요. 이번 포스팅에는 데이터마이닝과 머신러닝에 대해서 소개해드리고자 합니다. 데이터마이닝이던 머신러닝이던 결국 앞서 다뤘던 통계적인 내용들이 들어가 있으니 이 부분 참고하시길 바랍니다. ​ 1. 전통적인 통계vs데이터마이닝vs머신러닝 (3가지 비교) 각각에 대해서 설명을 드리기전에 이 3가지가 서로 비슷한 측면이 많기 때문에 헷갈려 하실 수 있는 부분이 많을 것이라 생각됩니다. 따라서 통계와 데이터 마이닝 그리고 머신러닝 이 3가지를 비교하면서 각각 개념을 잡아 보도록 하겠습니다. ​ ​ 우선 데이터 마이닝도 마찬가지로 빅데이터로 인해서 갑자기 생겨난 분야가 아니고 원래 존재하던 분야로서 저장된, 방대한 양의 데이터안..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms

[빅데이터 기초-번외] 앞으로 데이터 분석을 시작하려는 사람을 위한 책

안녕하세요. 이번 포스팅은 이전에 작성한 빅데이터 기초1~3 시리즈 포스팅글과 관련해서 도움이 될만한 책을 같이 공유해봤으면 좋겠다는 생각에 구도 다쿠야라는 분이 지은 '앞으로 데이터 분석을 시작하려는 사람을 위한책'에 대한 독서 정리글을 작성해보고자 합니다. ​ ​ ​ ​ ​ "The data never lies" (데이터는 거짓말을 하지 않는다) 미국연방정부 의료IT 정책 사무실 국장 파자드 모스타샤리(Fazad Mosta-shari)가 입에 달고 다니던 말이라고 합니다. ​ 책에 내용에 의하면 올바른 수단으로 수집하여 가공되지 않은 데이터(raw data)는 절대 거짓말을 하지않고 그런 데이터를 바탕으로 올바르게 도출한 분석 결과는 기업이나 여타 조직이 현재 상황을 파악하도록 도울 뿐만 아니라 앞으..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms

[빅데이터 기초4] - 빅데이터 분석 방법론1 - 통계분석 (요약통계,상관분석,회귀분석:선형회귀-Linear regression)

-들어가며 이번 포스팅에서는 빅데이터 기초3 포스팅에서 언급된 저장방법들로 저장되어진 데이터들을 분석하는 다양한 방법론 중 통계분석방법에 대해서 알아보도록 하겠습니다. 그리고 이번 포스팅도 마찬가지로 방법론에 대한 것이기 때문에 자세하게 다루지는 않겠습니다. ​ ​ - 빅데이터 분석에 대해서 분석 방법론에 대해서 말하기전에 우선적으로 분석의 목적은 무엇이 되어야하는지 그리고 분석과정은 어떻게 되는지에 대해서 개괄적으로 짚고 넘어가도록 하겠습니다. ​ 1. 데이터 분석의 목적설정 우리는 데이터 분석의 목적에 따라서 어떤 데이터를 어떻게 분석하냐가 결정되기 때문에 기본적으로 데이터 분석의 목적을 분명히하고 분석작업을 수행하는 것이 기본입니다. ​ 그렇다면 데이터 분석의 목적은 어떤 것들이 될 수 있을까요? ..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms

[빅데이터 기초3] - 빅데이터 저장,관리 그리고 처리기술 (NoSQL, Hadoop)

- 들어가며 이번 포스팅에서는 빅데이터 기초2 포스팅에 이어 수집된 데이터들을 어떻게 저장하고 관리하는지 즉, 빅데이터와 관련된 데이터 저장기술 및 관리기술에 대해서 알아보도록 하겠습니다. 이번 포스팅도 마찬가지로 빅데이터들을 저장하고 관리하는 기술에 대한 소개정도이며 구체적인인 내용은 다른 포스팅에서 다루도록 하겠습니다. ​ ​ - 데이터를 어떻게 저장해야할까? 여러분들은 데이터를 어떻게 저장하고 계신가요? 여러분의 컴퓨터 HHD나 SSD에만 저장하시는 분들도 있겠지만 외장하드, USB, 클라우드 등을 이용하시는 분들도 많을텐데요. 이렇게 개인적으로 사용하는 데이터들은 각자 그냥 어떠한 저장공간에 저장만하면 되겠지만 ​ 데이터를 조직단위에서 저장하고 관리하게 된다면 이렇게 저장공간에만 저장해서 꺼내쓰는..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms

[빅데이터 기초2] - 빅데이터 처리과정 및 데이터 수집방법론

- 들어가며 이번 포스팅에서는 이전 빅데이터 기초1 포스팅의 내용에 이어지는 내용으로 빅데이터의 개념을 이해했으니 빅데이터는 어떠한 처리과정을 거치는지에 대해서 알아보고 그 처리과정 중 데이터를 수집하는 방법론에 대해서 살펴보고자 합니다. ​ 이번 포스팅도 마찬가지로 이해하시려면 DB(Database)에 대한 개념이 어느정도 있으면 이해하기 쉽겠지만 DB에 대해서 잘 알지 못하시는분들에게도(D알못도) 이해하기 쉽도록 최대한 풀어서 글을 작성해보고자 합니다. ​ 그리고 이 포스팅은 데이터를 수집하는 방법론이기 때문에 이글에서 소개해드리는 데이터 수집기술들에 대한 구체적인 방법에 대해서는 다루지 않습니다. (어차피 이러한 기술들은 금방사리지고 금방 새로운게 나오고 합니다....) ​ 데이터를 수집하는 기술들..

• format_list_bulleted 빅데이터
• · 2020. 7. 14.
• textsms