빅데이터란 무엇이고 뜻과 개념 빅데이터 활용 사례

지금은 데이터의 시대입니다. 우리가 일상생활 속에서 하는 모든 말과 행동들이 데이터가 되어 비즈니스모델로 활용이 되고 있습니다. 개인과 개인, 개인과 조직, 조직과 조직의 데이터들이 서로 공유되고 융합이 되면서 데이터를 중심으로 한 데이터경제도 급부상하고 있는데요. 이러한 데이터와 관련된 기술이 바로 빅데이터입니다. 그런 점에서 오늘은 빅데이터란 무엇이고, 빅데이터를 활용한 사례들은 어떠한 것들이 있는지 알아보겠습니다.

 

빅데이터란 무엇인가?

빅(Big) 데이터(data)라고 하는 이름에서도 알수 있듯이 아주아주 많고 큰 데이터를 말합니다. 사전적 의미를 보면 빅데이터(Big Data)란 디지털 환경에서 생성되는 모든 데이터를 의미하며, 규모가 방대하고 생산주기가 짧은 정보폭발(Information Explosion)이라 정의하고 있습니다. 데이터는 우리가 인터넷에서 검색하거나 스마트폰으로 사진을 찍거나 SNS에 올리는 행동들을 할 때 만들어지는 정보입니다.

 

 

예를들어 오늘 아침에 먹은 음식은 무엇인가요? 에 대한 질문에 답하는 것도 데이터입니다. 전 세계에서 하루에 만들어지는 데이터의 양은 약 2.5 엑사바이트라고 합니다. 비트나 바이트는 들어봤어도 엑사바이트는 무엇인지 감이 오지 않으실 것 같은데요. 예를 들어 이집트의 파피루스(종이)가 발명되고 기록을 남기기 시작한 이후 2000년대 초까지 생성된 데이터가 약 20 엑사바이트라 추정합니다. 파피루스가 고대 이집트에서 발명된 종이이므로 기원전 3,000년 전 정도로 추정하면 지금까지 5,000년 동안 인류가 생성한 데이터는 약 20 엑사바이트인 셈인데요.

 

데이터와 정보 / 디지털 정보 단위

 

그런데 2000년대 초반부터 2021년까지 생산된 전 세계 데이터 총량이 약 50 제타바이트라고 합니다. 엑사바이트 상위 단위가 제타바이트인데, 불과 20여년 동안 만들어진 데이터량이 5,000년간 데이터의 2,500배를 넘어선 것입니다. 감이 좀 오시나요? 아무튼 이런 엄청나게 많은 데이터를 저장하고 관리하고 분석하기 위해서는 기존의 컴퓨터나 프로그램만으로는 부족합니다. 그래서 새로운 기술이 필요한데, 그것이 바로 빅데이터 기술입니다.

 

빅데이터의 역사와 등장배경

빅데이터라는 용어는 1990년대부터 사용되어 왔으며, 존 매쉬(John Mashey)에 의해 이 용어가 대중화하였습니다. 그런데 대규모 데이터를 분석해서 의미있는 정보로 찾아내는 시도는 예전부터 존재하고 있었습니다. 예를 들어 1890년대 미국 인구조사에서는 10년 걸릴 일을 천공카드(punch cards)라는 데이터 처리 기술로 2년 6개월 만에 조사를 마쳤고, NASA가 아폴로 프로그램을 위해 컴퓨터와 자기테이프를 사용해 우주 비행 데이터를 저장하고 분석했습니다.

 

 

 

2005년 무렵에는 Facebook, You Tube 및 기타 온라인 서비스를 통해 사용자가 얼마나 많은 양의 데이터를 생성하고 있는지 깨닫기 시작했고, 같은 해에 아파치 하둡(Apache Hadoop)라는 오픈 소스 프레임워크가 개발되었습니다. 이것은 빅데이터 세트를 저장하고 분석하기 위해 특별히 개발된 것으로 여러 대의 컴퓨터에 데이터와 작업을 분산시켜 병렬 처리할 수 있게 해주는 데이터 분석기술 중 하나입니다.

 

데이터 트렌드의 변화 / 출처: 빅데이터 컴퓨팅 기술

 

그 이후로 데이터의 양이 엄청나게 증가하여 기존의 데이터 저장, 관리, 분석 기법으로는 데이터를 처리하는데 한계가 있어 정보술의 패러다임도 바뀌게 되었습니다. 이는 곧 빅데이터 용어를 등장시켰고, 사람들은 이제 데이터에 대한 관심이 높아지게 됩니다.

 

정보기술의 패러다임 변화는 PC시대에서 인터넷시대로 이후 2007년 스마트폰의 등장과 함께 모바일시대로 변화되어 왔고, 현재는 패러다임이 지능화와 개인화된 스마트시대에 접어들게 되었습니다. 빅데이터가 차세대 이슈로 떠오를 수 있었던 이유는 모바일, 클라우드 서비스, 소셜 네트워크 서비스 등의 등장으로 정보통신기술(ICT)의 주도권이 인프라와 기술 등에서 데이터로 이전되고 있고, 스마트기기의 확산으로 공간, 시간, 관계, 세상 등을 담은 빅데이터의 중요성이 커졌기 때문입니다.

 

빅데이터의 개념과 특징

빅데이터라는 개념을 구체적이고 정확하게 설명하는 정의는 아직 없지만 대체적으로 전통적 개념은 구글이나 마이크로소프트 등의 대기업이나 NASA의 연구 프로젝트에서 분석하는 방대한 양의 데이터를 빅데이터라고 부르고, 이를 Very Large DB, Tatal Data, Extremely Large DB 등의 다양한 용어로 부르고 있습니다. 그래서 빅데이터의 현재의 정의는 '기존의 관리 및 분석체계로는 감당할 수 없을 정도의 거대한 데이터의 집합'이라 할 수 있습니다.

 

 

빅데이터의 공통적 특징은 3V 즉, 규모(Volume), 다양성(Variety), 속도(Velocity)로 설명할 수 있고, 최근에는 여기에 정확성(Veracity)과 가치(Value)를 포함하여 5V로 정의하기도 합니다. 규모는 데이터의 크기를 말하고, 다양성은 데이터를 수용하는 속성을 말합니다. 속도는 데이터를 빠르게 처리하고 분석하는 것을 말하고, 정확성은 데이터에 부여할 수 있는 신뢰 수준을 말합니다. 그리고 가치는 빅데이터를 저장하려고 IT인프라 구조 시스템을 구현하는 비용을 말합니다.

 

빅데이터의 특징 3V

 

빅데이터의 특징에서도 알 수 있듯이 과거에는 형식이 정해져 있는 텍스트 위주의 데이터가 많았던 반면 이제는 그림이나 동영상, 음성 위주의 비정형 데이터가 급속히 증가하고 있습니다. 과거 빅데이터는 천문, 항공, 우주정보, 인간게놈 정보 등의 특수분야에 한정되어 있었지만 ICT기술의 발달로 전분야로 확산되었습니다. 그래서 현재의 빅데이터는 하드웨어부터 소프트웨어까지, 컴퓨터 공학에서 인간공학, 뇌공학, 언어학까지 총망라한 기술이 모두 적용된 분야입니다.

 

빅데이터 활용 사례

빅데이터 기술은 빅데이터를 다루기 위한 여러 가지 방법과 도구를 말합니다. 예를 들어 빅데이터를 저장하기 위해서는 클라우드 컴퓨팅이라는 기술을 사용하는데 이것은 인터넷을 통해 여러 대의 컴퓨터를 연결하여 하나의 컴퓨터처럼 사용하는 기술입니다. 이렇게 하면 더 많은 데이터를 저장할 수 있고, 사용자의 편의성을 높일수 있습니다.

 

 

또한 빅데이터를 분석하기 위해서는 R이나 파이썬과 같은 프로그래밍 언어를 사용하는데요. 이 언어를 사용하면 빅데이터에서 원하는 정보를 찾거나 패턴을 발견하거나 예측을 할 수 있습니다. 그렇다면 빅데이터가 왜 필요할까요? 빅데이터는 우리의 삶을 개선하거나 새로운 지식을 발견할 수 있게 도움을 줍니다. 예를들어 날씨나 교통상황을 미리 알 수 있고, 음악이나 영화를 추천받을 수 있으며, 건강상태나 질병관리를 할 수 있습니다. 또한 과학연구나 사회문제 해결에도 빅데이터는 활용이 됩니다.

 

빅데이터 활용 분야

 

빅데이터를 활용하면 우주나 지구의 비밀을 밝힐 수 있고, 기후변화나 환경오염과 같은 문제에 대응할 수 있으며, 범죄나 테러와 같은 사회적 문제를 예방하거나 해결할 수 있습니다. 이렇게 빅데이터는 우리의 삶에 엄청난 영향을 미치고 있습니다.

 

• 아마존: 고객의 구매이력이나 검색키워드, 상품평가 등을 분석하여 개인맞춤형 상품 추천
• 할리우드: 영화 흥행여부를 예측하고, 배우나 감독, 장르, 시간대를 최적화함
• 스타벅스: 고객의 선호도나 행동패턴을 파악하고, 매장 위치나 인테리어 등을 결정
• 넷플릭스: 고객의 시청이력이나 평가, 시청 중단 시점 등을 바탕으로 콘텐츠를 추천
• 서울시: 교통량이나 버스 승하차 인원, 심야버스 이용자 등을 분석하여 개선

 

이뿐만이 아니라 의료업계에서는 빅데이터로 환자의 진료기록이나 유전정보, 생체신호 등을 분석하여 진단이나 치료, 예방 등에 활용하고 있으며, 은행업계에서는 고객의 신용도나 거래내역, 투자성향 등을 분석하여 금융상품이나 서비스를 제공하거나 리스크를 관리하고 있습니다.

 

산업계에서는 빅데이터를 활용해 고객의 구매내역이나 취향, 반응 등을 분석하여 마케팅 자료로써 활용하고 있고, 정부는 공공행정, 문화관광, 재난안전, 교통물류, 환경기상 분야 등에 적극적으로 빅데이터를 활용하고 있습니다. 행정안전부의 공공부문 데이터 분석활용 우수사례집을 참고하세요.

 

이상으로 빅데이터에 대해 간단하게 알아보았습니다. 빅데이터는 우리의 삶과 사회에 많은 변화와 혁신을 가져올 것입니다. 그렇기 때문에 4차 산업혁명과 관련된 기술은 너무나 중요하고, 중요합니다. 이것을 잘 알고, 잘 활용하고, 잘 발전시키면 우리나라가 더 잘 살 수 있습니다. 그야말로 정보의 홍수 속에서 데이터를 어떻게 가공하고, 사용하는지에 따라 여러분의 부가 결정이 될 것입니다.

 

 

---

 

[함께 읽으면 좋은 관련글]

• 4차 산업혁명이란 무엇이며, 주요 특징과 개념 정리
• 인공지능이란 무엇인지와 인공지능 종류에 대한 이해
• 모빌리티 뜻과 정의 모빌리티 기술과 산업에 대한 이해

 

블로그 URL 주소 (출처표기: 작성자, 웹페이지 제목, 웹사이트명, 발행날짜, URL)
● 담덕, "빅데이터란 무엇이고 뜻과 개념 빅데이터 활용 사례", 모든 경영의 답(블로그), 2023년 4월 8일, https://mbanote2.tistory.com/587