학문
색다른콜리160
하둡이라는 것은 어디서 사용하는건지 궁금해여?
하둡이라는 걸 마니 들어보긴 한 거 가튼데여, 하둡이 어디서 어떤 목적으로 쓰이는 것인지이에 대해서 기기 전문가의
의견이 담긴 답변을 통해서 알고 싶어여?
3개의 답변이 있어요!
안녕하세요. 감병주 전문가입니다.
하둡은 엄청나게 많은 데이터를 여러 컴퓨터에 나눠서 저장하고 처리하는 기술입니다.
예를 들어서 인터넷 서비스에는 검색 기록이나 접속 기록처럼 수많은 데이터가 계속 쌓이는데 이런 데이터를 컴퓨터 한 대에서 처리하기에는 한계가 있습니다. 이럴때 하둡은 데이터를 여러 서버에 나눠 저장하고 처리해야 할 작업도 여러 서버가 나눠서 수행하게 만들어 대용량 데이터를 효율적으로 다룰 수 있게 해줍니다.
그래서 개인이 일반적으로 사용하는 프로그램이라기보다는 기업이나 기관에서 빅데이터를 저장하고 분석할 때 사용하는 기반 시스템이라고 생각하면 이해하기가 쉬울겁니다.
채택된 답변하둡은 기기 자체를 제어하는 기술이라기보다는 엄청나게 많은 데이터를 여러 컴퓨터로 나눠서 저장하고 처리하는 기술로 볼 수 있습니다.
회사에 수십억 개의 인터넷 사용 기록들이 있다면 컴퓨터 한 대가 처리하기 어려운데, 여러 대의 컴퓨터에 데이터를 나눠서 저장한다면 이를 처리하기가 상대적으로 쉬워지겠죠.
하둡은 이런 데이터를 여러 컴퓨터가 동시에 처리하도록 만들어 주고, 데이터를 나눠 저장 및 나눠진 데이터를 동시에 계산하도록 합니다. 따라서 컴퓨터 한 대가 고장 나더라도 다른 컴퓨터에 데이터가 남아 있도록 설꼐해서 대규모 데이터 처리에 적합할 수 있습니다.
안녕하세요. 서종현 전문가입니다.
하둡은 대용량 데이터를 저장하고 처리하기 위한 오픈소스 소프트웨어 프레임 워크입니다.
주로 기업이나 연구기관에서 엄청나게 많은 데이터(빅데이터)를 효율적으로 다룰 때 사용합니다. 예를 들어, 인터넷 검색 기록, SNS데이터, 금융 거래 내역, 과학 실험 데이터 등 매우 방대한 데이터를 저장하고, 여러 대의 컴퓨터에 분산하여 병렬 처리함으로써 빠르게 분석할수있습니다.
핵심 기술은 크게 두가지 입니다. 첫째, HDFS(Hadoop Distributed File System)는 데이터를 여러대의 컴퓨터에 나누어 저장해 고장이나 장애에도 데이터를 안전하게 유지합니다. 둘째, MapReduce라는 분산 처리 프로그래밍 모델은 저장된 데이터를 분산된 여러 컴퓨터에서 동시에 계산하고 결과를 합쳐 빠르게 원하는 정보를 얻도록 돕습니다.
하둡 덕분에 전통적인 단일 서버나 데이터베이스로는 처리하기 어려웠던 대량 데이터의 저장과 복잡한 분석 작업을 효과적으로 수행할수있습니다. 요약하면, 하둡은 빅데이터 시대에 많은 데이터를 잘 저장하고, 빠르게 분석하여 의미있는 정보를 찾는데 쓰이는 필수적인 도구라고 할수있습니다. 앞으로도 데이터가 더 많아질수록 하둡 같은 분산 처리 기술의 중요성은 더욱 커질 것입니다.