목록2024/09/26 (1)

ch0nny_log

[빅데이터분석] Linux_7.스파크 설치 및 운영

※ 스파크(Spark)  설치스파크(spark) 란 ?   hive 의 단점을 개선하기 위해서 나온게 스파크입니다. hive 가 자바를 몰라도 하둡 분산 파일 시스템에 있는 데이터를 SQL로 조회할 수 있게 facebook 에서 만든 noSQL 입니다.   hive 의 단점이 disk 에서 데이터를 처리하기 때문에 속도가 너무 느립니다. 스파크는 메모리(memory) 에서 데이터를 처리해서 속도가 아주 빠릅니다.  요즘 하드웨어 성능이 좋아지고 있고 메모리 가격도 예전에 비해서 저렴해져서  스파크(spark) 사용이 대중화가 되고 있습니다. ■ 스파크(spark)의 특징 ? 1. 메모리 기반의 데이터 처리로 속도가 아주 빠릅니다.  2. 하둡의 hdfs 를 이용할 수도 있고 또는 단독으로 사용이 가능합니..
빅데이터 분석(with 아이티윌)/리눅스 2024. 9. 26. 13:18
이전 Prev 1 Next 다음