빅데이터 분산 클러스터 환경 구축하기

빅데이터의 시대가 도래하면서, 기존의 GIS 분석 도구를 이용하여 대용량 공간 데이터를 분석하는 것은 점점 더 어려워지고 있습니다. SuperMap iServer 9D는 지리정보 서비스의 분산 클러스터 아키텍처를 제공합니다. 클러스터 및 Spark 분산 컴퓨팅을 기반으로 대용량 공간 데이터에 대한 분석을 수행할 수 있습니다. 그렇다면, 어떻게 분산 클러스터 환경을 구축할 수 있을까요? 이번 포스팅에서는 SuperMap iServer 9D (built-in Spark)를 기반으로 하는 전체 프로세스를 설명해 드리겠습니다.

먼저 컴퓨터 A와 컴퓨터 B 모두에 SuperMap iServer를 설치하고, 각 컴퓨터에 컴퓨팅 노드 분산 클러스터 시스템을 구축합니다.

구축 과정

 

1.마스터 코드 구성

1) SuperMap iServer를 시작하세요.

2) 기본 Spark 클러스터를 구성하고 시작하세요.

3) Reporter를 추가하고 컴퓨터A의 클러스터 서비스 주소를 리포트 주소로 설정합니다. “Enable the reporter(리포터 활성화)”와 “Enable distributed analysis node(분산 분석 노드 활성화)”를 선택합니다.

4) 분산 분석 서비스를 활성화합니다. 그런 다음 클러스터 개요에서 클러스터에 추가된 사용 가능한 클러스터와 노드를 확인할 수 있습니다.

 

 

 

2. 하위 노드 구성

1) 컴퓨터B에서 SuperMap iServer를 시작하세요.

2) 기본 Spark 클러스터를 구성하고 시작하세요.

3) Reporter를 추가하고 컴퓨터A의 클러스터 서비스 주소를 리포트 주소로 설정합니다. “Enable the reporter(리포터 활성화)”와 “Enable distributed analysis node(분산 분석 노드 활성화)”를 선택합니다. 하위 노드를 구성할 때는 분산 분석 서비스를 활성화하지 마십시오.

 

3. Spark 노드 확인하기

마스터 노드 클러스터 개요에서 하위 노드가 클러스터에 들어있는지 여부를 확인할 수 있습니다. 또한 Spark 노드가 마스터 노드의 8080 포트를 통해 성공적으로 구성되었는지 확인할 수 있습니다. Workers의 개수는 Spark 노드의 개수를 나타냅니다.

 

4. 분산 분석

1~3단계가 끝나면 분산 클러스터 배포가 완료된 것입니다. 그런 다음 분산 분석을 이용하여 환경이 성공적으로 구축되었는지 확인해야 합니다.

위 과정을 모두 거치면, SuperMap iServer 빅데이터 분산 클러스터 환경이 성공적으로 구축됩니다.

 

SPH는 SuperMap외 Google Map, CARTO 등 다양한 케이스에 적용될 수 있는 제품군과 솔루션을 보유하고 있으며 공공, 기업 고객의 사례에 꼭 맞는 무료 세미나 및 개별 컨설팅을 제공하고 있습니다. 더욱 자세한 이야기를 나누고 싶으시다면 여기에 문의 주시길 바랍니다.