노트북의 SPSS 예측 분석 클러스터링 알고리즘

2단계 클러스터

스케일링 가능한 2단계는 잘 알려진 2단계 클러스터링 알고리즘을 기반으로 하지만 몇 가지 측면에서 기능과 성능을 확장합니다.

첫 번째로, 이는 MapReduce 컴퓨팅 패러다임을 제공하는 Spark에서 지원하는 대규모 분산 데이터에 대해 효율적으로 작동합니다.

두 번째로, 이 알고리즘은 특정 데이터를 클러스터링하는 데 가장 중요한 기능을 선택하고, 드문 이상치 지점을 감지하는 메커니즘을 제공합니다. 또한 인사이트를 가능하게 하는 더 강화된 평가 및 진단 기능 세트를 제공합니다.

2단계 클러스터링 알고리즘은 먼저 전체 데이터 세트를 스캔하고 클러스터 기능이라고 하는 요약 통계의 측면에서 데이터 케이스가 밀집된 영역을 저장하는 클러스터링 전 단계를 수행합니다. 클러스터 기능은 CF 트리라고 하는 데이터 구조로 메모리에 저장됩니다. 마지막으로, 클러스터 기능 세트를 클러스터화하기 위해 집괴적 계층 클러스터링 알고리즘이 적용됩니다.

Python 예 코드:

from spss.ml.clustering.twostep import TwoStep

cluster = TwoStep(). \
    setInputFieldList(["region", "happy", "age"]). \
    setDistMeasure("LOGLIKELIHOOD"). \
    setFeatureImportanceMethod("CRITERION"). \
    setAutoClustering(True)

clusterModel = cluster.fit(data)
predictions = clusterModel.transform(data)
predictions.show()

클러스터 모델 평가

클러스터 모델 평가(CME)는 클러스터 모델을 해석하고 다양한 평가 수치를 기반으로 유용한 인사이트를 발견하는 것을 목표로 합니다.

이는 모든 유형의 클러스터 모델과 일반적이며 독립적인 포스트 모델링 분석입니다.

Python 예 코드:

from spss.ml.clustering.twostep import TwoStep

cluster = TwoStep(). \
    setInputFieldList(["region", "happy", "age"]). \
    setDistMeasure("LOGLIKELIHOOD"). \
    setFeatureImportanceMethod("CRITERION"). \
    setAutoClustering(True)

clusterModel = cluster.fit(data)
predictions = clusterModel.transform(data)
predictions.show()

상위 주제: SPSS 예측 분석 알고리즘