聚类分析综述

在数据分析的各种方法中，聚类分析是一个基础但高频的工具。简单说，它要做的事情就是把数据点按照某种规则分成几个组，让组内的数据尽可能相似，组间的差异尽可能大。这个逻辑听起来很直白，但要把它落到实处理，涉及的细节可不少。

聚类是什么？

把观测对象按照某种标准划分成若干类别，核心原则就一条：组内的相似性最大，组间的差异性最大。

（图片由AI生成）

把“相近”和“相异”的程度数量化。主要可以从两个视角切入：一是

，比如皮尔逊相关系数；二是，像欧氏距离、曼哈顿距离。说到底，本质是一样的——距离近的凑成一类，距离远的自然就是“异类”。根据数据本身的特点和选用的算法，系统会给出不同的分类模型。需要明确的是，聚类属于的数据分析方法，而不是验证性的。

放在市场研究的场景里，聚类分析最典型的用途是

，寻找潜在的细分市场、选择试验市场，把有限的资源精准地倾斜到目标群体上。当然，它在很多其他领域也有广泛应用，后面会专门展开。

分类是已经有了现成的划分标准，直接按标准分组即可。聚类则不一样，事先并不知道划分标准，需要靠算法去判断数据之间的相似性。哪个模型最贴合研究实际，最终需要由研究者自己来判断，这也正是它的探索性所在。

聚类分析的操作步骤

实际操作中，一般按以下流程推进：

：包括检测和填补缺失值，做描述性分析等基础工作。

：这一步很关键。因为不同变量的数量级可能相差悬殊，如果直接计算距离，量级大的变量会主导结果，所以一般都需要做标准化处理。

：距离和相似系数的计算对异常值非常敏感，不处理异常值，聚类结果很可能会失真。

：这是核心环节，下面详细说说有哪些算法。

聚类算法有哪些？

按照聚类对象划分

：针对进行的聚类分析。当变量数量较多，且它们之间存在较强相关性时，R型聚类可以帮我们，简化后续分析。常用统计量是，比如变量间的相关系数矩阵。在市场研究中，比如面对大量产品属性数据，就可以通过R型聚类识别出几组核心属性，更清晰地把握产品的差异化特征。

（图片由AI生成）

：关注的是本身的分类。把性质相似的个体归入同一类，差异显著的分配到不同类别。常用统计量是，常见的算法包括K-means、层次聚类、DBSCAN、谱聚类、混合高斯模型等。应用场景非常广泛，从客户细分到疾病分型，再到图像分割，都能看到它的身影。

（图片由AI生成）

按照一般性方法划分

也叫系统聚类，它的特点是不需要事先指定要分成几类，而是根据距离或相似系数，一步步把最接近的两类合并，直到所有数据都聚到一个大类里。这是一个典型的非监督学习过程。优点是结果直观，层次关系清晰，但计算量较大，比较适合

（比如样本量小于100）。

也叫动态聚类或快速聚类，需要

。典型代表就是算法，它的速度非常快，适合处理。

这类算法从

出发来发现聚类结构，能将高密度区域自动识别为簇。最典型的代表是算法，它对噪声数据不敏感，还能发现任意形状的簇，实用性很强。

（图片由AI生成）

先将数据空间

，然后把数据点分配到对应的网格里。通过对网格单元的密度进行计算，识别出高密度区域——那就是潜在的簇。常见算法有STING等。

（图片来源于网络）

这是一种更高级的方法，它使用

来进行聚类分析，强调对数据生成过程本身进行建模。它能捕捉更复杂的数据分布模式和簇间关系，典型的方法包括混合高斯模型、隐马尔科夫模型聚类等。

在实际的市场调研中，

K-means

和

层次聚类

依然是最基础、应用最广泛的两种方法。前者适合簇数量已知、结构清晰的数据，后者则适合对簇数量不明确、需要探索层次关系的场景。而

DBSCAN

和

两步聚类

则提供了更灵活的解决方案，比如自动识别簇数、处理非球形簇或混合数据类型，甚至应对干扰数据。

（图片来源于网络）

一个优秀聚类算法应该具备的特征

在评估和选择算法时，可以从以下几个维度来考量：

：当数据量从几百上升到几百万时，聚类结果的准确度能否保持一致。

：很多算法只擅长处理数值型数据，但实际场景中常常会遇到二元型、分类/标称型、序数型数据，好的算法应该能灵活应对。

：噪声数据（孤立点、错误数据等）会对一些算法产生极大干扰，导致结果质量严重下降。

：有些算法无法快速将新数据融入已有的聚类结果，或者对数据输入的先后顺序非常敏感，导致结果不稳定。

：很多算法在低维数据上表现很好，但到了高维空间，数据分布极度稀疏且高度倾斜，处理能力会明显下降。

：最终得到的聚类结果，应该能用具体的业务语义进行解读，跟实际应用场景紧密结合。

聚类分析 vs 主成分分析 vs 因子分析

作为附录，这里把三种常用方法做一个清晰的对比：

• 聚类分析：专注于将样本

  分组
  ，揭示数据中的自然聚类结构。
• 主成分分析：通过线性变换

  减少数据维度
  ，保留数据的主要变异信息。
• 因子分析：旨在通过

  识别潜在因子
  解释变量间的共变关系，提供更深层次的数据结构解读。

• 聚类分析：适用于各种类型数据（连续型、离散型、有序型等）。
• 主成分分析 & 因子分析：主要适用于

  连续型数据
  。

• 聚类分析：不需要指定因变量或自变量，完全由数据驱动。
• 主成分分析 & 因子分析：需要指定

  自变量
  。

三种方法通常都需要对数据进行标准化或归一化处理。

• 聚类分析
  ：做市场细分时，发现消费者之间的相似性和差异。

• 主成分分析
  ：收集消费者行为和偏好数据，将这些数据合并为少数几个主成分，以便从整体层面把握关键影响因素。

• 因子分析
  ：试图找出消费者行为和偏好背后的潜在因素和结构，比如“品牌忠诚度”、“价格敏感度”这样的隐藏变量。