针对 k近邻（kNN）方法不能很好地解决非平衡类问题，提出一种新的面向非平衡类问题的 k近邻分类算法。与传统 k近邻方法不同，在学习阶段，该算法首先使用划分算法（如 K-Means）将多数类数据集划分为多个簇，然后将每个簇与少数类数据集合并成一个新的训练集用于训练一个 k近邻模型，即该算法构建了一个包含多个 k近邻模型的分类器库。在预测阶段，使用划分算法（如 K-Means）从分类器库中选择一个模型用于预测样本类别。通过这种方法，提出的算法有效地保证了 k近邻模型既能有效发现数据局部特征，又能充分考虑数据的非平衡性对分类器性能的影响。另外，该算法也有效地提升了 k近邻的预测效率。为了进一步提高该算法的性能，将合成少数类过抽样技术（SMOTE）应用到该算法中。KEEL数据集上的实验结果表明，即使对采用随机划分策略划分的多数类数据集，所提算法也能有效地提高 k近邻方法在评价指标recall、g-mean、f-measure和AUC上的泛化性能；另外，过抽样技术能进一步提高该算法在非平衡类问题上的性能，并明显优于其他高级非平衡类处理方法。

局部加权朴素贝叶斯(LWNB)是朴素贝叶斯(NB)的一种较好的改进，判别频率估计(DFE)可以极大地提高NB的泛化正确率。受LWNB和DFE启发，提出逐渐缩小空间(GCS)算法用来学习NB参数：对于一个测试实例，寻找包含全体训练实例的全局空间的一系列逐渐缩小的子空间。这些子空间具有两种性质：1)它们都包含测试实例；2)一个空间一定包含在任何一个比它大的空间中。在逐渐缩小的空间上使用修改的DFE(MDFE)算法渐进地学习NB的参数，然后使用NB分类测试实例。与LWNB的根本不同是：GCS使用全体训练实例学习NB并且GCS可以实现为非懒惰版本。实现了GCS的决策树版本(GCS-T)，实验结果显示，与C4.5以及贝叶斯分类算法(如Naive Bayes、BaysianNet、NBTree、LWNB、隐朴素贝叶斯)相比，GCS-T具有较高的泛化正确率，并且GCS-T的分类速度明显快于LWNB。