本系列代码托管于:https://github.com/chintsan-code/machine-learning-tutorials
本篇使用的项目为:knnHandwrite
在本例中,为了简化问题,将手写字符图片转换为32*32的0、1矩阵。大约2000个训练样本和1000个左右测试样本,训练样本所在的文件夹是trainingDigits,测试样本所在的文件夹是testDigits
流程:
1. 将32×32的矩阵转换成1×1024的向量;
def img2vector(filename):
returnVect = zeros((1, 1024)) # 创建一个1*1024的全零向量
fr = open(filename)
for i in range(32):
lineStr = fr.readline()
for j in range(32):
returnVect[0, 32 * i + j] = int(lineStr[j]) # 将32x32的矩阵转换成1x1024的向量
return returnVect
2. 计算输入的测试数据向量和所有的训练集向量的欧几里得距离;
classfierResult = knn.classify0(vectorUnderTest, trainingMat, hwLabels, 3) # vectorUnderTest是一个测试字符向量(1*1024),trainingMat是训练样本集(m * 1024,m为训练样本总数),hwLabels是训练样本标签,k取3
3. 按照欧几里得距离排序,选前K近的,选择出现次数最多的数字作为分类结果;
4. 计算错误数和错误率。
总结:
KNN算法的优点在于简单、易于理解,对异常值不敏感,不需要参数估计,也不需要预先训练;缺点是计算量大,需要遍历所有训练集,且训练数据必须存储在本地,内存开销大
评论 (0)