本发明公开了一种视觉字典集体生成方法,涉及模式识别、计算机视觉、图像理解技术领域。为了达到捕获自然物体类的不同数据结构及探测不同形状和大小簇的目的,需要一个构架来综合多个聚类算法的输出,通过在同一训练图像集的局部视觉描述子集合上运行不同的聚类算法,得到一个视觉字典集体。基于视觉字典集体上,得到同一图像的不同量化矢量。在同一训练图像集的不同表达矢量集上学习得到一个分类器集体。视觉字典集体的构建是非监督式的,成员视觉字典可以使用不同的聚类算法独立并行地构建。实验结果表明本发明能显著提高单一视觉字典的性能,对于背景噪声具有鲁棒性,识别效果好。