分析方法: 数据挖掘· 分类 (classification)· 估计(estimation)· 预测(prediction)· 相关性分组或关联规则(affinity grouping or association rules)· 聚类(clustering)· 描述和可视化(description and visualization)· 复杂数据类型挖掘(text, web ,图形图像,视频,音频等)方法简介:·分类 (classification)首先从数据中选出已经分好类的训练集,在该训练集上运用数据挖掘分类的技术,建立分类模型,对于没有分类的数据进行分类。例子:a. 信用卡申请者,分类为低、中、高风险b. 故障诊断:中国宝钢集团与上海天律信息技术有限公司合作,采用数据挖掘技术对钢材生产的全流程进行质量监控和分析,构建故障地图,实时分析产品出现瑕疵的原因,有效提高了产品的优良率。注意: 类的个数是确定的,预先定义好的· 估计(estimation)估计与分类类似,不同之处在于,分类描述的是离散型变量的输出,而估值处理连续值的输出;分类 数据挖掘的类别是确定数目的,估值的量是不确定的。例子:a. 根据购买模式,估计一个家庭的孩子个数b. 根据购买模式,估计一个家庭的收入c. 估计real estate的价值一般来说,估值可以作为分类的前一步工作。给定一些输入数据,通过估值,得到未知的连续变量的值,然后,根据预先设定的阈值,进行分类。例如:银行对家庭贷款业务,运用估值,给各个客户记分(score 0~1)。然后,根据阈值,将贷款级别分类。· 预测(prediction)通常,预测是通过分类或估值起作用的,也就是说,通过分类或估值得出模型,该模型用于对未知变量的预言。从这种意义上说,预言其实没有必要分为一个单独的类。预言其目的是对未来未知变量的预测,这种预测是需要时间来验证的,即必须经过一定时间后,才知道预言准确性是多少。相关性分组或关联规则(affinity grouping or association rules)决定哪些事情将一起发生。例子:a. 超市中客户在购买a的同时,经常会购买b,即a => b(关联规则)b. 客户在购买a后,隔一段时间,会购买b (序列分析)· 聚类(clustering)聚类是对记录分组,把相似的记录在一个聚集里。聚类和分类的区别是聚集不依赖于预先定义好的类,不需要训练集。例子:a. 一些特定症状的聚集可能预示了一个特定的疾病b. 租vcd类型不相似的客户聚集,可能暗示成员属于不同的亚文化群聚集通常作为数据挖掘的第一步。例如,"哪一种类的促销对客户响应最好?",对于这一 类问题,首先对整个客户做聚集,将客户分组在各自的聚集里,然后对每个不同的聚集,回答问题,可能效果更好。· 描述和可视化(description and visualization)是对数据挖掘结果的表示方式。一般只是指数据可视化工具,包含报表工具和商业智能分析产品(bi)的统称。譬如通过yonghong z-suite等工具进行数据的展现,分析,钻取,将数据挖掘的分析结果更形象,深刻的展现出来。挖掘分类以上七种数据挖掘的分析方法可以分为两类:直接数据挖掘;间接数据挖掘·直接数据挖掘目标是利用可用的数据建立一个模型,这个模型对剩余的数据,对一个特定的变量(可以理解成数据库中表的属性,即列)进行描述。间接数据挖掘目标中没有选出某一具体的变量,用模型进行描述;而是在所有的变量中建立起某种关系 。· 分类、估值、预言属于直接数据挖掘;后四种属于间接数据挖掘