问企业如何有效地进行数据挖掘和分析？

经常听人提到数据分析，那么数据怎么去分析？简单来说，可能就是做一些数据做统计、可视化、文字结论等。但是相比来说，数据挖掘就相对来说比较低调一些，这是这种低调，反而意味着数据挖掘对研究人员的要求要更高一些。 数据分析人员需要理解业务的核心指标，通过数据分析工具（比如r/sas/sql，或者内部的数据平台）对业务数据进行建模和分析，为相关的业务指标提供基于数据的解决方案。所以，数据分析岗位要求具备扎实的统计学功底和对数据的敏感。数据挖掘人员需要研究数据，试验和选择合适的机器学习相关的算法模型对数据进行建模和分析，最后自己在实际系统中将算法模型进行高性能的工程实现。所以，数据挖掘岗位要求同时具备深厚的机器学习功底和扎实的编程能力。 数据分析与数据挖掘不是相互独立的。数据分析通常是直接从数据库取出已有信息，进行一些统计、可视化、文字结论等，最后可能生成一份研究报告性质的东西，以此来辅助决策。但很多情况下，这种分析往往不解渴。如果要分析这些已有信息背后隐藏的信息呢，而这些信息通过观察往往是看不到的，这时数据挖掘就冲在了数据分析的前面，作为分析之前要走的一个门槛。 除此之外，因为数据挖掘的输出往往含有的信息价值比较高，因此这些输出不仅仅应用在分析上，更多的是用在其他应用上，如网站后台、app应用上，实实在在提供一些决策来丰富应用的功能。 数据挖掘不是简单的人为推测就可以的，它往往需要针对大量数据，进行大规模运算，才能得到一些统计学规律。但是前提是，必须针对某些具体的业务来。没有落实真正的场景和需求，没有落实需要的输入和输出，空谈数据挖掘，就是纯粹的耍流氓。举个简单的例子，房价预测，这里给出了一系列的点，我们要预测未来的一点。如果不知道业务，也就是相当我们不知道这些点的由来，那么完全可以理解为这些点可能是地球轨迹中的一部分，或者其他，这样的话，会做出不一样的结论。 其实在数据分析上，往往也需要研究人员了解业务。在数据分析与数据挖掘领域，要想做好，那就先去获取数据、学好业务，再说其他吧。

这个问题太大了...... 以下是个人理解20世纪90年代晚期发展的跨行业数据挖掘标准流程(CRISP-DM), 已经指导我们怎么进行数据挖掘了, 做好每一步, 我觉得就能够进行有效地数据挖掘 了第一, 是商业理解, 在我看来, 这个商业理解就是要把业务问题转换成数据挖掘问题, 目前数据挖掘的理论概念中, 一般都包括分类, 聚类,回归, 关联规则这几类, 这需要对这几类方法有一定的理解, 才能有效地转换,第二. 数据理解, 数据描述了我们的业务, 在这一步, 我们必须找准对应关系, 所面临的业务问题, 有哪些数据可以用, 我们做的是定量分析, 没有数据显然是得不到模型的, 知道哪里数据和业务关系紧密, 也能让我们的分析事半功倍, 第三.数据准备, 实际上数据挖掘的大部分工作都在这一步, 往往到了这一步就发现理想很美好, 但现实很骨感, 数据质量令人堪忧, 缺失值, 异常值接踵而来, 这是数据的错误, 还有为了适应算法, 需要将数据去量纲化, 类型转换, 去相关性, 降维等等操作, 这一步将消耗分析人员大量精力第四, 建模, 这一步需要对算法理解透彻, 要了解数据特征和算法特点, 才能选择最优算法, 以及最优参数, 很多算法的使用是有假设条件的, 必须仔细掌握, 得到的模型才会合理, 另外,还要考虑业务需要, 如果模型必须能解释, 那就要选择生成式模型算法第五, 评价, 就是模型评估了, 各种评估指标的侧重点是不一样的, 要以最能反应业务的指标为准, 另外, 评估数据的选择也很关键, 要尽可能的模拟实际生产环境, 才能评估模型的性能以上就是得到模型流程了, 业务理解和数据理解做的好, 就能快速选好方法, 和关键字段,这是能加速建模的, 数据质量是能否得到模型的关键, 缺失值, 异常值虽然能删除,填充, 但是信息的缺失是找不回来的, 就可能导致得不到模型, 可能会倒逼选择其他方法分析, 建模就要看对算法的理解了亿信华辰豌豆DM可视化数据挖掘平台，深入洞察企业数据规律，充分挖掘数据潜在价值。多维度深度分析更精准1、直观全程的可视化建模2、灵活多样的数据预处理3、丰富可扩展的挖掘算法4、强大的关系网络分析5、科学智能的最优模型推荐

经常听人提到数据分析，那么数据怎么去分析？简单来说，可能就是做一些数据做统计、可视化、文字结论等。但是相比来说，数据挖掘就相对来说比较低调一些，这是这种低调，反而意味着数据挖掘对研究人员的要求要更高一些。数据分析人员需要理解业务的核心指标，通过数据分析工具（比如R/SAS/SQL，或者内部的数据平台）对业务数据进行建模和分析，为相关的业务指标提供基于数据的解决方案。所以，数据分析岗位要求具备扎实的统计学功底和对数据的敏感。数据挖掘人员需要研究数据，试验和选择合适的机器学习相关的算法模型对数据进行建模和分析，最后自己在实际系统中将算法模型进行高性能的工程实现。所以，数据挖掘岗位要求同时具备深厚的机器学习功底和扎实的编程能力。数据分析与数据挖掘不是相互独立的。数据分析通常是直接从数据库取出已有信息，进行一些统计、