大数据分析之如何从0开始学习大数据挖掘分析
沉沙 2019-08-02 来源 : 阅读 542 评论 0

摘要:本篇文章探讨了大数据分析之如何从0开始学习大数据挖掘分析,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

本篇文章探讨了大数据分析之如何从0开始学习大数据挖掘分析,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入。

大数据分析之如何从0开始学习大数据挖掘分析

<

  很多人认为数据挖掘需要掌握复杂高深的算法,需要掌握技术开发,才能把数据挖掘分析做好,实际上并非这样。如果钻入复杂算法和技术开发,只能让你走火入魔,越走越费劲,并且效果不大。在公司实际工作中,最好的大数据挖掘工程师一定是最熟悉和理解业务的人。对于大数据挖掘的学习心得,作者认为学习数据挖掘一定要结合实际业务背景、案例背景来学习,这样才是以解决问题为导向的学习方法。那么,大体上,大数据挖掘分析经典案例有以下几种:
 
  1.预测产品未来一段时间用户是否会流失,流失情况怎么样;
 
  2.公司做了某个促销活动,预估活动效果怎么样,用户接受度如何;
 
  3.评估用户信用度好坏;
 
  4.对现有客户市场进行细分,到底哪些客户才是目标客群;
 
  5.产品上线投放市场后,用户转化率如何,到底哪些运营策略最有效;
 
  6.运营做了很多工作,公司资源也投了很多,怎么提升产品投入产出比;
 
  7.一些用户购买了很多商品后,哪些商品同时被购买的几率高;
 
  8.预测产品未来一年的销量及收益。。。。
 
  大数据挖掘要做的就是把上述类似的商业运营问题转化为数据挖掘问题。
 
  一、如何将商业运营问题转化为大数据挖掘问题
 
  那么,问题来了,我们该如何把上述的商业运营问题转化为数据挖掘问题?可以对数据挖掘问题进行细分,分为四类问题:分类问题、聚类问题、关联问题、预测问题。
 
  1、分类问题
 
  用户流失率、促销活动响应、评估用户度都属于数据挖掘的分类问题,我们需要掌握分类的特点,知道什么是有监督学习,掌握常见的分类方法:决策树、贝叶斯、KNN、支持向量机、神经网络和逻辑回归等。
 
  2、聚类问题
 
  细分市场、细分客户群体都属于数据挖掘的聚类问题,我们要掌握聚类特点,知道无监督学习,了解常见的聚类算法,例如划分聚类、层次聚类、密度聚类、网格聚类、基于模型聚类等。
 
  3、关联问题
 
  交叉销售问题等属于关联问题,关联分析也叫购物篮分析,我们要掌握常见的关联分析算法:Aprior算法、Carma算法,序列算法等。
 
  4、预测问题
 
  我们要掌握简单线性回归分析、多重线性回归分析、时间序列等。
 
  二、用何种工具实操大数据挖掘
 
  能实现数据挖掘的工具和途径实在太多,SPSS、SAS、Python、R等等都可以,但是我们需要掌握哪个或者说要掌握哪几个,才算学会了数据挖掘?这需要看你所处的层次和想要进阶的路径是怎样的。
 
  第一层级:达到理解入门层次
 
  了解统计学和数据库即可。
 
  第二层级:达到初级职场应用层次
 
  数据库+统计学+SPSS(也可以是SPSS代替软件)
 
  第三层级:达到中级职场应用层次
 
  SAS或R
 
  第四层级:达到数据挖掘师层次
 
  SAS或R+Python(或其他编程语言)
 
  三、如何利用Python学习大数据挖掘
 
  只要能解决实际问题,用什么工具来学习数据挖掘都是无所谓,这里首推Python。那该如何利用Python来学习数据挖掘?需要掌握Python中的哪些知识?
 
  1、Pandas库的操作
 
  Panda是数据分析特别重要的一个库,我们要掌握以下三点:
 
  · pandas 分组计算;
 
  · pandas 索引与多重索引;
 
  索引比较难,但是却是非常重要的
 
  · pandas 多表操作与数据透视表
 
  2、numpy数值计算
 
  numpy数据计算主要应用是在数据挖掘,对于以后的机器学习,深度学习,这也是一个必须掌握的库,我们要掌握以下内容:
 
  · Numpy array理解;
 
  · 数组索引操作;
 
  · 数组计算;
 
  · Broadcasting(线性代数里面的知识)
 
  3、数据可视化-matplotlib与seaborn
 
  · Matplotib语法
 
  python最基本的可视化工具就是matplotlib。咋一看Matplotlib与matlib有点像,要搞清楚二者的关系是什么,这样学习起来才会比较轻松。
 
  · seaborn的使用
 
  seaborn是一个非常漂亮的可视化工具。
 
  · pandas绘图功能
 
  前面说过pandas是做数据分析的,但它也提供了一些绘图的API。
 
  4、数据挖掘入门
 
  这部分是最难也是最有意思的一部分,要掌握以下几个部分:
 
  · 机器学习的定义
 
  在这里跟数据挖掘先不做区别
 
  · 代价函数的定义
 
  · Train/Test/Validate
 
  · Overfitting的定义与避免方法
 
  5、数据挖掘算法
 
  数据挖掘发展到现在,算法已经非常多,下面只需掌握最简单的,最核心的,最常用的算法:
 
  · 最小二乘算法;
 
  · 梯度下降;
 
  · 向量化;
 
  · 极大似然估计;
 
  · Logistic Regression;
 
  · Decision Tree;
 
  · RandomForesr;
 
  · XGBoost;
 
  6、数据挖掘实战
 
  通过机器学习里面最着名的库scikit-learn来进行模型的理解。
 
  以上,就是为大家理清的大数据挖掘学习思路逻辑。可是,这还仅仅是开始,在通往数据挖掘师与数据科学家路上,还要学习文本处理与自然语言知识、Linux与Spark的知识、深度学习知识等等,我们要保持持续的兴趣来学习数据挖掘。
   

      本文由职坐标整理发布,学习更多的相关知识,请关注职坐标IT知识库!

本文由 @沉沙 发布于职坐标。未经许可,禁止转载。
喜欢 | 0 不喜欢 | 0
看完这篇文章有何感觉?已经有0人表态,0%的人喜欢 快给朋友分享吧~
评论(0)
后参与评论

您输入的评论内容中包含违禁敏感词

我知道了

助您圆梦职场 匹配合适岗位
验证码手机号,获得海同独家IT培训资料
选择就业方向:
人工智能物联网
大数据开发/分析
人工智能Python
Java全栈开发
WEB前端+H5

请输入正确的手机号码

请输入正确的验证码

获取验证码

您今天的短信下发次数太多了,明天再试试吧!

提交

我们会在第一时间安排职业规划师联系您!

您也可以联系我们的职业规划师咨询:

小职老师的微信号:z_zhizuobiao
小职老师的微信号:z_zhizuobiao

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
 沪公网安备 31011502005948号    

©2015 www.zhizuobiao.com All Rights Reserved

208小时内训课程