数据分析之利用rfm模型对餐饮客户进行分析

一、背景和目标 随着大数据时代的到来,很多公司都建立了数据仓库,对分散在各处的数据进行收集,这只是解决了数据应用中的数据孤岛问题,但是不知道如何对数据进行使用。博主打算利用经典的RFM模型来挖掘数据,对某连锁餐饮行业客户进行分类,分成高价值客户、一般价值客户和普通价值客户,方便针对不同客户制定不同的营销策略 利用的工具: 1.Python3.5 2.SQL Server2014 3.Tableau 二、数据采集和处理 1.从数据库采集所需数据 采集模型中所需要的数据: 消费日期:R=观测结束日期-最后消费日期,单位为天 消费频率:观测窗口设置为最近三个月,单位为次 消费金额:客户的消费总金额 因为我直接从数据库获取的数据是很干净的数据,所以不会存在缺失、重复值,...
Click to read more ...

从本地sql server迁移到阿里云分析型数据库adb实践

一、数据库官网介绍:     分析型数据库(AnalyticDB),是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务,使得您可以在毫秒级针对千亿级数据进行即时的多维分析透视和业务探索。分析型数据库对海量数据的自由计算和极速响应能力,能让用户在瞬息之间进行灵活的数据探索,快速发现数据价值,并可直接嵌入业务系统为终端客户提供分析服务 整套架构如图所示: 阿里云ADB提供了多种数据迁移方式,可以通过DataWorks调度OSS,Local DB、Hive等多种资源。 本次实践分为两大部分,历史数据同步(大约10亿条)和增量数据导入。同时有一部分数据源是Excel形式存在的,直接利用Kettle进行传输。 二、历史数据同步 1.在ADB...
Click to read more ...

Bi自动化之python自动查询数据库生成excel并每天定时邮件发送

一、目的 1.每天自动查询SQL数据 2.生成Excel并作为附件邮件发送 3.每天定时自动执行 二、开发环境 1.Python3.5 2.SQL server2014 三、代码 一两个小时弄的,代码可能有点乱,凑合着看吧 import pymssql import pandas as pd import time,datetime import smtplib import traceback from email.mime.text import MIMEText from email.mime.application import MIMEApplication from email.mime.multipart import MIMEMultipart ...
Click to read more ...

Bi自动化之tableau自动导出pdf报表作为附件自动发送邮件

一、目的: 1.每天定时从tableau导出pdf报表 2.每天自动定时发送邮件 二、实现的过程: 1.首先利用windows自带的记事本写好bat批处理文件,更多tableau可以看tableau cmd命令,本地新建记事本,贴代码如下,然后改后缀bat: set path=C:\Program Files\Tableau\Tableau Server\10.5\bin tabcmd login -s http://服务器ip:服务器端口 -u 用户名 -p 密码 del C:\pdf\*.pdf -y del C:\pdf\*.png -y tabcmd export "Deli/DailySales" --png -f "C:\pdf\DailySales.png" ta...
Click to read more ...

Lambda架构:python+flume+kafka+hbase+sparkstreaming架构搭建

一、模拟网站实时产生数据 1.利用python模拟产生日志 这里的日志选用慕课网日志,原始的日志文件是这样的: 需要进行处理,这里选用python脚本处理和模拟生成日志,代码如下: import time def timeformate(s): s=s.split('/') years=s[2].split(':')[0] days=s[0] months={'Jan':1,'Feb':2,'Mar':3,'Apr':4,'May':5,'Jun':6,'Jul':7,'Aug':8,'Sep':9,'Oct':10,'Nov':11,'Dec':12} try: month=months[s[1]] ex...
Click to read more ...