Flink解析kafka的json字段并利用flink cep实时监控订单数据写入mysql

上篇博客写了Flink接入Kafka数据并实时写入数据库实时展示,这次利用Flink CEP进行实时监控。 整体架构图如下: 实现目标如下: 1.查看顾客是否点击之后立即购买,是的话输出用户id,购买商品,时间 2.如果同一个顾客买了5次牛奶,输出用户id,时间 后面有时间的话,再研究把监控数据写入MySQL或者ES等 先了解一下Flink CEP 开发过程,大概分为三步: a.定义Pattern b.把pattern应用于输入流 CEP.pattern(inputstream, pattern) 变成patternstream c.通过select或process算子筛选出符合pattern的流变成Datastream 实际上就是从普通流中输出符合匹配模式的流...
Click to read more ...

Flink实时读取kafka数据写入clickhouse并实时展示

整体架构图 工具 Flink 1.11.2 Scala 2.11 Tableau 2020.2 一、模拟发送数据 新建一个类KafkaProducer用来模拟产生消费数据,代码如下: package TopNitems import java.text.SimpleDateFormat import java.time.{LocalTime, ZonedDateTime} import java.time.format.DateTimeFormatter import java.util.{Date, Locale, Properties} import scala.io.Source import org.apache.kafka.clients.produ...
Click to read more ...

基于深度学习lstm算法生成音乐

整套架构图     一、背景知识 1.概念 (来自百度百科): notes(音符):用来记录不同长短的音的进行符号。全音符、二分音符、四分音符、八分音符、十六分音符是最常见的音符。是五线谱中最重要的元素 chord(和弦):和弦是乐理上的一个概念,指的是一定音程关系的一组声音。将三个和三个以上的音,按三度叠置的关系,在纵向上加以结合,就成为和弦 如果无法使用TensorFlow或者配置不够强大,可以使用Colaboratory网址,在线运行,里面已经集成了TensorFlow,pandas等包,很方便使用 二、读取MIDI文件 读取mid里面的音符和和旋信息,我这边使用了70首mid格式的文件作为训练样本,可以网上自己下载。 import tensorflow ...
Click to read more ...

利用spark构建分布式电影协同过滤推荐系统

一、数据采集 使用MovieLen的开放数据集作为数据源,包含了6000个用户对4000个电影的评分数据,大概有100万条评分数据。数据集也可以从这个网址下载。数据集一共有3个文件: movie.date(电影ID::电影名称::标签) 1::Toy Story (1995)::Animation|Children's|Comedy 2::Jumanji (1995)::Adventure|Children's|Fantasy 3::Grumpier Old Men (1995)::Comedy|Romance 4::Waiting to Exhale (1995)::Comedy|Drama 5::Father of the Bride Part II (1995)::Come...
Click to read more ...

实时大数据平台搭建flume+kafka+hdfs+sparkstreaming

整体架构图 一、python模拟生成日志 import random import time iplist=[101,198,65,177,98,21,34,61,19,11,112,114] urllist=['baidu.com','google.com','sougou.com','360.com','yahoo.com','yisou.com'] mobile=['xiaomi','vivo','huawei','oppo','iphone','nokia'] def get_ip(): return '.'.join(str(x) for x in random.sample(iplist,4)) def get_time(): return time...
Click to read more ...