Flink解析kafka的json字段并利用flink cep实时监控订单数据写入mysql
上篇博客写了Flink接入Kafka数据并实时写入数据库实时展示，这次利用Flink CEP进行实时监控。
整体架构图如下:
实现目标如下：
1.查看顾客是否点击之后立即购买，是的话输出用户id，购买商品，时间
2.如果同一个顾客买了5次牛奶，输出用户id，时间
后面有时间的话，再研究把监控数据写入MySQL或者ES等
先了解一下Flink CEP 开发过程，大概分为三步:
a.定义Pattern
b.把pattern应用于输入流 CEP.pattern(inputstream, pattern) 变成patternstream
c.通过select或process算子筛选出符合pattern的流变成Datastream
实际上就是从普通流中输出符合匹配模式的流...
Click to read more ...Flink实时读取kafka数据写入clickhouse并实时展示
整体架构图
工具
Flink 1.11.2
Scala 2.11
Tableau 2020.2
一、模拟发送数据
新建一个类KafkaProducer用来模拟产生消费数据，代码如下:
package TopNitems
import java.text.SimpleDateFormat
import java.time.{LocalTime, ZonedDateTime}
import java.time.format.DateTimeFormatter
import java.util.{Date, Locale, Properties}
import scala.io.Source
import org.apache.kafka.clients.produ...
Click to read more ...基于深度学习lstm算法生成音乐
整套架构图
一、背景知识
1.概念 （来自百度百科）:
notes(音符):用来记录不同长短的音的进行符号。全音符、二分音符、四分音符、八分音符、十六分音符是最常见的音符。是五线谱中最重要的元素
chord(和弦):和弦是乐理上的一个概念，指的是一定音程关系的一组声音。将三个和三个以上的音，按三度叠置的关系，在纵向上加以结合，就成为和弦
如果无法使用TensorFlow或者配置不够强大，可以使用Colaboratory网址，在线运行，里面已经集成了TensorFlow，pandas等包，很方便使用
二、读取MIDI文件
读取mid里面的音符和和旋信息，我这边使用了70首mid格式的文件作为训练样本，可以网上自己下载。
import tensorflow ...
Click to read more ...利用spark构建分布式电影协同过滤推荐系统
一、数据采集
使用MovieLen的开放数据集作为数据源，包含了6000个用户对4000个电影的评分数据，大概有100万条评分数据。数据集也可以从这个网址下载。数据集一共有3个文件：
movie.date（电影ID::电影名称::标签）
1::Toy Story (1995)::Animation|Children's|Comedy
2::Jumanji (1995)::Adventure|Children's|Fantasy
3::Grumpier Old Men (1995)::Comedy|Romance
4::Waiting to Exhale (1995)::Comedy|Drama
5::Father of the Bride Part II (1995)::Come...
Click to read more ...实时大数据平台搭建flume+kafka+hdfs+sparkstreaming
整体架构图
一、python模拟生成日志
import random
import time
iplist=[101,198,65,177,98,21,34,61,19,11,112,114]
urllist=['baidu.com','google.com','sougou.com','360.com','yahoo.com','yisou.com']
mobile=['xiaomi','vivo','huawei','oppo','iphone','nokia']
def get_ip():
return '.'.join(str(x) for x in random.sample(iplist,4))
def get_time():
return time...
Click to read more ...