2021阿里云特惠:云服务器优惠 1核2G 85元/年、2核4G3M三年664元、4核8G5M 1000元、8核16G5M...
注意:这个价格只有阿里云新用户才能看到,毕竟价格便宜,老用户借用他人身份重新注册也不亏。
“基于行动者(人或机器)的行为是否正常作出决策”的异常检测技术,已广泛应用于各大领域,如金融场景中的交易检测、贷款检测;工业场景中的生产线预警;安防场景中的入侵检测等。消息队列Kafka+流计算Flink,就是这项技术的关键。
技术实现
在线系统,常见检测功能:
1)针对单条事件进行检测 ;
2)根据全局上下文进行检测,比如全局黑名单;
3)根据用户画像或近期一段时间的信息进行检测,比如最近20次交易时间与地点 。
消息队列kafka
1)将检测的事件、检测的结果、拒绝或通过的原因等数据发送到下游,供流计算和离线计算进行处理。
Flink近实时处理
1)汇总统计全局的检测状态,并做同期对比,比如规则拦截率变化、全局通过率波动;
2)近实时的更新用户的属性,如最近的交易时间&地点。

Kafka+Flink构建秒级异常检测系统
实现方法
在线检测系统
交易的异常检测的实现,可以是一个web服务器,或者是嵌入到客户端的系统。其主要任务就是检阅到来的事件并反馈同意或拒绝。
针对每一个进入的事件,可以进行三个层次的检测:
事件级检测:只用该事件本身就能完成检测,比如格式判断或基本规则验证(例如:10<A<30,B不为空等等) 全局上下文检测:在全局信息中的上下文中,比如存在一个全局的黑名单,判断该用户是否在黑名单中。 画像内容检测:针对该行动者本身的跨多条记录分析,比如该用户前100次交易都发生在杭州,而本次交易发生在北京且距上次交易只有10分钟,那就有理由发出异常信号。系统至少要保存三方面的内容,一是整个检测的过程,一是进行判断的规则,一是所需的全局数据,除此之外,根据需要决定是否把用户画像在本地做缓存。
Kafka大数据通讯
kafka主要用来把检测的事件、检测的结果、拒绝或通过的原因等数据发送到下游,供流计算和离线计算进行处理。
Flink近实时处理
系统完成了异常检测,并把决策发送到了kafka,接下来需要使用这些数据针对当前的策略进行新一轮的防御性检测。系统常见异常:
Maxcompute/hadoop离线存储于探索性分析
通过脚本、sql、或机器学习算法来进行探索性分析,发现新的模型,比如通过聚类算法把用户进行聚类、对行为打标后进行模型的训练等等,或者周期性的重新计算用户画像。
Hbase用户画像
Hbase保存着流计算&离线计算产生的用户画像,供检测系统使用且能满足实时查询的需求。
注意:2021阿里云又降价了!
云服务器特价:阿里云服务器特价57元起(全网最低价)
①2021阿里云代金券一键领取中(有账号就能领)
②「云服务器69元一年起,有高配,有香港节点」(这个价格几乎是亏本的)
③「2021阿里云你要的活动都在这」(云服务器/数据库/安全海量云产品都有活动)
免费提供技术支持,可以联系本站客服: 咨询客服
发表评论