天天最新:解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
【资料图】
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
您可能也感兴趣:
今日热点
为您推荐
企业如何做软文营销? 软文营销的形式有哪些?
艾诗摩尔射频健发梳:到底谁在收割"智商税"
美联储又降息 全球货币政策进入新一轮“降息周期”?
排行
精彩推送
- 天天最新:解剖屎山,寻觅黄金之第二弹
- 焦点快播:重庆忠县可提供德龙微波炉维修服务地址在哪
- 逐步打造“15分钟社区就业服务圈”,浦东这个镇全面推进村居...
- 加强全媒体传播体系建设 塑造经济主流舆论新格局——2023中...
- 快乐一叮电炖锅怎么使用_快乐一叮电炖锅
- 天天速读:调研报告:企业应关注房地产决策的五个关键阶段
- 驯狼小说完整版_驯狼为妃
- 3周以后,四大生肖存款翻五番,事业爱情双收,富贵不差钱
- TVB群星、千万粉丝达人助阵!曾志伟6月11日快手直播首秀再掀...
- 关于铁路计次票、定期票 如何购买使用
- 陕西西安推动“十里沣河”文旅深度融合古老沣河涌动新活力
- 这种海鲜大“丰收”!已降价三成,还会更便宜?
- 天天快消息!银尘麒零(银尘)
- RK3588-UART|消息
- 世界关注:女青读什么
- 淮安:205国道京杭运河特大桥 雄伟壮观 助力腾飞
- 每日动态!公司要求员工分摊电费?法院判了
- 保卫萝卜4周赛6.10攻略
- 在2023中国经济传媒大会上,AI数字人主持的这场经济论坛都说了什么
- 今日要闻!四川锂矿资源储量占全国总量57% 具备采矿权锂矿储...
- 每日看点!AMD欲摘英伟达“AI王冠”?就在下周 算力芯片“一...
- 世界简讯:同性恋富婆携妻儿澳门度假住明星酒店,娇妻戴珍珠项...
- 黑皮诺和赤霞珠哪个后劲大? 环球实时
- 全球实时:手机奇迹mu单机版哪个好 手机奇迹mu单机版大全前十
- 旱碱麦成“名片”迎来丰收 盐碱地特色农业开出“增收花” ...
- 热热热!它又火了!一家店一天卖出上万元_世界头条
- 李少红刘斯逸胡先煦亮相上影节开幕红毯,9月9日看《三贵情史...
- 三人团伙流窜多省数次抢劫,潜江公安千里追缉将人抓获
- 当前热议!总规模百亿元 增城拟设广州东部枢纽发展投资基金
- 淮安多措并举做好“三夏”服务工作_当前热讯
- 北京门头沟举办“文化和自然遗产日”非遗宣传展示活动
- 2023高考今日落幕,多地公布志愿填报时间
- 苹果、亚马逊涉嫌串通垄断iPhone定价,美国法官裁定消费者可...
- 莫高六款葡萄美酒新品在武威正式发布
- 今日关注:今年雪糕价格如何?3至5元仍是主流
- 世界快消息!谢晖或遭足协追罚?怒怼球迷可以理解,大连足球...
- 环球速看:什么二胡琴弦最好
- 设计师资格证查询网站(设计师资格证)|天天看热讯
- 7744小游戏盒_7743小游戏|环球实时
- “邀请新人1元钱喝一杯” 小红杯能否打败小蓝杯?
- 当前热门:榴莲的价格,国产为什么打不下来?
- 四川省眉山市推动泡菜产业提质升级——小菜坛里的百亿产业
- 高校食堂“鼠头鸭脖事件”背后:10万能拿下一个档口? 世界消息
- 北京环球影城客流量上升,网友:景点缺乏人群分流,极易发生...
- 非营利组织账务处理完整版(非营利组织)|全球速递
- 小德又遭法网观众嘘声!意外进决赛也是错?小德:我不在乎嘘...
- 聚焦世遗|多图集锦来啦!“文化和自然遗产日”主题宣传活动启动
- 白鹅潭万象城奠基开工 广州三大地标综合体两个已官宣|当前关注
- (高质量发展调研行)年产值超250亿元!“酱油一哥”海天的数...
- 银行存款利率降到“2时代” 以后钱该放在哪?
- 助名特优产品“走出去” 山西启动6·18专题促消费暨全国“棉...
- 交通罚款会计分录
- (高质量发展调研行)解码佛山先进制造业:跨国企业立足湾区...
- ppsu奶瓶用久了有什么危害(ppsu奶瓶用久了对身体有什么危害)
- 好玩好看,上海国际电影节首次推出“数字影视体验展” 全球头条
- 夏季饮食要注意ppt_夏季饮食 讯息
- AMRO首席经济学家许和意:中国赴东盟游客增长有助当地经济复...
- 12306网站试行在线选铺服务
- 全国已收获冬小麦面积2.04亿亩——“三夏”机收快速推进-世界速递
- 头条:强观察|以研发创新为特色,成立中关村综保区释放什么...
- 【独家焦点】OpenAI首席执行官引用《道德经》 呼吁就AI安全问题合作
- 福建特产展销新疆昌吉州 两地企业达成合作协议1.85亿
- 世界滚动:世界非遗“环县道情皮影戏”搭桥 全民传承文化经典...
- “农机+农技”相结合 小麦抢收、秋粮抢种同步展开
- 340多家葡萄酒企业悉数亮相 第三届葡萄酒节博览会进行时
- 【天天新要闻】新海航降本创效逾10.1亿,创新举措丰富旅客体验
- 圣农发展旗下圣泽生物实验室被列为农业农村部企业重点实验室...
- 西安又要下雨了!具体时间……
- 精选!胎菊跟贡菊有什么区别(胎菊和贡菊哪个好)
- 【焦点热闻】6月9日,杭州市区新房成交229套,萧山区居首
- 郑裕美、李善均恐怖悬疑新电影《梦游》,坎城首映后获外媒大赞
- 焦点信息:歌手李娜的丈夫照片(歌手李娜的丈夫)
- 人迹罕见的意思是什么_罕见的意思|焦点播报
- 3亿珠宝,9亿豪宅,67亿身家,这些港圈老牌美人晚年真有钱 ...
- 【天天聚看点】在铁路12306买卧铺票也可以在线选铺位了!手把...
- “十年一遇”!数万人被疏散,加拿大山林野火为何失控?
- 乔欣终于不扮乖乖女,一袭黄色高开叉礼服大秀曼妙身材,性感...
- 【共同缔造安全江夏⑫】做好安全江夏的“共同”文章
- 雨燕篮球在线直播(yuyanlan) 讯息
- 道不行乘桴浮于海这句文言文的好处包括_道不行乘桴浮于海|每...
- 天天热资讯!熬过4周,四大生肖真情难拒,事业顺风顺水,事业...
- 泰国商户组团亮相海口大型夜市:美食和家乡配方一模一样_世界...
- 白落梅简介出生(白落梅简介)
- 身怀六甲k线图形(请问大家 在股市中 ldquo 身怀六甲出...
- 当前短讯!无法看商品详情、以次充好 “顺手买一件”暗藏消...
- 电脑垃圾箱里删掉的东西可以恢复吗(电脑垃圾箱清空了怎么恢...
- 全球看点:游客进出影响出行 家门口成网红地如何避免打卡变...
- 前5个月我国完成水利建设投资逾4100亿元 同比增长32.1%
- 游戏赚钱排行榜第一名(游戏赚钱排行榜)
- 新百伦官网旗舰店574款报价表_新百伦官网旗舰店
- 观点:这就是信心|优化营商环境 各地硬招、实招频出
- 【共同缔造安全江夏⑬】创意海报:筑牢安全防线,抓好渔业生产
- 天天热资讯!小学一年级诗歌朗诵稿(一年级诗歌朗诵比赛稿)
- 环球今日报丨面肌痉挛最新最好治疗方法_眼睑痉挛的治疗方法
- 风玫瑰图风向是朝内还是朝外 风玫瑰图的风向怎么看 全球百事通
- 【天天聚看点】未来6天,四大生肖财运达到最高峰,财运水涨船...
- 播报:上证指数etf交易规则 etf交易规则
- 焦点速读:拉萨海拔多少米高(拉萨海拔3680)
- 常规体检前注意事项是什么_常规体检前注意事项 全球微动态
- 成长心理室丨中考临近,孩子睡不着怎么办?|焦点快看