阿里云国际站经销商,主营阿里云,腾讯云,华为云,亚马逊aws,谷歌云gcp,微软云az,免费开户,代充值优惠大,联系客服飞机@jkkddd
背景信息
消息服务MNS提供的队列(Queue)主要的特点是高可靠、高可用、高并发。每个队列的数据都会被持久化三份到阿里云的飞天分布式平台。其中每个队列至少有两台服务器向外提供服务,同时每台服务器都支持高并发访问。这些分布式特性导致了消息服务MNS的队列无法像传统单机队列严格保证消息FIFO,只能做到基本有序。
队列如果同时有多个消息发送者(Sender),由于并发和网络延迟等问题,根本无法获知消息的实际发送顺序和消息到达服务器端的真实顺序。同理,当有多个接收者并发接收消息时,其真正的处理顺序也不可获知。综上所述,只有一个发送者(一个进程,可以是多个线程)、一个接收者时,消息顺序才有意义,也只有在这种情况下才能感知和记录消息的真实发送和接收顺序。
解决方案
基于上述假设,同时为了满足部分用户对于消息消费顺序性的要求,设计了以下方案,确保消息按照用户发送顺序被接收和消费。
消息在发送端进行染色,加上SeqId(例如:#num#)。
消息在接收端进行还原,并根据SeqId排序后返回给上层,同时对于已经接收的消息会有后台线程保证消息不会被重复消费。
为了避免因为发送者或者接收者fail导致SeqId丢失。SeqId会被持久存储到本地磁盘文件,或者其他存储和数据库,例如OSS、OTS或RDS。
注意事项
本文的主要目的是展示顺序消息的解决方案,不建议不加测试直接用于生产环境。
正常情况下,发送端和接收端的SeqId应该和队列中的消息(染色)匹配。当出现删除队列重新创建等操作时,请注意磁盘文件中的SeqId是否和队列中的真实情况相符,同时建议不要往染色的消息队列里发送非染色消息。
队列的消息有效期设置过短或者每条消息的实际处理结果都有可能会对消息有序性造成影响,在您的程序中需要对这些情况所导致的乱序现象进行处理。
示例代码
本文以Python版的方案实现为例,下载地址:有序队列Python示例代码(依赖MNS Python SDK)。其中,主要提供了OrderedQueueWrapper类(ordered_queue.py文件),可以将普通队列包装成有序队列。
OrderedQueueWrapper提供SendMessageInOrder()和ReceiveMessageInOrder()方法:
发送时对消息进行染色。
接收时还原消息,并且按顺序返回给接收者。
另外,send_message_in_order.py和receive_message_in_order.py提供发送者和接收者使用OrderedQueueWrapper的程序示例。
运行方法
配置send_message_in_order.py和receive_message_in_order.py中的配置项g_endpoint、g_accessKeyId、g_accessKeySecret以及g_testQueueName。
运行send_message_in_order.py。
温馨提示:尊敬的[]站点管理员,将本页链接加入您的网站友情链接,下次可以快速来到这里更新您的站点信息哦!每天更新您的[阿里云服务器购买,阿里云账号免费注册]站点信息,可以排到首页最前端的位置,让更多人看到您站点的信息哦。
麻烦您将正面的代码插入您网页中,让网友帮您更新网站每日SEO综合情况
-
seo论坛一日三餐健康饮食食谱(黑帽seo技术论坛) -
exness外汇交易平台怎么样 seo论坛一日三餐健康饮食食谱(黑帽seo技术论坛)seo论坛一日三餐健康饮食食谱(黑帽seo技术论坛)每月7seo论坛每天8seo技术论坛15seo 博客10seo技术,6seo伪原创1天餐
-
二次结构泵-效率比人工提高5倍 -
二次结构泵是一款被广泛用在施工现场进行混凝土输送的施工机械,其具有机械化程度高、能够节省大量人力物力的优点,效率比人工至少能过够提高 5倍以上。 二次结构泵 优势多多,
-
windows10优化大师怎样_ -
苹果ID国外 Windows10优化大师是什么? Windows10优化大师是一款专为Windows10系统设计的优化工具,旨在提高电脑性能、加快系统速度,并优化用户的系统体验。它具有强大的功能,可以清理
-
便捷高效的文档范本下载与常用文档下载 -
题王文档 在日常工作和学习中,我们经常需要使用各种文档范本和常用文档来辅助我们完成任务。而现如今,在互联网的帮助下,我们可以通过便捷高效的文档范本下载和常用文档下载
-
静安免联考博士报名条件 -
TA2钛棒 静安免联考博士报名条件:大学本科毕业后有3年或3年以上工作经验、较强的人员;获得国家承认的高职高专毕业学历后,有5年或5年以上工作经验;已获硕士学位或博士学位并有2年或
-
苏州免联考dba学费 -
高德网约车免费抢单辅助软件魔法师 苏州免联考dba学费,学费等是每年10月份报名,名额等是1月报名学习,考试内容:类别联考MBA,公共管理硕士(MPA)。 GCT联考科目:语文、数学、英语,综合能