之前在微博上调查过大家正在使用的分布式内存队列系统,反馈有Memcacheq,Fqueue, RabbitMQ , Beanstalkd以及linkedin的kafka。RabbitMQ使用比较广泛,Beanstalkd是后起之秀。Beanstalkd之于RabbitMQ,就好比Nginx之于Apache,Varnish之于Squid。后面在项目中使用Beanstalkd的过程中,更发现其简单、轻量级、高性能、易使用等特点,以及优先级、多队列、持久化、分布式容错、超时控制等特性。下面就简单介绍一下Beanstalkd,不足之处请大家指正。
-----------------------------------------------正文分割线-------------------------------------------------
设计思想
高性能离不开异步,异步离不开队列,而其内部都是Producer-Comsumer模式的原理。
图1 Producer-Comsumer模式
应用
Beanstalkd,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有PostRank大规模部署和使用,每天处理百万级任务。Beanstalkd是典型的类Memcached设计,协议和使用方式都是同样的风格,所以使用过memcached的用户会觉得Beanstalkd似曾相识。
核心概念
Beanstalkd设计里面的核心概念:
一个需要异步处理的任务,是Beanstalkd中的基本单元,需要放在一个tube中。
一个有名的任务队列,用来存储统一类型的job,是producer和consumer操作的对象。
Job的生产者,通过put命令来将一个job放到一个tube中。
Job的消费者,通过reserve/release/bury/delete命令来获取job或改变job的状态。
Beanstalkd中一个job的生命周期如图2所示。一个job有READY, RESERVED, DELAYED, BURIED四种状态。当producer直接put一个job时,job就处于READY状态,等待consumer来处理,如果选择延迟put,job就先到DELAYED状态,等待时间过后才迁移到READY状态。consumer获取了当前READY的job后,该job的状态就迁移到RESERVED,这样其他的consumer就不能再操作该job。当consumer完成该job后,可以选择delete, release或者bury操作;delete之后,job从系统消亡,之后不能再获取;release操作可以重新把该job状态迁移回READY(也可以延迟该状态迁移操作),使其他的consumer可以继续获取和执行该job;有意思的是bury操作,可以把该job休眠,等到需要的时候,再将休眠的job kick回READY状态,也可以delete BURIED状态的job。正是有这些有趣的操作和状态,才可以基于此做出很多意思的应用,比如要实现一个循环队列,就可以将RESERVED状态的job休眠掉,等没有READY状态的job时再将BURIED状态的job一次性kick回READY状态。
图2 Beanstalkd中job的生命周期
特性
Beanstalkd基于的源码安装和使用很简单,在此略过。这里重点介绍一下其几个很nice的特性。
支持0到2**32的优先级,值越小,优先级越高,默认优先级为1024。
可以通过binlog将job及其状态记录到文件里面,在Beanstalkd下次启动时可以通过读取binlog来恢复之前的job及状态。
分布式设计和Memcached类似,beanstalkd各个server之间并不知道彼此的存在,都是通过client来实现分布式以及根据tube名称去特定server获取job。
为了防止某个consumer长时间占用任务但不能处理的情况,Beanstalkd为reserve操作设置了timeout时间,如果该consumer不能在指定时间内完成job,job将被迁移回READY状态,供其他consumer执行。
不足
在使用中发现一个Beanstalkd尚无提供删除一个tube的操作,只能将tube的job依次删除,并让Beanstalkd来自动删除空tube。还有就是Beanstalkd不支持客户端认证机制(开发者将应用场景定位在局域网)。
后续工作
- 介绍Beanstalkd的命令和使用
- 翻译Beanstalkd协议
- 分析Beanstalkd源码
参考文献
http://kr.github.com/beanstalkd/
http://adam.heroku.com/past/2010/4/24/beanstalk_a_simple_and_fast_queueing_backend/
http://nubyonrails.com/articles/about-this-blog-beanstalk-messaging-queue
http://www.igvita.com/2010/05/20/scalable-work-queues-with-beanstalk/
分享到:
相关推荐
Beanstalkd分布式内存队列系统 的 spring boot starter 封装 部署 beanstalkd 服务 docker run -d -p 11300:11300 schickling/beanstalkd ② 引入依赖 <groupId>com.pig4cloud.beanstalk</groupId> <artifactId>...
Beanstalkd,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有...
Beanstalk,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。
beanstalkd-win:Windows,高级,轻量级的分布式内存模拟系统
针对beanstalkd&rabbitmq做全面的对比分析,权衡利弊,找出一个最适合自己的队列服务 功能对比图 Item RabbitMQ Beanstalkd 持久化 Yes Yes 分布式 Yes Yes 高可用 Yes No 路由定制 Yes No Get定制 Yes No 认证 Yes ...
Pheanstalk:一个Beanstalkd队列PHP客户端库
Beanstalkd是一个高性能,轻量级的分布式内存队列 二、Beanstalkd特性 1、支持优先级(支持任务插队) 2、延迟(实现定时任务) 3、持久化(定时把内存中的数据刷到binlog日志) 4、预留(把任务设置成预留,消费者无法取出...
beanstalkd分布式队列的java客户端,支持连接池,性能为原生的10-20倍。
启用与现有日志记录机制兼容的基于日志的工作队列。 用法 var winston = require ( 'winston' ) ; // // Requiring `winston-beanstalkd` will expose // `winston.transports.Beanstalkd` // require ( '...
beanstalkd的php语言的sdk,beanstalkd是一种基于memache协议之上的高效队列
流行的队列驱动
Laravel开发-laravel-async-beanstalkd 为Laravel框架提供异步beanstack队列驱动程序。
go-beanstalk 是beanstalkd 的GO语言的一个客户端。beanstalkd是一个快速的、有各种用途的延迟队列 和定时任务的不同点: 定时任务以一定的周期或者在某个特定的时间运行。
beanstalkd-1.4.6安装包
本文实例为大家分享了php beanstalkd消息队列类的具体代码,供大家参考,具体内容如下 <?php namespace Common\Business; /** * beanstalk: A minimalistic PHP beanstalk client. * * Copyright (c) 2009-...
beanstalkd test client. press test producer and consumer
创建aurora是为了构建一个非常简单且可移植的应用程序以与本地或远程Beanstalkd服务器一起使用。 产品特点 跨平台支持macOS / Linux / Windows 32/64位 安装简单(作为一个二进制文件分发) 零依赖 配置中所有用户...
注意:此软件包需要一个正在运行的服务器 现在可以像下面这样配置队列: Flowpack : JobQueue : Common : queues : ' some-queue ' : className : ' Flowpack\JobQueue\Beanstalkd\Queue\BeanstalkdQueue ' ...
消息队列 beanstalkd 使用 php 连接及操作的各方法示例代码,包括连接文件程序代码、消费方的各种方法示例代码、生产方的各个方法示例代码。
在本篇文章里小编给大家分享的是关于PHP7生产环境队列Beanstalkd用法内容,需要的朋友们可以参考下。