ITeye博客

应该如何正确使用Quartz

robbin · 2006-12-27 11:40 · Java · Markdown

对于Web容器来说,最忌讳应用程序私自启动线程,自行进行线程调度,像Quartz这种在web容器内部默认就自己启动了10个线程进行异步job调度的框架本身就是很危险的事情,很容易造成servlet线程资源回收不掉,所以我一向排斥使用quartz。

quartz还有一个问题就是不支持cluster。导致使用quartz的应用都没有办法做群集。

那么应该如何正确的使用quartz的同时,又不影响web容器自身的线程调度呢?

办法就是自己单独启动一个Job Server,来quartz跑job,不要部署在web容器中。

其他web节点当需要启动异步任务的时候,可以通过种种方式(DB, JMS, Web Service, etc)通知Job Server,而Job Server收到这个通知之后,把异步任务加载到自己的任务队列中去。

其实想改造当前已经集成quartz的web应用也不算困难:

例如可以使用数据库的表来记录和维护任务队列和状态,把quartz部分完全从web应用中剥离出去,自己写一个Java Main程序把配置quartz的spring容器跑起来,这样Job Server就启动了(注意这个Job Server完全脱离tomcat)。此外这个Main程序应该再启动一个子线程,定期扫描数据库的任务队列表: 有新的任务就加入quartz的任务调度; 把当前任务的执行状态写入任务表; 看到删除任务的表字段状态以后,删除相应的任务。

然后web应用去掉quartz部分配置,把原来的调用quartz任务的代码改写为读写数据库的任务表,这样就把job部分完全从web容器剥离掉了,甚至web容器做cluster也没有问题了,并且多个web节点在同时读写任务表的时候,还有数据库的事务来确保操作的一致性,实在是很棒。

另外还可以单独做一个job管理界面,可以通过web界面手工添加任务,查看任务状态,删除任务等等。

评论(28)

  1. #28 楼 · kevin-whui-liu · 2012-12-01 09:50

    robbin writes:

    [quote]最好搞明白了再发表高论,呵

    1、Quartz的线程是另外起的,有专门的线程池来管理(Quartz自己实现的),根本就不会使用容器的线程

    2、Quartz是支持集群的,通过将任务持久化到数据库,利用行锁功能来实现集群

    3、Quartz也支持非容器方式独立运行[/quote]

    你也最好看明白了再发表你的高论

    1、我说Quartz使用web容器的线程了吗?拜托你自己看看清楚我的原话是“Quartz自己启动了10个线程”!

    2、在我写这篇文章的时候,Quartz尚未添加cluster功能,拜托你看看清楚这是哪年的文章。

    3、我说过Quartz不能独立运行吗? 拜托你看看清楚我给出的方案就是让Quartz以非容器的方式独立运行的。

    支持法还是比crontab+batch复杂的,但如果是异步执行任务,又没有JMS支持,例如系统只有tomcat,则这样的做法没有JMS可靠又比message driven bean复杂,而且cluster的话,总是有问题的。有时候,有一些看似基本的功能,在web这样的环境中执行起来,异步执行后台操作的用户体验会比较好一些,例如,在接受用户postback数据后,处理数据库操作,又发出邮件这样的行为,往往是把发邮件这样的动作配置为异步执行会使用户页面的响应变快。 所以,我设计比较大容量的系统时,一般不考虑仅使

    robbin writes:

    [quote]最好搞明白了再发表高论,呵

    1、Quartz的线程是另外起的,有专门的线程池来管理(Quartz自己实现的),根本就不会使用容器的线程

    2、Quartz是支持集群的,通过将任务持久化到数据库,利用行锁功能来实现集群

    3、Quartz也支持非容器方式独立运行[/quote]

    你也最好看明白了再发表你的高论

    1、我说Quartz使用web容器的线程了吗?拜托你自己看看清楚我的原话是“Quartz自己启动了10个线程”!

    2、在我写这篇文章的时候,Quartz尚未添加cluster功能,拜托你看看清楚这是哪年的文章。

    3、我说过Quartz不能独立运行吗? 拜托你看看清楚我给出的方案就是让Quartz以非容器的方式独立运行的。

    我今天遇到同样的问题,用jvisualVm看到,每次开机启动就开启了10个job线程一直在等待。搞不懂它开那么多干嘛,我一天就执行一次job. 因为资源有限(服务器的内存只有512M,很少),我现在还是不想将Quartz从应用中剥离出来.不知道robbin有没有好的办法?

  2. #27 楼 · 2157524 · 2012-05-07 15:57

    求解答 LinkedBlockingQueue 这个队列是当前线程队列,可以处理并发! 我用quartz任务调度,他使用了另外的线程了!于是获取不到当前线程变量LinkedBlockingQueue ,这个应该怎么处理呢??? :cry:

  3. #26 楼 · ligangligang · 2012-02-22 11:12

    请问 定时任务大约跑了12个小时就自动停止了,不知道是何原因,重启服务器之后才能在次跑起来,纠结!!!! 无缘无故就停止了,没有任何错误信息

  4. #25 楼 · liliugen · 2011-08-25 14:54

    确实有这个问题, quartz一下子启动十个线程,

    如果不在tomcat的里面做,也就是剥离出项目,在别的地方用cron脚本做。对于产品上面要维护两个地方的东西。 不剥离出来吧,确实线程启动多了,可能会带来别的问题。

  5. #24 楼 · ap0406708 · 2010-10-13 11:28

    robbin writes:

    [quote]最好搞明白了再发表高论,呵

    1、Quartz的线程是另外起的,有专门的线程池来管理(Quartz自己实现的),根本就不会使用容器的线程

    2、Quartz是支持集群的,通过将任务持久化到数据库,利用行锁功能来实现集群

    3、Quartz也支持非容器方式独立运行[/quote]

    你也最好看明白了再发表你的高论

    1、我说Quartz使用web容器的线程了吗?拜托你自己看看清楚我的原话是“Quartz自己启动了10个线程”!

    2、在我写这篇文章的时候,Quartz尚未添加cluster功能,拜托你看看清楚这是哪年的文章。

    3、我说过Quartz不能独立运行吗? 拜托你看看清楚我给出的方案就是让Quartz以非容器的方式独立运行的。

    争论出真理,理系越辨越明的~~~

  6. #23 楼 · robbin · 2008-09-01 22:04

    最好搞明白了再发表高论,呵

    1、Quartz的线程是另外起的,有专门的线程池来管理(Quartz自己实现的),根本就不会使用容器的线程

    2、Quartz是支持集群的,通过将任务持久化到数据库,利用行锁功能来实现集群

    3、Quartz也支持非容器方式独立运行

    你也最好看明白了再发表你的高论

    1、我说Quartz使用web容器的线程了吗?拜托你自己看看清楚我的原话是“Quartz自己启动了10个线程”!

    2、在我写这篇文章的时候,Quartz尚未添加cluster功能,拜托你看看清楚这是哪年的文章。

    3、我说过Quartz不能独立运行吗? 拜托你看看清楚我给出的方案就是让Quartz以非容器的方式独立运行的。

  7. #22 楼 · hill_xxg · 2008-09-01 18:51

    最好搞明白了再发表高论,呵

    1、Quartz的线程是另外起的,有专门的线程池来管理(Quartz自己实现的),根本就不会使用容器的线程

    2、Quartz是支持集群的,通过将任务持久化到数据库,利用行锁功能来实现集群

    3、Quartz也支持非容器方式独立运行

  8. #21 楼 · YuanYang · 2007-07-17 09:26

    另外,一般定时任务都是业务流程的一部分,如果把定时任务和web应用分开,需要处理并发(分布并发)会增加代码的复杂程度。

  9. #20 楼 · YuanYang · 2007-07-17 09:20

    对于Web容器来说,最忌讳应用程序私自启动线程,自行进行线程调度,像Quartz这种在web容器内部默认就自己启动了10个线程进行异步job调度的框架本身就是很危险的事情,很容易造成servlet线程资源回收不掉,所以我一向排斥使用quartz。

    有些不明白,能详细说说?

    如果把Application Server看成一个空间,servlet和quartz是同一份内存下、平等的两个线程,这么会相互影响?

    我想只要不是在Action(servlet)里面初始化quartz应该没有问题吧?

  10. #19 楼 · wdmsyf · 2007-05-22 18:31

    我的做法跟Robbin的看法一致,握个手先

  11. #18 楼 · ivan · 2007-04-21 15:01

    有的,Quartz官方就有一个,不过现在好像没人维护了?

    http://wiki.opensymphony.com/display/QRTZ1/QuickStart

  12. #17 楼 · tuwen · 2007-04-03 14:55

    另外还可以单独做一个job管理界面,可以通过web界面手工添加任务,查看任务状态,删除任务等等。

    请问这个怎么实现呢,有没有demo代码,有开源程序支持吗?

  13. #16 楼 · bitlong · 2007-02-20 09:45

    如果Job内部的缓存和WEB容器内都是使用了缓存那应该怎么处理,在搭建一个第三方独立进程的缓存?对于一个小的应用来说是不是开销太大了。这个进程间的低耦合带来的可能是系统的更加不稳定。因为增加了很多故障点

  14. #15 楼 · Hejrcc · 2007-02-14 12:17

    quartz还有一个问题就是不支持cluster。

    我没有实际使用过cluster.

    不过quartz官方网站上面有段话, 不知道是不是说quartz支持cluster呢?

    Runtime Environments ... Quartz can be instantiated as a [color=red][b]cluster [/b][/color]of stand-alone programs (with load-balance and fail-over capabilities)

    from: http://www.opensymphony.com/quartz/wikidocs/Features.html

  15. #14 楼 · Hejrcc · 2007-02-14 12:14

    quartz还有一个问题就是不支持cluster。

    我没有实际使用过cluster.

    不过quartz上面有段话, 不知道是不是说支持 quartz还有一个问题就是不支持cluster。 呢?

    Runtime Environments ... Quartz can be instantiated as a **cluster **of stand-alone programs (with load-balance and fail-over capabilities)

  16. #13 楼 · SteveGY · 2007-02-01 21:47

    如果只是定期的Job,Robbin提的方法还是比crontab+batch复杂的,但如果是异步执行任务,又没有JMS支持,例如系统只有tomcat,则这样的做法没有JMS可靠又比message driven bean复杂,而且cluster的话,总是有问题的。有时候,有一些看似基本的功能,在web这样的环境中执行起来,异步执行后台操作的用户体验会比较好一些,例如,在接受用户postback数据后,处理数据库操作,又发出邮件这样的行为,往往是把发邮件这样的动作配置为异步执行会使用户页面的响应变快。 所以,我设计比较大容量的系统时,一般不考虑仅使用tomcat的,message queue server是必须的,有没有其他的EJB支持倒不重要,JMS几乎一定会用到。 异步发邮件这种事情,在NT的CDONTS上,天生是支持异步的(通过NT SMTP服务),所以ASP系统处理这类问题都没有性能问题,javamail没有这个优势,麻烦啊。

  17. #12 楼 · ppeter · 2007-01-24 16:44

    偶没看过官方wiki,也没做过整合quartz的cluster,但我觉得 robbin提出的设计方案,看似增加了工作,但带来的结果是系统的灵活性更好,同时也可以处理好web容器线程安全问题,Quartz这块完全可以抽象成独立的模块,这样设计似乎也更符合oo思想吧.

  18. #11 楼 · dohc · 2007-01-05 13:06

    quartz还有一个问题就是不支持cluster。导致使用quartz的应用都没有办法做群集。

    然后web应用去掉quartz部分配置,把原来的调用quartz任务的代码改写为读写数据库的任务表,这样就把job部分完全从web容器剥离掉了,甚至web容器做cluster也没有问题了,并且多个web节点在同时读写任务表的时候,还有数据库的事务来确保操作的一致性,实在是很棒。

    可以集群的, 大家要把全文看清楚. 可以参考官方wiki: http://wiki.opensymphony.com/display/QRTZ1/ConfigJDBCJobStoreClustering

  19. #10 楼 · melin · 2007-01-03 13:18

    [code]quartz还有一个问题就是不支持cluster。导致使用quartz的应用都没有办法做群集。[/code]

    这是诋毁大师的作品。我已经在至少三个地方看见你这样说了,你现在也算是软件行业的“公众人物了”,你的言行会对他人有不小的误导。罪过!罪过!罪过!

  20. #9 楼 · laojiang · 2006-12-30 12:17

    前台和后台分开部署,程序分开写,前台一般不需要Quartz,后台管理用Quartz,后台管理的人比较少,应该不需要集群。

评论功能维护中,当前仅展示历史评论。