Tech
共 20 篇文章
Web并发模型粗浅探讨
我带的研发部门使用的编程语言有Java,.net,PHP和Ruby,以及node.js和lua,为了加强团队之间的交流,我准备搞一次内部交流和研讨会。为此利用周末的时间写了一个《Web并发编程粗浅探讨》的PPT,分享出来,可能有很多理解错误,请大家多指教。
2012-12-10 01:22 · Tech
让textmate可以直接修改远程服务器上的文件
在textmate的 Preferences | Terminal 里面 check "Accept rmate connections" 点击rmate link,将rmate文件内容复制下来,在服务器上创建rmate命令: vi /usr/local/bin/rmate chmod a+x /usr/local/bin/rmate 修改服务器的环境变量 RMATE_HOST=127.0.0.1 export RMATE_HOST 打开textmate,ssh连接服务器的时候添加参数 ssh -R 52698:127.0.0.1:52698 remote_host 在服务器上修改文件用 r…
2012-11-06 17:20 · Tech
晒晒我们的开源项目
我们的研发团队是一支mini型研发团队,目前共有研发人员13人。由于网站产品维护的历史原因,这13人的研发团队分为4支小组,分别是:Ruby研发小组5人;PHP研发小组4人;.net研发小组2人,Java搜索小组2人。 别看我们研发人员这么少,但是我们研发人员战斗力很强,我们维护和开发着十多条产品线。在我们开发自身产品的过程中,也积累了一些比较通用的组件,一些对大家来说有用的工具。因此从今年下半年开始,我们陆续将一些组件和工具开源出来,哪怕这些项目的质量并不是那么高,也希望能够给社区带来一点点自己的贡献。 以下简要介绍一下我们已经开源的项目,今后我们还会努力开源更多的东西和大家交流和分享: …
2012-09-23 22:17 · Tech
再谈非主流工业语言
今天看到Fenng同学的发言: fenng writes: "Ruby/RoR优雅?我倒是觉得恰恰是这个“优雅”导致了Ruby/RoR永远不能达到PHP那样的影响力。永远别忘了“Worse is better”." 这是一个很典型的观点,类似的观点其实有很多,例如:Mac优雅?我倒是觉得恰恰是这个“优雅”导致了Mac永远不能达到PC那样的影响力。永远别忘了“Worse is better”." 其实这个结论是完全正确的,这个世界上充斥着“Worse is better”的东西:VB绝对是个垃圾的语言,但是他战胜了Delphi;IE绝对是个垃圾的浏览器,但是他战胜了Netscape,现在也一直…
2011-03-22 00:15 · Tech
我的PHP,Python和Ruby之路
因为看到一篇讨论PHP,Python和Ruby的编程语言讨论贴,就说说我的PHP,Python和Ruby之路吧: 我2000-2001年用PHP用了两年,那还是第一次互联网泡沫时期,到2001年后期,Servlet/JSP流行,然后我就发现:你说用PHP写的东西,都会被人鄙视。当时我们其实也用Java了,只不过用Java写后端的消息队列。 2001年后期泡沫破灭,我跑去做企业应用,就主要写Java写了很多年,中间2003年开始做JavaEye网站,到2006年用Rails重写JavaEye之前的3年,用的是phpbb搭建的,所以PHP也断断续续一直用到了2006年。 以我2000-2006年…
2011-03-21 12:12 · Tech
互联网网站的反爬虫策略浅析
因为搜索引擎的流行,网络爬虫已经成了很普及网络技术,除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都有自己的搜索引擎,大大小小叫得出来名字得就几十种,还有各种不知名的几千几万种,对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。 一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强。曾经有一次我在 JavaEye 的日志里面发现一个User-Agent是Java的爬…
2009-08-17 01:07 · Tech
记上海Python社区聚会,谈Python和Ruby
8月9日周日,上海Python社区举办了一次成功的技术交流活动。这次活动的会议室本来预定80个座位,但是来得很多人都没有座位,预计来了将近100个人,其中绝大多数人都是通过JavaEye网站了解到本次活动的信息。 本次活动的发起人和主持人支晓勇邀请了很多Python社区的开发者,进行了相当密集的topic介绍: 第一个演讲的嘉宾是介绍一个python在手机应用上的协议库实现,可以通过编程来实现手机上的很多应用,不过演讲者的声音太小,我没有听太清楚; 第二个演讲的嘉宾是介绍Python单元测试的Mock框架,他介绍了几个不同的Mock框架的实现,不过我对这个topic不是特别感兴趣; 第三个演…
2009-08-10 18:49 · Tech
LVM - 很好很强大
LVM (Logic Volume Management,逻辑卷管理),是传统商业Unix就带有的一项高级磁盘管理工具,异常强大。后来LVM移植到了Linux操作系统上,尽管不像原来Unix版本那么强大,但瘦死的骆驼比马大,Linux的LVM仍然非常强大,可以在生产运行系统上面直接在线扩展硬盘分区,可以把分区umount以后收缩分区大小,还可以在系统运行过程中把一个分区从一块硬盘搬到另一块硬盘上面去等等,简直就像变魔术,而且这一切都可以在一个繁忙运行的系统上面直接操作,不会对你的系统运行产生任何影响,很安全。 还是拿JavaEye的网站服务器随便举个小例子吧。话说今天晚上我登录JavaEye…
2008-11-29 22:19 · Tech
Linux平台gcc和动态共享库的基础知识
对大多数不从事Linux平台C语言开发的人来说,GNU gcc的一套工具和Linux平台的共享库的使用还是十分陌生的,其实我也不太熟悉,姑且写点基础知识,权当做备忘吧。 一、GNU gcc的编译工具用法 我们先来写一个简单的C程序:hello.c #include <stdio.h> void print_hello() { printf("Hello World\n"); } int main(int argc, char argv[]) { print_hello(); return 0; } 定义了一个print_hello函数,调用main函数打印Hello World。 如何编译它…
2008-11-02 15:25 · Tech
贴一段遍历memcached缓存对象的小脚本
memcached因为性能的缘故,没有提供遍历整个缓存当中对象的功能,不过memcached也提供了很多命令来监控memcached的状态,例如stats命令就有: stats stats reset stats malloc stats maps stats sizes stats slabs stats items stats cachedump slab_id limit_num stats detail [on|off|dump] 不一一详细解释了,比较有价值的是stats items和stats cachedump,以及stats detail dump这几个命令,用前两条命令,实…
2008-10-13 18:07 · Tech
用Google的网站流量分析系统来看全球软件行业的分工趋势
用Google的网站流量分析系统来看JavaEye网站 介绍用了Google Trends来分析互联网网站的用户构成比例,通过参考网站的用户还搜索了什么关键字,我们可以窥视一下这个网站的用户究竟都是干吗的。接着我们还可以用Google Trends来分析编程语言在全球软件行业的分工趋势。 先分析一下Java编程语言在全球软件行业的分工情况 我们可以用Google Trends来搜索如下网站: 看Sun网站的趋势 看Apache开源网站的趋势 看JBoss网站的趋势 看Hibernate网站的趋势 看Springframework网站的趋势 看TSS网站的趋势 看OnJava网站的趋势 大家还…
2008-06-25 13:05 · Tech
memcache_engine + memcachedb = 高性能分布式内存数据库
memcachedb 是一个由新浪网的开发人员开放出来的开源项目,给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制和异步主辅复制机制,让memcached具备了事务恢复能力、持久化能力和分布式复制能力,非常适合于需要超高性能读写速度,但是不需要严格事务约束,能够被持久化保存的应用场景,例如memcachedb被应用在新浪博客上面。 memcachedb给memcached添加了一些数据库才具备的特性,但是我们还不能说memcachedb已经是一个数据库了,这是因为memcached不支持内存对象的遍历操作,当然更加不能支持复杂的查询操作,只能支持根据已知的ke…
2008-01-22 12:05 · Tech
豆瓣的程序性能真的很惊人,但...
http://www.dbanotes.net/arch/douban_web_server.html 在老冯同学的博客上看到的文章。里面介绍说豆瓣网站的情况如下: 一台Web服务器运行Lighttpd,每天处理2500万个request,峰值每秒处理1000个request; 一台应用服务器运行Python,每天处理500万PV; 数据库服务器运行MySQL,负载情况没有介绍。 我对比了一下JavaEye网站的服务器运行情况,我们是一台Web+应用服务器,一台数据库服务器,如下: Web服务器运行Lighttpd,每天处理430万个request,峰值每秒处理150个request,平均每…
2008-01-17 22:42 · Tech
关系模型和对象模型的究竟匹配还是不匹配?
在过去的很多年,我以为关系模型就是传统的企业应用当中DBA设计的那些无数冗余字段,多个模型合并到一个表里面的数据库设计方式,这种数据库设计非常适合复杂的OLAP类型的查询,他可以有效的消除多表联合查询,而我们大家都知道,大表的复杂关联查询是性能杀手,一旦无法有效利用索引,导致了全表扫描,等待你的只有数据库服务器硬盘灯的狂闪不止,和无数进程阻塞在IO WAIT状态的无奈。 我前几个月订购了一本人邮图灵出版的《MySQL 5 权威指南》第三版中文版,买这本书只是因为有人送我China-Pub的优惠券,我就顺手买本MySQL的书,用来管理JavaEye服务器的时候备查的。其实这本书内容很一般,他说…
2007-12-27 12:23 · Tech
AJAX与RIA技术之我见
DHH于6月底曾经发表过一篇文章,名为《 我就喜欢HTML/CSS/JavaScript,那又怎么样! 》,大意是说,目前热炒的RIA技术并不能够取代AJAX技术,而事实上我们还没有发挥出HTML的全部潜力,我本人很享受HTML/CSS/JS给给我的开发体验云云。 我比较赞成DHH的观点,从另外一些角度谈谈我对RIA技术,主要是Flex的看法。 我在2004年曾经指导一个企业应用系统的开发,这个系统提出了比较高的实时反馈和交互式要求。由于同时有两个flash高手加盟,我们决定采取基于flash的RIA技术: 对于交互要求非常高的部分使用flash开发,flash通过AMF协议和服务器端通讯,…
2007-08-02 11:46 · Tech
从分布式系统的角度看REST
上周末在杭州网侠大会做了关于REST的演讲。会后经过一些交流,特别是今天在msn上面和dlee的交流,感觉自己对于REST的理解更深入了一层。 我们说REST架构风格,从REST具备的内在特征来说,它包括了这些特征: 1、基于HTTP的资源 2、以HTTP协议去操作 3、数据和表象分离 但是如果我们换一个角度,即分布式应用系统的角度来看,我们会有一些更有意思的结论: 分布式应用系统的架构,经历了好几代的变迁,我们来简单回顾一下: 1、基于CORBA协议的C++中间件时代 CORBA时代我还在上学,基本上没有怎么接触过Corba编程。曾经有一次我提供EJB培训的客户,正在进行传统Corba架构…
2007-05-23 15:46 · Tech
软件行业2006年终回顾以及2007展望(二)展望
http://www.iteye.com/topic/17785 buaawhl同学在2005年底发起了这个针对2006年的软件行业大预测。此时此刻2006年将近尾声了,那么这一年当中究竟在我们的行业当中发生了些什么呢?有哪些预测已经应验,又有哪些预测将在未来一年当中发生呢?让我们大胆的预测一下2007吧: 一、Java开源会带来什么? Java开源的意义非常深远,仿佛解除了套在Java身上的枷锁,任何厂商都可以在遵循GPL的前提下自行改造Java和JDK。在未来的一年当中,我们必将看到很多基于Java的有趣的产品和创意诞生。事实上我认为07年对Java来说,是至关重要的一年,这一年将奠定J…
2006-12-11 22:02 · Tech
Linux reiserfs文件系统即将陨落
Linux著名的高性能文件系统reiserfs向来是Linux fans眼中的挚爱,但是reiserfs即将陨落。 前段时间已经风传Linux Kernel拒绝将reiserfs4加入kernel source,随后SuSE,这个reiserfs最大的赞助商也准备在下一个版本的SuSE Linux中不再将reiserfs作为默认文件系统。 如果说由于政治原因导致reiserfs文件系统被排斥在Linux主流之外的话,Hans Reiser则亲手埋葬了自己和自己的作品: 最近Hans Reiser因为谋杀妻子的罪名被警方逮捕,而且警方拒绝辩护律师,估计证据已经确凿。Hans同学就算不是死刑,估…
2006-10-12 16:29 · Tech
lighttpd的tunning tips
http://trac.lighttpd.net/trac/wiki/Docs%3APerformanceFastCGI lighttpd作者写的tunning tips,很值得看一看 lighttpd目前的开发十分活跃,我在期待1.4.12或者1.5.10的发布。
2006-09-21 00:20 · Tech
动态脚本语言的部署运行方式介绍
现在这类脚本语言的运行方式基本上有三种: 1、Apache Module方式 由Apache进程用module方式来管理,web请求的静态页面和动态请求都是由apache进程内部直接处理掉了。典型的如mod_php,mod_ruby,mod_perl,mod_python。这种方式目前PHP和Perl比较多的采用。这种方式其实还是非常成熟的,apache对于内存管理已经很好,运行效率各方面都很不错。当然apache进程之间也是SNA。 但是ruby和python一般不建议用这种方式,这是因为PHP和Perl解析器的开销非常小,以Apache Module方式跑很灵活而且不怎么消耗资源;而ru…
2006-09-18 12:42 · Tech