ITeye博客

2009 年文章归档

共 17 篇文章

NoSQL数据库探讨之一 - 为什么要用非关系数据库?

随着互联网web2.0网站的兴起,非关系型的数据库现在成了一个极其热门的新领域,非关系数据库产品的发展非常迅速。而传统的关系数据库在应付web2.0网站,特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心,暴露了很多难以克服的问题,例如: 1、High performance - 对数据库高并发读写的需求 web2.0网站要根据用户个性化信息来实时生成动态页面和提供动态信息,所以基本上无法使用动态页面静态化技术,因此数据库并发负载非常高,往往要达到每秒上万次读写请求。关系数据库应付上万次SQL查询还勉强顶得住,但是应付上万次SQL写数据请求,硬盘IO就已经无法承受了。…

2009-11-25 00:41 · Database

做互联网产品的节奏感

仅仅是一点点感悟: 从无到有刚开始做一个网站或者一个产品,要非常聚焦,没有旁的多余功能,只有一个做的极其牛X的核心功能,牛X到别人没有办法模仿你,于是网站开始崭露头角; 等核心功能成功以后,网站开始声名鹊起,为了扩展用户规模,产品开始多元化,各种各样时髦功能,各种各样用户要求的功能纷纷上马,于是用户规模开始快速扩张; 等用户规模已经起来之后,开始聚焦商业目标,于是删繁就简,开始砍掉与商业目标不符合的枝节功能,加强和商业目标符合的核心功能,网站进入健康的商业循环; 大部分网站都可以做到第一个阶段,但其中大部分都会倒在第二个阶段,而迈过第二阶段能够做到第三个阶段的就凤毛麟角了。到了第三个阶段,一…

2009-11-19 17:33 · 互联网

Ruby作为服务器端应用已经成熟了

JavaEye网站在过去的Ruby on rails实践当中,曾经被Ruby的内存泄露问题深深的困扰过,并且自己编写了监控Ruby进程泄露的监控脚本来解决这个问题。造成Ruby内存管理不善的原因主要来自于两个方面: 一是Ruby GC的实现本身存在很多问题,关于这一点,以前已经多次讨论,随着MBARI内存补丁的发布,已经基本解决。特别是随着 Ruby Enterprise Edition 集成MBARI补丁,以及不断完善Ruby实现,已经让Ruby可以作为一个稳定的后台服务的实现了。 二是一些内存处理有问题的Ruby本地扩展库造成的内存泄露,这种情况就必须尽量避免使用第三方库,即使要用,也要…

2009-11-17 14:55 · Ruby

基于资源的HTTP Cache的实现介绍

我们都知道浏览器会缓存访问过网站的网页,浏览器通过URL地址访问一个网页,显示网页内容的同时会在电脑上面缓存网页内容。如果网页没有更新的话,浏览器再次访问这个URL地址的时候,就不会再次下载网页,而是直接使用本地缓存的网页。只有当网站明确标识资源已经更新,浏览器才会再次下载网页。 一、什么是HTTP Cache 对于浏览器的这种网页缓存机制大家已经耳熟能详了,举个例子来说,JavaEye的新闻订阅地址:http://www.iteye.com/rss/news , 当浏览器或者订阅程序访问这个URL地址的时候,JavaEye的服务器在response的header里面会发送给浏览器如下状态标…

2009-09-05 00:27 · Ruby

MySQL InnoDB性能调整的一点实践

因为JavaEye网站的数据库服务器搬家的时候被托管商的工作人员狠狠摔了一下,所以硬盘整个挂掉了,我重新安装数据库服务器的时候,顺手下载了Percona patch过的MySQL5.0版本,使用MySQL自带的heavy innodb配置文件改了改,作为my.cnf启动运行。数据库服务器的物理内存有6GB,其中有4GB可以被MySQL使用,my.cnf相关配置参数如下: memlock innodb_buffer_pool_size = 2G innodb_log_file_size = 256M innodb_log_files_in_group = 3 #innodb_flush_met…

2009-09-03 13:36 · Database

配置电信网通双线双IP的解决办法

做互联网网站,最头疼的事情之一就是电信和网通的互联互不通了,为了能够让北方网通和南方电信用户都可以快速的访问网站,解决办法就是托管到双线机房。双线机房有两类,一类是通过BGP技术实现互联互通,服务器只需要一个网卡一个IP地址就可以了,由机房进行路由的智能判断,选择合适的路由访问,这样对于网站来说是很方便的,比方说上海移动的怒江机房,上海地面通的自建机房,科技网的机房,但BGP机房一般带宽都比较少,流量高一些的话可能就没有办法了。另外一种就是双线双IP的机房,带宽可能更高一些,但是路由配置极其复杂,比方说上海电信的市北机房。 因为和谐的原因,JavaEye网站服务器最近被迫从原来的移动怒江双线…

2009-09-01 01:16 · 互联网

我的PIM之旅(3) - PIM云应用

我的PIM之旅(2) - 用Mac和iPhone来实现我的PIM 已经很好了,不过还不够完美。对于PIM来说,我们总是希望可以随时随地方便的获取我们需要使用的信息:如果我在办公桌前,那么我打开Mac笔记本就可以查询我的日历,通讯录,笔记等信息;如果我在外面坐车,那么我可以打开iPhone手机查看我的日历,通讯录,邮件,笔记;如果我当好手机和笔记本都不在身边,那么只要可以上网,我还可以随时查看这些信息。除此之外,我还希望我的个人PIM信息可以得到安全的保存和备份,不会因为我的电脑硬盘损坏而丢失,并且任何时候我都可以获取到他们,因此我希望这些PIM还可以保存在云端,随时获取。 IT行业现在非常流…

2009-08-19 22:32 · 杂感

互联网网站的反爬虫策略浅析

因为搜索引擎的流行,网络爬虫已经成了很普及网络技术,除了专门做搜索的Google,Yahoo,微软,百度以外,几乎每个大型门户网站都有自己的搜索引擎,大大小小叫得出来名字得就几十种,还有各种不知名的几千几万种,对于一个内容型驱动的网站来说,受到网络爬虫的光顾是不可避免的。 一些智能的搜索引擎爬虫的爬取频率比较合理,对网站资源消耗比较少,但是很多糟糕的网络爬虫,对网页爬取能力很差,经常并发几十上百个请求循环重复抓取,这种爬虫对中小型网站往往是毁灭性打击,特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强。曾经有一次我在 JavaEye 的日志里面发现一个User-Agent是Java的爬…

2009-08-17 01:07 · Tech

记上海Python社区聚会,谈Python和Ruby

8月9日周日,上海Python社区举办了一次成功的技术交流活动。这次活动的会议室本来预定80个座位,但是来得很多人都没有座位,预计来了将近100个人,其中绝大多数人都是通过JavaEye网站了解到本次活动的信息。 本次活动的发起人和主持人支晓勇邀请了很多Python社区的开发者,进行了相当密集的topic介绍: 第一个演讲的嘉宾是介绍一个python在手机应用上的协议库实现,可以通过编程来实现手机上的很多应用,不过演讲者的声音太小,我没有听太清楚; 第二个演讲的嘉宾是介绍Python单元测试的Mock框架,他介绍了几个不同的Mock框架的实现,不过我对这个topic不是特别感兴趣; 第三个演…

2009-08-10 18:49 · Tech

我的PIM之旅(1) - Windows上遇到的问题

PIM就是Personal Information Management,个人信息管理。说到PIM,是每个人都需要做的事情,特别是我们这样的IT行业的从业人员,对PIM的依赖程度非常深。拿我自己来说吧: 1、如何方便有效的管理联系人和通讯录? 2、如何方便的整理和管理自己的邮件? 3、如何提醒自己即将要做的事情? 4、如何安排好自己的工作列表? 5、如何方便的随时记录一些备忘,记录一些软件操作技巧,记录一些想法和灵感? 6、如何快速找到曾经在电脑上面记录的信息? ...... 还可以例举出来很多很多,尽管我们本身就是拿电脑作为吃饭的家伙的人士,但实际上PIM也是长期困扰我们的问题,并不因为我…

2009-07-19 22:12 · 杂感

twitter为什么这么火?

twitter已经火了好多轮了,每火一次就上一个台阶。去年借助美国大选,特别是奥巴马借助twitter进行的宣传策略,把twitter彻底推向了高潮,随后facebook和friendfeed都放下身段,抄袭twitter,今年又传出apple想收购twitter的流言,加上国内互联网前仆后继的抄袭,毫无疑问,twitter成了互联网的当红炸子鸡了。 至于twitter的商业前景如何,现在谈论这个问题还为时过早。但就我个人来看,twitter已经成为一个互联网信息交流的底层支撑平台,在twitter这个平台上面,会衍生出来无数的上层应用,这些上层应用会延伸到四面八方,渗透到互联网各个领域,最…

2009-05-12 12:02 · 杂感

为啥国外的开发人员都喜欢用Mac呢?

因为Mac的操作系统OSX相比WindowsXP来说,比较适合开发人员使用。我个人的体会如下: 一、OSX的多窗口多应用程序切换功能很强大,对开发人员来说很有用 开发人员一般都需要开很多窗口很多应用程序工作的,窗口开的多了以后,在XP上面切换应用程序是很不方便的事情。XP下面的任务栏又很小,任务多了,切换起来也看不清楚哪个是哪个。所以好多人都把任务栏拖出来两列或者更多,便于任务切换。不过我是不太喜欢下面占那么多位置,所以总是尽量少开应用程序。另外Alt+Tab显示出来的任务icon特别小,多了以后也搞不清楚哪个是哪个,选定移动只能向右移动,不能反向选定,切换起来很郁闷。 但是OSX的Spac…

2009-04-06 21:44 · 杂感

请注意Rails2.3自带的memcache-client有性能问题

Rails2.3版本发布了,这个版本内部的改动非常大,相关介绍可以看JavaEye这篇新闻: http://www.iteye.com/news/5390 ,估计最近也有不少人开始动手升级到Rails2.3了,JavaEye也不例外,这一升级才发现性能低得令人发指。 由于过于信任Rails框架,没有进行本地性能测试,在通过了兼容性测试就兴冲冲上线了。这一上线,动态请求立刻堵了一大堆,仔细看了看fastcgi的crash log,发现大量请求在flush数据的时候发生broen pipe。打开Rails2.3新采用的Rack框架源代码当中fastcgi的adapter一看,这代码写的太不负责了…

2009-03-23 18:05 · Ruby

让自己觉得满意

人生是每个人都无法逃避、必须面对的东西,有的时候人生很苦涩,让人不知道应该如何面对,我也经常不知道应该如何面对,也经常选择逃避,也时不时觉得苦涩,但我想,人生的痛苦其实并非来自于贫穷、挫折或者失败,而来自于没有主动掌握自己的人生。找到你所爱的事情,爱你所做的事情,享受做事情的过程和乐趣,人生才会过的不那么苦涩和被动。 乔布斯2005年在斯坦福大学的演讲每看一遍,都对我有很大的震撼,尤其是他讲的第三个故事,关于死亡的故事,如果把每一天都当作自己生命当中的最后一天来过,我们就可以抛开所有的烦恼,真正掌握自己的人生。 演讲当中最著名的名言是:Stay foolish, Stay hungrey。含…

2009-03-22 21:41 · 杂感

软件开发的葵花宝典[转载]

葵花宝典 注:转载,原文已经没有出处了。总是有人问我怎么学习技术,贴出来给大家参考吧。 中国人大都喜欢用武侠小说来比较软件开发,但是在实战武功中,只有葵花宝典才是最厉害的,也只有掌握了葵花宝典,才能称为"不败"。 但什么才是软件开发的葵花宝典? 让我们先从一些现象出发。我们的前提是,软件开发是一项智力密集型劳动。对于智力密集型劳动,我们观察到的现象是,个体的表现差异很大,团队的表现差异很大,组织的表现差异很大,国家的表现差异很大。这不象体力占主要的劳动,象百米王跑百米的速度也仅比我快50%。但在棋类运动中,一个高手可以车轮战数位低手,而且毫无例外地将他们一一击败! 这些智力运动员表现出的特点…

2009-02-25 13:14 · 杂感

SNS的价值在于改变互联网信息传播的方式

在国外,SNS对于用户的价值已经鲜明的表现出来了。twitter,friendfeed的急剧火爆,Facebook可以输出用户动态,可以绑定 friendfeed和twitter等等,flickr, picasa, google reader, youtube等等web2.0的互联网服务通过互相开放和绑定,已经形成了一个基于用户关系的,庞大的,互联网信息传播的新渠道。大家对于奥巴马是如何通过twitter和facebook来总统竞选和宣传的,应该还记忆犹新吧。 在传统的web1.0网站,甚至现在的所谓web2.0网站,网络信息传播的方式除了搜索引擎,还是搜索引擎,而SNS提供了一种基于关系的…

2009-02-12 17:51 · 互联网

个性化BBS必将取代公共BBS

ouspec writes: Twitter,Facebook等都无法取代BBS,功能不一样,但是会消弱BBS。 感觉Twitter,Facebook还是针对个人小范围的应用,因为Twitter,Facebook必须维护一个好友关系,而这个好友关系很难超过很大的数目,比如<200,太多好友将让用户被信息淹没。而BBS的讨论面对人群广阔,更活跃。 另外BBS方便交流,但是对于获取知识的确不是好的形式,问答/Wiki的方式更合适。 泛SNS类应用(twitter, friendfeed, facebook)和BBS并非替代关系,实际上是互补关系。用户需要通过公共BBS发现他感兴趣的人,才能建立用…

2009-01-04 23:48 · 互联网