Archive for the ‘PHP’ Category
Sunday, February 28th, 2010
ColaPHP月度发布计划版本，代号：Easy，和0.5beta相比变化不大，主要修改如下：
增加Yaml处理，底层调用symfony yaml包处理
增加自定义异常类，后续准备将框架中的异常细分（好处是将来可以对异常做真对性处理）
少量代码重构以及bug fix
下载ColaPHP 0.6beta，阅读ColaPHP文档，访问ColaPHP项目。
下一个版本0.7beta开发代号：Recode，主要对代码做进一步重构优化。
Posted in Open Source, PHP | 3 Comments »
Wednesday, December 23rd, 2009
ColaPHP月度发布计划，基本上每月发一个release，相比较0.3alpha，比较大的修改如下：
增加了动态路由模式，可不用定义URL规则
增加对MySQL Master-Slave支持，可以由单数据库无缝迁移到主从模式
去除框架中Smarty模板的绑定，可以在Controller中自行调用Smarty模板
Helper中增加了性能测试模块Benchmark.php
增加对MongoDB的简单绑定Mongo.php
性能进一步提升
大量的代码重构以及bug fix
访问ColaPHP官方网站，下载0.4alpha，不过建议随时跟进我们的svn://colaphp.googlecode.com/svn/trunk/，ColaPHP一直在活跃开发。
ColaPHP 0.4alpha已完成预期目标，所有的函数都控制在20行以内。下一个版本0.5alpha版本开发代号：Practice，ColaPHP已经在一些实际项目中使用，0.5alpha将得到更多的实践优化
招募PHP极客加入ColaPHP，联系fuchaoqun#gmail.com。
Posted in PHP | 1 Comment »
Saturday, November 7th, 2009
开发工作很久以前就基本完成了，一直没来得及整理，今天发布0.3alpha，相比较0.2alpha，比较大的修改如下：
Helper中增加了验证码模块Captcha.php、HTTP访问模块Http.php、数据校验模块Validate.php
修订DB模块中result($sql)函数，如果$sql是select语句则返回结果集，如果是insert语句则返回最后插入ID，如果是update或者delete语句，则返回受影响行数（有可能为0行），其他语句则返回query句柄
完善框架的易用性：增加了统一配置文件；可以指定models、views、controllers目录；支持默认模版名称
大量的代码重构以及bug fix
下载0.3alpha，不过建议随时跟进我们的SVN://colaphp.googlecode.com/svn/trunk/，ColaPHP一直在活跃开发。
0.4alpha版本开发代号：20 lines，目标是把所有的函数都控制在20行以内以及代码的持续重构。
继续招募PHP极客加入Cola，联系fuchaoqun#gmail.com。
Posted in PHP | No Comments »
Saturday, September 5th, 2009
之前看到robbin基于资源的HTTP Cache的实现介绍，想到这是一个很有意思的功能，原理很简单，但很多人都会忽略，于是乎打算集成到ColaPHP框架中来，让浏览器缓存动态内容，对于一些由动态脚本生成、更新不频繁但又会被用户重复访问的页面内容，还是很有意义的。
如果在服务器端设置了Etag、lastModified和Expires之后，下次再访问同一资源的时候，一个典型的HTTP头是这样的：
Host 127.0.0.1
User-Agent Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 QQDownload/1.7
Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language zh-cn,zh;q=0.5
Accept-Encoding gzip,deflate
Accept-Charset GB2312,utf-8;q=0.7,*;q=0.7
Keep-Alive 300
Connection keep-alive
If-Modified-Since Sat, 05 Sep 2009 12:44:56 GMT
If-None-Match foobar
Cache-Control max-age=0
关于lastModified、Etag和Expires的工作原理，可以参看http://longrujun.name/index.php/2009/03/04/etag%E5%92%8Cexpires/，简单来说：
lastModified：设定一个最后修改时间，浏览器下次访问的时候，发送一个"If-Modified-Sinc"的头信息，如果内容在这个时间之后没有更新，服务器直接返回一个304 Not Modified而不传输详细内容，可以节省带宽。
Etag：设定一个标记，浏览器下次访问时，发送一个"If-None-Match"的头信息，如果服务器内容还是这个标记没变，也直接返回一个304 Not Modified而不传输详细内容，同样可以节省带宽。
Expires：设定一个过期时间，如果当前请求在这个过期时间之类，则不发送HTTP请求，不仅可以节约服务器带宽，还可以减少服务器HTTP请求数。
主要通过header函数来发送，比较简单，直接上代码：
public static function etag($etag, $notModifiedExit = true)
{
...
Posted in PHP | 2 Comments »
Friday, June 19th, 2009
非常简陋的一个PHP框架，只是把架子搭起来了，地址：http://code.google.com/p/colaphp/
现在PHP框架已经很多了，为什么还要去"重复的发明轮子"？
你和我一样不想重新学习一门"框架语言"
你和我一样希望规范的MVC开发
你和我一样希望一个高性能的框架
你和我一样不希望改变已有的PHP开发方式
现在，ColaPHP还很不成熟，暂且当做一个"玩具"试试，有兴趣的可以阅读一下代码，品味好的代码和指出坏味道的代码都是一个好的过程。
文档方面现在还很不全，我希望只用一个Tutorial就能讲明白，以后也不会有别的新的文档（文档越多，表明系统越复杂，学习成本也越高），当然，Tutorial会是一个持续完善的过程。
ColaPHP是写给PHP程序员的一个框架，信奉KISS的同学可以试试。
Posted in PHP | 2 Comments »
Saturday, February 28th, 2009
一、PHP SESSION原理
我们知道，session是在服务器端保持用户会话数据的一种方法，对应的cookie是在客户端保持用户数据。HTTP协议是一种无状态协议，服务器响应完之后就失去了与浏览器的联系，最早，Netscape将cookie引入浏览器，使得数据可以客户端跨页面交换，那么服务器是如何记住众多用户的会话数据呢？
首先要将客户端和服务器端建立一一联系，每个客户端都得有一个唯一标识，这样服务器才能识别出来。建议唯一标识的方法有两种：cookie或者通过GET方式指定。默认配置的PHP使用session的时会建立一个名叫"PHPSESSID"的cookie（可以通过php.ini修改session.name值指定），如果客户端禁用cookie,你也可以指定通过GET方式把session id传到服务器（修改php.ini中session.use_trans_sid等参数）。
我们查看服务器端session.save_path目录会发现很多类似sess_vv9lpgf0nmkurgvkba1vbvj915这样的文件，这个其实就是session id "vv9lpgf0nmkurgvkba1vbvj915"对应的数据。
真相就在这里，服务器将session id传递到服务器，服务器根据session id找到对应的文件，读取的时候对文件内容进行反序列化就得到session的值，保存的时候先序列化再写入。
事实就是这样，所以如果服务器不支持session或者你想自定义session，完全可以DIY，通过PHP的uniqid生成永不重复的session id，然后找个地方存储session的内容即可，你也可以学flickr把session存储在MySQL数据库中。
二、使用session之前为什么必须先执行session_start()？
了解的原理之后，所谓的session其实就是客户端一个session id服务器端一个session file，新建session之前执行session_start()是告诉服务器要种一个cookie以及准备好session文件，要不然你的session内容怎么存；读取session之前执行session_start()是告诉服务器，赶紧根据session id把session文件反序列化。
只有一个session函数可以在session_start()之前执行，session_nam()：读取或指定session名称（比如默认的就是"PHPSESSID"），这个当然要在session_start之前执行。
三、session影响系统性能
session在大访问量网站上确实影响系统性能，影响性能的原因之一由文件系统设计造成，在同一个目录下超过10000个文件时，文件的定位将非常耗时，PHP支持session目录hash，我们可以通过修改php.ini中session.save_path = "2;/path/to/session/dir"，那么session将存储在两级子目录中（修订：参见david回复），不过好像PHP session不支持创建目录，你需要事先把那么些目录创建好 。
还有一个问题就是小文件的效率问题，一般我们的session数据都不会太大（1～2K），如果有大量这样1～2K的文件在磁盘上，IO效率肯定会很差，PHP手册上建议使用Reiserfs文件系统，不过Reiserfs的前景堪忧，Reiserfs的作者把媳妇给杀了，SuSE也抛弃了Reiserfs。
其实还有很多中存储session的方式，可以通过php -i|grep "Registered save handlers"查看，比如Registered save handlers => files user sqlite eaccelerator可以通过文件、用户、sqlite、eaccelerator来存，如果服务器装了memcached，还有会mmcache的选项。当然还有很多，比如MySQL、PostgreSQL等等。都是不错的选择。
四、session的同步
我们前端可能有很多台服务器，用户在A服务器上登录了，种下了session信息，然后访问网站的某些页面没准跳到B服务器上去了，如果这个时候B服务器上没有session信息又没有做特殊处理，可能就会出问题了。
session同步有很多种，如果你是存储在memcached或者MySQL中，那就很容易了，指定到同样的位置即可，如果是文件形式的，你可以用NFS统一存储。
还有一种方式是通过加密的cookie来实现，用户在A服务器上登录成功，在用户的浏览器上种上一个加密的cookie，当用户访问B服务器时，检查有无session，如果有当然没问题，如果没有，就去检验cookie是否有效，cookie有效的话就在B服务器上重建session。这种方法其实很有用，如果网站有很多个子频道，服务器也不在一个机房，session没办法同步又想做统一登录那就太有用了。
当然还有一种方法就是在负载均衡那一层保持会话，把访问者帮定在某个服务器上，他的所有访问都在那个服务器上就不需要session同步了，这些都是运维层面的东西。
就说这么多吧，根据自己的应用来选择使用session，不要因为大家都说session影响系统性能就畏首畏尾，知道问题，解决问题才是关键，惹不起躲得起不适合这里。
Posted in PHP | 2 Comments »
Thursday, February 12th, 2009
前言：
关于Digg的架构，之前Fenng已经写过一篇Digg 网站架构的文章，Fenng在文章开头说“越来越发现其实都是自我重复的劳动，后续的信息都是嚼别人剩下的甘蔗。”，其实是Fenng过谦了，我就是从DBA notes一点一滴开始学习的。
原文在Scaling Digg and Other Web Applications，Todd Hoff总能给我们带来一些有意思的文章。这里既不直译也不全译，保持原文骨干加上肤浅的理解。
Digg用户在3000W左右，网站每秒请求数达到13000个，规模算是很大了，Lamp（Linux+Apache+MySQL+PHP）结构，Web2.0网站中钟情PHP的不少，国外的Facebook、Digg、Flickr...，国内的新浪博客、开心网、51.com等等，扩展的不是编程语言而是网站架构，因为编程语言从来都不会是网站瓶颈，每种语言都有自己适合做和不适合做的事情。喜欢比较语言快慢的可以看看http://shootout.alioth.debian.org/，看看而已不要用速度去衡量编程语言的优劣。
Digg的扩展战略：
扩展是有特殊性的，当已有的方案不能满足需求时，你需要根据自己的特殊需求来建立方案。要熟悉自己的业务需求，找出系统的短板，解决问题，避免过度优化。
编程语言不需要扩展，因为语言从来都不是瓶颈，把PHP提速300％不会是什么大问题。
去中心化，分布式处理高并发请求。
水平扩展，用更多更便宜的机器代替更高效更昂贵的机器。
数据库驱动的网站需要作水平分区和垂直分区扩展，水平分区就是把数据放到不同的机器上，比如按照时间划分：2009年的数据一组服务器，2009年的数据一组服务器，或者按照用户ID划分：每200W用户一组服务器；垂直分区把一个表分成多个表，每个表只包含一部分字段，可以按照业务分或者常用的“动静分离”，比如对文章计数的字段大可以和文章内容字段分开。
建立数据应用层，程序不要直接操作数据库分区，这样可以保持好的扩展性。这一点非常重要，如果没有数据应用层API，一旦对数据库分区做了修改，你的程序就需要大改了。程序的稳定性和持续性就不能保证。比较常见的MVC开发模式，数据层和逻辑层分开，一旦数据库底层改变了，只需要对数据层做简单的修改，不影响既有业务。
一致性、高可用性、分区容忍性（Partition Tolerance）三者只能取其二，具体的阅读http://camelcase.blogspot.com/2007/08/cap-theorem.html，一致性：每个人看到的都一样，哪怕当时就有更新；高可用性：部分故障不影响使用；分区容忍性：数据分区还能保持系统所有属性。
数据分区要求反常规化，这是在Digg是大问题，同样的数据要复制到多个对象上去，而且还好保持同步。
采用异步的队列架构，把任务放到队列中交由多台机器处理，而不是一次同步处理，关于异步任务处理可以阅读 Flickr - Do the Essential Work Up-front and Queue the Rest和The Canonical Cloud Architecture
icons和图片采用MogileFS存储，MogileFS是一个分布式的文件系统，由memcached作者开发，国内的好看簿也有使用MogileFS。
采用APC作为PHP加速器，Facebook用的也是这个，PHP5.30以后将自带APC加速器，同样的产品还有eAccelerator和Xcache，国内可能用eAccelerator的比较多，windows的版本我一般用这个网站编译的
缓存策略：永久性缓存和失效期缓存；基本不更新的内容采用文件缓存；动态缓存采用memcached；极少修改的数据采用APC缓存，APC不是分布式缓存，直接缓存的机器内存中，所以速度更快，适合缓存那些配置文件，比如MySQL的配置信息；缓存采用链责任模式，首先看PHP全局变量，如果没有就查APC，再没有就查memcached，最后没有就查数据库，这个觉得不太必要，你的缓存存在哪来你自己还不清楚阿。
Digg的推荐引擎是一个自定义的图形数据库，数据库最终保证一致性，先写如一个分区，然后再逐步写到其他的分区。在更新的过程中，可能取出来的数据不一致，是因为有不同的数据库分区处理，最终将会是一致。
MemcacheDB：性能革命性的一步
想象一下Kevin Rose，Digg的创建者，当前有4000个追随者，如果Kevin Rose一天digg一次，将会有4000个写操作，最热门的digg有最多的追随者，这会导致巨大的性能瓶颈：
你不能同时更新4000个追随者的帐号信息，幸运的是我们可以通过前面提到的异步队列方式解决。
Digg面临的海量写操作，如果平均每个人有100个追随者，一天就有3亿条写操作，平均到每秒有3000个写操作，每天有5GB的数据存储，在50～60台服务器之间有5TB的数据交换。
如果是MySQL的话估计早就挂了，Digg在笔记本上的测试是memcachedb每秒可以处理15000个写操作，memcachedb的测试结果表明每秒可以支持23000个写操作或者64000个读操作，足以应付Digg洪水般的请求。
memcachedb是一个分布式的kye-value型数据持久化解决方案，提供兼容memcached协议接口，由Sina工程师Steve Chu开发。
提到Digg为什么采用memcachedb，Digg的工程师给出的理由是：需要持久化缓存数据，与memcached协议兼容，Digg已经有很多业务应用了memcached，可以很方便的切换到memcachedb上去，开源。
后记：
很高兴的看到除了Sina，memcachedb又有一个超重量级的应用了，性能和可靠性都得到了极大的检验，大可放心应用生产环境中。我还说今年有空写个玩具版的类memcachedb项目，还是不要了，有时间还是去做些更有意义的事情，无谓重复发明。
Posted in Arch, PHP | No Comments »
Thursday, February 5th, 2009
早期的PHP开发者发现把PHP代码和HTML代码混在一起，维护起来非常的费劲，于是Smarty应运而生，将PHP代码和HTML代码分离，把MVC模式中的V(View显示)首先剥离，大大提高了程序的可阅读性和可维护性，于是有一大批的使用者，甚至到现在，如果你去找一份PHP的工作，如果不了解Smarty，估计够呛能拿到offer.
Smarty，这个PHP模板引擎曾经的代名词，最近的日子貌似不太好过，3.0Alpha出来了，不过很多人认为换汤不换药，更有甚者用回光返照来形容，真是英雄末路。
国外甚至有个No Smarty的网站，数典Smarty的种种"罪行"，然后给出了很多种替代方案(基本上是主流的PHP框架)，个人觉得不太公平，一个PHP模板引擎和一个完备的MVC框架能有可比性？
一个纯粹的PHP模板引擎在当前MVC当道的年代，难免不那么叫好，而且Smarty开发年代久远，有些设计确实不是太好，Smarty最早开发的时候估计是给页面制作人员(builder)来用的，以至于它的语法都和PHP不兼容，比如foreach语句，在Smarty里面就要用{foreach from=$foo item=bar}，可是套模板的工作基本上都是PHP程序员在做，不兼容PHP语法还需要重新去学习Smarty，而两种不同的风格足够让人抓狂。
如果是因为效率的问题放弃使用Smarty，大可不必，很多的网站还在用，比如我们，瓶颈不会出现在Smarty模板上，Smarty会把模板代码编译成PHP代码，下次调用的时候检测如果模板没有改动直接调用编译好的PHP代码，应该和原生的PHP代码差别不太大。而且Smarty自带了很多很有用的函数，比如转义，用起来还是很舒服的。
不过，最近Smarty项目已经从PHP官方移除了，访问http://smarty.php.net，提示Smarty is no longer a subproject of the PHP project, and has subsequently moved to its own domain: www.smarty.net，真是祸不单行。
Posted in PHP | No Comments »
Wednesday, January 28th, 2009
本博客所有原创文章采用知识共享署名-非商业性使用-相同方式共享，转载请保留链接http://chaoqun.17348.com/2009/01/bdb-cache/
做网站，好像大家都比较喜欢文件缓存，把那些读操作多写操作少的内容缓存成一个文件放服务器硬盘上，下次直接读取或者更新。针对每一个key缓存成一个文件，当需要缓存的内容多的时候，文件数也就相应的多，这么多文件的同步和备份都是大问题，数据的可靠性也无从保证。
可是为了"效率"，我们也忍了，但文件缓存的效率真的好吗？有没有更好的方案？当然，memcached是很好的解决方案，今天这里测试另外一种方案：使用Berkeley DB作为网站数据缓存方案。
测试环境：CentOS 5.2，Core2 T5500@ 1.66GHz，1.5G内存，Ext3文件系统，apache 2.2.3，php 5.2.8 with php_dba
数据初始化：为了不至于在一个目录下文件数目过多，文件缓存分了两级hash目录，初始化数据数10万条。
/**
* 初始化缓存
*
* @param int $limit
*/
function init_cache($limit = 100000)
{
$str = 'good good study,and day day up.';
$bdb = dba_open('./bdb.db', 'c', 'db4');
for ($i = 0; $i < $limit; $i++)
...
Posted in PHP | 2 Comments »
Friday, September 12th, 2008
About OpenSlopeOne
OpenSlopeOne is an implementation of Slope One based on PHP&MySQL, it's an open source project under GPL V3.
It aims to a fast way to use Slope One with PHP&MySQL, and it can handle tons of data.
It's localed on Google Code:
http://code.google.com/p/openslopeone/
You can get the latest code here:
svn checkout ...
Posted in Data Mining, MySQL, Open Source, PHP | No Comments »