十年磨一剑:《个人电脑》实验室评测纵横谈


Winstone一统天下
从80年代开始,由ZDBOp开发的Winstone基准测试套件(前期版本被称作ZD Winstone,后期版本被称作PC Magazine Winstone)就已经在PC测试领域占据了统治领域。就《个人电脑》实验室而言,从1997年正式成立起,就开始应用这个软件开始了大规模的产品测试。

在那段时期,Winstone的设计思路是一种以用户为中心的先进理念,而且其实现方式也是具有相当技术领先性的。作为这个套件的开发者,ZDBOp,ZD Benchmark Operation每推出一个版本前,都要对用户的使用习惯进行详细地调查,找到用户最常使用的、最具代表性的应用程序,并在此基础上形成最为符合用户实际使用方式的测试脚本。然后通过比较不同系统完成这些脚本的时间,发现它们之间的性能差异。

显然,由此得出的成绩是可以令用户接受和信服的。正因为此,在我们应用Winstone的顶峰时期,这个套件的累计发放拷贝数已经超过了两亿份!当然,这其中还有一个很重要的原因——它可以免费获得。
在PC上运行的应用程序不论是数量还是功能都不太复杂的时期,ZDBOp这样一个由一个公司(Ziff Davis)运作的组织还足以胜任这种模式的测试软件开发,并能很好地跟上和满足用户的现实需求。
然而,随着PC性能的不断提升,操作系统的结构和作用也在不断地发展,这不仅体现在Windows界面的美化和功能的增加,更为关键的是操作系统的工作方式变得越来越复杂。与这种潮流相呼应,应用程序的数量也愈发庞大,功能愈发多样化。所有这些作用于用户身上,导致了他们的应用模式或者使用习惯出现变化——比如,多任务并行的情况越来越习以为常。

与此同时,处理器、芯片组的硬件设计也日益复杂,许多功能只是在后台发挥作用,但却对用户的日常使用产生重大影响——比如英特尔的增强型动态节能技术(Enhanced Intel SpeedStep Technology, EIST)和AMD的“冷又静”技术(Cool and Quiet,CnQ)这些针对节能控制的设计。要在测试软件的设计过程中将这些因素考虑在内,无疑是一个相当大的挑战。

此时,仅仅靠一家公司的力量,要想设计出符合产业发展现状和要求的基准测试软件,显然是力不从心了。2003年之后,ZDBOp先是被Ziff Davis转卖给了另一家专注于测试服务的公司VeriTest;此后不久,在推出最后一个版本的PC Magazine Winstone后,终于在2004年停止了这款久负盛名的基准测试软件的后续版本的开发。

接替其在业界地位的,就是我们目前广泛应用的由BAPCo组织开发的SYSmark系列套件。

十年磨一剑:《个人电脑》实验室评测纵横谈

SYSmark系列已经成为目前最权威的系统级测试软件,最新的版本2007 Preview包含两张DVD,
可以进行Windows XP和Vista各个版本下的测试。


BAPCo:联盟的力量
BAPCo全称Business Applications Performance Corporation,即商业应用性能合作联盟。这个非盈利性的组织由业界多家重要厂商和第三方媒体组成(目前总共17家成员,www.bapco.com),专注于开发以模拟用户实际应用环境为基础的基准测试软件,其代表作主要有考察系统整体性能的SYSmark系列套件和考察笔记本电脑电池续航能力的MobileMark系列套件(后者我们会在后面的文章中详细介绍)。

长期阅读《个人电脑》杂志的读者会发现,SYSmark的工作模式其实与Winstone有着异曲同工之处。它也是通过让流行的应用程序按照用户习惯来执行常见的操作,然后比较不同系统完成这些操作的时间来找到它们之间的性能差异。

正因为这种相似性,再加上仅针对成员免费提供,其他使用者必须购买的策略,BAPCo最初推出的几个版本,从97年的SYSmark for Windows NT 4.0,98年的SYSmark 98,2001年的SYSmark 2001,到2002年的SYSmark 2002,都没有在业界得到广泛应用,Winstone依然在用户群体中大行其道。

然而,正是由于我们在上一节提到的原因,随着PC产业的技术发展,BAPCo作为一个产业联盟的优势开始凸现。AMD、Intel、Microsoft、nVIDIA、HP、Dell这些掌握着PC核心技术、决定PC产品发展走向的公司的加入和支持,无疑能够保证基准测试软件以最快的速度推向市场,并且最大程度地符合用户的真实应用需求和技术发展的潮流。

在这样一个大背景下,BAPCo于2003年底推出的SYSmark 2004一举超越了已经日薄西山的PC Magazine Winstone在业界的地位,成为了各类媒体评测机构、PC厂商,甚至普通用户首选的整体性能评估工具。2005年,随着SYSmark 2004 SE的问世,同时支持32位和64位Windows操作系统的能力,奠定了SYSmark在PC基准测试领域的统治地位。而今年同时针对各个版本Windows XP和最新Windows Vista操作系统的SYSMark 2007 Preview的迅速推出,再次证明和展示了以一个产业联盟来进行测试套件的开发能够具有多么大的能量。

也正是在这个时期,《个人电脑》与Ziff Davis分手,开始了与VNU Business从内容到评测的全面合作。实际上,除去商业、内容上的诸多因素,评测资源和理念也是我们做出这一决定的关键因素:一方面PC Magazine Winstone套件的发展举步维艰;另一方面,我们的母公司CNET和VNU早已加入的BAPCo在SYSmark套件的开发和推广上取得了巨大的成功。该选择哪一个合作伙伴,答案不言自明。

实际上,2004年底,VeriTest正式宣布放弃对PC Magazine Winstone套件的再开发和支持。2005年,PC Magazine的母公司Ziff Davis也申请加入BAPCo组织,放弃它已经使用了将近二十年的Winstone,转而采用SYSmark套件。至此,PC Magazine Winstone系列正式寿终正寝。

十年磨一剑:《个人电脑》实验室评测纵横谈

十年磨一剑:《个人电脑》实验室评测纵横谈

十年磨一剑:《个人电脑》实验室评测纵横谈

作为一个非赢利性的合作组织,BAPCo的成员一直在不断扩充和变化。



快餐大餐 各有市场
如果说Winstone和SYSmark是一种选料丰富的法式大餐的话,以PCMark为代表的其他一系列测试工具则是迅捷便利的快餐了。

前者包含了丰富的应用程序和复杂的运行脚本——安装介质从最初的CD,到DVD,直到最新的SYSmark 2007 Preview使用了两张DVD,不仅安装过程费时费力,而且即便是目前最快的PC系统也需要数小时的时间才能完成测试。

而后者不论是安装文件的大小,还是测试运行的时间都大为“缩水”。以PCMark05为例,安装文件不过数十兆,主流PC完成测试的时间基本都在半小时以内。

复杂的优势在于结果的精准,且参考意义更为广泛,而简单的优势在于便利,不需要多少专业知识,不要耗费太多时间和精力,就可以得到对比的结果。二者相辅相成,用户各取所需。

从《个人电脑》实验室的角度而言,在我们的系统级测试中,一直是将两类测试都包含在内。这么做并不是盲目地扩充测试项目的数量。这么做的目的其实要从《个人电脑》建立实验室的目的说起:

在计算机还是大型企业才能享受的技术宠儿的时代,以大型企业的实力,都会有专门的团队和人员对产品进行测试;而随着中小企业甚至个人用户大范围普及IT技术后,他们很难有专人来负责这样的工作;即便企业中有技术专家,以其实力和购买力,也无法搜集到那么多系统来进行对比。这个时候,媒体评测实验室的作用就凸显出来:因为我们可以为中小企业以及个人用户充当类似大型企业中IT选型团队的角色。

不过,即便如此,我们也不可能覆盖到市场上销售的所有产品。所以,我们一方面要充分考虑测试软件的严谨性,另一方面也要考虑到用户在实际工作环境中的可重复性。换句话说,我们希望当我们测试并没有包含用户正在使用的型号时,用户可以通过自己运行相应的软件,来了解自己的系统与其他PC之间的差异,为未来的购买或升级工作获取参考信息。

为此,在遵守严谨和可重复性的原则的基础上,在我们的系统测试中,会包含几种常见的测试软件的测试结果。对于用户来说,可以快餐大餐,各取所需。

评论

    楼层
    评论人
    评论内容摘要
    发表时间
发表您的观点
  • 姓名:(必填)
  • 电子邮件:
  • 验证码:(必填)
  •  
  • 正文: