不服跑个分？前提是有个公正的测试基准！

最需要产业界同心协力的议题，却往往最具争议性，这实在是个很讽刺的状况。在那些议题中，争议性最大的又莫过于性能基准测试(performance benchmarking)。幸好，我们正缓慢地朝正确的方向前进，但还需要更多的努力。

测试基准被广泛应用在评估各种电子设备，为了取得高评价，芯片与整机厂商都非常积极于目标测试基准的“优化”，但有的时候那些优化行为却更像是人为操纵。科技新闻总是充斥着不公平的基准检验案例，“不服跑个分”已经成为常用的调侃，而那些只是冰山一角……

测试基准还面临其他的局限；技术创新的高速度使得透过能反映各种平台上实际使用者体验的方式，精准体验测试一套系统所有功能的任务成为挑战。举例来说，影像撷取以及编辑功能也许涉及众多芯片以及应用程序编程接口(API)，要在Android、iOS与Windows手机平台之间做有意义的比较，是白费力气的。

一套优良的测试基准应该包含五项要素；首先，最基本的是透明度(transparency)。测试基准有时候只比黑盒子好一点，只提供测试结果数字，但对测试的过程或计分方法透露甚少；甚至有时候连被测试的功能或是所依循的标准都不明确。

测试基准的拥有者往往以机密为理由，表示测试本身拥有知识产权或是利用了专属信息；但我们认为，测试基准应该是经由一个跨产业的组织批准，且(或)所有的计分方式应是受公开审查的。此外，测试基准应该要包含受测功能与标准的列表。

优 良测试基准的第二个要素，应该是能受独立验证的。通常基准检验执行机构会在公布结果之前先为其背书，有些使用者或供货商也会自己上传或进行某些基准检验； 虽然系统调节如超频(overclocking)能对测试结果产生影响，与众多用户的平均测试成绩差距太大的系统，通常会被怀疑。

第三个要素是，测试基准需要某种形式的监督，以确保测试程序的一致性；优化在基准检验程序中是不应该被容忍的，所有的平台所接受的测试程序应该都是相同的。第四，一个真正的测试基准，特别是移动设备的测试基准，应该要以某种形式的系统及测试来呈现。

特定零组件如CPU、GPU与内存，很容易被挑出来测试，但其他如无线网络链接性、传感器性能、电池寿命、显示器功能等却很难量化；而任何一种移动设备的 终极测试应该是使用者体验，优良的测试基准至少必须要能呈现这一点。最后一个测试基准要素是会定期更新，最好是每年一次；产业界应该停止使用不合时宜的测 试基准。

有鉴于众多棘手的问题，采用一系列基准来评估各种技术或平台，似乎被视为最佳实践方式；这通常导致有一长串的测试基准，而且测试结果各不相同。当使用者看到那些让人眼花撩乱的不同测试结果，恐怕感到非常沮丧。

本文授权编译自EE Times，版权所有，谢绝转载

本文下一页：一个新兴的移动设备测试基准

相关阅读：
? 联发科发布4G真8核MT6595，64位MT6795随后就到
? 大话平板电脑处理器之——经济适用芯
? 红米Note售价曝光，跑分秒杀荣耀3C