ブラウザベンチマークについて一考・・・

先日,「Windows 7 & IE9杯」へのエントリー記事を上げました。
そのエントリー部門は“最速Webブラウジング部門”だったのですが,その際にいわゆるPCのベンチマーク以外に,当然の
ことながらブラウジングの指標として“WebVizBench”“SunSpider JavaScript Benchmark”を実施しています。
くわえて,余談部分(自分のエントリーではある意味本論部分)でいろいろな最新ブラウザを比較検討する際のネタとして,
Intertet Explorer 9 Test Driveで公開されているHTML5 Blizzardというデモでの比較も行ってみました。

今回この投稿をするにあたって,比較のためにいろいろなJavaScriptベンチマークを実施してみました。
なお,今回先のエントリー記事で上げたPCはすでに手元にありませんので,別PCでの実施です。また,別PCでの実施に
あたりブラウザは“Firefox nightly”(x86x64),“Chromium”,“Opera 11”,“IE9 PP7”に絞りました。


まずはMozilla謹製のKrakenベンチマークの結果です。



こちらと次に提示するSunSpiderについては,結果の数値がms(ミリ秒)ですので値が小さいほど良い結果となります。
ということで,次にSunSpiderの結果です。



そして,最後にV8ベンチマークの結果です。



V8ベンチマークの結果は数値となっていますので,値が大きいほど良い結果です。

以上,それぞれKrakenは先にも書いたようにMozillaが,SunSpiderはSafariGoogle Chromeのレンダリングエンジンである
WrbKitの,そしてV8はGoogleが作成して公開しているものです。



結果を見ていただくとKrakenはMozillaが作成したものであるということもあってかFirefox nightlyが最速,またSunSpiderでは
WebKit陣営のChromiumが最速かと思いきやIE9 PP7が最速で,ChromiumFirefox nightly(x86)の後塵を拝して
います。
それに比べ,V8 Benchmark Suiteの結果はどうでしょう?圧倒的にChromiumが最速です。ダブルスコア以上で比較する
意味すらないような結果です。
それもそのはず,ベンチマークに名を冠している“V8”というのはGoogle ChromeChromium)が開発,採用している
JavaScriptエンジンの名前でもあり,高速に処理を行えて当然のはずです。
プログラマーでもなくソースの比較もしていないので一概には言えませんが,これらの結果を見るにV8 Benchmark Suiteは
はたして公正,公平なベンチマークなのか?と思わざるを得ません。

さらに,先日のエントリー記事でも取り上げたWebVizBenchに ついては,IE9以外のブラウザでページを開くとブラウザを
アップグレードしてくれ!と言われる始末です。“continue anyway”(続行します)を選択するとIE9以外のブラウザでも
実行できますが,そうしてテストを実行していくと“rendering: video”(テスト画面の右上,こちらの動画で3:20あたり
から)ということでBGVが再生されます。
しかし,これについてはテストしたブラウザではIE9系以外まったくBGVが描画されません。どうやら,つい最近
Google Chromeがサポートを止めると話題になったHTML5 Videoタグのh.264動画のようです。最新のブラウザで評価を
行うため,Safari系についても最新のWebKitを,またChrome系もChromiumの最新nightlyを利用しました。これら,
各ブラウザのベースとなっているオープンソースの開発版には,ライセンス問題からh.264のサポートがありません。
SafariについてはAppleが,ChromeについてもGoogleが,それぞれベースとなるレンダリングエンジンにh.264のサポートを
追加実装しているのでしょう。
BGVの有無が結果にどれほど影響を与えるのか不明ですが,現時点においてこれをもって“a benchmark for heml5”
html5ベンチマーク)と銘打つのはいかがなものでしょう?

そして,IE9 Test Driveで公開されたHTML5 Blizzard。これについてはブラウザのGPUアクセラレーションのデモとして作成,
公開されたものと思いますが,GPUアクセラレーションについても,単純にアクセラレートして高速化だけを追求するのに意味が
あるのか?と思わせる結果になってしまっていると思います。
こちらの動画をご覧いただくと一目瞭然ですが,デモ画面中には“HAPPY HOLIDAYS”と表示されています。しかし,
GPUアクセラレーションによる高速描画(?)で猛吹雪となってしまっています。デモの名前であるHTML5 “Blizzard”から
すれば,文字通り猛吹雪=Blizzardですので意図した描画なのかもしれません。
しかし,およそHAPPY HOLIDAYSといった趣ではなくなってしまっているように感じられるのは,はたして私だけでしょうか・・・?
※画面下に表示されている22mph(時速マイル)は,およそ10m/sの暴風