realmeスマートフォンでベンチマークブーストが行われていることを発見しました。
AnTuTuやGeekbenchで実態とかけ離れた結果に
スマートフォンの性能を客観的な数値で見るためにベンチマークが行われることが多いですが、一部のrealme製スマートフォンにてこの結果を実使用環境よりも良く見せかける「ベンチマークブースト」が行われていることが明らかになりました。
今のところベンチマークブーストの対象となっていることが判明しているのはrealme GT Neo 3です。
【追記】ほぼ同じDimensity 8100搭載のOnePlus Aceでも同様のベンチマークブーストが行われているようです。
realme GT Neo 3 150Wレビュー。Dimensity 8100搭載で原神を54.6FPSで遊べる高性能・低発熱スマホ – AndroPlus
AndroPlusGeekbench、AnTuTu BenchmarkといったCPU性能を計測するベンチマークアプリを開いた時だけ、CPU周波数を最大値に固定することでベンチマーク結果を良いように見せかけています。
実際に一般的なアプリやゲームを使うときには周波数が最大値に固定されることはないため、ベンチマークと実環境に大きなズレが発生してしまいます。
せっかくブーストなしの素の性能でSnapdragonと良い勝負ができるようになっているというのに、誇張した結果を出してしまっては「本当は実性能も悪いんだろう」とあらぬ疑惑をかけられてしまいます。
「他メーカーもやっているんだから何を今更」という意見も見かけますが、「赤信号を無視する人が多い歩道だから自分も渡って良い、信号無視を指摘するなんて」と言っているようなものです。
メーカーによってブーストのやり方が異なるのでブーストされた結果を比較することもできず、ベンチマークが無意味になってしまいます。
realme GT Neo 3 150W、発熱を抑えるためゲームの最適化をするんじゃなくて、ベンチマークアプリだけCPU周波数を最大値に固定するという悪質パターンだった
— AndroPlus (@AndroPlus_org) April 20, 2022
原神偽装版は問題ないのに*何故か*ベンチアプリ起動したときだけCPU表示アプリがキルされる https://t.co/a2QWzzq8yR pic.twitter.com/SwHav5I2uM
通常版のGeekbench 5ではベンチマークブーストの結果、シングルコア960、マルチコア4054となっており、マルチコアではSnapdragon 8 Gen 1を超える性能となっています。
一方、原神やJDに偽装したGeekbenchではベンチマークブーストが働かないことでシングルコア878、マルチコア3569にまでスコアが落ちており、これはSnapdragon 870レベルです。
パフォーマンスを向上するというGTモードやゲームモードをオンオフしてもこの挙動は変化しませんでした。
oplus-services.jarやlibnetd_client.soなどの中に、ベンチマークアプリかどうか判定してブーストする機能があります。
なんとGeekbench専用のモード「GEEKBENCH_MODE」まで用意されています。
ベンチマークブーストに厳しい対応をとることで有名なGeekbenchを名指しするとは、喧嘩を売っているようにしか思えません。
過去にはGalaxy、Xiaomi、OnePlus、Xperiaなどの一部スマホがベンチマークブーストした結果、Geekbenchの結果一覧から除外されています。
realme GT Neo 3でベンチマークブーストが行われていることはGeekbenchに報告済みです。
さらに/odm/etc/orms/orms_core_config.xmlにどのアプリを操作するかの設定が記録されているのですが、このファイルだけ難読化されており、通常のファイル検索ではパッケージ名で探しても見つからないようになっています。
他のファイルは難読化されていないため、少しでも見つかりにくいように小細工したのでしょう。
なお、ベンチマークブーストとは別にアプリ毎に性能を制限する「スロットリング」もあるのですが、こちらはDimensity 9000搭載のvivo X80でも同じ仕組みが採用されていたので、MediaTekが主導して行っているようです。
vivo X80レビュー。MediaTek Dimensity 9000・RGBW方式IMX866搭載、ゲームでもカメラでも高い性能を発揮 – AndroPlus
AndroPlusベンチマークは大きい数字を出せるよう競うゲームではなく、ユーザーの利用環境に即した状態での性能を数値化するためのものです。
過去に色々なメーカーがブーストしてすぐにバレたというのに、realmeが何も学ばずにベンチマークブーストに手を染めたというのは大変残念です。
まとめ
- realme、OnePlus主導のブーストにより、ベンチマークアプリだけ通常より良い性能に見せかけている
- MediaTek主導のスロットリングにより、原神など一部アプリでは性能が制限される
このベンチマークブーストは「OPLUS」として行われているため、同じグループ内であるOPPO・OnePlusの最新スマートフォンでも今後搭載される可能性があります。
そのため、OPPO・OnePlus・realmeが今後発表するAnTuTuやGeekbenchの結果は信用できないものになってしまいます。
少なくともOPPO Find X5 Proの時点では搭載していませんでした。
【追記】ほぼ同じDimensity 8100搭載のOnePlus Aceでも同様のベンチマークブーストが行われているようです。
realme GT Neo 3 150Wレビュー。Dimensity 8100搭載で原神を54.6FPSで遊べる高性能・低発熱スマホ – AndroPlus
AndroPlus