Huawei va agafar manipulacions de punts de referència, declaracions d’emissions que culpaven el mercat xinès

Els resultats de referència de Huawei fan proves privades contra proves públiques amb potència SoC manipulada.

Fa unes setmanes vam cobrir Huawei utilitza una càmera DSLR professional en un anunci sobre les seves capacitats de fer selfies, i sembla que no poden deixar de trobar maneres d’enganyar els consumidors: aquesta vegada, manipulen els seus punts de referència.

Els punts de referència són populars i ( fins ara?) forma legítima de mostrar el rendiment d’un dispositiu, ja sigui la seva CPU, GPU o els paràmetres de rendiment del sistema. El punt bàsic dels punts de referència és oferir als consumidors un resultat precís del funcionament dels dispositius sota tensió.

Malauradament, sembla que Huawei ha inclòs un 'mecanisme de detecció de referència' en alguns dels seus últims dispositius. El que fa essencialment aquest mecanisme és empènyer el SoC a un límit de potència i un límit tèrmic molt més elevats quan detecta que s’estan comparant en determinades aplicacions, de manera que es produeixen puntuacions de rendiment molt més altes que els usuaris que normalment obtindrien en l’ús diari. Això no només és deshonest, és el seu perillós per a la vida útil del SoC, i pot escalfar molt ràpidament un dispositiu i reduir-ne la durada de la bateria.

La defensa d'aquesta pràctica per part de Huawei es pot resumir millor com ' tothom també ho fa! ” - i, per desgràcia, en realitat tenen raó. L’engany de referència no és cap novetat, ja que feia una dècada que existia a l’escena del PC i també feia un temps que era a l’escena mòbil.

Diversos dispositius es van retirar de 3DMark per manipular els punts de referència.

La variant Exynos del Samsung Galaxy S4 va ser capturada fent pràctiques similars de trampes de referència i els editors del lloc de revisió per a mòbils AnandTech va descobrir un gran nombre d'altres proveïdors de telèfons intel·ligents que també manipulaven dades de referència. Això va donar lloc a una sèrie de dispositius, com ara el Galaxy S4, Galaxy Note 3, HTC One i molts altres retirat de la base de dades 3DMark.

Tot i que la majoria dels fabricants van deixar de comportar-se després de ser cridats, alguns van continuar, per exemple, OnePlus va continuar fent trampes en punts de referència populars com GeekBench, tot i que aparentment ha aturat la pràctica des del OnePlus 5T, que en realitat és un dispositiu fantàstic i és molt popular la comunitat de desenvolupament i modding, de manera que potser OnePlus creia que no necessitat per manipular dades de referència.

Malauradament, sembla que Huawei està recuperant el lloc on han deixat altres proveïdors de dispositius, ja que hi ha informes verificats de Huawei que manipulen els punts de referència amb dispositius com ara el Huawei P20, Huawei P20 Pro i Honor Play. Bàsicament, el rendiment del Huawei P20 havia retrocedit en comparació amb el Huawei Mate 10 Pro i, en aquell moment, Huawei va dir que era un ' problema de firmware ”- Una mentida totalment atrevida, ja que en realitat es degué al mecanisme de detecció de referències esmentat, que provoca un límit de potència molt superior per al SoC.

Això no només és dolent per al SoC en si, ja que l’eficiència general del SoC disminueix quan es fa això, perquè s’està impulsant el SoC bé fora de la seva finestra operativa normal ( imagineu overclocking de la vostra CPU tan alta com sigui possible sense greixos tèrmics) . Tanmateix, això també és dolent per a mercat a si mateix.

Per una banda, fa que el SoC sembli dolent, com si ho fes necessitats que es manipulin les dades de referència perquè valgui la pena vendre-les. En segon lloc, posa en dubte el mercat xinès dels telèfons intel·ligents, que ja està ple d’imitacions, clons i pràctiques ombrívoles. A més, el comportament de referència de Huawei és potser el més flagrant que s’ha vist fins ara, ja que n’hi ha realment massiva diferència en els resultats de rendiment amb el mecanisme de detecció de referència activat en comparació amb quan està apagat. Tant, això AnandTech va remarcar que les diferències en els resultats de referència disponibles públicament i les seves pròpies proves internes eren ' absolutament sorprenent ”.

Huawei ha respost a ser descobert i, com hem dit anteriorment, la seva resposta va ser bàsicament ' tothom ho fa també ”. El que van dir literalment ( cita del doctor Wang Chenglu, president de programari del grup empresarial de consumidors de Huawei) era ' d’altres fan el mateix, obtenen puntuacions altes i Huawei no pot callar. Huawei vol reunir-se amb altres a la Xina per trobar el millor punt de referència de verificació per a l'experiència de l'usuari '.

Wang també va assenyalar altres fabricants amb números de referència enganyosos i va citar un fabricant de telèfons intel·ligents populars sense nom a la Xina com el principal culpable. Segons el doctor Wang, els trampes de referència s'han convertit en 'pràctiques habituals a la Xina' i, tot i que Huawei vol 'obrir-se' als consumidors, tenen problemes quan els competidors 'publiquen contínuament puntuacions poc realistes'. Huawei intenta enfrontar-se a la seva important competència xinesa, una tasca que aparentment es fa difícil quan altres fabricants de dispositius produeixen números de puntuació poc realistes.

En resum, Huawei

1. Admet que manipulen els números de referència
2. Admet que tothom ho faci al mercat xinès
3. No té previst aturar-se a causa del número 2.

Com pot algú confiança el mercat de telefonia xinès després d’aquest tipus de coses? En qualsevol cas, Huawei va fer una declaració que la companyia ' assegurar-se que les dades de referència futures siguin verificades independentment per tercers '.

Huawei va enviar una resposta completa a XDA:

'Huawei sempre dóna prioritat a l'experiència de l'usuari en lloc de perseguir altes puntuacions de referència, sobretot perquè no hi ha una connexió directa entre els paràmetres dels smartphones i les experiències de l'usuari. Els telèfons intel·ligents Huawei fan servir tecnologies avançades com la IA per optimitzar el rendiment del maquinari, incloses la CPU, la GPU i la NPU.

Quan algú llança una aplicació de fotografia o juga a un joc intens amb gràfics, el programari intel·ligent de Huawei crea una experiència d’usuari estable i fluida aplicant totes les funcions del maquinari, alhora que gestiona la temperatura i l’eficiència energètica del dispositiu. Per a les aplicacions que no consumeixen tanta energia com navegar pel web, només assignarà els recursos necessaris per oferir el rendiment necessari.

En els escenaris de benchmarking normals, un cop el programari de Huawei reconeix una aplicació de benchmarking, s’adapta de manera intel·ligent al “mode de rendiment” i ofereix un rendiment òptim. Huawei té previst proporcionar als usuaris accés al 'Mode de rendiment' perquè puguin utilitzar la màxima potència del seu dispositiu quan ho necessitin.

Huawei, com a líder de la indústria, està disposat a treballar amb socis per trobar els millors estàndards de comparació que puguin avaluar amb exactitud l'experiència de l'usuari '.

En qualsevol cas, cert es van fer referències AnandTech va provar el Huawei P20, el P20 Pro i l’Honor Play, i tots els dispositius van funcionar de manera similar, ja que tots comparteixen el mateix HiSilicon Kirin 970 SoC, però el rendiment real de cada dispositiu està limitat pels límits tèrmics, ja que cada dispositiu té diferents xassís i disseny de refrigeració. El Huawei P20 Pro té les millors tèrmiques, de manera que funciona millor en un estat de rendiment real.

L'editor de AnandTech , Andrei Frumusanu, va dir el següent:

'En el passat, hem vist que els proveïdors realment augmentaven les freqüències SoC o les bloquejaven als seus estats màxims, augmentant el rendiment més enllà del que solen estar disponibles per a les aplicacions genèriques. En canvi, el que fa Huawei és augmentar les puntuacions de referència en arribar-hi des de l’altra direcció: les aplicacions de comparació són els únics casos d’ús en què el SoC realitza les seves velocitats publicitàries. Mentrestant, totes les altres aplicacions del món real estan limitades en un grau significatiu per sota d’aquest estat a causa de les limitacions tèrmiques del maquinari. El que acabem veient amb un rendiment sense problemes és potser la forma ‘veritable’ d’un SoC sense restriccions, tot i que és completament acadèmic en comparació amb el que realment experimenten els usuaris '.

Els seus gràfics demostren que els telèfons més nous de Huawei ja arriben als 3,5-4,4W en el seu estat de rendiment real, mentre que el TDP de 3,5W és la quantitat màxima que es pot mantenir. D’altra banda, el telèfon entra en excés amb TDP quan realitza els punts de referència disponibles públicament, amb xifres de potència superiors als 6W i màximes de 8,5W. Com va assenyalar AnandTech, aquestes xifres activen ràpidament una notificació de sobreescalfament al dispositiu, cosa que significa el desajust dels límits tèrmics amb les expectatives del programari.

El que es pot treure d’aquesta situació és que les xifres reals de rendiment no són estables, ja que depenen de la temperatura del telèfon. Huawei no impedeix que la GPU assoleixi el seu estat màxim de freqüència de la GPU. El comportament predeterminat és, en realitat, un 'dur mecanisme de regulació tèrmica [...] que intentarà mantenir nivells de temperatura SoC significativament més baixos i un consum d'energia global'.

El mode normal dels telèfons pot assolir les mateixes xifres màximes de consum d’energia durant els paràmetres de la GPU que les publicades per les variants sense restriccions. No obstant això, aquestes xifres retrocedeixen ràpidament significativament i AnandTech assenyala que el telèfon s’accelera fins a 2,2 W en alguns casos, cosa que té l’efecte de reduir significativament el rendiment.

La publicació afirma que el comportament de trampes de referència aparentment només s’ha introduït als dispositius d’aquest any. Els telèfons com el Huawei Mate 9 i el Huawei P10 no es veuen afectats i sembla que només es veuen afectats els dispositius EMUI 8.0 i nous. Huawei també va dir a AnandTech que es tractava d'una 'aplicació purament de programari', que corroborava les conclusions de la publicació.

AnandTech va publicar xifres reals de rendiment de la GPU per als telèfons afectats que funcionen amb Kirin 970 i la conclusió és que Huawei ho és molt per darrere dels seus competidors tant en rendiment com en eficiència de la GPU .

La publicació també va publicar gràfics de comparació de potència per als dispositius Huawei amb Kirin 970 i Kirin 960. Els gràfics mostren que els ajustos de limitació de potència de Huawei són de fet millors per a l’experiència de l’usuari, ja que mitiguen el problema d’un major consum d’energia. Les proves realitzades per AnandTech sobre el Kirin 960 van demostrar que tenia 'terribles característiques de potència de la GPU', mentre que els dispositius alimentats per Kirin 970 tenen un nou estricte mecanisme de regulació per reduir el consum d'energia i les temperatures.

AnandTech també va esmentar que la nova política d’estrangulació té sentit quan es té en compte el fet que tant el Kirin 960 com el Kirin 970 mostren consums de potència molt superiors als seus nivells sostenibles pels seus respectius factors de forma.

Tot i que Huawei no ha fet necessàriament res dolent mitjançant la introducció d’un nou mecanisme d’estrangulació, certament han creuat el llindar d’engany per l’exclusió d’aplicacions de referència populars a través d’una llista blanca, que és el que s’anomena engany de referència en aquest cas.

UL, que va adquirir Futuremark, l’empresa que està darrere de PCMark i 3DMark, ha retirat de la marca 3DMark els Huawei P20, Huawei P20 Pro, Huawei Nova 3 i l’Honor Play.

La companyia ha verificat l’engany de referència al Huawei P20 Pro, Huawei Nova 3 i Honor Play. Sobre la base de les proves i informes d’AnandTech, també ha retirat l’huawei P20 estàndard. Els usuaris ja no podran veure els resultats de referència dels telèfons afectats, ja que l'empresa no vol allotjar puntuacions de referència enganyades.

L'empresa va trobar que les puntuacions de l'aplicació pública 3DMark eren fins a un 47% més altes que les puntuacions de l'aplicació privada (que no està disponible per al públic), tot i que les proves són idèntiques.

En l'anunci, UL va afegir que estava encantat de veure com Huawei es comprometia a adoptar un enfocament més transparent en el futur. Segons UL, els modes de rendiment opcionals que l'usuari pot establir estan permesos segons les seves regles actuals sempre que estiguin desactivats per defecte. La companyia afirma: 'Un dispositiu ha d'executar el punt de referència com si es tractés de qualsevol altra aplicació'.

En conclusió, tots els paràmetres de rendiment de la GPU de Huawei que s’han pres utilitzant paràmetres disponibles públicament no s’han de prendre com una representació del rendiment real.

Huawei va contactar amb UL per discutir les millors pràctiques per a les proves de referència i va emetre un comunicat:

“Huawei i UL (creadors de 3DMark) han mantingut discussions exhaustives sobre pràctiques de comparació aquesta setmana i han arribat a un acord positiu sobre els propers passos per treballar junts.

En el debat, Huawei va explicar que els seus telèfons intel·ligents utilitzen un mecanisme de planificació de recursos intel·ligents artificials. Com que els diferents escenaris tenen necessitats de recursos diferents, els telèfons Huawei més recents aprofiten tecnologies innovadores com la intel·ligència artificial per optimitzar l’assignació de recursos de manera que el maquinari pugui demostrar les seves capacitats al màxim, tot satisfent les demandes dels usuaris en tots els escenaris.

UL entén la intenció de l’enfocament de Huawei, però s’oposa a forçar l’ús d’un “mode de rendiment” per defecte quan el dispositiu detecta una aplicació de comparativa. Les normes UL requereixen que un dispositiu executi el punt de referència com si es tractés de qualsevol altra aplicació.

Huawei respecta el dret dels consumidors a triar què fer amb els seus dispositius. Per tant, Huawei proporcionarà als usuaris accés obert al 'Mode de rendiment' a EMUI 9.0, de manera que l'usuari pugui triar quan utilitzar la potència màxima del seu dispositiu.

Huawei i UL també han debatut sobre les metodologies de proves de referència habituals actuals en general. UL i Huawei voldrien participar en un moviment de la indústria per desenvolupar estàndards de comparació que satisfacin millor les necessitats dels fabricants, premsa i consumidors.

Per evitar confusions sobre els resultats de les comparatives actuals, després de la discussió, UL i Huawei han retirat temporalment les puntuacions de referència d'una sèrie de dispositius Huawei i les restabliran després que Huawei concedeixi a tots els usuaris de telèfons Huawei accés al mode de rendiment '.