Huawei referentni rezultati rezultiraju privatnim i javnim testovima s manipuliranom SoC snagom.
Prije nekoliko tjedana smo pokrili Huawei koristi profesionalni DSLR fotoaparat u reklami o svojim selfie mogućnostima, a čini se da jednostavno ne mogu prestati pronalaziti načine da pokušaju prevariti potrošače - ovaj put, svojim mjerilima kojima manipuliraju.
Mjerila su popularna i (( do sada?) legitiman način prikazivanja performansi uređaja - bilo da se radi o referentnim vrijednostima CPU-a, GPU-a ili sustava. Cijela poanta mjerila je pružiti potrošačima točan rezultat kako uređaji rade pod stresom.
Nažalost, čini se da je Huawei u neke od svojih najnovijih uređaja uključio 'mehanizam za otkrivanje referentne vrijednosti'. Ono što ovaj mehanizam u osnovi čini, gura SoC na puno veću granicu snage i toplinsku visinu kada otkrije da se uspoređuje s određenim aplikacijama - što rezultira mnogo boljim rezultatima performansi nego što bi korisnici obično imali u svakodnevnoj upotrebi. Ovo nije samo neiskreno, nego opasno za životni vijek SoC-a, a vrlo brzo može pregrijati uređaj i smanjiti mu vijek trajanja baterije.
Huaweijevu obranu ove prakse najbolje je sažeti kao, ' to rade i svi drugi! ' - i nažalost, zapravo su u pravu. Benchmark varanje uopće nije novost - raširilo se na PC sceni prije deset godina, a već je neko vrijeme i na mobilnoj sceni.
Razni uređaji uklonjeni su iz 3DMarka radi manipulacije referentnom vrijednošću.
Inačica Exynos za Samsung Galaxy S4 uhvaćena je kako radi slične referentne prakse varanja, a urednici web stranice za mobilni pregled AnandTech otkrio velik broj drugih dobavljača pametnih telefona koji također manipuliraju referentnim podacima. To je dovelo do stvaranja brojnih uređaja, kao što su Galaxy S4, Galaxy Note 3, HTC One i brojni drugi brisan s popisa iz baze podataka 3DMark.
Iako je većina proizvođača prestala s ponašanjem nakon prozivanja, nekolicina je nastavila - na primjer, OnePlus je nastavio varati u popularnim mjerilima kao što je GeekBench, iako je očito zaustavio tu praksu još od OnePlus 5T - koji je zapravo izvrstan uređaj i vrlo je popularan u zajednice za moding i razvoj, pa je možda OnePlus smatrao da nisu potreba za manipulaciju referentnim podacima.
Nažalost, čini se da Huawei nastavlja tamo gdje su ostali dobavljači uređaja stali, jer postoje provjerena izvješća o Huaweijevoj manipulaciji mjerilima s uređajima, uključujući Huawei P20, Huawei P20 Pro i Honor Play. U osnovi, izvedba Huawei P20 je nazadovala u usporedbi s Huawei Mate 10 Pro - i tada je Huawei rekao da je to ' problem s firmverom ”- izravna hrabra laž, jer je to zapravo bilo zbog gore spomenutog mehanizma za otkrivanje referentne vrijednosti, koji pokreće znatno nadređeno ograničenje snage za SoC.
Ne samo da je ovo loše za sam SoC, jer se ukupna učinkovitost SoC smanjuje kad se to učini, jer se SoC gura dobro vani svog normalnog operativnog prozora ( zamislite da overclockate svoj CPU koliko god može ići bez ikakve termalne masti) . Međutim, to je također loše za tržište sebe.
Kao prvo, SoC izgleda loše, kao da izgleda potrebe kako bi se referentnim podacima manipuliralo tako da ih vrijedi prodati. Drugo, baca sumnju na kinesko tržište pametnih telefona - koje je već prepuno imitacija, klonova i sumnjivih praksi. Nadalje, referentno ponašanje Huaweija možda je najneprijatnije što se moglo vidjeti, jer uistinu postoji masivan razlika u rezultatima izvedbe s uključenim mehanizmom otkrivanja referentne vrijednosti u usporedbi s onim kada je isključen. Toliko, to AnandTech primijetio je da su razlike u javno dostupnim rezultatima referentnih vrijednosti i njihovim vlastitim internim ispitivanjima „ apsolutno zapanjujuće ”.
Huawei je reagirao na saznanja, a kao što smo ranije rekli, njihov je odgovor u osnovi bio ' to rade i svi ostali '. Ono što su doslovno rekli ( citat dr. Wang Chenglua, predsjednika softvera u Huaweijevoj potrošačkoj poslovnoj grupi) bio ' drugi rade istu stvar, postižu visoke ocjene, a Huawei ne može šutjeti. Huawei se želi udružiti s drugima u Kini kako bi pronašli najbolje mjerilo za provjeru korisničkog iskustva. '
Dr. Wang je također ukazao na druge proizvođače s zavaravajućim referentnim brojevima, a kao najvećeg krivca naveo je neimenovanog popularnog proizvođača pametnih telefona u Kini. Prema dr. Wangu, varanje s referentnim vrijednostima postalo je 'uobičajena praksa u Kini', i dok se Huawei želi 'otvoriti' za potrošače, oni imaju problema kada konkurenti 'neprestano objavljuju nerealne ocjene'. Huawei se pokušava suočiti sa svojom glavnom kineskom konkurencijom, što je zadatak koji je naizgled otežan kada drugi proizvođači uređaja daju nerealne brojke rezultata.
Da rezimiramo, Huawei
- Priznaje da manipuliraju referentnim brojevima
- Priznaje da to rade svi ostali na kineskom tržištu telefona
- Ne planira stati zbog # 2.
Kako itko može povjerenje kinesko tržište telefona nakon ovakvih stvari? U svakom slučaju, Huawei je dao izjavu da će tvrtka “ osigurati da buduće referentne podatke neovisno provjeravaju treće strane '.
Huawei je XDA-i poslao puni odgovor:
„Huawei uvijek daje prioritet korisničkom iskustvu, a ne postizanju visokih rezultata - pogotovo jer ne postoji izravna veza između referentnih vrijednosti pametnih telefona i korisničkog iskustva. Huawei pametni telefoni koriste napredne tehnologije poput AI za optimizaciju performansi hardvera, uključujući CPU, GPU i NPU.
Kada netko pokrene aplikaciju za fotografiju ili igra grafički intenzivnu igru, Huaweijev inteligentni softver stvara glatko i stabilno korisničko iskustvo primjenjujući pune mogućnosti hardvera, istodobno upravljajući temperaturom i učinkovitošću napajanja uređaja. Za programe koji nisu toliko intenzivni poput pretraživanja weba, dodijelit će samo resurse potrebne za postizanje potrebnih performansi.
U normalnim scenarijima benčmarkinga, nakon što Huaweijev softver prepozna aplikaciju za benčmarking, on se inteligentno prilagođava 'Performance Mode' i pruža optimalne performanse. Huawei planira pružiti korisnicima pristup 'Performance Mode' kako bi mogli koristiti maksimalnu snagu svog uređaja kada to trebaju.
Huawei - kao vodeći u industriji - spreman je surađivati s partnerima kako bi pronašao najbolje standarde usporedbe koji mogu precizno procijeniti korisničko iskustvo. '
U svakom slučaju, pravi mjerila kojima su upravljali AnandTech testirali su Huawei P20, P20 Pro i Honor Play - i svi uređaji izvedeni na sličan način, jer svi dijele isti HiSilicon Kirin 970 SoC - ali stvarne performanse svakog uređaja ograničene su toplinskim ograničenjima, jer svaki uređaj ima različit dizajn šasije i hlađenja. Huawei P20 Pro ima najbolju termičku obradu, pa ima bolje performanse u stvarnim performansama.
Urednik časopisa AnandTech , Andrei Frumusanu, imao je sljedeće reći:
„U prošlosti smo vidjeli da dobavljači zapravo podižu SoC frekvencije ili ih zaključavaju na njihova maksimalna stanja, podižući performanse iznad onoga što je obično dostupno generičkim aplikacijama. Ono što Huawei umjesto toga radi, povećava rezultate referentne vrijednosti polazeći iz drugog smjera - aplikacije za usporedbu jedini su slučajevi upotrebe u kojima SoC zapravo postiže svoje oglašene brzine. U međuvremenu je svaka druga stvarna aplikacija smanjena u značajnoj mjeri ispod tog stanja zbog toplinskih ograničenja hardvera. Ono što na kraju vidimo s nesmetanom izvedbom možda je ‘istinski’ oblik neograničenog SoC-a, iako je ovo potpuno akademsko u usporedbi s onim što korisnici zapravo doživljavaju. “
Njihovi grafikoni pokazuju da Huaweijevi najnoviji telefoni već dostižu 3,5-4,4 W u stvarnom stanju performansi, dok je 3,5 W TDP maksimalna količina koja se može održati. S druge strane, telefon pretjerano pokreće TDP kada izvodi javno dostupne referentne vrijednosti, pri čemu brojke snage prelaze 6W i dosežu vrhunac od 8,5W. Kao što je primijetio AnandTech, ove brojke brzo pokreću obavijest o pregrijavanju na uređaju, što znači neusklađenost toplinskih ograničenja sa očekivanjima softvera.
Iz ove se situacije može uzeti da stvarni podaci o performansama nisu stabilni jer ovise o temperaturi telefona. Huawei ne blokira GPU da dosegne svoje vršno stanje frekvencije GPU-a. Zadano ponašanje zapravo je 'oštar mehanizam za termičko prigušivanje [...] koji će pokušati održati znatno niže razine temperature SoC i ukupnu potrošnju energije.'
Uobičajeni način rada telefona može doseći iste vršne vrijednosti potrošnje energije tijekom GPU referentnih vrijednosti kao oni objavljeni u nepromijenjenim inačicama. Međutim, ove se brojke brzo značajno vraćaju, a AnandTech napominje da se telefon u nekim slučajevima smanjuje na 2,2 W, što ima za posljedicu značajno smanjenje performansi.
Publikacija navodi da je referentno ponašanje pri varanju naizgled uvedeno samo u ovogodišnje uređaje. To ne utječe na telefone poput Huawei Mate 9 i Huawei P10, a čini se da to utječe samo na EMUI 8.0 i novije uređaje. Iz Huawei-a su AnandTechu rekli i da je ovo 'čisto softverska implementacija', što potvrđuje nalaze publikacije.
AnandTech objavio je stvarne podatke o performansama GPU-a za pogođene telefone Kirin 970, a zaključak je da je Huawei značajno zaostaju za svojim konkurentima i u izvedbi i u učinkovitosti GPU-a .
Publikacija je također objavila grafikone usporedbe snage za uređaje Huawei Kirin 970 i Kirin 960. Grafikoni pokazuju da su Huaweijeve prilagodbe za smanjenje snage zapravo bolje za korisničko iskustvo jer ublažavaju problem veće potrošnje energije. AnandTech-ovo testiranje Kirina 960 pokazalo je da je imao 'grozne karakteristike snage GPU-a', dok uređaji na Kirin 970 pogon imaju novi strogi mehanizam za smanjenje kako bi se smanjila potrošnja energije i temperature.
AnandTech je također spomenuo da nova politika reguliranja ima smisla uzimajući u obzir činjenicu da i Kirin 960 i Kirin 970 pokazuju privlačenje snage koje je za njihove odgovarajuće čimbenike oblika znatno iznad njihovih održivih razina.
Iako Huawei nije nužno učinio nešto loše uvodeći novi mehanizam za smanjenje, oni su zasigurno prešli prag varanja izuzećem popularnih referentnih aplikacija putem bijele liste, što je ono što se u ovom slučaju naziva benchmark varanjem.
UL koja je kupila Futuremark, tvrtku koja stoji iza PCMarka i 3DMarka, uklonila je Huawei P20, Huawei P20 Pro, Huawei Nova 3 i Honor Play s 3DMarka.
Tvrtka je provjerila benchmark varanje na Huawei P20 Pro, Huawei Nova 3 i Honor Playu. Na temelju AnandTechovog testiranja i izvještavanja uklonio je i standardni Huawei P20. Korisnici više neće moći vidjeti referentne rezultate pogođenih telefona jer tvrtka ne želi ugostiti varane referentne rezultate.
Tvrtka je otkrila da su rezultati iz javne aplikacije 3DMark i do 47% viši od rezultata iz privatne aplikacije (koja nije dostupna javnosti), unatoč činjenici da su testovi identični.
U najavi je UL dodao da je sretan kad je vidio kako se Huawei obvezuje usvojiti transparentniji pristup u budućnosti. Stajalište UL-a je da su neobavezni načini izvedbe koje korisnik može postaviti prema njegovim trenutnim pravilima ako su prema zadanim postavkama onemogućeni. Tvrtka kaže: 'Uređaj mora pokretati mjerilo kao da je riječ o bilo kojoj drugoj aplikaciji.'
Zaključno, sva mjerila performansi Huawei GPU-a koja su poduzeta pomoću javno dostupnih mjerila ne bi se trebala uzimati kao prikaz stvarnih performansi.
Huawei je kontaktirao UL kako bi razgovarao o najboljim praksama za testiranje referentnih vrijednosti i izdao izjavu:
“Huawei i UL (kreatori 3DMarka) održali su ovog tjedna sveobuhvatne rasprave o praksama benčmarkinga i postigli pozitivan dogovor o sljedećim koracima u zajedničkom radu.
U raspravi je Huawei objasnio da se njegovi pametni telefoni koriste umjetnim inteligentnim mehanizmom raspoređivanja resursa. Budući da različiti scenariji imaju različite potrebe za resursima, najnoviji Huawei telefoni koriste inovativne tehnologije poput umjetne inteligencije kako bi optimizirali raspodjelu resursa na način da hardver može u potpunosti pokazati svoje mogućnosti, istovremeno ispunjavajući zahtjeve korisnika u svim scenarijima.
UL razumije namjeru Huaweijeva pristupa, ali se protivi prisilnom korištenju 'načina rada' prema zadanim postavkama kada uređaj otkrije aplikaciju za uspoređivanje. UL pravila zahtijevaju od uređaja da pokreće referentnu vrijednost kao da je riječ o bilo kojoj drugoj aplikaciji.
Huawei poštuje pravo potrošača da odaberu što će raditi sa svojim uređajima. Stoga će Huawei pružiti korisnicima otvoren pristup 'Performance Mode' u EMUI 9.0, tako da korisnik može odabrati kada će koristiti maksimalnu snagu svog uređaja.
Huawei i UL također su općenito razgovarali o trenutnim uobičajenim metodologijama testiranja referentnih vrijednosti. UL i Huawei željeli bi sudjelovati u industrijskom pokretu za razvijanje standarda usporedbe koji najbolje služe potrebama proizvođača, tiska i potrošača.
Kako bi se spriječila zabuna oko trenutnih rezultata usporedne analize, nakon rasprave UL i Huawei privremeno su uklonili rezultate s niza Huaweijevih uređaja i vratit će ih nakon što Huawei odobri svim korisnicima Huawei mobilnih telefona pristup izvedbi. '
Oznake Huawei
