Gaat je accu bij Android L 36 procent langer mee?

Door WoutF op vrijdag 4 juli 2014 11:56 - Reacties (17)
Categorie: -, Views: 7.497

Enkele dagen terug plaatste ArsTechnica een verhaal met de volgende titel: Examining Project Volta: We put Android L through our battery test. Daarin beschrijven zij hoe de Developer Preview van Android L in hun tests bijna eenderde langer meegaat op de accu dan de huidige versie, Android 4.4. Dit bericht is de afgelopen dagen door een heleboel media klakkeloos overgenomen:, waarbij de resultaten van deze ene test nu bijna gepresenteerd worden als feit.

Toen ik die resultaten las besloot ik meteen om de Nexus 5 en Nexus 7 die we op de Tweakers-redactie hebben liggen aan een vergelijkbare test te onderwerpen en te kijken of ik de resultaten kon reproduceren.

ArsTechnica beschrijft hun testmethodiek met een Nexus 5 als volgt:
That all sounds great, but does Project Volta actually work? We decided to find out by running our review battery test. Just like in our reviews, we were as scientific as possible. We did the test on a single device to remove variances in battery, which meant flashing to 4.4.4, signing in, updating apps, charging up, running the test, and then flashing the same device to the L preview. Our battery test keeps the screen on and automatically loads webpages over Wi-Fi every 15 seconds until the battery dies. For each run, the screen brightness was set to 200 cd/m2, as verified by a colorimeter, and for consistency, we averaged two runs each. The results?
Gelukkig komt ťťn van de accutests die wij gebruiken voor tablets en smartphones grotendeels overeen met die van ArsTechnica. In onze browsingtest moet een tablet of smartphone langs een vooraf ingestelde set lokaal gehoste webpagina's browsen. De intervallen tussen de pagina's is variabel, om zo enigszins normaal browsegedrag te simuleren. Op sommige pagina's blijft de browser een halve minuut hangen, terwijl andere pagina's na vijftien seconden al ververst worden. Op de pagina's wordt via Javascript scrollgedrag gesimuleerd, wederom in een poging om gebruiksersgedrag na te bootsen. De apparaten zijn altijd verbonden met hetzelfde wifi-netwerk, zijn geconfigureerd met hetzelfde Android-account, hebben geen andere apps geÔnstalleerd, zijn afgesteld op een helderheid van 250 cd/m2 en alle voorgeÔnstalleerde apps zijn voorzien van de laatste updates.

Volta

In de grafiek is goed te zien dat wij de grote verschillen die ArsTechnica constateert niet kunnen produceren. Bij ons scoort de Nexus 7 onder Android L een stukje minder goed, en de verschillen bij de Nexus 5 zijn zo klein dat we ze niet significant zouden durven noemen. We hebben de test op zowel de Nexus 5 als Nexus 7 twee keer gedraaid en de resultaten gemiddeld.

Wat betekent dit nu? Wie heeft er gelijk? Dat is onmogelijk te zeggen, want ik heb geen inzicht in hoe zij hun test precies hebben uitgevoerd. Ik durf wel te zeggen dat ik bij hen onderbouwing mis, en het niet eens ben met een correlatie die zij suggereren.

In het artikel verbinden zij hun resultaten namelijk aan Project Volta, een set verbeteringen onder de motorkap die de accuduur van Android L moet verlengen. Volta is echter primair bedoeld om het accugebruik terug te dringen als een apparaat idle is. Android-applicaties kunnen bij huidige versies van Android het systeem wakker maken, om bijvoorbeeld notificaties op te halen of de locatie van het apparaat te bepalen. Zo'n wake-up kost stroom. Als onderdeel van Project Volta introduceert Google een Job Scheduler. Die verzamelt dit soort wake-ups van meerdere applicaties en bundelt deze, zodat het apparaat minder vaak wakker hoeft te worden voor een individuele app en daardoor hopelijk minder snel leeg zal lopen. Omdat het apparaat in een webbrowsingtest constant actief is, en de processor een groot deel van de tijd belast wordt, is het effect van zo'n Job Scheduler minimaal, helemaal omdat applicaties aangepast moeten worden om er goed gebruik van te maken.

Een andere aanpassingen die in verband wordt gebracht met de verbeterde accuprestaties is de overstap van de Dalvik Virtuele Machine naar de nieuwe Android Runtime, of ART. Het gros van de Android-applicaties worden in Java geschreven en worden via zo'n runtime uitgevoerd. ART is een moderne runtime, die efficienter werkt en beter gebruikmaakt van moderne hardware. Android-apps zouden daardoor minder stroom gebruiken. Dat zou heel goed zo kunnen zijn, maar Chrome, de standaardwebbrowser op Nexus-apparaten, is niet in Java geschreven, maar in C++. Ook de overstap naar ART lijkt in deze test dus niet van invloed te zijn.

Dat wetende, is het moeilijk voor te stellen hoe een apparaat in een dergelijke test opeens veel langer mee kan gaan. De grootste stroomverbruikers zijn in een situatie als deze namelijk het scherm en de system on a chip, en een simpele softwareupdate kan in het stroomgebruik van die onderdelen geen groot verschil te maken zonder 1) de helderheid van het scherm sterk te begrenzen of 2) de kloksnelheid van de processor sterk te beperken. Van beide is geen sprake in de preview van Android L.

Wat wil ik zeggen met deze blogpost?
Deze blogpost is bedoeld om aan te geven dat de resultaten die ArsTechnica behaalt, door ons niet te reproduceren zijn en daarnaast hoop ik uitgelegd te hebben dat de claims van ArsTechnica niet logisch zijn. Als je snapt hoe Android in elkaar zit, welke vernieuwingen in Android L zitten en hoe een telefoon op hardwareniveau werkt, is er geen enkele reden om aan te nemen dat een Nexus-apparaat met Android L in een webbrowsingtest opeens 36 procent langer mee zou gaan.

Dat wil niet zeggen dat telefoons in dagelijks gebruik niet langer mee zullen gaan met Android L. In dat soort situaties kunnen Project Volta en ART zeker helpen. Maar dit soort headlines, van sites die allemaal zonder nadenken ArsTechnica overtikken, zijn in mijn ogen extreem prematuur en bovendien sterk te betwijfelen.

Google’s killer Android L feature: Up to 36% more battery life thanks to Project Volta
Android L Developer Preview Brings 'Project Volta' with 36% Longer Battery Life on Nexus 5
Android L, with Project Volta, should add at least 36 per cent more battery to your device
‘Project Volta verlengt levensduur batterijen met 36 procent’

Reacties


Door Tweakers user TIGER79, vrijdag 4 juli 2014 13:46

Fijn dat een uitkomst weerlegd wordt door andere partijen, en niet alleenmaar klakkeloos overgenomen wordt zoals je zelf aangeeft !
Maar zou het grote verschil helderheid (250 vs 200 cd/m2, is natuurlijk 25% meer!!!) geen invloed kunnen hebben in hoe de accu-reserves aangesproken worden ? Is dit uberhaupt lineair ?
En wat me ook opvalt is een dergelijke test :
Op de pagina's wordt via Javascript scrollgedrag gesimuleerd, wederom in een poging om gebruiksersgedrag na te bootsen
lijkt mij op zijn best een halve oplossing ? Ja het verversen van het scherm wordt hiermee geactiveerd maar bijv. de digitizer (en bijbehorende stroomgebruik) wordt hiermee helemaal niet geactiveerd ?!

Door Tweakers user Inspector, vrijdag 4 juli 2014 13:51

lijkt mij op zijn best een halve oplossing ? Ja het verversen van het scherm wordt hiermee geactiveerd maar bijv. de digitizer (en bijbehorende stroomgebruik) wordt hiermee helemaal niet geactiveerd
Dat klopt. Het doel is hier echt niet een real life situatie 100% na te bootsen maar een testprocess opzetten dat zich altijd identiek gedraagd. De digitiser wordt dus niet aangesproken maar dat geld voor zowel Android 4.4 als Android L. Het is niet duidelijk hoe ArsTechnica dit getest heeft maar ook daar is het onmogelijk en irrelevant om alle factoren van een real life scenario na te bootsen. Belangrijk is dat testen identiek uitgevoerd kunnen worden op verschillende OS'n en devices.

[Reactie gewijzigd op vrijdag 4 juli 2014 13:52]


Door Tweakers user i-chat, vrijdag 4 juli 2014 14:53

waarom heb je dit in een blog gedaan en niet in een niews bericht of review of? ....

ergens snap ik dat niet elk 'persoonlijk' projectje op de frontpage zou moeten maar dit is toch wel zo'n groot verschil, en van AT zo'n gewaagde claim dat er meer ruchtbaarheid aan gegeven zou kunnen worden...

als het dan 'maar' in een blog verschijnt ga je een hoop mensen / lezers missen en dat lijkt me in dit geval best jammer..

Door Tweakers user Vettigen_Dr33, vrijdag 4 juli 2014 15:16

i-chat schreef op vrijdag 04 juli 2014 @ 14:53:
waarom heb je dit in een blog gedaan en niet in een niews bericht of review of? ....
Het is op de frontpage verschenen, al zij het in een iets ander format.
Als dit op de frontpage zou geplaatst worden lijkt mij dat een mogelijke flame-war tussen beide sites kan ontstaan...

Nexus-apparaten scoren niet beter op accutest onder Android L

Door Tweakers user WoutF, vrijdag 4 juli 2014 15:22

i-chat schreef op vrijdag 04 juli 2014 @ 14:53:
waarom heb je dit in een blog gedaan en niet in een niews bericht of review of? ....

ergens snap ik dat niet elk 'persoonlijk' projectje op de frontpage zou moeten maar dit is toch wel zo'n groot verschil, en van AT zo'n gewaagde claim dat er meer ruchtbaarheid aan gegeven zou kunnen worden...

als het dan 'maar' in een blog verschijnt ga je een hoop mensen / lezers missen en dat lijkt me in dit geval best jammer..
We hebben er een nieuwsbericht aan gewijd op de frontpage, want bloggen op de frontpage is niet onze stijl. In een nieuwsbericht kan je echter niet dezelfde verdieping en inhoud kwijt, en ik zag in de reacties nogal wat verwarring, daarom heb ik dit stukje nog geschreven ter verduidelijking.

Door Tweakers user Frozen, vrijdag 4 juli 2014 16:45

Mooi stukje! Toch goed dat tweakers even de proef op de som neemt. Meer van dit soort stukjes zeg ik! :)

Door Tweakers user i-chat, vrijdag 4 juli 2014 18:19

yup dit soort 'blogs' zijn de reden waarom ik op tweakers.net hang...
Frozen schreef op vrijdag 04 juli 2014 @ 16:45:
Mooi stukje! Toch goed dat tweakers even de proef op de som neemt. Meer van dit soort stukjes zeg ik! :)

[Reactie gewijzigd op vrijdag 4 juli 2014 18:20]


Door Tweakers user WoutervOorschot, vrijdag 4 juli 2014 21:10

Arstechnica is dan ook vaak zeer pro-android, ik heb het vermoeden dat ze misschien de top hebben genomen ipv gemiddeldes oid.
De bench is dan trouwens wel fenomenaal van hun.

Door Tweakers user TweakingRens, zaterdag 5 juli 2014 10:05

"We did the test on a single device to remove variances in battery"
Je zou toch zeggen dat je, als het zo variabel is, je juist meerdere apparaten moet nemen om te testen om de variabelen zo veel mogelijk weg te werken...?

Door Tweakers user Pindasmeer, zaterdag 5 juli 2014 11:18

Tweakingklaas schreef op zaterdag 05 juli 2014 @ 10:05:
"We did the test on a single device to remove variances in battery"
Je zou toch zeggen dat je, als het zo variabel is, je juist meerdere apparaten moet nemen om te testen om de variabelen zo veel mogelijk weg te werken...?
Ze bedoelen waarschijnlijk dat ze Android L en KitKat na elkaar op hetzelfde apparaat hebben geÔnstalleerd. Juist als je met meerdere apparaten gaat werken heb je kans dat er ruis optreedt door verschillen in productieproces en gebruik(-sverleden).

Door Tweakers user THWIT, zaterdag 5 juli 2014 12:39

Maar heeft AT wel chrome gebruikt? Ik kan dat nergens terugvinden. Wellicht gebruiken zij eenandere browser die wel in java is geschreven?

Door Tweakers user WoutF, zaterdag 5 juli 2014 21:23

THWIT schreef op zaterdag 05 juli 2014 @ 12:39:
Maar heeft AT wel chrome gebruikt? Ik kan dat nergens terugvinden. Wellicht gebruiken zij eenandere browser die wel in java is geschreven?
Ze hebben een stock Nexus 5 gebruikt. Ze maken nergens melding van een thirdparty browser, dus dan kunnen we denk ik veilig aannemen dat ze Chrome gebruikt hebben. Voor zover ik weet zijn er trouwens geen browsers voor Android die in Java geschreven zijn.

Door Tweakers user B_FORCE, zondag 6 juli 2014 03:01

Van mij even een reactie meer op de vorm, dan direct op discussie.
(omdat ik het vaker tegenkom)

Je zegt dat de test twee keer is gedaan, waarna de resultaten zijn gemiddeld.
Zou het mogelijk zijn (ook met reviews op tweakers) om voortaan die originele metingen ook weer te kunnen geven?
Dat geeft namelijk veel meer inzicht hoeveel zoiets af kan wijken namelijk tov het gemiddelde.
Als deze resultaten namelijk echt heen en weer zwabberen, zegt dat namelijk heel erg veel over het eindresultaat en/of de testmethode.
Nu hebben wij daar geen idee van.

Om het overigens echt goed te doen (lees: wetenschappelijk) moet je eigenlijk minimaal vijf metingen doen en daar de standaardafwijking(deviatie) en evt standaardfout van berekening (in dit geval zou ik 2 sigma nemen).
Dat lijkt heel wat, maar is in bv Excel een fluitje van een cent om te doen.

De reden dat ik hier over val, is omdat de conclusie toch (enigszins) een sterk objectief en wetenschappelijk karakter heeft (waar ik erg blij om ben), maar de resultaten dat niet zo sterk zijn.

Door Tweakers user lasharor, zondag 6 juli 2014 11:09

"We did the test on a single device to remove variances in battery, which meant flashing to 4.4.4, signing in, updating apps, charging up, running the test, and then flashing the same device to the L preview."

Ik blijf dit belangrijk vinden. Waarom heb je voor die test niet eenzelfde traject gebruikt als wat ze bij die andere website doen? Het lijkt redelijk duidelijk wat ze doen en ook makkelijk reproduceerbaar.

Door Tweakers user WoutF, zondag 6 juli 2014 11:26

B_FORCE schreef op zondag 06 juli 2014 @ 03:01:
Van mij even een reactie meer op de vorm, dan direct op discussie.
(omdat ik het vaker tegenkom)

Je zegt dat de test twee keer is gedaan, waarna de resultaten zijn gemiddeld.
Zou het mogelijk zijn (ook met reviews op tweakers) om voortaan die originele metingen ook weer te kunnen geven?
Dat geeft namelijk veel meer inzicht hoeveel zoiets af kan wijken namelijk tov het gemiddelde.
Als deze resultaten namelijk echt heen en weer zwabberen, zegt dat namelijk heel erg veel over het eindresultaat en/of de testmethode.
Nu hebben wij daar geen idee van.

Om het overigens echt goed te doen (lees: wetenschappelijk) moet je eigenlijk minimaal vijf metingen doen en daar de standaardafwijking(deviatie) en evt standaardfout van berekening (in dit geval zou ik 2 sigma nemen).
Dat lijkt heel wat, maar is in bv Excel een fluitje van een cent om te doen.

De reden dat ik hier over val, is omdat de conclusie toch (enigszins) een sterk objectief en wetenschappelijk karakter heeft (waar ik erg blij om ben), maar de resultaten dat niet zo sterk zijn.
Ik ben het helemaal met je eens dat dit soort tests nog wetenschappelijker kunnen. We zouden inderdaad vijf runs kunnen doen en de standaarddeviatie kunnen publiceren. Dat doen we echter niet, om twee redenen.

1) We hebben er simpelweg de tijd niet voor. Inclusief opladen duurt zo'n accutest ongeveer een dag. We zouden dus al vijf dagen kwijt zijn aan de accutests, voor maar een klein beetje extra precisie. Gezien het feit dat we vaak maar om en nabij een week hebben voor het testen van een sample, is dat een luxe die we ons niet kunnen veroorloven.

2) Ik denk dat het uiteindelijk niet heel relevant is. We publiceren deze accutestresultaten omdat we enigszins een vergelijking willen kunnen maken met apparaten onderling. Het is echter altijd ondersteunend aan onze ervaringen in de praktijk. Of een telefoon/tablet 6 uur en 30 minuten, of 6 uur en 15 minuten meegaat, maakt voor ons oordeel niet uit. De verschillen zijn nooit enorm groot.

Ter illustratie: bij de runs van de Nexus 5 was er 6 minuten verschil en bij de runs van de Nexus 7 13 minuten; respectievelijk 1 en 3 %,

Door Tweakers user Scalibq, zondag 6 juli 2014 12:13

Goed artikel, netjes onderbouwd, Wout!
Ik wil er aan toevoegen: wat jij stelt, klopt, *als* we ervanuitgaan dat de software inderdaad bugvrij functioneert.
Een nieuwe scheduler of andere runtime zal normaal gesproken niet zoveel effect hebben op het energieverbruik, ervanuitgaande dat de oude z'n werk ook al naar behoren deed.

Ik heb zelf wel gemerkt dat dit bij Android niet altijd opgaat. Ik heb gemerkt dat er soms bugs in bv een wifi-driver zitten, of in de Google Play Services oid, waardoor de telefoon vaak lange tijd niet idle is (wake-lock).
Dus het kan op zich wel dat een software-update ineens 36% meer accuduur levert.
Maar er moet dan inderdaad goed gespecificeerd worden wat er getest is, en hoe, en ook onderzoek gedaan worden naar waar het stroomverbruik nu door is veroorzaakt.

Door Tweakers user B_FORCE, zondag 6 juli 2014 12:38

WoutF schreef op zondag 06 juli 2014 @ 11:26:
[...]

Ik ben het helemaal met je eens dat dit soort tests nog wetenschappelijker kunnen. We zouden inderdaad vijf runs kunnen doen en de standaarddeviatie kunnen publiceren. Dat doen we echter niet, om twee redenen.

1) We hebben er simpelweg de tijd niet voor. Inclusief opladen duurt zo'n accutest ongeveer een dag. We zouden dus al vijf dagen kwijt zijn aan de accutests, voor maar een klein beetje extra precisie. Gezien het feit dat we vaak maar om en nabij een week hebben voor het testen van een sample, is dat een luxe die we ons niet kunnen veroorloven.

2) Ik denk dat het uiteindelijk niet heel relevant is. We publiceren deze accutestresultaten omdat we enigszins een vergelijking willen kunnen maken met apparaten onderling. Het is echter altijd ondersteunend aan onze ervaringen in de praktijk. Of een telefoon/tablet 6 uur en 30 minuten, of 6 uur en 15 minuten meegaat, maakt voor ons oordeel niet uit. De verschillen zijn nooit enorm groot.

Ter illustratie: bij de runs van de Nexus 5 was er 6 minuten verschil en bij de runs van de Nexus 7 13 minuten; respectievelijk 1 en 3 %,
Duidelijk :)
Eigenlijk had ik punt 1 al verwacht (buiten het feit dat het lang duurt, zijn jullie inmiddels ook gewoon een bedrijf,waar mensen niet gratis werken ;) )
In z'n algemeen genomen, zijn er misschien testen waarbij dat minder een rol speelt.

Punt twee begrijp ik, maar vanuit de lezer gezien, sla je een stap over.
In dit geval, is het niet veel werk om de twee metingen te laten zien/in de tekst te verwerken.
De lezer kan dan zien dat het inderdaad niet veel uitmaakt. :)
Nu moet ik dat maar geloven op jullie eerlijkheid.

In elk geval mijn complimenten voor de gedachte die er bij Tweakers heerst _/-\o_
Er zouden meer nieuws/review websites moeten zijn die nadenken bij wat ze doen en niet vies zijn van (opbouwende) kritiek!


Overigens heb ik nog wel kritiek op jullie review van de koptelefoons.
De testmethode en uiteindelijke weergave van resultaten is namelijk dubieus/niet goed.
Wanneer ik tijd heb, kom ik daar nog eens op terug.
Dat overigens volledig offtopic :P :+


Om nog iets inhoudelijks te zeggen.
Optimalisaties om via software de accuduur te verbeteren, is vaak een beetje lood om oud ijzer.
Het merendeel van de energie wordt toch opgeslurpt door bv het scherm en de overige elektronica.
Uiteraard valt er wat te doen aan apps/programma's die, door slecht programmeer werk, continu resources vragen, maar ik denk dat je het dan wel ongeveer gehad hebt.
De rest begeeft zich toch echt wel op de marges, dus hooguit 10-15% winst (wat neerkomt op 30-40min in de praktijk)
Praktisch gezien betekent dat ik dan nog steeds 's nachts mijn telefoon aan de lader moet hangen. ;) (je schiet er dus niks mee op)

Wanneer je dus significante verbeteringen wilt zien, zul je of de capaciteit van je accu moeten vergroten, of elektronica moeten nemen die zuiniger/efficiŽnter is.
Om die reden kiezen fabrikanten bv heel bewust voor een lagere schermresolutie

[Reactie gewijzigd op zondag 6 juli 2014 12:44]


Reageren is niet meer mogelijk