Vi forklarer: Historien om mobilens kamera

”Forskellen på mobilkameraer og små kompaktkameraer er næsten udraderet”, mener Fredrik Kahl, professor og leder af forskergruppen Bildanalys och datorseende på Chalmers Tekniska Högskola i Sverige.

For 10 år siden var både kameraopløsningen og hastigheden – antallet af billeder per sekund fra kameraet – en hindring i udviklingen af interessante apps, men i dag er det udviklernes fantasi og evner, der sætter grænserne.

Sådan har det ikke altid været. De første kameramobiler, der rigtig satte spor i salgstallene kom omkring 2002-2003. Modeller som Nokia 7650 og Sony Ericsson T610 leverede billeder på mellem 0,1 og 0,3 megapixel. Billederne så godt ud på datidens mobilskærm med opløsninger som 128 x 128 eller 176 x 208 pixel, men for dem, der fik tanket billederne over til computeren, leverede den første generation af kameramobiler sjældent filer, der burde være andre steder end i papirkurven.

Sensoren – digitalkameraets filmrulle
De første kameramobiler – præcis som andre typer digitalkameraer i begyndelsen af årtusindet – benyttede enten CCD- (charges couple device) eller CMOS-teknik (complementary metal-oxide-semtconductor). CCD-sensorerne fandtes i de fleste kompakte digitalkameraer og blev også brugt i kameramobiler som Sony Eicssons S700 og LG KG920.

CMOS-teknikken har altid været den mest almindelige teknik i mobilen og dominerer helt i dag, men i mobilkameraernes barndom var der ophedede diskussioner mellem CCD- og CMOS-tilhængere. Næsten som mellem Android- og iOS-lejrene i dag. Så hvad er forskellen på teknikkerne så?

CCD-teknikken har sin oprindelse i et eksperiment i slutningen af 1960erne, hvor forskerne Willard Boyle og George E. Smith opdagede, at den chip, de arbejdede med – en type af såkaldt shiftregister – blev påvirket af lys.

Shiftregister er en slags hukommelseschip, hvor man gemmer eller læser en bit ad gangen, men Boyle og Smith opdagede, at hukommelsen indsamlede information helt på egen hånd, afhængigt af belysningen.

Overfladen på CCD-chippen består af små kondensatorer, der hver og en kan indeholde en vis ladning. Ladningen påvirkes af den fotoelektriske effekt – lysets fotoner kan altså ændre energien hos elektronerne i materialet, så der opstår en elektrisk strøm. Det unikke ved CCD-chippen var, at hvert lysfølsomt punkt ikke behøvede at have egne elektriske tilslutninger, men at ladningen hopper fra kondensator til kondensator og gør det muligt at ”tanke” informationen fra et hjørne på sensoren.

For at aflæse billedet hentes ladningen i hvert punkt fra sensoren til en analog-digital-forvandler, der forvandler ladningens størrelse – altså styrken på lyset, der er nået netop det punkt – til en digital værdi. Når en række er læst af, tømmes kondensatorerne, hvilket får resten af ladningen på sensoren til at hoppe et skridt tættere på kanten, og digitaliseringen kan fortsætte.

CCD-sensorer produceres i en speciel proces for at skabe overfladen, der gør det muligt for ladningen i hver pixel at flytte sig ved aflæsningen. Chippene, der forstærker og digitaliserer signalet må produceres i en anden proces og bygges sammen med sensoren senere i produktionen.

Det er en afgørende forskel i forhold ti CMOS-sensorerne, der i stedet produceres på præcis samme måde, som for eksempel processorer, hukommelser og mange andre typer integrerede kredse. Det gør, at hele CMOS-sensoren – inklusiv forstærkere, AD-convertere og andre chip – kan laves af et enkelt stykke kisel.

Produktionen af CMOS-sensorerne bliver dermed meget enklere og billigere end CCD. CMOS-teknikken giver hurtigere overførsel af billedinformationen – et must for højt opløst video – og er desuden meget energibesparende. En CCD-sensor kan behøve op til 100 gange mere energi for at levere et billede med samme antal pixel.

Den faktor, der har gjort, at mange mobilproducenter alligevel har brugt CCD-sensorer i deres telefoner, og som har gjort det muligt for teknikken fortsat at leve videre betydeligt længere i almindelige digitalkameraer, er ydeevnen. På en CCD-sensor består næsten hele overfladen af det aktive komponent, der forvandler lys til elektricitet. Alle andre dele sidder uden for selve sensorfladen.

På de fleste CMOS-sensorer er der andre funktioner lagt ind i overfladen – forstærkere, AD-convertere og de elektriske ledninger, der opbygger sensorens linjer og kolonner af pixel. Forholdet mellem den lysfølsomme overflade og andre komponenter kaldes ”fill factor”, og CCD-sensorer har altså generelt betydeligt højere fill factor end CMOS-sensorer, hvilket indebærer, at en større del af lyset opfanges og bruges til at skabe billedet.

For at kompensere for lyset, der havner uden for de følsomme flader på CMPS-sensoren, må man skrue op for forstærkningen – hvilket fører til mere støj. Det er det, der har givet CCD-sensorerne et historisk overtag, når det gælder ydeevnen.

Produktionsprocesserne ved CMOS-chip går hurtigt fremad, og en funktion, der for 15 år siden skulle bruge 250 nanometer på sensorens overflade, har i dag brug for knap en tiendedel af den plads. Det gør, at CMOS-sensorernes fill factor er blevet forbedret, samtidig med at andre teknikker til at reducere støjen er blevet mere effektive. Nu kan man vælge en CMOS-sensor uden at skulle gå på kompromis med billedkvaliteten.

I senere generationer af CMOS-sensorerne er det lykkedes producenterne næsten at ordne problemerne med fill factor. Et første skridt var BSI-sensorer (backside illumination). Det kan lyde underligt, at sensoren vender bagsiden mod lyset, men løsningen går ud på, at man under produktionen lægger alle elektriske tilslutninger lige oven på sensorens lysfølsomme dele og derefter udtynder undersiden, så den bliver næsten helt gennemsigtig.

Sensorens bagside bliver altså ved produktionen den side, der vendes mod linsen i det færdige kamera. iPhone 4 og Sony Ericsson Xperia Arc – begge med Sony Exmor R-sensorer – var tidligt ude med BSI-teknikken.

Næste skridt er helt at fjerne hjælpekredse fra sensorfladen. Løsningen er at producere sensoren i flere lag – en såkaldt stacked CMOS. Sensoren får meget høj fill factor takket være, at forstærkere, AD-convertere og tilslutninger flyttes fra lysets vej.

Hele kameradelen får desuden mindre ydre mål takket være, at man kan lægge eventuel processor til billedbehandling under i stedet for ved siden af sensorfladen. Sonys Exmor RS-sensor, der er i blandt andet Xperia Z og Xperia SP, er bygget med stacked CMOS.

Optik indfanger lyset
Billedkvaliteten er ikke kun afhængig af sensoren – mobilen skal også bruge et objektiv. Objektivets opgave er at fokusere lyset fra motivet på sensorens flade.

Hvis objektivets optik sidder helt fast i forhold til sensoren, har kameraet såkaldt fixfokus. Et fixfokuskamera skal bruge meget lys og giver de bedste billeder på lidt længere afstand. For at give skarphed på både nærbilleder og landskab eller gruppefotos, skal der et objektiv til med optikker, der kan justeres.

Nogle mobiler har haft manuelt fokus – for eksempel Nokia N80, hvor man kunne vælge mellem nærbillede- og afstandsindstillinger. I dag er det mest almindeligt med autofokus – små motorer, der justerer linsen, indtil billedet er skarpt. Det svære ved autofokus er, at mobilen først skal forstå, hvor du vil have skarpheden i billedet, og derefter indstille sig hurtigt nok – inden øjeblikket er passeret. De fleste mobiler leder efter kontraster i billedet for at indstille skarpheden.

Kameraet prøver sig vej gennem optikkens forskellige indstillinger og vælger den, der giver de hårdeste kontraster i billedet. Takket være hurtig mekanik og kraftfulde processorer kan de fleste mobiler fokusere på et par tiendedele sekunder. En metode til at gøre autofokussen endnu hurtigere og mere præcis er at tilføje en separat afstandssensor. Det kaldes fasedetekterende autofokus og findes i de fleste systemkameraer – og i Samsung Galaxy S5. Afstandsmålingen gør, at mobilen slipper for at teste alle de forskellige indstillinger. Sensoren fortæller både i hvilken retning og hvor meget optikken skal justeres for at give et skarpt billede.

Når skarpheden er på plads, skal mobilen vælge den rette eksponering – en opsætning af indstillinger, der giver et tilpas lyst billede. Der er flere faktorer, der påvirker, hvor lyst billedet bliver – og alt efter hvilket mix af disse, man vælger, får resultatet forskellig karakter. Først og fremmest gælder det om at slippe tilpas meget lys ind til billedsensoren.

To forskellige parametre kan regnes ind – lukkertid og blænde. Digitalkameraer – uanset om det drejer sig om avancerede systemkameraer eller kompaktkameraer for en tusindkroneseddel – har næsten alle mekaniske løsninger på både lukkere og blænde. Ved hjælp af små motorer og elektromagneter kan kameraet styre størrelsen på lysindslippet gennem objektivet og bestemme, hvor længe billedsensoren skal modtage lys – ofte ned til 1/4000 sekund.

I mobilkameraet vil man minimere antallet af bevægelige dele, og derfor er både blænde- og lukkermekanik usædvanlige finesser. Undtagelsen er mobiler med Xenon-blitz – de har mekanisk lukker – og rigtig avancerede kameramobiler, der desuden har variabel blænde. Lille blændeåbning og kort lukkertid mindsker lyset, der når sensoren – længere tider og større åbning øger lysmængden.

Ofte opstår den situation, at lyset er for svagt, og lukkertiden bliver så lang, at billedet bliver sløret, fordi enten hånden, der holder mobilen – eller motivet – når at bevæge sig. Så er der den mulighed at øge forstærkningen i billedsensoren – at øge ISO-tallet. Højere ISO-tal giver et lysere billede, men giver samtidig mere støj.

Grunden til, at vi finder mekaniske lukkere på mobiler med Xenon-blitz, er, at lyspulsen fra en sådan blitz varer så kort tid, at sensoren skal aflæses på en speciel måde. En CMOS-sensorer leverer data fra en pixel ad gangen, og der går nogle tusindedele af et sekund fra første til sidste hjørne af sensoren.

Lyset fra en Xenon-blitz varer kun omkring 1/100 sekund, så resultatet kan let blive et billede, hvor blitzlyset kun kan ses på en del af billedet. Den mekaniske lukker gør det muligt at ”fryse” sensoren, så alle pixel læses på præcis samme tidspunkt. Det sker ved, at lukkeren åbnes, blitzen fyres af og lukkeren lukkes igen, inden noget data forlader sensoren.

Eftersom lukkeren er lukket, og der ikke kommer mere lys ind, kan ladningen fra blitzbelysningen blive liggende i sensoren, indtil mobilen har nået at hente al billedinformation.

Krisitna Björknäs, Senioe Experience Marketing Manager hos Microsoft, tidligere Nokia, fortæller, at softwaren bliver en stadig vigtigere del af mobilkameraet.
”Nokia har traditionelt set ligget langt fremme, når det gælder hardwaren, for eksempel vores 41-megapixelsensor, optisk billedstabilisering og de største sensorer. Vi kommer til at beholde den høje billedkvalitet, men vil også fokusere på softwaren”.

Firmaet Scalado i Lund blev opkøbt af Nokia i 2012, og der foregår en stor del af udviklingen af kamerabrugerflade og effekter til foto og video i Nokias Pureview-mobiler.

”Vi har en vision, at folk skal kunne tage billeder, der fanger øjeblikket. Et eksempel er ”Living Images”, der fanger det øjeblik, der fører op til hvert billede i form af en kort animation”, siger hun.

Kristina Björknäs har været involveret i store dele af mobilkameraets udvikling og kan se både tilbage og fremad. Hun mener, at billedkvaliteten fra et mobilkamera i dag kan være bedre end i et almindeligt kompaktkamera, og at mobilen samtidig gør det lettere for fotografen at tage gode billeder.

”Mobilens skærm er større og højere opløst og fungerer bedre i direkte sollys sammenlignet med både kompaktkameraer og systemkameraer. Du kan se, om billedet bliver godt og kan foretage justeringer og tilføje effekter takket være softwarens funktioner”, påpeger hun.

Når det gælder hardware, kan mobilen selv og dens komponenter altså bidrage til at presse flere funktioner og højere kvalitet ud af kameraet – fra at skabe 3D-billeder fra kameraer med kun en optik til at opbygge sømløse panoramabilleder. Forskningen inden for billedtolkning kan hurtigt omsættes til nye funktioner i mobilkameraet, eftersom kvaliteten af kamerahardwaren er blevet udviklet rigtig langt, samtidig med at mobilerne har hurtige processorer, der kan køre avancerede programmer.

”Lykkes man med at lave noget på en standard-PC, er det ret let at overføre til mobilen” siger Fredrik Kahl på Chalmers. Udfordringen er at få det til at fungere i som mange miljøer som muligt – for eksempel på farten, hvor folk bevæger sig, og blinkende materialer og spejle og den slags saboterer det. Det slipper man ikke udenom, selvom man har et avanceret kamera.

En udvikling, vi allerede kan se, er, at fremtidens mobilkameraer ikke kun registrerer styrken og farven på lyset i hver pixel – men også retningen. HTC One M8 med dobbelte optikker giver et fingerpeg om mulighederne, men firmaer som Lytro og Pelican Imaging står på spring med mere avanceret teknik og såkaldte plenoptiske kameraer.

Pelican Imagings kameramodul til mobiler består af 16 individuelle objektiver og kan give et rigtigt 3D-billede af omgivelserne. 3D gør det betydeligt enklere for appene at afgøre, hvad kameraet egentlig ser – brugbart i funktioner fra ansigtsgenkendelse og positionering til foto og spil.

Sådan fanger billedsensoren farve
Uanset om en billedsensor benytter CCD- eller CMOS-teknik, kan hvert punkt på sensoren kun registrere lysets styrke – ikke farven. For at gemme et digitalt farvebillede, skal lyset deles op i sine røde, grønne og blå komponenter.

I mobilen foregår dette ved, at billedsensoren dækkes med et Bayerfilter – et net af farvefiltre, der kun slipper blåt, rødt eller grønt lys igennem.

Hver anden linje har skiftevis grønne og røde ruder, hver anden har blå og grønne. Der er dobbelt så mange grønne ruder, fordi øjet er mere følsomt overfor grønne nuancer. Hver pixel indeholder kun en tredjedel af farveinformationen, så for at levere et komplet billede, skal mobilen regne farven ud ved at se på værdierne for de tilstødende pixel.

Udregningen kaldes interpolation og har stor betydning for både skarpheden og farvegengivelsen i det endelige billede.