Algoritmen, der udvider videnskaben om farve

Farvepaletterne udvundet fra kunstmalerier.

Studiet af farve gennemgår en revolution. Indtil nu har farveteori været lidt mere end en samling ideer, der er løst baseret på videnskab.

Men evnen til at analysere enorme datasæt af billeder ved hjælp af machine-vision-algoritmer ændrer det. Pludselig er det blevet muligt at studere farver og måden den bruges på på helt andre måder. For eksempel er det nu nemt at udtrække kombinationer af farver fra et billede og indsætte dem på et andet.



Men denne proces med farveindsættelse er et stumpt værktøj. Det kan erstatte et sæt farver med et andet, men det kan ikke sammenligne disse farvepaletter, bestemme, hvordan specifikke farver skal matches, eller opdage, om en palet mangler en farve og erstatte den.

Problemet er, at der ikke er nogen måde at placere farverne i rækkefølge. Og det gør det svært at sammenligne paletter. Så billedspecialister ville elske at have en naturlig måde at bestille farver udvundet fra billeder på og således være i stand til at sammenligne dem.

Indtast Huy Phan på Danmarks Tekniske Universitet i København og et par venner, som har fundet en måde at gøre netop det på. Deres teknik er ligetil at implementere og fører straks til en ny generation af berigede billedfiltre, der er langt mere fleksible end dem, der er tilgængelige i øjeblikket.

Det grundlæggende problem er enkelt at angive: givet farvepaletten fra to billeder, hvilken rækkefølge skal farverne vises i for at give en meningsfuld sammenligning? Med meningsfuldt mener teamet, at farver, der beskriver de samme objekter, skal være sammenlignelige.

Phan og co tackler dette som en slags sorteringsproblem. De vurderer først et billede ved at plotte placeringen af ​​de farver, det indeholder - dets palet - i et tredimensionelt farverum (hver farve kan opfattes som en tre-vektor, der beskriver, hvordan den er sammensat af en blanding af rød, grøn, og blå, for eksempel).

De måler derefter afstanden mellem hvert par farver i paletten. Til sidst bruger de en algoritme til at finde ud af, hvordan man kortlægger en palette på en anden med minimal forvrængning. Denne algoritme finder effektivt klynger inden for hver palets farverum.

Det datasæt, de bruger, er vigtigt. Vi betragter farvepaletter udvundet fra kunstsamlinger, som vi mener er en rig kilde til stilistiske og unikke farvetemaer, siger Phan og co.

Det begrænser også emnet, hvilket er afgørende. Henri Matisse brugte for eksempel ofte dybe røde og grønne farver i sine malerier, mens Maximilien Luce brugte stærke blå og gule nuancer til at skygge for objekter. Men fordi disse kunstnere bruger stort set ens scener (for eksempel opdelt i himmel og land), er farverne sammenlignelige.

Det betyder, at holdet kan antage, at lignende klynger af farver beskriver lignende objekter. Algoritmen kortlægger derefter disse klynger på hinanden. På den måde kan den tage farven af ​​himlen i et billede og anvende det samme sæt farver til himlen i et andet billede.

Og fordi transformationen anvendes på hele rummet, bliver det ligetil at kortlægge enhver farve fra paletten til en tilsvarende farve i den anden palet.

Det fører til en naturlig måde at bestille farver på. Phan og co gør det ved først at angive antallet af farver, der vises i hver klynge. Phan og co bruger fem som deres standardeksempel (højere tal kræver betydeligt flere beregningsressourcer).

Algoritmen finder derefter de fem farver i den første klynge, derefter i den anden, tredje og så videre. Ved at bestille disse klynger kan paletterne i hvert billede nemt sammenlignes.

Metoden fører umiddelbart til nogle interessante anvendelser. For eksempel opretter de en applikation kaldet Photo-style Explorer, der fungerer som et Instagram-filter, men i et kontinuerligt farverum. I stedet for at vælge mellem et par foruddefinerede temaer, kan man frit surfe på et kontinuerligt rum af mulige fotofarvninger for at vælge et foretrukket tema, siger de.

En anden mulighed er at omfarve billeder med forskellige paletter i forskellige dele af billedet. Så det er muligt at bruge en palette til at farve himlen om og en anden til at farve træer.

Det giver også mulighed for en bedre analyse af kunstneres farvesignaturer, og disse signaturer kan overføres til andre billeder. Så det bliver muligt hurtigt at omfarve et fotografi ved hjælp af Renoirs farvepalet eller Vincent van Goghs.

Det er interessant arbejde, som udvider måden, farve kan bruges i moderne billeder.

Ref: http://arxiv.org/abs/1703.06003 : Farveorkester: Bestilling af farvepaletter til interpolation og forudsigelse

skjule