Machine Learning-Driven Design: Zu den Wirkungen von lernfähigen Algorithmen auf Gestaltungsprozesse

Dr. Sebastian Loewe
12 min readOct 12, 2017

Intro

Mitte September dieses Jahres hält die WirtschaftsWoche enttäuscht fest: IBMs Supercomputer stellt sich dumm an. Gemeint ist das Machine-Learning-Projekt mit dem klingenden Namen Watson, das auf einen ehemaligen IBM-Vorstandsvorsitzenden zurückgeht. Bei der Vermarktung der Möglichkeiten des intelligenten Supercomputers sei „übertrieben“ worden, so das Fazit des Wirtschaftsmagazins. Etliche IBM-Stammkunden seien enttäuscht von der Erfolglosigkeit ihrer Kooperationen mit Watson. Man muss nicht Microsofts gescheitertes Chat-Bot-Experiment Tay zitieren oder das Artifical-Intelligence-Design-Projekt The Grid, um festzuhalten, dass Machine Learning hinter den Erwartungen zurückbleibt. Muss die sogenannte zweite Desktop-Revolution also warten?

Wieso warten, könnte man einwenden, denn immerhin umgibt uns bereits eine überwältigende Vielzahl von intelligenten Anwendungen. Angefangen bei Apples Siri und virtuellen persönlichen Assistenten wie Amazons Echo über Spam-Filter und Auto-Complete-Funktionen in Suchmaschinen bis hin zu Bild- und Gesichtserkennung, Shazam oder Werbe-Feeds in Sozialen Netzwerken. Unternehmen wie Microsoft, Google, IBM, Apple, Facebook, Amazon oder Adobe beforschen, entwickeln und implementieren seit langem lernfähige Algorithmen, die im Alltag oft unerkannt bleiben. Diese Unternehmen kämpfen damit um einen Milliardenmarkt, der dem gehört, der ihn erobert und besetzt. Zudem ist der Bedarf auf Seiten der professionellen Nutzer*innen dieser heutigen und zukünftigen Anwendung enorm. Ein steigender unternehmerischer Innovations- und Kostendruck in Zeiten der Krise, sowie riesige Datenmengen, die mit herkömmlichen Computing-Verfahren nicht mehr sinnvoll auswertbar sind, stellen alle Unternehmen vor große Herausforderungen.

Dem nur scheinbar erfolglosen Treiben der Entwickler*innen maschineller Intelligenz steht drittens eine öffentliche Debatte gegenüber, die gleichermaßen überzogene Erwartungen und Befürchtungen stiftet. Machine-Learning bekommt in der medialen Auseinandersetzung eine eigenartig widersprüchliche Signatur: Beides, Utopie wie Dystopie soll von der künstlichen Intelligenz ausgehen. In hellen genauso wie in dunklen Bildern malen Kritiker*innen und Verteidiger*innen der Technologie aus, wie befreiend bzw. vernichtend künstliche Intelligenz letztlich wirkt. Dabei ist es bemerkenswerterweise immer die Technologie selbst, die diese Szenarien heraufbeschwört und nicht die Gesellschaft in der sie aufgrund ganz spezifischer Interessen zum Einsatz kommt. Elon Musk, Gründer und CEO von Tesla und SpaceX, co-gründete beispielsweise die Open-AI-Initiative mit der Vorstellung, einer Terminator-gleichen „existentielle[n] Bedrohung“ durch Machine Learning entgegentreten zu müssen, um die Menschheit vor dem Schlimmsten zu bewahren — und zwar mit haargenau derselben Technologie.

Man sieht also: Je verzerrter das Bild von den Machine-Learning-Technologien, umso mehr drängt sich also die Frage auf: Womit haben wir es bei Machine Learning eigentlich zu tun? Und daran anschließend: Welche Wirkungen hat Machine Learning auf Design- und Design-Management-Prozesse? Diese Fragen möchte ich in drei Schritten beantworten. Zunächst ist zu klären, was Machine Learning ist, um dann anhand von sieben Praxisbeispielen zu schauen, welche Wechselwirkung von Human-Centered-Design und Machine Learning bereits heute bestehen und dann abschließend neue Aufgaben für Designer*innen und Design Manager*innen abzuleiten.

Was Machine Learning ist

Machine Learning, oder auch Cognitive Computing, Artifical Intelligence bzw. Augmented Intelligence beschreibt die Fähigkeit von Software, unstrukturierte Daten, also nicht für die Maschine aufbereitete Daten zu erkennen, indem die Software ‚lernt‘, um welche Art von Daten es sich dabei handelt. Unstrukturierte Daten sind solche, die Menschen in der Regel ohne viel Nachdenken verarbeiten, wie etwa den Straßenverkehr oder die Mimik und Gestik des Gesprächspartners. Für die Maschine sind das eigentlich keine Daten, die sie verstehen kann, da sie keiner strengen mathematischen Logik folgen, sondern das sind, was Wissenschaftler „messy“ oder „fuzzy“ nennen – unscharf und chaotisch. Um diese Daten trotzdem für einen Computer verarbeitbar zu machen, haben Data Scientists verschiedene Ansätze des Machine Learning entwickelt: Supervised und Unsupervised Learning, Statistical Interference, Pattern Recognition, Clustering oder Deep Learning – um nur einige zu nennen.

Bei der Bilderkennung beispielsweise mit dem Deep-Learning-Verfahren untergliedert ein Algorithmus das Bild in zu untersuchende Bestandteile und hierarchisiert diese. Auf der ersten Ebene des sogenannten neuralen Netzwerks erkennt die Software einfache geometrische Muster wie etwa Linien. Diese Informationen werden an die zweite Ebene des Netzwerks weitergegeben und auf ihrer Grundlage beispielsweise Oberflächen auf Regelmäßigkeiten untersucht. Auf der dritten Ebene sind dann Farbkontraste Untersuchungsgegenstand des Algorithmus’, usw. Auf diese Weise arbeitet sich das Programm schrittweise durch ein Bild, bis es mit hoher Wahrscheinlichkeit sagen kann, welcher Gegenstand abgebildet ist. In dem Beispielbild unten erkennt die Software ein Piratenschiff, einen Schaukelstuhl, einen Teddybär, usw.

Hierachieebenen zur Bilderkennung durch ein sogenanntes Convolutional Neural Network.

Um sehr hohe Trefferquoten zu gewährleisten, muss das neuronale Netz trainiert werden. Je mehr Durchgänge eine solche Software macht, umso genauer kann sie bestimmen, um welche Daten es sich handelt. Deep Learning ist also eine Art statistisches Lernen, das automatisch Muster in den aufgezeichneten Daten erkennen, auswerten und dann mit sehr hoher Wahrscheinlichkeit richtig bestimmen kann. Statt also ein festes Set an Regeln zu nutzen, das mögliche Verhaltensweisen des Programms vorschreibt, schaut das Maschine-Learning-System nach Mustern in einem Set von beispielhaften Verhaltensweisen (oder Bildern), um daraus durch Annäherung deren Regelhaftigkeit zu erkunden und zu lernen.

Die Forscher- und Entwickler-Community weiß derzeit allerdings noch nicht, welche Machine-Learning-Ansätze eine hohe Erfolgsquote, also kurze Trainingszeit und hohe Einsetzbarkeit, versprechen. Wahrscheinlich ist, dass es keinen plötzlichen Durchbruch der Technologie gibt, sondern subtile Verbesserungen und einen sukzessiven Fortschritt. Klar ist allerdings schon jetzt, dass damit erstens immer mehr Datenquellen für den Computer zugänglich werden, die ihm bislang verborgen blieben und dass zweitens den Designer*innen in der Erkundung, Aufbereitung und Gestaltung dieser neuen Daten für nutzerzentrierte Produkte ganz neue Aufgabengebiete zufallen.

Human-Centered-Design und Machine Learning: 7 Praxisbeispiele

Um zu klären, was diese Aufgabengebiete umfassen, bedarf es noch nicht des Blicks in die Zukunft. Der Blick in die Gegenwart verdeutlicht bereits, wie Mensch und Maschine im Design-Prozess interagieren:

Etwa für den Trailer des Filmes „Das Morgan-Projekt“. Etwas reisserisch erklären die Verantwortlichen von IBM, dass Machine-Learning-Algorithmen diesen Trailer produziert haben, um dann im Making-Of zu relativieren und zuzugeben, dass so eine künstliche Intelligenz „natürlich“ keine Editing-Software sei. Das Programm hat –ganz in der Rolle des Assistenten– viele Stunden Filmmaterial ausgewertet und solche Szenen herausgefiltert, die eine besondere emotionale Prägnanz haben. Daraufhin hat ein Video Editor die Szenen zu einem Trailer zusammengeschnitten und mit Musik und Credits versehen. Obwohl der kreative Part ganz auf der Seite des Designers bleibt, betont IBM, dass ihr Algorithmus dem Team bis zu 30 Tagen Arbeit erspart habe.

Für die Fashion Week Sydney hat IBM mit dem Modedesigner Jason Grech kooperiert. Der Supercomputer Watson gestaltete jedoch nicht die Mode selbst, sondern lieferte zum einen sogenannte Customer Insights, also Daten über Kundenwünsche, wie etwa Trendfarben. Damit sei das unternehmerische Risiko für den Designer drastisch gesunken, betont IBM. Zweitens hat Watson Bilder von Architektur, die dem Designer als Inspiration dienen, verarbeitet und Textilmuster vorgeschlagen, die Grech dann erneut als Inspirationsquelle nutze.

Werbeanzeige für IBMs Kooperation mit Jason Grech.

Bilderkennung spielt auch beim Projekt Quickdraw eine Rolle. Google hat ein Machine-Learning-Model entwickelt, das kleine Handzeichnungen erkennen soll und Nutzer auf der ganzen Welt gebeten, Dinge in 20 Sekunden zu zeichnen und so das Modell zu trainieren. 50 Millionen Zeichnungen sind zusammengekommen und erlauben es dem Rechner nun, Zeichnungen live in weniger als 20 Sekunden zu erkennen. Google hat gleichzeitig mit Autodraw eine Anwendung entwickelt, die diese Daten verwertet. User zeichnen Dinge, der Rechner erkennt die Zeichnung und schlägt dann Icons vor, die von professionellen Designer*innen gestaltet wurden. So könne jeder seine eigene schicke Einladungskarte gestalten.

Wie Bilderkennung und Geschmack zusammenfinden, zeigt das Berliner Foto-Community Start-up EyeEm. Es hat mit Vision einen Algorithmus entwickelt, der nicht nur Bilder erkennt, verschlagwortet und einen passenden Bildtitel vorschlägt, sondern den ästhetischen Wert der Bilder in prozentgenaue Angaben berechnet. Max Bense wäre begeistert. Er ist noch in den 1960er Jahren mit seiner Informationsästhetik, also dem Versuch einer exakten mathematischen Berechnung des Kunstwerts eines Kunstwerks, gescheitert.

EyeEms App “The Roll” rechnet einen ästethischen ‚Score‘ für Bilder aus.

Den Übergang von der intelligenten Bilderkennung zum intelligenten Layout zeigt Netflix. Man hatte bei Netflix festgestellt, dass die DVD-Box-Cover für Serien und Filme zu wenige Nutzer ansprechen. Das Unternehmen setzt daraufhin Bilderkennung ein, um effektivere Cover-Bilder automatisch zu generieren, indem ein Algorithmus die interessantesten Bereiche eines Serien-Screenshots erkennt, nachbearbeitet und zuschneidet, um es dann Plattform-abhängig auszuspielen und automatisiert mit einem ansprechenden Text zu kombinieren. Dabei werden bis zu zwölf unterschiedliche Layouts in A/B-Testings kleinen Testgruppen ausgespielt. Welche Serien-Cover für welche Nutzer*innen am effektivsten sind, lernt so der Algorithmus.

Das vorletzte Beispiel kombiniert Bild und Text zu einem automatischen Layout. Die US-Firma Flipboard, die aus Webseiten automatisiert Magazinformate für Tablets generiert, hat mit Duplo ein lernfähiges Programm entwickelt, das aus Fotos und Text tausende Layouts generiert. Dafür hat man eine Spaltenstruktur definiert, durch die das Programm mögliche Layoutkombinationen berechnet und je nach Bildschirmformat und Plattform Fotos zuschneidet und dynamisch Schriftgrößen anpasst, wie man hier sehen kann:

Schematische Darstellung der generierten Layout-Kombinationen von Duplo.
Auf spezifische Plattformen und Formate bezogene Layouts von Duplo.

Letztlich findet Machine Learning auch im Marketing seinen Einsatz. Die Firma iTrend beispielsweise nutzt lernfähige Algorithmen, um ihre Kunden in Echtzeit darüber zu informieren, wie diese in den Sozialen Netzwerken, auf Blogs und Video-Plattformen kommentiert und besprochen werden. Das Unternehmen verspricht mittels Algorithmen, zwischen der Kakophonie des Netzes und den wichtigen Kundenfeedbacks unterschieden zu können. Bevor sich also der nächste Shitstorm zusammenbraut, könne das betreffende Unternehmen rechtzeitig intervenieren.

Die (neuen) Aufgaben der Designer*innen

Aus den Praxisbeispielen lässt sich schließen: Designer*innen übernehmen weiterhin einen kreativen Part innerhalb der Zusammenarbeit mit lernfähigen Algorithmen. Aber designen sie noch im herkömmlichen Sinne? In den Augen von Wired-Autor Jason Tselentis überlassen die Designer*innen der Maschine die Kreation von Ideen und Plänen und werden damit zu Kurator*innen eines maschinellen Design-Prozesses, den sie höchstens noch verfeinern. Designer*innen definieren in Zukunft nur Ziele, Parameter und Leitplanken für den Algorithmus und verfeinern dann dessen Resultate, meint auch Tech-Berater Rob Girling. Das sei nicht sonderlich beklagenswert, ergänzt er, immerhin habe auch die Desktop-Publishing-Software in den 1990er Jahren das Design grundlegend verändert und die großen Spezialisten der Branche zu Fall gebracht.

Aber ganz so einfach ist die Situation dann doch nicht. Denn spätestens bei Fragen nach dem Entwurfsprozess der Anwendungen für selbstlernende Maschinen, sowie nach dem Gewinn für die Nutzer wird die Sache mehrdimensional. Selbst ein Designer wie Charles Ying von Flipboard, der Firma, die bereits elaborierte maschinell erstellte Layouts einsetzt, gibt zu, dass eine optimale Design-Strategie menschliche und maschinelle Komponenten besitzt. Mag man Rob High, Chief Technology Officer bei IBM Watson glauben, dann gehe es letztlich nicht darum, den menschlichen Verstand zu rekonstruieren, sondern darum, Techniken der Interaktion von Mensch und Maschine zu entwickeln.

Die wichtigsten Fragen, die aus dieser Mehrdimensionalität folgen sind deshalb: Wer gestaltet (jetzt und in Zukunft) die selbstlernende Gestaltung? Für wen und nach welchen Regeln werden sie designt? Welche fachlichen Fähigkeiten müssen Designer*innen haben, wenn sie zu Spezialist*innen des intelligenten Designs werden?

Deutlich wird bereits an der derzeitigen Design-Praxis, dass Designer*innen nicht mehr autark arbeiten, sondern in spezialisierten Prozessen und Teams. Designer*innen arbeiten interdisziplinär und gleichberechtigt zusammen mit Frontend-Entwicklern, Data Scientists und Usern. Diese Teams werden weiterhin Anwendungen und Produkte entwickeln, die durch einfache Bedienung und hilfreiche Features Nutzern zugute kommen. Den größtmöglichen Nutzerertrag zu gestalten, wird in Zukunft darüber entscheiden, welche Machine-Learning-Lösungen tatsächlich angenommen werden. Darin ist sich die Branche einig.

Entsprechend definieren sich die Aufgabenbereiche der Designer*innen. Die Co-Design-Prozesse, die sie bestreiten, müssen in gleicher Weise die User*innen, die Team-Kolleg*innen, wie die Daten einbinden. So werden Fähigkeit immer wichtiger, die wir bereits aus solchen Gestaltungsprozessen kennen, die unter Design Thinking oder Design Sprint firmieren. Dass Nutzer*innen im Mittelpunkt aller Machine-Learning-Bemühungen stehen, heißt zuallererst, dass die Nutzerwelt erkundet, dokumentiert und ausgewertet, mit anderen Worten mit den Mitteln des Design Research beforscht werden muss. Diese Fähigkeiten fallen auch in einem Machine-Learning-Design-Prozess nicht einfach weg. Genauso wenig entfallen die Fähigkeiten der Designer*innen, aus den vielen gewonnen Einsichten über die Nutzer*innen ein Designproblem zu deduzieren. Ist ein solches erst einmal formuliert, ist Machine Learning ein hochentwickeltes Tool, das zu dessen Lösung eingesetzt werden kann, unterstreicht Jess Holbrook von Google PAIR, der People + AI Research Initiative. Gerade deswegen bleiben Empathie, Kreativität, soziale Intelligenz, Neugier, die Fähigkeit Probleme zu definieren, sowie letztlich auch Verhandlungsgeschick die Kernkompetenzen von Designer*innen, die lernfähige Algorithmen in Gestaltungsprozesse einbinden. Dieses holistische Verständnis eines Human-Centered-Design wird durch Machine Learning bestärkt und nicht unterminiert.

Die komplementäre Seite eines solchen ganzheitlichen Design-Verständnisses betrifft die Gestaltung der Schnittstellen zu den User*innen. Es ist die Aufgabe der Designer*innen, Interfaces und Produkte so zu gestalten, dass Nutzererwartungen in Machine Learning realistisch sind. Designer*innen sind also herausgefordert, eine Etikette für lernfähige Algorithmen zu entwickeln, die Nutzer*innen keine falschen Versprechungen macht oder Unpassendes äußert, beispielsweise bei der Vorhersage von Verspätungen im öffentlichen Nah- und Fernverkehr.

Bei der Entwicklung dieser Interfaces und Produkte sehen Experten vor allem im Prototyping-Prozess in Bezug auf die Trainingsdaten und die Visualisierung von Machine-Learning-Daten großen Nachholbedarf, da Muster echten Nutzerverhaltens in der Produktentwicklungsphase noch nicht vorliegen. Hier könnte Machine Learning eingesetzt werden, um Nutzer künstlich zu erschaffen. Vor allem eins werden Designer*innen in Zukunft verstärkt entwerfen müssen: Meta-Design-Sprachen oder Meta-Design-Prinzipien mit der dazugehörigen Informationsarchitektur und den passenden Design Patterns, mit anderen Worten, die abstrakten Design-Regeln nach denen intelligente Algorithmen für Nutzerbedürfnisse konkrete Design-Lösungen entstehen lassen.

In Bezug auf die interdisziplinären Teams, spielen Designer*innen zukünftig immer stärker die Rolle von professionellen Vermittler*innen. Mit ihren Fähigkeiten, Komplexes verständlich aufzubereiten und zu visualisieren, sind sie Dreh- und Angelpunkt des Teams. Um auf diese neuen Aufgaben vorbereitet zu sein, haben beispielsweise die Design Managerin Amber Cartwright und ihr Team bei Airbnb das Konzept des Invisible Design entwickelt. Ziel ist es, die Rolle, die Machine-Learning-Daten im Ideenfindungsprozess spielen, zu visualisieren und damit das ganze Team erst einmal auf einen gemeinsamen Wissenstand zu bringen. Das motiviere, inspiriere und bilde das gesamte Team, das daraufhin in der Lage sei, Produktstrategien so zu verändern, dass Nutzer- und Datenerfordernisse in Einklang kommen und zu einem erfolgreichen Produkt führen. Zudem helfen Designer*innen den Software-Ingenieur*innen auch, informierte Entscheidungen zugunsten der Nutzer*innen zu treffen. Umgekehrt profitierten Designer*innen von der Expertise der Machine-Learning-Expert*innen, die in festen kollaborativen Strukturen erprobt und ausgebaut werden sollten.

Konsequenzen

Machine Learning ist und bleibt ein Tool für Designer*innen und wird nicht zur Designer*in selbst. Aber es ist ein besonderes Werkzeug. Für leicht lösbare Designprobleme reduziert es drastisch die Leistung, die nötig ist, um zu guten Designlösungen zu gelangen. Zudem ist der Design-Prozess mit Machine Learning kein abgeschlossener mehr, sondern schreibt sich analog zu den gelernten Datenmengen fort. Designer*innen werden mit Machine Learning zu Entwickler*innen einer universalen Design-Sprache und zu Kurator*innen der Ergebnisse, die diese Algorithmen kreieren. Sie werden zu Team-Playern, die den Entwicklungsprozess von Human-Centered-Design genauso entscheidend gestalten, wie die Schnittstelle zur Nutzer*in. Designer*innen werden also zu dem, was Matías Duarte, VP, Material Design bei Google den Cybernetic Director genannt hat:

Cybernetic directors will be responsible for the creative vision and autonomous execution of highly personalized media services. They will train cybernetic art directors and visual-design bots in the distinct visual language of a brand. They will provide conceptual leadership on creative projects from starting point through execution, and will actively participate in the growth and development of machine-learning infrastructure to keep current with innovations. … Training and directing creative machines will be one of the most exciting and important creative jobs of the future. It’s starting today.

Das alles hat Auswirkungen auf die Planung, Durchführung und strategische Leistung von Design und damit Konsequenzen für die Arbeit von Design Manager*innen. Sie werden stärker als bisher ein genaues Verständnis von den hoch spezialisierten Bereichen im Design-Prozess haben und zwischen diesen Bereichen vermitteln müssen, um kreative Prozesse erfolgreich einzusetzen. Sie müssen verstehen, was Machine Learning zur Innovation, Unternehmensstrategie und Wertschöpfung beitragen kann, um wirklich kundenzentrierte und erfolgreiche Konzepte zu entwickeln. Zum anderen brauchen auch sie immer mehr das, was man Kreativität nennt, denn auch vor den administrativen Prozessen macht Machine Learning nicht Halt. Sie werden sich auf Augenhöhe mit den Designer*innen über Fragen der Machine-Learning-Ethik auseinandersetzen müssen. Fragen, die etwa am zukünftigen Carnegie Mellon K&L Gates Center diskutiert werden.

Letztlich müssen auch sie, wie die Designer*innen, eine Denkungsart entwickeln in Bezug auf ganz neue Ziele und Möglichkeiten von Machine Learning, eine Mentalität, die ein ganzes Stück weit außerhalb existierender Paradigmen denkt. Design Manager*innen sind also aufgerufen, Machine-Learning-Vordenker*innen zu werden, die kommende Innovationswellen antizipieren. Und sie werden Gegenbewegungen sehr genau im Blick haben müssen, die auf diese Entwicklungen reagieren, wie etwa die Neo-Brutalist-Design-Bewegung, die sich gegen das immer gleiche Template-basiertes Web-Design auflehnt und damit eine valide Kritik formuliert.

Der Machine-Learning-Horizont ist also weit, der Innovationsdruck hoch und trotzdem ist das Feld voll von Möglichkeiten für Designer*innen und Design-Manager*innen. Nur auf den Humor von Maschinen müssen Gestalter*innen wohl auch in Zukunft noch verzichten, wie die Entwicklung von Machine-Learning-Memes belegt.

--

--

Dr. Sebastian Loewe

Professor for design & management at Mediadesign University Of Applied Sciences, Berlin, Germany.