Foto: Ball Siva Photo - shutterstock.com
Generative AI (GenAI) und die ihr zugrundeliegenden großen Sprachmodelle (Large Language Models; LLMs) stecken noch in den Kinderschuhen, krempeln aber bereits zahlreiche Karrierewege und komplette Branchen um. Chatbots und Text-zu-Bild-Tools finden dabei nicht nur großen Anklang im Mainstream. Auch die Technologiebranche selbst ist längst an allen Fronten fest im "GenAI-Griff".
Wenn Sie sich schon ein wenig mit den öffentlich verfügbaren Tools beschäftigt haben, sind Sie bereits damit vertraut, wie der Input aussehen muss, um in brauchbaren Ergebnissen zu resultieren. Das mag sich bei ersten Testläufen mit ChatGPT trivial anfühlen - entwickelt sich aber gerade zu einem sehr gefragten Job-Skill, bekannt als Prompt Engineering.
Wir haben uns mit einigen praxisbewährten Experten auf diesem noch jungen Gebiet ausgetauscht und sagen Ihnen, was Sie wissen müssen und können sollten um eine erfolgreiche Karriere als Prompt Engineer zu starten.
Was ist Prompt Engineering?
Mike King, CMO beim Prompt-Management-Spezialisten AIPRM, hat eine prägnante Definition des Begriffs auf Lager: "Prompt Engineering ist die Kunst respektive Wissenschaft, Ihre Anforderungen so präzise wie möglich an ein Generative-AI-Tool zu übermitteln. Letzteres fungiert als eine Art Übersetzer zwischen menschlicher Absicht und maschinellem Output. Dazu ist wie bei jedem Übersetzungs-Task ein tiefgreifendes Verständnis beider Konversationsseiten erforderlich."
Richard Batt ist selbständiger KI-Berater in Großbritannien. Zu seinem Serviceportfolio zählt dabei auch Prompt Engineering. Der Consultant weiß folglich, was angehende Prompt Engineers können sollten: "Prompt Engineering erfordert eine gute Sprachbeherrschung, die Fähigkeit lateral zu denken und ein Verständnis der zugrundeliegenden Technologie. Auf den ersten Blick kann das simpel erscheinen. Wenn es aber darum geht, Antworten in konsistenter Qualität für komplexe Anfragen zu generieren, sieht die Sache ganz anders aus."
Prompt Engineering lernen
Joseph Reeve ist Software Engineering Manager beim Analytics-Anbieter Amplitude und beschäftigt sich in seiner Funktion auch mit dem Thema Prompt Engineering. So hat er zum Beispiel bereits Tools zur internen Nutzung entwickelt, um die Arbeit mit LLMs zu erleichtern. "Das Tolle an Large Language Models ist, dass es im Grunde keine Einstiegshürde gibt. Man muss nur tippen können", schmunzelt der IT-Manager und fügt hinzu: "Allerdings können Sie die Qualität von Prompt-Engineering-Ratschlägen auch schnell überprüfen, indem Sie das Modell Ihrer Wahl damit füttern. Auf der anderen Seite können Sie als Anbieter von Dienstleistungen in diesem Bereich sicher sein, dass auch Ihre Ergebnisse überprüft werden."
Allerdings gibt es auf die Frage, wie Sie sich in Sachen Prompt Engineering am besten weiterbilden und Ihre Skills vermarkten können, keine einfache Antwort, wie AIPRM-CMO King unterstreicht: "Wir befinden uns definitiv in einer Wild-West-Phase. Das liegt auch an unterschiedlichen Erwartungen: Für die einen bedeutet Prompt Engineering ausschließlich, Prompts zu generieren. Für andere gehört dazu auch, LLMs zu konfigurieren und feinabzustimmen. Formale Regeln existieren in diesem Bereich tatsächlich nicht, aber es zeichnen sich Best Practices wie Mega-Prompts ab."
Inzwischen gibt es auch immer mehr (Online-)Kursangebote mit unterschiedlichen Anforderungen für Prompt Engineering, beispielsweise bei:
Dekra Akademie oder
DeepLearning.ai (für Developer).
Insbesondere viele Softwareentwickler dürften allerdings einen selbstgesteuerten Ansatz vorziehen, um ihre Prompt-Engineering-Skills gezielt auszubauen, beziehungsweise zu verbessern. Dieser Zielgruppe empfiehlt Richárd Hruby, CTO beim Generative-AI-Startup Cyqiq, eine dreistufige Lernstrategie:
Large Language Models durchdringen.
Experimentieren. Scheitern. Lernen und nochmal versuchen.
Zeit auf Twitter, Reddit und Discord verbringen.
Im Folgenden betrachten wir die einzelnen Punkte im Detail:
1. LLMs verstehen
Einige Aspekte bestimmter LLMs sind proprietär, der Großteil der Informationen bezüglich Theorie und Forschung ist jedoch öffentlich zugänglich. Sich damit zu befassen, was unter der Haube der großen Sprachmodelle passiert, kann Ihnen viel Frust ersparen.
Andrew Vasilyev, ein leitender Developer, der beim Softwareunternehmen JetBrains im Bereich KI-Prompts tätig ist, erklärt: "Auch wenn sich spezifische Implementierungen unterscheiden können, basieren alle LLMs auf denselben grundlegenden Konzepten und Schichten. Dazu gehören Tokenizer, Embedding- und Transformer Layer. Diese Konzepte zu verstehen, ist entscheidend, um erkennen zu können, welche Tasks große Sprachmodelle effizient bewältigen können und wo ihre Grenzen liegen. Wenn ein Large Language Model lediglich als Blackbox betrachtet wird, kann das dazu führen, das ihre Fähigkeiten überschätzt werden."
2. Iterieren
Einer der aufregendsten Aspekte bei der Arbeit mit Generative AI: Sie erhalten sofortiges Feedback. Es lohnt sich daher, sich die Zeit zu nehmen, um Prompts zu optimieren und mit ihnen zu experimentieren, wie auch Cyqiq-CTO Hruby empfiehlt: "Einen Prompt zu generieren, ist kein One-Shot-Prozess. Sie sollten Ihre Prompts stets mehrere Male testen und verfeinern. In einigen Fällen sind Sie unter Umständen der erste Mensch, der für Ihren speziellen Anwendungsfall einen Prompt schreiben möchte - der einzige Weg zur Optimierung führt also darüber, zu experimentieren."
3. Sozial aktiv werden
Unabhängig davon, zu welchem Zweck Sie sich in Sachen Prompt Engineering weiterbilden möchten: Dabei müssen Sie nicht als Alleinunterhalter agieren. Enthusiastische Communities zum Thema finden Sie zum Beispiel:
Discord-Kanälen und
auf X.
Prompt-Engineer-Gehälter
KI-Spezialisten sind nicht nur in der Tech-Industrie gefragt. Experten, die sich dabei auf Prompt Engineering konzentrieren, können - zumindest in den USA - richtig absahnen. Laut einem Bericht der Washington Post bezahlen manche Unternehmen dort Traum-Jahresgehälter für Prompt Engineers - etwas das KI-Startup Anthropic, das für eine entsprechende Stelle ein Jahresgehalt zwischen 250.000 und 375.000 Dollar in Aussicht stellt.
Informationen zu Durchschnittgehältern in Deutschland gibt es angesichts des noch jungen Prompt-Engineering-Jobmarktes noch nicht. Allerdings dürften sich Unternehmen, die nicht im Silicon Valley ansässig sind, auch gehaltstechnisch weit weniger verausgaben. Einen Anhaltspunkt auf zu erwartende Gehälter könnte der Blick auf einige vergleichbare/angrenzende Jobs und ihr Jahresdurchschnittsgehalt für Deutschland (laut Stepstone) geben:
Machine Learning Engineer (57.800 Euro)
KI-Entwickler (56.300 Euro)
Data Engineer (55.500 Euro)
Prompt-Engineering-Evolution
Bei allem Enthusiasmus sollten sich Prompt Engineers in spe darüber bewusst sein, dass die Disziplin noch in den Kinderschuhen steckt und sich rasant weiterentwickelt. Randall Hunt, VP of Cloud Strategy and Solutions beim Serviceanbieter Caylent, bringt das Problem auf den Punkt: "Ein Prompt-Engineering-Ratschlag, der heute Sinn ergibt, macht es in sechs Monaten möglicherweise nicht mehr. Ich würde sogar sagen, dass es noch keine echten Experten in diesem Bereich geben kann, weil die Modelle zunehmend an Kontext zulegen, die Kosten pro Token sinken und der Durchsatz steigt."
Um mit der Prompt-Engineering-Evolution Schritt zu halten, empfiehlt Technologieentscheider Hruby, sich eine Scheibe von OpenAI abzuschneiden: "So wie sich die KI-Modelle und ihre Architekturen weiterentwickeln - OpenAI veröffentlicht alle vier bis sechs Wochen eine neue Version von ChatGPT - sollten auch Prompt-Engineering-Techniken weiterentwickelt werden. Online-Communities bieten dabei einen guten Anlaufpunkt, um über die Veränderungen auf dem Laufenden zu bleiben."
AIPRM-Manager King ergänzt: "Jedes Mal, wenn generative KI-Tools aktualisiert werden - und das passiert häufig - kann sich die Art und Weise, wie sie Prompts interpretieren, verändern. Dieses Phänomen, das wir als 'Prompt Drift' bezeichnen, ist faszinierend und frustrierend gleichermaßen."
Das Feld des Prompt Engineering mag für Manchen von außen ein wenig wie das der Suchmaschinenoptimierung wirken: Ein Bereich, in dem sich Praktiker des Öfteren mit plötzlichen, unerwarteten Änderungen seitens des Erfinders der zugrundeliegenden Technologie auseinandersetzen müssen - wobei die Interessen nicht immer mit den eigenen übereinstimmen.
In den Augen von Cyqiq-Manager Hruby hinkt dieser Vergleich allerdings. Seiner Ansicht nach wird sich die Beziehung zwischen Prompt Engineers und KI-Unternehmen wesentlich kooperativer gestalten - nicht zuletzt, weil im LLM-Bereich kein Monopol bestehe - zumindest noch nicht: "Die Modellanbieter werden - unter Umständen auch auf Drängen ihrer Investoren - mehr und mehr Best Practices darüber austauschen, wie Entwickler das Optimum aus ihren Modellen herausholen können. Im Moment findet der Austausch darüber, wie optimale Prompts aussehen, hauptsächlich innerhalb der Communities ab. Ich erwarte diesbezüglich von den Anbietern in Zukunft mehr Transparenz."
KI-Prompts schreiben
Laut Softwareexperte Reeves ist Prompt Engineering ein Prozess. Diesen gliedert er in vier Phasen:
In der Prototyping-Phase geht es demnach vor allem darum, zu experimentieren und herauszufinden, mit welcher Art von Daten die Prompts angereichert werden sollen und was die verschiedenen LLMs in Bezug auf einen spezifischen Task leisten können. Das erfordere laut Reeves in erster Linie, sowohl das zu lösende Problem als auch die in den eigenen Systemen verfügbaren Daten genau zu kennen.
In der Productionizing-Phase wird die Aufgabe in die kleinstmögliche Anzahl von Prompts aufgeteilt, die zuverlässig ausgeführt werden können und diese mit echten Daten im Code der Anwendung verknüpft. Diese Phase erfordere laut Reeves Skills in den Bereichen (traditionelles) Engineering, Data Engineering sowie die Resultate der Prototyping-Phase.
Language Support ist für viele Generative-AI-Projekte essenziell. In der Internationalisierungs-Phase geht es darum, den Prompt so anzupassen, dass er Output in den jeweils erforderlichen Sprachen generieren kann. Das sei laut der Software-Führungskraft je nach Modell eine wahrscheinlich eher triviale Aufgabe - dennoch lohne es sich, die Outputs durch Muttersprachler überprüfen zu lassen.
In der Optimierungs-Phase beginnt laut Reeves dann der schwierige Teil. Der Prompt muss verfeinert werden, um das Optimum aus dem zugrundeliegenden Sprachmodell herauszuholen. Laut dem Experten quasi ein unendlicher Task, weil etwa die Modelle von OpenAI ständig verändert würden. Um sicherzustellen, dass Prompts kontinuierlich gut funktionieren, empfiehlt er, Unit-Tests zu erstellen. Diese Phase erfordert demnach bereichsspezifisches Wissen über den Problembereich und unter Umständen auch Skills im Bereich Softwareentwicklung. Sowohl Kosten als auch Geschwindigkeit stehen dabei in direktem Zusammenhang mit der Anzahl der Token, die in ein LLM einfließen und von ihm ausgegeben werden. Das hat zur Folge, dass sowohl Prompt (inklusive Daten) als auch Output-Format so knapp wie möglich gehalten werden sollten. Die Kosten differieren dabei je nach gewähltem Large Language Model.
Prompt-Engineering-Tutorial
Ein vollständiges, "echtes" Tutorial zum Thema Prompt Engineering würde den Rahmen dieses Artikels sprengen. Darum befassen wir uns in diesem Abschnitt mit einem Prompt-Engineering-Beispiel von Nagendra Kumar. Er ist Mitbegründer und CTO des GenAI-Startups Gleen und kann einschlägige Erfahrungen vorweisen, wenn es darum geht, generative Chatbots aus der Taufe zu haben.
Bevor es zur Code-Sache geht, vorab einige Prompt-Engineering-Tipps des GenAI-Experten im Kontext der Softwareentwicklung:
Stellen Sie eine konkrete Aufgabe nach der anderen und zerlegen Sie Ihren Prompt in einzelne Tasks.
Füllen Sie Details mit Kontext und spezifizieren Sie die Rolle, die die KI spielen soll, bevor Sie mit der eigentlichen Frage beginnen.
Stellen Sie den Inhalt mit einer klaren Trennlinie dar und formulieren Sie im Rahmen Ihres Prompts klar - etwa: "Meinen Code mit Anführungszeichen versehen".
Bleiben Sie bei dem Kontext Ihres Gesprächs. Wenn Sie die KI bitten, Front-End-Code zu debuggen, sprechen Sie über Front-End-Code.
Betrachten wir uns diese Tipps im Rahmen des angekündigten praktischen Beispiels. Hierbei geht es darum, mit der Hilfe von Entwickler-Prompts CSS-Änderungen im Frontend zu generieren (der Nachvollziehbarkeit wegen haben wir dieses Beispiel im englischen Original belassen).
Problem: Given a list of customer logos, rotate them in a circular way on the front end.
Prompt: You are an awesome front-end engineer. You are going to help me write some JavaScript and CSS code for my requirements following the guidelines mentioned.
Guidelines: My code is in React. So stick to the React coding standard. Create a separate section for CSS. Don't complicate the code. Make it easy to understand. Write React code that is responsive to the screen size of mobile and desktop devices. Don't assume anything-ask follow-up questions if needed.
Requirements: I have a React component that renders customer logos in the sheet. I want to change my React component such that the list starts rotating in a circular way. Take a look at my code written in the quote section and modify it to make it rotate in a circular way.
```
const HorizontalList = ({ items }) => {
const style = {
display: 'inline-block',
margin: '0 10px'
};
return (
<div>
{items.map((item, index) => (
<span key={index} style={style}>
{item}
</span>
))}
</div>
);
};
```
Geben Sie diesen Prompt in das LLM Ihrer Wahl ein, überprüfen Sie die Ergebnisse und versuchen Sie dann, diese zu verfeinern. Viel Erfolg!
Prompt-Engineering-Zukunft
Wohin sich der Bereich Prompt Engineering entwickelt, ist ungewiss. Manche sehen das gar nur als vorübergehendes Phänomen - und sehen am Horizont Generative-AI-Lösungen, für die man letztendlich keinerlei Prompt-Engineering-Skills mehr benötigt. "Es gibt Anzeichen, dass OpenAI versucht, die Technologie in eine Richtung voranzutreiben, in der Prompts weniger Engineering erfordern", konstatiert AIPRM-Entscheider King. Er fügt hinzu: "Ich denke, auf lange Sicht wird es wesentlich einfacher werden, mit generativen KI-Tools die gewollten Ergebnisse zu erzielen. Es ist auch davon auszugehen, dass in Zukunft viele Tools die Funktionalität integrieren und abstrahieren werden."
Davon sollten sich angehende Prompt Engineers jedoch nicht unbedingt abbringen lassen: Schließlich träumt die Menschheit schon lange von der simplen, reibungslosen Interaktion mit Computern - bislang hat es allerdings noch nicht geklappt. Zu lernen, wie man mit Generative-AI-Systemen "spricht", wird (nicht nur) Softwareentwicklern in den kommenden Jahren zugutekommen.
Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation Infoworld.