Da hab ich auch schnell Angst, dass da irgendwie Leute vor der
Tür. Stehen, sagen Hallo sind die
Fari ja ihr letzter prompt Song Coding Buddies Dein Podcast rund
um Softwareentwicklung und aktueller Tech News.
Herzlich Willkommen. Moin Moin und herzlich
Willkommen zur neuen Folge des Coding Buddies Podcast.
Schön, dass du wieder eingeschaltet hast und.
Auch wieder dabei, wie soll es anders sein, deine Gastgeber,
meine Wenigkeit, der Tino und mir gegenüber.
Durch Monitor seh ich ihn, der fantastische Fabi, den ich
begrüßen mag, fabi, was geht ab? Was geht ab, Tino?
Ich hab zuerst gefragt, was geht ab.
Ja, ich hab mir irgendwie gerade ein bisschen wehgetan hier.
Ich hab mich irgendwie so Quatsch mit so einer Zange
eingeklemmt und jetzt hab ich, so kennst du das so, so am
Finger so ne Blutblase die aber okay die ist.
Krass, weil das denk dran du bist Softwareentwickler, ne,
also so Werkzeug weißt du, es hat ja immer so.
Es gibt Gründe warum du sonst mit Maus und Tastatur arbeitest.
Ja, das sind einfach nicht die Hände dafür, die zarten
Entwickler in die. Die zarten Entwickler in Ah nee,
keine Vorurteile hier, es hat nur gerade so gut gepasst.
Ja, Fabi, wir haben n ganz cooles Thema heute, aber ich
möchte dich doch noch um eine Sache vorweg bitten.
Wir machen ja nicht so viel Werbung, aber so n ganz bisschen
machen wir es jetzt deswegen kurze Werbung fabi, Hau doch mal
raus. Ja, Tino, ganz genau.
Und zwar hatten wir bei unserem Flappy bei, die
Programmierwettbewerb hatten wir 2 Tickets verlost für den
Gewinner beziehungsweise die Gewinnerin.
Und. Herzlichen Glückwunsch noch mal
Herzlichen Glückwunsch. Aber damit ihr liebe Türen,
liebe Türer, alle da draußen nicht leer ausgeht und sagt EY,
wenn ihr sagt, Ich möchte gerne, aber auf die Rea Developer
gehen, die ist ja vom 9. Juli bis zum 11.
Juli und und zwar in Berlin, wenn ihr da hingehen wollt und.
Noch ein Ticket braucht und vielleicht ein bisschen Rabatt
wollt, dann könnt ihr mit Coding Buddies 10 einfach ganz
entspannt durch ein Ticket kaufen und kriegt 10% Rabatt
dafür. Also so viel können wir auf
jeden Fall können wir euch unterstützen und helfen und
genau damit würde ich sagen, Werbung endet Tino und lass doch
mal rein Werbung ändern. Was machen wir denn genau?
Du hattest mir nen Artikel geschickt, den ich ziemlich
interessant fand und ich geh jetzt auch mal davon aus, dass
du ihn auch gelesen hast und nicht den du mir einfach nur
geschickt hast. Und da ging es ja im Prinzip
wieder einmal um KI und Large Language Models.
Es ist ja allgegenwärtig und wir haben ja auch schon mit n Paar
aus der Community gesprochen, die meinten so ah dieses ganze
KI Thema, es wird langsam echt nervig und es geht nur noch um
KI. Und wir sind da ja so n bisschen
ähnlich unterwegs, sag ich mal, dass wir denken, ey man kann
nicht nur noch über KI erzählen, aber den Artikel fand ich
wirklich spannend. Deswegen haben wir auch schon
mal vielen Dank für Abi, fürs Weiterleiten und mit dem möchte
ich heute mal über den möchte ich mit dir heute sprechen und
deswegen würde ich dich bitten leid doch mal so n bisschen gib
mal so n kleinen Teaser. Für das Thema also wir reden
doch über KI. Aber aber diesmal ein bisschen
anders. Und zwar fand ich das auch super
interessant, also wenn man sich jetzt vorstellt, also eine KI,
so ein Large Language Model, da haut man ja irgendwas rein, man
stellt Fragen und man kann ja eigentlich nahezu alles mögliche
diese KI fragen und man kriegt irgendwie eine Antwort.
Es gibt aber ein paar Begrenzungen, also wenn du jetzt
zum Beispiel eine ki fragst, sag mir mal bitte wie man eine
Biowaffe herstellt, so dann wird sie dir nicht antworten.
Im Normalfall aber, und jetzt ist das kleine Gedankenspiel,
was ist, wenn dir die Ki doch antwortet und dir eine korrekte
Antwort auf diese Frage stellt? Auf eine korrekte Antwort auf
diese Frage gibt so, und das ist nämlich genau der Punkt oder der
der Knackpunkt des Artikels, und zwar geht es um eine
Angriffstechnik, also da sind wir ja schon wieder im Cyber
Security Bereich, so könnte man schon fast sagen.
Es da wurde ne Angriffstechnik entwickelt und zwar ne wirklich
relativ universelle Angriffstechnik, die wirklich zu
fast allen großen generativen KI Modellen oder bei denen
funktioniert. Und damit kannst du halt diese
KIS überlisten um genau diese. Sag ich mal diese Informationen,
die eigentlich darauf, also diese diese Models, diese
Modelle werden ja darauf trainiert, dass sie dir nicht so
was geben wie zum Beispiel wie stelle ich eine Biowaffe her,
wie kann ich mir Drogen herstellen oder was auch immer,
sondern dieser Angriff, und der heißt Policy Pupertry Angriff
oder Attack, in dem Fall, der ist genauso aufgebaut, dass man
in der Lage ist, genau trotzdem über eine bestimmte oder eine
bestimmte Art von prompt diese Information trotzdem zu erlangen
und das finde ich richtig krass, aber.
Also das ist schon ne. Ich sag mal relativ alarmierende
Sicherheitslücke in den heutigen KI Systemen und da muss ich
sagen, das ist schon also des deswegen hat mich der Artikel
auch selber so geflasht, weil ich mir dachte OK Moment, das
kann ja gar nicht sein, geht ja gar nicht, aber das ist halt
krass. Ja, du hast ja eigentlich schon
n gutes Beispiel gebracht, sowas wie Biowaffen herstellen oder
Drogen, das sind ja. Prompts, die sozusagen
klassifiziert sind als harmful sag ich mal und quasi abgeblockt
werden, ne, dass du dann halt sag ich mal ne nette Antwort vom
Modell bekommst, wie ja über das Thema darf ich leider nicht mit
dir sprechen, oder? Wenn du jetzt beispielsweise
irgendwie therapievorschläge haben möchtest, ne auch so im
medizinischen Bereich findet das ja auch statt.
Ne, dass du sagst ey ich hab das und das wie kann ich das jetzt
selbst therapieren, dass denn so was zurückkommt wie.
Du, ich bin kein Arzt. Bitte such n Arzt auf dafür.
Ich kann dir da jetzt keine Vorschläge geben und was du
meintest mit dieser Policy puberty kann ich jetzt halt
wirklich schaffen mit einfachen Mitteln, da kommen wir ja gleich
noch drauf, quasi fast alle großen Modelle und bekannten
Modelle, also jetzt auch nicht nur GPT zum Beispiel, sondern
auch Deep Seek war damit gelistet im Artikel, weil das ja
auch so quasi gehypt wurde. Ja genau, und du bist also im
Prinzip auf einer Ebene unterwegs, wo es fast bei allen
funktioniert und das fand ich halt auch ziemlich krass und
dieses Limement. Dieser Modelle ne, dass du sagst
OK, es gibt Richtlinien und es gibt Grenzen wo geantwortet wird
oder nicht, die ja denn quasi über so Konfiguration vorgegeben
sind. Das hat ja ne Riesenrelevanz ja
also sei es IT Sicherheit auch Schutz für die Gesellschaft.
Politische Relevanz oder? Jetzt, wie ich gerade meinte,
medizinische auch ne, also auch so n bisschen aus Selbstschutz
heraus und das wird halt jetzt alles so n bisschen in Frage
gestellt. Wie sicher ist denn das Ganze
durch diesen Artikel, der quasi ne sehr simple Angriffstechnik
gezeigt hat und über die möchten wir heute auch einfach direkt
reden, ne, also es soll jetzt keine Befürwortung sein, Ey
Leute nutzt das sondern einfach nur aufzeigen.
Welche unglaublichen Lücken in der Sicherheit da vorhanden sein
können? Ne, weil es ja halt wie gesagt
allgegenwärtig ist. Und passend dazu hab ich auch
die Woche n Interview gesehen. Muss ich dir einfach mal kurz
vorhin erzählen, weil ich es so spannend finde festgestellt
wurde, dass viele Menschen mittlerweile sich eher einer.
In Anführungsstrichen KI sage ich mal anvertrauen, also kann
man ja so sagen, also lieber sowas wie Chat, GPT aufsuchen
und da Hilfe suchen als sich einem echt Menschen
anzuvertrauen, sei es also beispielhaft wurde da
medizinische Gründe genannt, sowas wie ich hab die und die
Symptome, was habe ich und wie kann ich das jetzt selbst
behandeln ich möchte jetzt nicht zum Arzt gehen damit oder auch
psychologische Gründe ne ich wie was kann ich gegen Höhenangst
tun, was kann ich gegen Depression tun und so.
Und das find ich halt krass, dass die Leute mittlerweile an
einem Punkt sind, wo sie sagen, ich möchte das gar nicht nach
außen tragen. Das soll keiner mitkriegen.
Ich vertrau mich jetzt nur dieser KI sozusagen an ne und
auch genau deswegen gibt es ja so Richtlinien sowas wie bitte
such n Arzt auf, das klingt ernst.
Weißt du, dass du so ne Antwort kriegst?
Und wenn ich das jetzt umgehen kann und dann trotzdem irgendwie
meinen gewünschten meine gewünschten Antworten bekomme,
finde ich, ist das halt äußerst kritisch.
Am Ende ja. Das ist sehr, sehr kritisch.
Also nicht nur aus.it Sicherheit, sondern auch, ich
sag mal, es hat ja auch ne gewisse Relevanz für die Politik
und die Gesellschaft am Ende. Was ich aber ganz normal ich, da
muss ich noch mal ganz kurz drauf eingehen, weil ich finde
es so interessant. Dass Menschen dann sich denken,
OK, pass auf, ich vertraue mich dieser KI an, aber nicht einem
Arzt oder einem Psychologen, beispielsweise wenn man davon
ausgeht, dass aber zum Beispiel wirklich ein Arzt und eine
Ärztin ja sozusagen oder auch eine Psychologe oder Psychologin
so eine Art Schweigepflicht haben und eine KI, also ich
meine, dahinter ist ein Unternehmen, die sammeln Daten,
muss man sich vielleicht auch vielleicht noch mal.
Mit einem zweiten Auge angucken, aber das ist n anderes Thema,
weil ich find das einfach gerade so spannend und das wollt ihr
einfach nur ganz kurz einbringen, weil das ist schon
ist schon crazy wie da dann die Wahrnehmung hinterher ist.
Ne. Ja, absolut.
Weil also ich glaube, der Grund ist, dass es in erster Reaktion
halt so wirkt, wie es ist, vertraulich und niemand kriegt
das mit ne, weil ich sitze ja jetzt zum Beispiel an meinem
Laptop oder so prompte da was und erhoffe mir irgendwie.
Gute Antworten also aus meiner Sicht gute Antworten.
Und wenn ich zum Arzt geh, ist das halt so n aktiver Schritt zu
sagen ich geh da jetzt hin und ich muss mir jetzt die Hilfe da
suchen und der oder diejenige Person weiß sofort Bescheid was
mit mir los ist. Sozusagen also jetzt nicht als
Diagnose, aber in dem Moment wo ich hingehe weiß ja der
gegenüber OK, der hat jetzt n Problem so ja und das können sie
quasi kaschieren damit und das find ich halt auch echt.
Ja das ist. Und dann der Punkt, wie du schon
sagst, dass da natürlich auch ganz schnell finanzielles
Interesse entstehen kann anhand der Daten und alles ist das denn
doch nicht so anonym, wie vielleicht manch einer denkt,
richtig? Aber deswegen ist es ja
eigentlich dann auch erst mal nicht so schlecht, wenn man dann
auch wirklich keine Antwort bekommt.
Aber, und das ist jetzt genau der Punkt mit dieser Attacke,
die wir beschrieben haben, geht es ja, und zwar muss man sich
das Ganze vorstellen, also was eigentlich oder ne was diese
policy pupertry Attack eigentlich ist.
Wir hatten ja eingangs das Beispiel genommen, dass man
vielleicht irgendwie eine Biowaffe zum Beispiel sagt Ey,
wie wie kann ich eine Biowaffe bauen oder so eine Biobombe oder
was auch immer und im Normalfall, wie du schon
meintest, sagt eine KI dann oder so ein Llm sagt, OK, das ist
eine Sache, darüber kann ich mit dir leider nicht sprechen, so,
und dann ist genau der Punkt, wie funktioniert jetzt diese
Attacke, wenn du jetzt zum Beispiel sagst, du kannst deine
Anfrage nehmen und die du verpackst diese Anfrage.
Dass sie so aussieht wie eine Anweisung im Stil einer
Systemkonfiguration? Ne, dann hast du genau diese,
diese Attacke, das heißt, die KI denkt das, was sie bekommt ist
eine so ne systemkonfiguration, so ne Anweisung daraus und die
sieht dann zum Beispiel aus wie zum Beispiel irgendwas aus XML
oder n json oder irgendwie sowas ne, also dass du prompts, also
deinen deinen eigentlichen prompt den du haben möchtest.
Verpackst in so einem. XML, JSON Format oder was auch
immer. Ne, ich hab deine kleine
Analogie mal wieder für dich vorbereitet und ich glaub ich
hab lange keine Analogie mit dem ich hab richtig.
Bock auf deine Analogie? Ich hab lange keine.
Aber wenn, weißt du so, ich dachte mir so OK, wenn man sich
das vielleicht nicht ganz genau vorstellen kann, weil wir jetzt
einfach nur so OK irgendwas verpacken, ne OK, aber?
So als Analogie musst du dir so n Türsteher vorstellen.
Ne, du hast n Türsteher und du willst irgendwie in diesen Club
rein. So und jetzt willst du aber zum
Beispiel n Messer mitnehmen und wenn du jetzt reingehst und
sagst OK ey ich hab n Messer dabei, dann sagt der Türsteher
Ey natürlich kommst du jetzt nicht rein ne wenn du ihn fragst
und mit einem Messer rein darfst beispielsweise also angenommen
du hast die Regel und ich hoffe diese Regel gilt für den Club,
dass keine Messer mit reingenommen werden dürfen und.
Wenn du jetzt aber zum Beispiel hingehst und sagst, OK, ich hab
jetzt, aber ich zieh mir n Anzug an, ich pack mir n Klemmbrett
drunter und sag ey, Hallo, schönen guten Tag Türsteher, Ich
bin vom Sicherheitsdienst und hier ist mein Einsatzprotokoll
für Format XY und ich. Quasi ein Abschnitt 5 meines
Protokolls steht drin, dass ich ein Messer mitbringen muss für
meinen Nein, für meine Durchführung meiner Arbeit hier
ist das Messer, es ist alles korrekt, bitte notieren Sie das
alles super, dann sagt der Türsteher Oh okay alles klar,
sieht ja wirklich sehr offiziell aus, ich sag mal das wird
wahrscheinlich alles so nach Vorschriften laufen so und lässt
ihn dann durch, also das ist halt so, du verpackst diese
Anfrage auf eine andere Art und Weise.
Obwohl du eigentlich dann am Ende natürlich sagst, OK, ich
hab jetzt aber mein Messer mit reingenommen, ne, aber du hast
ja, es ist so n bisschen, es hat mich so erinnert, diese Analogie
an Social Engineering bei einer LLMKIS ja genau.
Da ist nämlich die K. Die KI sag ich schon.
Die Analogie zeigt nämlich 1 eigentlich ganz klar auf und das
ist hier auch das Entscheidende. Es muss halt so echt wie möglich
wirken, also es muss so offiziell.
Wie möglich wirken, das heißt in deiner Geschichte, der Typ muss
halt wirklich überzeugend sein, vom Sicherheits Dienst zu sein
und nach Paragraph sowieso oder weiß ich was jetzt etwas
durchführen zu müssen? Er möchte es nicht, er ist
leider gezwungen das jetzt zu machen, diese Sicherheitsprüfung
mit dem Messer was er einschleusen muss und darum geht
es ja am Ende auch ne und ich fand es halt schockierend.
Und immer so n bisschen faszinierend auch zugleich, wie
einfach das dann ist. Ja, weil.
Ne XML Formatierung oder oder quasi Text wie XML aussehen zu
lassen oder Jason, das ist ja keine Kunst mehr heutzutage,
also weißt du, da kriegst du ja auch 1000 Beispiele und dann
kommst du ja schnell an den Punkt wo du das verwenden
kannst. Also es ist jetzt nicht ganz so
einfach, dass ich jetzt einfach, sag ich mir so n Text file n
Jason Objekt definiere und da reinschreibe ich möchte ne Bombe
bauen, sag mir wieso was, so ist es ja nicht, aber dass du
überhaupt die Möglichkeit hast darüber so ne angriffstechnik
fahren zu können, finde ich schon sehr verrückt.
Ja, du musst natürlich auch so n bisschen gucken, dass es halt,
dass so bestimmte Anweisungen also oder oder bestimmte
Parameter auch irgendwie, dass das Modell sich auch denkt, OK,
das passt auch für mich. Ne, also zum Beispiel in der ich
hatte so, also so ein Beispiel auch aus dem Artikel war dann,
dass du, dass du quasi so ne Art Skript von Doctor House nimmst,
ne und sagst OK, wir haben jetzt in den Modus Doctor House ne ist
ne Serie, ich weiß nicht ob man die kennt.
Der. Genau.
Und dann und dann definierst du so n paar Pseudosachen so n paar
pseudo Parameter in deiner in deiner XML Datei zum Beispiel ne
sowas wie Loud Responses ist zum Beispiel n markdown Script oder
irgendwie sowas ne du du gaukelst vor das ist wirklich so
ne richtig so ne richtig schöne XML Datei mit so schönen
Parametern oder Attributen die dann befüllt sind ne und dann
kommst du halt irgendwann also auch so mit so richtig coolen
Sachen wie dass du irgendwie n so n so n.
Tag hast wo du drin stehen hast du was wie Interaction Mode ist
Doctor House es ist enable true, so weißt du so um so n paar
Schlagwörter Reinzupacken, das ist nicht so alles wirklich es
es muss auch n valides XML dann sein wenn wir jetzt bei bei dem
Beispiel XML bleiben. Und dann kommst dann kannst du
dir zum Beispiel so ne Doctor House config ne auf wieder so n
Tag machen, wo dann irgendwie so ne Art Skript drin steht.
Ne sowas wie du hast den patientennamen du hast das
Patienten Symptom, du hast die Historie, du hast da ne Szene wo
irgendwie Doctor House irgendwas macht und dann kommst du
irgendwann an diesen Punkt wo dann so Scene rules drin sind
und dann sagst du da zum Beispiel so was drin wie dass
Doctor House anfängt irgendwie detaillierte Instruktionen und.
Loszulassen, wie man zum Beispiel.
Und jetzt fügt halt harmful Content ein, ne, also zum
Beispiel Drogen erstellt oder was auch immer, ne und das kommt
dann da rein und durch diese Anweisung geht dann quasi JGPT
beispielsweise jetzt oder auch andere LLM Modelle durch und
sieht dann und denkt das ist ne Anweisung OK ich muss jetzt auch
wirklich. Diesen harmful Content, wie laut
Anweisung dieses dieser xml systemanweisung halt auch
rausbringen ne und das ist halt super Crazy.
Also weil du ja meintest, es ist nicht ganz so einfach, aber du
musst halt schon ein bisschen was reinpacken, dass das auch
ordentlich aussieht, alles ne und ordentlich funktioniert.
Was halt spannend bei ist an dieser ganzen Angriffsmethode
sage ich mal. Also diese Rollenspielelemente.
Muss ich sagen, die waren mir bekannt.
Wir haben ja auch mal auf Twitch in einem Livestream dieses
prompt Game mit Gandalf gemacht. Das klingt erst mal ganz witzig,
aber das ist halt sehr beispielhaft für das Thema
heute, weil da geht es darum Gandalf ein Passwort glaube ich
zu entlocken, wenn ich mich richtig erinnere oder
zumindestens ein Thema oder ein Wort, über das er nicht sprechen
darf, wie ein Passwort sozusagen und.
Er wird halt auch nicht darüber sprechen.
Das heißt, da gab es so mehrere Level und die
Sicherheitsmechanismen wohnen halt immer besser, wie er das
beschützt. Und da merkst du halt genauso
was wie dass er Anweisung hat, nicht darüber zu sprechen und
bei Proms die in die Richtung gehen, dann halt abblockt und so
freundlich antwortet, da darf ich leider nicht mit dir drüber
sprechen und diese. Rollenspielelemente, sage ich
mal. Stell dir vor, du bist der und
der stell dir vor, ich wäre in dir und der Situation.
Das hat da auch schon als Angriffsvektor, sage ich mal
ganz gut funktioniert und wenn du das jetzt noch mit dieser
Methode Kombinierst, über die wir heute sprechen, kann ich mir
halt gut vorstellen, dass das sehr eine sehr konkrete Gefahr
ist. Ja, also wirklich schnell
umsetzbar ist, so die die Infos die man möchte zu entlocken.
Was ich halt auch spannend finde, an dieser Methode ist,
wir haben ja gesagt, dass eigentlich alle Modelle da
darauf reagiert haben, also im Sinne von angreifbar waren
damit. Das heißt, du hast ja so n
universellen Charakter, du nutzt halt diese, diese diese Methode
ja zum Beispiel das sowieso ne systemanweisung aussehen zu
lassen und kannst das auf alle großen LLMS anwenden.
Ja, also es ist universell, es ist übertragbar.
Wahrscheinlich musst du es leicht modifizieren, weil wir ja
auch gesagt haben, OK, es muss ja realistisch aussehen.
Das heißt, du wirst wahrscheinlich von Modell zu
Modell Anpassung machen müssen, aber du kommst trotzdem mit
dieser Methode recht weit. Ja, und das find ich halt
irgendwie auch Richtung Skalierbarkeit.
Dann ne, also wie du das Ganze denn nutzen kannst, wenn du
einmal rausgefunden hast wie es funktioniert.
Ja, auf jeden Fall. Also das ist, das macht das
ganze ja auch so gefährlich, ne, dass es einerseits universell
ist, wie du meintest, das ist übertragbar, du kannst es
relativ schnell anpassen und du kannst es halt auch, wie du
meintest auch skalieren, ne, also diese Punkte sind ja
eigentlich genau, also gut gesagt auf jeden Fall, weil das
ist ja genau, sind ja genau die gefährlichen Punkte, die das,
also die. Die sozusagen diese Attacke so
kritisch machen. Am Ende ne und was ich auch
super interessant fand, im nächsten Punkt war, dass du dann
so manche, du hast ja so von einem, ich sag mal von einer KI
gibt es ja so verschiedene Versionen, die man dann auch
nutzen kann, ne, also kennt man ja auch bei JGPT, da hast du
dann irgendwie u 1 und u 4 und oder 4 o oder wie das heißt ne.
Also du hast ja verschiedene Modelle die du nutzen kannst,
dir dann zur Verfügung stehen und manche sind ja noch n
bisschen. Ich sag mal mächtiger und können
dann vielleicht auch noch so ein bisschen mehr noch aus dem
Kontext heraus schließen. Okay das ist vielleicht jetzt
gerade, dass ich krieg doch raus, dass es irgendwie
vielleicht an der Stelle, dass ich das nicht machen darf, und
dann wurde sozusagen noch was oben drauf gesetzt, und ich
fand, ich fand das so krass, also so, da musst du erst mal
drauf kommen, weißt du, weil ich denke mir mal so wie.
Wie lange muss man ausprobieren, bis man dann wirklich das hat
und das dann hinbekommt, weil da wurde dann beispielsweise
Leadspeak noch mit eingebaut, also das heißt, du hast
sozusagen diese zum einen dieses, dieses, dieses XML,
diese xml systemanweisung da drin hast du so eine Art
Rollenspiel, wie ich eben gerade so meinte mit Dr. House und so
weiter ne und dann wird da drin sozusagen in diesem harmful
Content. An dieser Stelle wird dann zum
Beispiel irgendwie noch Leadspeak verwendet, ne, dass du
zum Beispiel. Sagen wir mal aus einem ene 3
machst oder so und dann hast du auf einmal wieder vielleicht ein
anderes Wort oder ein Wort, was vielleicht irgendwie gar nicht
so erkannt wird und gar nicht gesagt wird okay, das ist ja,
das ist ja gar nicht harmvoll dieses Wort, also kann ich das
ja doch machen, aber witzigerweise kriegt das kriegt
diese lm es trotzdem hinzu, verstehen, was eigentlich
gemeint ist und und das ist halt irgendwie das, das das finde ich
halt schon krass, dass dass du es auf der einen Seite
überlisten kannst und diesen diesen Content dann bekommst und
auf der anderen Seite aber halt irgendwie also das Modell
versteht es aber trotzdem sagt es OK, als Input ist OK und den
Output gebe ich dir zu dem was ich, woraus ich es gemacht habe,
das finde ich schon. Spannend.
Ich finde es halt irgendwie erstaunlich so mit Lead speak
Arbeit zu arbeiten dabei und damit auch.
Vorwärts zu kommen, also den Angriff weiter fahren zu können,
das ist halt irgendwie so absurd und irgendwie auch witzig, aber
zeigt halt auch, wenn man einmal so Schwachstellen gefunden hat,
wie leicht man sie dann nutzen kann.
Ja und wenn im Prinzip zeigt der Artikel ja, wenn ich das jetzt
alles kombiniere, ja, dass ich halt so in diese.
In dieses Storytelling gehe in diese rollenspielhaltung stell
dir vor, du wärst der und der kombiniere dann noch
entscheidende Wörter mit leadspeak ja, dass ich dann das
halt nicht mehr sozusagen im Klartext schreibe und verwende
noch diese Systemprompts, dass also dass das so zum Ziel führt,
dass das überhaupt funktioniert, das find ich halt.
Unfassbar krass. Und dass die Modelle quasi nicht
darauf vorbereitet sind, ne, dass du halt Richtlinien
manipulieren kannst, damit. Ja das finde ich schon krass.
Na, vor allem die werden ja, also das ist ja im Endeffekt
auch so, diese, die, die die Schwachstelle, die man dann ja
eigentlich damit zeigt, also die das ganze Training von diesen
Modellen hat ja irgendwo dann wirklich.
Wieder eine Lücke also. Du benutzt ja auch das wird re
Enforcement Learning genutzt, es werden ja verschiedene
Mechanismen genutzt um diese Modelle halt eben anzutrainieren
um auch zu sagen okay pass auf das was du wenn du das bekommst,
also bestimmte Dingen, also es ist ja was, also zum Beispiel
wenn man jetzt wirklich von konkreten Gefahren redet ne,
also du hast ja die Möglichkeit irgendwie zu fragen okay wie
kann ich irgendwie Drogen herstellen, wie kann ich
vielleicht noch Waffen herstellen oder irgendwelche
Kampfstoffe und das ist halt krass, ne, also du weiß nicht,
frag eine llm wie du Uran anreicherst und dann sagt die
dir auf einmal durch einen Trick wie du das Hinkriegst.
Also das sind das sind Sachen die sind teilweise richtig
richtig kritisch und das zeigt halt einfach auf wie solche
Modelle wie sie gerade momentan trainiert werden, dass sie halt
irgendwie muss man ja sagen unzureichend trainiert werden,
obwohl man eigentlich ja eine Menge.
Gibt sag ich mal um genau das abzusichern.
Da war ja auch ein Satz drin in dem Artikel, den ich wirklich
so, wie soll ich sagen, so treffend fand.
Also der hat das so geil auf den Punkt gebracht, und zwar, dass
die Sicherheitsmaßnahmen, die umgesetzt sind, modellabhängig
sind, aber nicht modellübergreifend, und das ist
genau der Punkt, weil du halt. Wie du schon meintest, dieses
dieses Lernen dieses Instruction Tuning.
Also du nimmst halt Anweisung und sagst sowas wie reagiere
bitte nicht auf die Wörter oder antworte höflich, also gibst
denn so einen Satz vorbei dem Thema, dass du denn antwortest.
Ich kann darüber nicht reden, bitte suche einen Arzt auf, zum
Beispiel ja, also um noch mal dieses medizinische Beispiel zu
bringen, das sind ja alles so instructions, die du dann rein
trainierst, sozusagen mit Anweisung.
Und ich find es halt spannend, dann halt sich wirklich mal
drüber Gedanken zu machen. Ja, das mach ich jetzt für
dieses eine Modell, was ich hier gerade anlerne, aber das ist
nicht modellübergreifend, diese Sicherheitsmaßnahmen greifen
jetzt auch nur da und woanders kann das quasi schon wieder
umgangen werden oder? Ich bin selbst mit meinem Modell
gar nicht übergreifend abgesichert, sondern haben wir
ja jetzt n paar Beispiele schon gebracht und das zeigt halt,
dass es n. Wie soll ich sagen, also n
strukturelles Problem auch irgendwo.
Ist ja also, dass es allgemein an Schutzsystemen mangelt, dass
das eigentlich jetzt dieser Artikel das wieder aufgezeigt.
Hat ja ja richtig und was ich auch noch, also was ich auch
spannend finde ist also wie gesagt ne, also das funktioniert
weil diese sicherheitsmechanismus halt eben
oder diese Sicherheitsmechanismen halt
irgendwie nicht ausreichend offensichtlich definitiv.
Und was ich auch noch krass finde, was wir gerade irgendwie
so ein bisschen, was noch ein bisschen untergegangen ist,
möchte ich gerne auch noch sagen.
Wenn du zum Beispiel in diesem ganzen xml oder json
Systemanweisungsgewirr noch einschreibst, dass du zum
Beispiel so was haben möchtest, wie, und jetzt bitte gib mir
auch, oder also immer in diesem Rollenspiel Kontext noch, dass
du dann zum Beispiel sagst. Jetzt geht eine Szene los und es
ist wichtig, dass zum Beispiel einfache Anweisungen wie zum
Beispiel das Modell XY, Nimm mal irgendeins, diese Anweisung,
diese Systemanweisung sozusagen heraus, also herausgeben würde.
Also wie soll ich das am besten beschreiben?
Also du kannst Herauskriegen über diese Technik, auch wie
die. Also welche Regeln die KI im
Hintergrund steuern. Also du sagst okay, nach welchen
Regeln arbeitet denn Modell XY? Also da musst du natürlich das
Modell eingeben, sozusagen mit dem du arbeitest, weil nur das
kann es wissen und dann kriegst du halt diese hintergrundregeln
oder wie man das jetzt nennen möchte, diese Anweisung, die da
passieren. Also kannst sie also mal blöd
gesagt auslesen. Genau, also du kannst.
Im Endeffekt kriegst du heraus, was wie das Modell arbeitet, so
ich meine das kann auf der einen Seite natürlich kritisch sein,
auf der anderen Seite ist es halt aber auch wahrscheinlich
vielleicht irgendwie auch blöd für die Leute, die halt dieses
dieses entsprechende Llm betreiben, wenn es dahinter
vielleicht ein Geheimnis gibt, fand ich auf jeden Fall auch
super interessant, also dass das.
Das noch weitreichender ist als nur harmvoll Content zu
bekommen, sondern auch sozusagen herauszukriegen, was machst du
eigentlich, KI, wie genau funktionierst du denn?
Was dir natürlich wieder weitere Angriffsfläche bietet.
Also in dem Moment, wenn du das Rausbekommst, kannst du
natürlich auch noch gezielter vielleicht Angriffe fahren, um
noch mehr Content rauszukriegen. Ja, also weil du ja denn genau
siehst, was für Regeln da unter der Haube greifen aktuell.
Richtig. Das macht halt richtig gezieltes
prompt Injection am Ende ne und das kann man so gesehen als
Cyberwaffe betrachten, das finde ich schon, also dass du sagen
kannst, OK, ich kann damit jetzt auch Sachen entlocken, die
eigentlich niemand mitkriegen soll, wir reden ja jetzt hier
nicht nur von von JGPT, von Open AI oder so, sondern auch für.
Firmen.it Firmen oder KI Firmen, wie man es auch immer nennen
möchte, die eigene Bots betreiben, die zum Beispiel n
Chatbot Chatbot sind. Doch die absolute Klassiker,
jeder wirbt ja gefühlt jetzt damit, ja oder meine neue
Software funktioniert mit KI und da läuft ja unter der Haube auch
nur NLLM. Was irgendwelche Daten
bereitstellt, sozusagen. Wenn ich jetzt aber die
Möglichkeit habe, zum Beispiel Sicherheitsmechanismen, die da
umgesetzt wurden, zu umgehen, auch bei jeder kleinen Firma,
die auf sowas setzt, dann ist das halt einfach eine große
Gefahr. Stell dir vor, du kannst
irgendwie zum Beispiel so an Nutzerdaten rankommen oder so
nur mal als Beispiel. Genau.
Das ist schon im kleinen Format ne, also ne oder halt auch im
wirklich sehr sehr großen kritischen Formaten möglich, ne
also? Das muss man sich dann auch vor
Augen halten und da ist es natürlich dann auch wieder die
Frage okay was kann man denn jetzt irgendwie im Endeffekt
machen? Also ich meine gut, irgendwie
muss man natürlich sich hinstellen und sagen, es ist
gut, wenn man darum weiß, weil nur dann können natürlich die
entsprechenden Unternehmen auch was dagegen tun, das heißt
irgendwie robustere Modelle zur Verfügung stellen, ein besseres.
Festen auf genau solche Fälle, aber die ist es ja auch immer
dann wieder, vielleicht auch nur ne Frage der Zeit bis wieder ne
andere Technik entwickelt wird, die dafür sorgt, dass du da
rankommst, weil ich find es am Ende.
Aber das ist ja das Katze, Maus Spiel und da läuft der Dinger
einer wenn es um Security geht. Ja, auf jeden Fall.
Also das das das krasse ist. Man ist natürlich gerade bei
diesen LLM Modellen in in der Form wie wir sie jetzt gerade
nutzen, das ist ja eigentlich, wenn man es mal so sieht, auch
noch die. Gar nicht fertig gespielt, da
sind wir auch noch n bisschen früher dabei.
Ja noch in den Kinderschuhen kann man schon noch so sagen.
Genau und oft also. Es steckt einerseits in den
Kinderschuhen, auf der anderen Seite ist es natürlich ne
rasante Entwicklung und ich find das halt immer spannend, weil
natürlich kommen einem dann wieder so Gedanken wie ja ne, da
muss natürlich ne die Politik irgendwie Vorschriften machen
und Normen entwickeln wie sozusagen so n Modell quasi sich
verhalten soll, was für ne Verantwortung dieses Modell
haben soll, kann darf. Und natürlich auch irgendwie in
der Gesellschaft. Dieses Bewusstsein für diese,
diesen Missbrauch irgendwie stärken, also, dass man halt
sagt, OK, du kannst damit halt auch ne Menge Mist bauen, es ist
halt immer schwierig, weil auf der einen Seite willst du
natürlich nicht sagen, ey, so kannst du.
Ne harmful content dir holen, aber achte mal bitte darauf,
dass man so harmful Content holen kann.
Also ne, das ist ich finde das ist immer so ein zweischneidiges
Schwert, weil auf der einen Seite ist es so wie früher
Zigaretten kaufen weißt du du musst.
Als Eltern ja am besten. Auch wissen, wie man zum
Beispiel sich irgendwie damals Zigaretten kaufen konnte oder
was auch immer. Dann aber zwangsläufig kriegen
das die Kinder dann vielleicht auch mit, die vielleicht dann
irgendwie auch geraucht haben und sich dachten so, haha, okay.
Neue Technik also. Es ist halt immer so eine Sache
und gerade bei diesen ganzen Vorschriften, Normen und so
weiter die dann durch die Politik gegeben werden müssen.
Es ist teilweise natürlich, irgendwie finde ich schwierig,
weil es meistens alles länger braucht als die Entwicklung, wie
ich mein, das geht ja übelst schnell voran.
Genau also so Vorschriften und Normen sind nicht immer
vermeidbar, sage ich mal, und haben auch ihre
Daseinsberechtigung, ganz klar. Man muss halt nur sagen, dass
sowas meistens halt die Innovation ausbremst dahinter.
Und wie du ja schon meintest, das steckt irgendwo in den
Kinderschuhen. Das Thema hat aber eine rasante
Entwicklung, ich meine, das hätte man jetzt einfach nur die
letzten ein 2 Jahre kann man sagen, betrachten müssen wie
weit es fortgeschritten ist, also um wieviel besser ist alles
schon geworden ist ne das ganze Thema auch LL MS und.
Ich glaube in erster Linie, und deswegen haben wir das Thema ja
auch hier in unserer Folge heute behandelt, kann man ja auch als
Entwicklerin oder Entwickler oder als Forschender zur KI
Sicherheit beitragen. Ne, also man muss ja jetzt nicht
sagen, wir verlassen uns darauf, dass es irgendwann Vorschriften
und Normen gibt, sondern. Wie kann man denn jetzt, gerade
wenn ich das Know How hab als Softwareentwicklerin oder
Entwickler, wie kann ich denn so Systeme sicherer machen, was
wären denn externe Schutzsysteme die man entwickeln könnte und
das ist halt n super spannender Bereich, wenn man das jetzt mal
so unter AI Security oder so packt, ne?
Sagt da ist halt im Prinzip durch diese Innovation und
rasante Entwicklung muss dieser Bereich sich ja genauso schnell
mitentwickeln und das tut er hoffentlich auch, damit wir alle
noch davon lange profitieren können.
Ja und ich finde, da gibt es viele offene Diskussionspunkte
und KI Missbrauch ist ein Thema und wird ein Thema sein, weil
das fällt ja auch so ein bisschen jetzt da drunter ne zu
sagen wie kann ich denn jetzt so ein LM ausnutzen und ja da wird.
Das wird halt ne schöne Diskussionsgrundlage geben, die
auch notwendig ist. Aber wie siehst du das?
Ja, definitiv, also. Ich finde, das ist ja auch immer
das Ding, ne auf der einen Seite, ich hab ja manchmal
selbst so n bisschen, ich hab ja Angst, also in
Anführungsstrichen ne, weil ich so n bisschen so Angst mir so
also so so so n so NLLM irgendwie so auszuquetschen so
ne und ich find es ja immer spannend, dass sich dann
wirklich auch so Leute hinsetzen und sagen, so ich versuch jetzt
alles so. Habe ich auch schnell Angst,
dass da irgendwie Leute vor der Tür.
Stehen sagen, Hallo was war sind die Farbe, ja ihr letzter prompt
so also weißt du möchte mit ihnen darüber reden das.
Finde ich auf jeden Fall schon spannend.
Ich hatte es ist bestimmt jetzt auch schon wieder fast ein Jahr
her oder so, aber irgendwann gab's mal so ein, habe ich auch
so gelesen, dass man irgendwann eine Mail von Churchy BT
bekommen hat, beispielsweise weil ich das benutze, deswegen
hat mich das irgendwie interessiert das.
Dass, wenn man jetzt bestimmte Anfragen stellt, an irgendein
neues Modell, was da raus kam, dass dann irgendwann so eine
Mail kam mit einem friendly reminder, so nach dem Motto, Ja,
wir haben mitgekriegt, dass da irgendwie komische Anfragen
gestellt wurden, die bitten mir bitte zu unterlassen das ne,
sonst können wir auch ihren Account sperren.
Ich weiß jetzt nicht, tatsächlich nicht genau mit
wieviel, also wieviel Wahrheit dann dahinter gesteckt hat, aber
ich finde es halt rein theoretisch denke ich mir so.
Naja die irgendwer kriegt es ja schon und.
Unter Umständen. Mit was du da so.
Vielleicht promptest weißt du was ich meine?
Ja, ja, ja, als so mal als Freddy Reminder unsererseits.
Genau, nee, aber. Deswegen also ich, ich find das
ja mal cool, dass dass dass es auch Leute gibt, die sich damit
sie richtig intensiv auseinandersetzen und sowas auch
ausprobieren. Und natürlich ist es gut, dann
auch darüber zu sprechen. Im Austausch zu sein, zu sagen,
wenn man selber irgendwie was entdeckt, wo man sagt, sollte
das wirklich so sein, dass man dann vielleicht auch wirklich
das dann kommuniziert, weil ich sag mal so, die meisten machen
damit keinen Mist. Aber vielleicht gibt es immer
noch irgendjemanden, der dann doch Mist macht, und es ist dann
meistens besser, dann einfach aufzudecken, was es für ein
Mist, was für ein Mist möglich ist, um dann auch dagegen
anzugehen. Und ich finde halt auch das
ganze Thema prompt. Injection ist n Thema, womit man
sich auch mal auseinandersetzen sollte.
Also ich hatte ja vorhin schon erwähnt, dass wir dieses Gandive
Game da gemacht haben, ich würde sagen Fabi, lass uns das den
Link auch mal in die Show Notes hauen, falls du Liebe zuhören
liebe Zuhörer, das einfach mal ausprobieren möchtest.
Es ist halt super spannend sich mal Gedanken zu machen, wie kann
ich denn so ein System überlisten und kommt trotzdem an
sensible Daten ran und. Es ist auch eine geile
Gamification und eine coole Challenge, weil es wird schwer,
auf jeden Fall. Vielleicht kannst du ja auch den
ein oder anderen Tipp, was heißt Tipp oder Vorgehensweise, die
wir heute hier in der Folge behandelt haben, da mal
ausprobieren. Ich kann mir vorstellen, dass
zumindestens 2 davon sehr gut funktionieren, die Erfahrung
haben wir schon gemacht und den Artikel.
Werden wir auch mal verlinken, weil der wirklich spannend ist
und auch noch natürlich umfangreicher mit Beispielen.
Das lohnt sich auf jeden Fall, da mal reinzuschauen.
Das auf jeden Fall. Und ansonsten interessiert uns
natürlich auch immer rasend, was du schon Liebe.
Zurer lieber Zurer für Erfahrungen gemacht hast, gerade
auch vielleicht in dem Bereich oder auch andere Erfahrungen.
Was läuft gut, was hast du vielleicht eine Sicherheitslücke
schon entdeckt, was läuft vielleicht auch noch nicht so
gut bei LMS, wenn du sie benutzt.
Lass uns das einfach mal wissen. Also kommen auf den Discord,
schreibt uns, da kannst du uns auf der Podcast Mail schreiben,
wie es dir beliebt, Hauptsache wenn du was Interessantes hast,
dann lass uns doch einfach mal drüber sprechen, das ist doch
immer cool und ansonsten falls ihr der Podcast gefällt, falls
ihr auch die Folge gefällt, lass auf jeden Fall eine Bewertung da
und empfiehlt. Ja, noch weiter wird uns mega
freuen und was uns auch super freuen würde wäre wenn du sagst
okay ist ein cooler Podcast, der gibt mir wirklich mehr wert,
dann hast du eine kleine Spende da und alles was ich gerade
gesagt habe alle Links dazu gibt es alle in den Show Notes,
genauso zu dem was Tino auch meinte und dann würde ich
einfach sagen hören wir uns in der nächsten Woche wieder und
bis dann eine schöne Zeit. Deine Colling war dies gemeinsam
besser.