1 00:00:00,160 --> 00:00:07,070 Was? Moin, zu einfach, komplex und 2 00:00:07,070 --> 00:00:11,150 ein frohes neues Jahr vom Team von Heisenwear und einfach 3 00:00:11,150 --> 00:00:13,910 komplex. Ja, willkommen im 24. 4 00:00:14,790 --> 00:00:17,430 Er, Burkhardt, ist jetzt schon ein Jahr her, dass wir gemeinsam 5 00:00:17,430 --> 00:00:20,230 podcasten oder wir podcasten schon seit einem Jahr nun 6 00:00:20,230 --> 00:00:23,510 gemeinsam. Krass, ja gar nicht mitgefilmt. 7 00:00:23,590 --> 00:00:28,110 Und bevor wir in unser neues Thema für heute einsteigen, was 8 00:00:28,270 --> 00:00:30,390 reg. Ai also mal wieder ein Thema zur 9 00:00:30,390 --> 00:00:33,110 künstlichen Intelligenz sein wird, habe ich ein paar 10 00:00:33,110 --> 00:00:35,590 Statistiken mitgebracht. Wir wollen euch nicht allzu 11 00:00:35,590 --> 00:00:38,670 lange langweilen, aber nur mal ja die Gelegenheit nutzen, jetzt 12 00:00:38,670 --> 00:00:40,590 wo wir das schon ein Jahr machen, noch mal danke zu sagen 13 00:00:40,590 --> 00:00:44,040 und mit euch zu teilen. Ja, wie viele Hörer und 14 00:00:44,040 --> 00:00:45,000 Hörerinnen ist denn eigentlich so? 15 00:00:45,000 --> 00:00:47,160 Gibt es von Podcast. Und zwar sind wir inzwischen bei 16 00:00:47,240 --> 00:00:50,840 knapp über 1000 Abonnentinnen und Abonnenten angekommen. 17 00:00:51,040 --> 00:00:52,800 Cool. Ja, also über alle Plattformen 18 00:00:52,800 --> 00:00:58,520 weg haben knapp 25 nicht ganz 25 000 Abrufe in Summe. 19 00:00:58,520 --> 00:01:01,640 Also das ist schon eine ganze Menge, kann man sich jetzt den 20 00:01:01,640 --> 00:01:03,280 Durchschnitt im Monat ausrechnen, das ist aber noch 21 00:01:03,280 --> 00:01:06,350 steigend und. Was glaube ich auch noch 22 00:01:06,350 --> 00:01:09,150 bemerkenswert ist, sind die Top Episoden. 23 00:01:09,150 --> 00:01:12,310 Ich sag noch mal die ersten 3 das die erfolgreichste oder am 24 00:01:12,310 --> 00:01:15,430 meisten gehört Episode ist die Folge Nummer 6 zum Thema 25 00:01:15,430 --> 00:01:17,430 Datenbanken. Wer hätte das gedacht? 26 00:01:17,430 --> 00:01:19,670 Also ich nicht, ehrlich gesagt. Ich auch nicht, überhaupt nicht. 27 00:01:19,670 --> 00:01:21,230 Also ich dachte, es ist ein trockenes Thema über 28 00:01:21,230 --> 00:01:26,030 Datenbanken, aber gut. Und die Zweitbeliebteste Folge 29 00:01:26,030 --> 00:01:29,630 war die Folge zum Thema Microservices und Docker. 30 00:01:29,630 --> 00:01:34,230 Auch unsere Folge Nummer 2. Und die Drittbeliebteste Folge 31 00:01:34,230 --> 00:01:36,830 ist die Folge Nummer 3. Was ist Software also? 32 00:01:36,830 --> 00:01:39,550 Sehr allgemeine generelle Themen, natürlich aus der 33 00:01:39,550 --> 00:01:42,030 Anfangsphase, die sind auch im längsten draußen die Folgen. 34 00:01:43,230 --> 00:01:46,870 Ja, das ist einfach mal vorweg, also bleibt uns, bleibt uns 35 00:01:46,870 --> 00:01:49,350 treu, wir haben uns viel vorgenommen fürs neue Jahr, 36 00:01:49,590 --> 00:01:52,950 machen weiter zu zweit natürlich ab und zu mit spannenden Gästen, 37 00:01:52,950 --> 00:01:54,990 wenn es passt. Und ja, würden uns freuen, wenn 38 00:01:54,990 --> 00:01:58,030 ihr auch dabei bleibt, so viel erstmal der Vorredner, jetzt 39 00:01:58,030 --> 00:02:00,590 steigen wir mal ein in Reg. Ai voll cool gerettet. 40 00:02:00,590 --> 00:02:02,510 Hat mich überrascht mit der Statistik, davon wusste ich doch 41 00:02:02,510 --> 00:02:05,150 gar nichts, aber richtig schön, ja genau und reg Ai und wir 42 00:02:05,150 --> 00:02:08,550 haben sogar ein bisschen Datenbank dabei mitgebracht, 43 00:02:08,550 --> 00:02:11,110 also wer Datenbanken mochte, der darf heute auch noch mal ein 44 00:02:11,110 --> 00:02:13,350 bisschen dran bleiben, da kommt nochmal der Datenbank vorbei. 45 00:02:15,480 --> 00:02:20,920 Du dann leg mal los mit Drag AI. Also ich glaube generative AI 46 00:02:20,960 --> 00:02:25,280 ist das was die meisten aktuell so unter AI verstehen, also den 47 00:02:25,280 --> 00:02:27,880 klassischen Chat GPT. Ich tippe was ein und der gibt 48 00:02:27,880 --> 00:02:31,520 mir halt irgendwie generierten in dem Fall Text auch zurück. 49 00:02:33,120 --> 00:02:35,720 Die AI, da sag ich mal ausgedacht hat, kennt man ja 50 00:02:35,720 --> 00:02:38,720 auch mit Bildern. Also wo man mit einem prompt ein 51 00:02:38,720 --> 00:02:40,520 Bild beschreibt und bekommt ein Bild zurück, das ist ja auch 52 00:02:40,520 --> 00:02:41,960 generativ Ai. Genau. 53 00:02:42,280 --> 00:02:44,720 Das hatten wir auch schon mal, glaube ich, relativ am Anfang 54 00:02:44,720 --> 00:02:47,480 besprochen. Was ist denn jetzt reg AI und 55 00:02:47,480 --> 00:02:50,200 inwiefern unterscheidet sich das eigentlich zur. 56 00:02:50,950 --> 00:02:51,910 Generative. Ai. 57 00:02:52,190 --> 00:02:54,670 Klar, Gerrit, Die generativen AIS und die spannenden 58 00:02:54,670 --> 00:02:58,030 heutzutage, ich auch schon mit mit Dall E und wie sie alle 59 00:02:58,030 --> 00:02:59,830 heißen Bilder generiert und zu fahren. 60 00:03:00,190 --> 00:03:03,270 Wir sind heute bei mit reg AI bei bleiben wir ein bisschen bei 61 00:03:03,270 --> 00:03:07,670 den Sprachmodellen, den textbasierten Sachen und hier 62 00:03:07,670 --> 00:03:10,510 das haben glaube ich alle auch schon mal gehört gesehen gefühlt 63 00:03:10,670 --> 00:03:14,670 auch, es ist ja so, dass wenn du jetzt Chat GPT eine Frage 64 00:03:14,670 --> 00:03:17,990 stellst die einen aktuellen Bezug hat zu aktuellen 65 00:03:17,990 --> 00:03:21,470 Informationen, dann wird der Chat GPD das nicht beantworten 66 00:03:21,470 --> 00:03:25,110 können warum das jetzt auch kein neues Wissen? 67 00:03:25,640 --> 00:03:28,600 Weil das Modell das Large Language Modell, was unter Jet 68 00:03:28,600 --> 00:03:32,920 GPT liegt, trainiert wurde zu einer Zeit, die Halt jetzt nicht 69 00:03:32,920 --> 00:03:36,760 heute ist, sondern das dauert ja auch sehr lange und damit quasi 70 00:03:36,920 --> 00:03:40,720 Daten gesehen hat, verarbeitet hat und wissen aufgebaut hat, 71 00:03:41,000 --> 00:03:43,880 die nicht aktuell sind und auch nicht domänenspezifisch. 72 00:03:43,880 --> 00:03:46,360 Also es wird nichts zu deinem Privaten, es sei denn du hat das 73 00:03:46,360 --> 00:03:49,320 quasi vor Jahren schon ins Netz gestellt, irgendwie größere 74 00:03:49,320 --> 00:03:53,320 private Daten von dir vielleicht mit drin irgendeinen Teil. 75 00:03:54,190 --> 00:03:57,110 Aber es wird halt nicht die spezifischen Domänenspezifischen 76 00:03:57,110 --> 00:03:59,350 Sachen kennen und darauf dann nicht antworten können. 77 00:03:59,350 --> 00:04:01,750 Das ist jetzt aber gerade ne ziemlich spannende Anwendung, 78 00:04:02,110 --> 00:04:04,190 ich geb mal nur so n paar Beispiele, könnte zum Beispiel 79 00:04:04,190 --> 00:04:08,670 ne Firma sein die sehr viele dokumentations PDFS hat oder 80 00:04:08,670 --> 00:04:11,310 oder oder Datenblätter oder irgendwie was ne also viel 81 00:04:11,310 --> 00:04:16,670 Information und du würdest jetzt quasi die sprachliche Kompetenz 82 00:04:16,670 --> 00:04:20,709 eines eines Chat GPTS eines Sprachmodells nutzen wollen um 83 00:04:20,709 --> 00:04:23,950 auf aufgrund dieser Informationen quasi einen 84 00:04:23,950 --> 00:04:26,870 Chatbot zu erstellen, wo dann halt quasi Leute fragen können, 85 00:04:26,870 --> 00:04:28,790 wie ist denn das und das, wie geht das und das oder. 86 00:04:29,640 --> 00:04:31,400 Was nehme ich denn am besten für ein Produkt, wenn ich das und 87 00:04:31,400 --> 00:04:34,280 das habe oder oder oder? Also die Problemstellung ist die 88 00:04:34,280 --> 00:04:38,680 das öffentliche oder generative KI an der Stelle einfach 89 00:04:38,680 --> 00:04:41,160 limitiertes Wissen hat, und zwar nur das Wissen bis zu einem 90 00:04:41,160 --> 00:04:45,640 bestimmten Zeitpunkt und vor allem nur das Wissen, was eben 91 00:04:45,640 --> 00:04:49,840 dann auch zur Verfügung stand bei bei Chat GPT jetzt zum 92 00:04:49,840 --> 00:04:53,040 Beispiel ja das Internet bis weiß ich nicht 2022 oder sowas 93 00:04:53,040 --> 00:04:55,750 in der Form. Ganz genau, ganz genau das ganze 94 00:04:55,750 --> 00:04:58,270 Internet wird ja gescrapt und es wird, auch das ist glaube ich, 95 00:04:58,270 --> 00:04:59,870 auch was Open Air erfolgreich macht. 96 00:04:59,870 --> 00:05:03,750 Also es gibt ja so n paar Phasen sag ich mal so ne von so nem 97 00:05:03,750 --> 00:05:05,910 Training von so nem großen sprachmodus es gibt sogenanntes 98 00:05:05,910 --> 00:05:08,470 Vortraining, da wird halt so quasi im Prinzip nur erstmal. 99 00:05:08,790 --> 00:05:12,750 Datendaten Daten gescrapte Daten aus dem Internet eingesetzt und 100 00:05:12,750 --> 00:05:15,910 das Modell lernt quasi erstmal, wie funktioniert Sprache, wie 101 00:05:15,910 --> 00:05:19,550 funktioniert Semantik und das kann man vielleicht noch einmal 102 00:05:19,550 --> 00:05:20,750 wiederholen. Wir hatten ja schon mal eine 103 00:05:20,750 --> 00:05:22,910 Folge bei KI, aber im Prinzip ist es so. 104 00:05:23,310 --> 00:05:26,470 Dass das Modell Wahrscheinlichkeiten lernt, was 105 00:05:26,470 --> 00:05:29,270 für ein weiteres Wort auf ein vorheriges folgt. 106 00:05:30,110 --> 00:05:32,470 Also das ist also tatsächlich sind so Sprachmodelle, also die 107 00:05:32,470 --> 00:05:35,310 haben jetzt kein echtes Bewusstsein, sondern das ist ne 108 00:05:35,310 --> 00:05:38,670 Wahrscheinlichkeitsmaschine gewichtet, so dass wenn du jetzt 109 00:05:38,670 --> 00:05:42,310 irgendein Wort oder mehrere Wörter in der in der AI heißt, 110 00:05:42,310 --> 00:05:45,030 es immer Tokens ist nicht ganz n Wort und auch nicht ganz n 111 00:05:45,030 --> 00:05:47,110 Buchstabe ist. N ja so n technisches 112 00:05:47,110 --> 00:05:49,870 Mittelding, sag ich mal. Ja, das Modell lernt erstmal. 113 00:05:49,870 --> 00:05:53,030 Was sind die wahrscheinlichen Folgewörter auf einem? 114 00:05:53,030 --> 00:05:55,750 Bestimmt ist damit quasi Sätze gebildet werden können, die 115 00:05:55,750 --> 00:05:58,990 irgendwie normal klingen in einer beliebigen Sprache und 116 00:05:58,990 --> 00:06:01,790 dann kommt ein zweites, ein zweites Training dran, das ist 117 00:06:01,790 --> 00:06:04,830 ein bisschen aufwendiger, das hat aber Open Area dann auf sich 118 00:06:04,830 --> 00:06:06,830 genommen und das ist so ein Frage Antwort Spiel. 119 00:06:07,840 --> 00:06:10,000 Denn sonst hast du ja kein generative AI. 120 00:06:10,000 --> 00:06:13,720 Du hast wie in der Schule kann man es sich vorstellen in der 121 00:06:13,720 --> 00:06:16,080 Human sagt man immer, der Human stellt eine Frage und der 122 00:06:16,080 --> 00:06:21,320 Assistant beantwortet die dann und damit wird quasi trainiert, 123 00:06:21,320 --> 00:06:24,920 also man hat einen ganzen Datensatz von von Frageantwort 124 00:06:25,240 --> 00:06:30,360 rätseln Lösung die richtig sind und dass man lernt quasi also 125 00:06:30,360 --> 00:06:32,640 man trainiert das Modell und gibt ihm quasi. 126 00:06:32,830 --> 00:06:35,830 Punkte, wenn es schlechter ist. Und es ist besser, wenn wenn die 127 00:06:35,830 --> 00:06:37,990 Antwort richtiger ist, ne, dann wird das Halt trainiert. 128 00:06:37,990 --> 00:06:41,590 Aber alle diese, also sowohl das vortraining halt als auch die 129 00:06:41,950 --> 00:06:45,790 Frage Antwortspiele sind halt passieren halt auf Daten die ja 130 00:06:45,790 --> 00:06:48,110 nicht individuell sind und auch nicht aktuell sind. 131 00:06:49,100 --> 00:06:50,660 So, und jetzt kann man sich die Frage stellen, aber die 132 00:06:50,660 --> 00:06:53,780 Kompetenz dieses Modells haben wir sprachlich ordentlich zu 133 00:06:53,780 --> 00:06:57,140 antworten auf beliebigen Kontext ist halt trotzdem gegeben, das 134 00:06:57,140 --> 00:06:59,460 ist halt eintrainiert und wenn ich die jetzt nutzen möchte, 135 00:06:59,460 --> 00:07:01,540 dann könnte ich, dann gibt es jetzt im Prinzip 2. 136 00:07:02,750 --> 00:07:05,990 Offensichtliche Möglichkeiten oder sagen wir mal 2 137 00:07:05,990 --> 00:07:07,790 Möglichkeiten, ob die offensichtlich sind, steht noch 138 00:07:07,790 --> 00:07:10,430 mal auf einer anderen Frage, aber man kann ja Modelle, man 139 00:07:10,430 --> 00:07:15,230 kann Modelle weiter trainieren, also so n so n so NGPT so n Chat 140 00:07:15,230 --> 00:07:19,030 GPT Modell GPT 4 oder irgendsowas könnte ich nehmen 141 00:07:19,030 --> 00:07:22,830 und es mit meinem Domainspezifischen Wissen weiter 142 00:07:22,830 --> 00:07:24,110 trainieren. Jetzt ist bei GPT nicht so 143 00:07:24,110 --> 00:07:26,430 einfach, weil das glaube ich nicht so einfach Open Source 144 00:07:26,430 --> 00:07:30,150 weiter zu trainieren geht es gibt aber mittlerweile passiert 145 00:07:30,150 --> 00:07:35,560 ja viel bei KI es gibt. Open Source Modelle Elama zum 146 00:07:35,560 --> 00:07:38,560 Beispiel. Die kann man sich quasi 147 00:07:38,560 --> 00:07:43,080 runterladen und dann mit seinen Daten weiter trainieren und 148 00:07:43,080 --> 00:07:44,720 weiter trainieren. Heißt halt ich mach frage 149 00:07:44,720 --> 00:07:47,400 Antwort spiele ich füttere Informationen quasi rein in 150 00:07:47,400 --> 00:07:50,880 dieses Modell und in der Anatomie des Gehirns. 151 00:07:50,880 --> 00:07:53,080 Ich stelle mir immer so ein AI Modell vor, tatsächlich wie ein 152 00:07:53,080 --> 00:07:56,840 menschliches Gehirn mit und was wir quasi an Neuronen haben und 153 00:07:56,840 --> 00:07:59,480 so weiter das sind quasi die die ganzen Gewichtungen die da drin 154 00:07:59,480 --> 00:08:02,080 liegen, dann kommt ein neuer Datensatz rein, dann wird er 155 00:08:02,080 --> 00:08:04,400 durch gewichtet und kommt etwas raus und. 156 00:08:04,510 --> 00:08:07,350 Ich kann quasi das Gehirn weiterentwickeln, das Modell 157 00:08:07,350 --> 00:08:11,990 selbst, in dem ich weiter trainiere mit Daten, die halt 158 00:08:11,990 --> 00:08:14,550 quasi aus meinem Bestand sind und die aktuell sind, das kann 159 00:08:14,550 --> 00:08:16,870 ich machen. OK, und da gibt es quasi Open 160 00:08:16,870 --> 00:08:19,430 Source Projekte, die in Anführungszeichen so sind. 161 00:08:19,430 --> 00:08:22,670 Wie.ch PT, also das ganze Internet oder das Internet bis 162 00:08:22,670 --> 00:08:26,070 zu einem gewissen Zeitpunkt. Wir haben schon in sich haben in 163 00:08:26,070 --> 00:08:26,630 sich. Tragen? 164 00:08:26,630 --> 00:08:28,350 Richtig damit. Genau. 165 00:08:28,510 --> 00:08:32,390 Und du kannst bist jetzt in der Lage dazu, als Entwickler das zu 166 00:08:32,390 --> 00:08:36,309 nehmen und dann noch weiter mit zum Beispiel firmeninternen 167 00:08:36,549 --> 00:08:38,120 Wissen. Was diese, diese Dokumentation, 168 00:08:38,120 --> 00:08:42,960 diese PD fs da erwähnt, die da noch reinzugeben um ein Modell, 169 00:08:42,960 --> 00:08:46,040 was schon das Internet kennt oder ein Teil des Internets noch 170 00:08:46,040 --> 00:08:48,640 weiter zu trainieren, richtig, das war jetzt der Anfang. 171 00:08:48,640 --> 00:08:50,720 Das wäre der Anwender. Die erste Lösung? 172 00:08:50,720 --> 00:08:53,920 Und damit veränderst du quasi anatomisch das Modell, das 173 00:08:53,920 --> 00:08:55,800 Gehirn quasi. Also so, wie wenn der Mensch 174 00:08:55,800 --> 00:08:58,000 weiter lernen würde. Dann man sagt ja auch, 175 00:08:58,000 --> 00:09:01,000 anatomisch entstehen neue Verbindungen und so weiter dies 176 00:09:01,000 --> 00:09:04,080 entwickelt sich alles weiter so wäre es dann da auch und das ist 177 00:09:04,080 --> 00:09:08,160 halt langwierig und teuer und du brauchst extrem krass Hardware, 178 00:09:08,160 --> 00:09:11,950 weil weil diese Modell. Diese großen Sprachmodelle sind 179 00:09:11,950 --> 00:09:14,550 halt groß, also die freien. Es gibt auch kleinere von denen, 180 00:09:14,550 --> 00:09:16,870 die dann schon abgespeckt wurden, da gibt es auch wieder 181 00:09:16,870 --> 00:09:20,070 Techniken, wie man die etwas reduzieren kann, aber du 182 00:09:20,070 --> 00:09:22,910 brauchst da halt ne Grafikkarte, mindestens ne gute und du 183 00:09:22,910 --> 00:09:25,750 brauchst Zeit und brauchst Geld. Und du musst die Daten 184 00:09:25,750 --> 00:09:28,630 hervorragend aufbereiten, dass du quasi dieses Training 185 00:09:28,990 --> 00:09:33,470 vornehmen kannst. Extrem rechenintensiv, da deine 186 00:09:33,470 --> 00:09:36,070 Daten reinzugeben. Ja, deswegen ist das ne 187 00:09:36,070 --> 00:09:38,310 Alternative, aber jetzt auch vielleicht nicht die schnellste 188 00:09:38,310 --> 00:09:41,270 und naheliegendste. Wenn ich jetzt nämlich, wenn ich 189 00:09:41,270 --> 00:09:43,630 jetzt quasi einfach mal ganz schnell irgendwie mein Wissen da 190 00:09:43,630 --> 00:09:45,510 rein bekommen möchte, möchte was haben, was dann einfach 191 00:09:45,510 --> 00:09:48,030 funktioniert. Und jetzt kommen wir quasi auf 192 00:09:48,030 --> 00:09:51,150 die auf das Rack. Dafür ist halt dieses Retrieval 193 00:09:51,150 --> 00:09:54,950 Augmented Generation ist halt eine Methode. 194 00:09:55,030 --> 00:09:58,510 Wie man das, wie man das erreichen kann, ohne ein Modell 195 00:09:58,510 --> 00:10:01,390 weiter zu trainieren ne. Ja, also ich sag es noch mal 196 00:10:01,390 --> 00:10:05,190 ganz klar, man kann ein fertiges Modell, egal welches zum 197 00:10:05,190 --> 00:10:08,990 Beispiel das Chat TPT 3.5 Turbo oder Irgendsowas nehmen so wie 198 00:10:08,990 --> 00:10:11,630 es ist. Und trotzdem erreichen. 199 00:10:13,280 --> 00:10:15,760 Dass dieses Modell quasi mit neuen Informationen gefüttert 200 00:10:15,760 --> 00:10:18,520 wird und Kontextuell antwortet, ja. 201 00:10:19,190 --> 00:10:21,790 OK, genau. Also das ist, das wollte ich 202 00:10:21,790 --> 00:10:24,430 heute mal. Also erstmal, dass das geht ist 203 00:10:24,430 --> 00:10:27,510 auch das relativ neuer Ansatz, ne neue Idee, das ist ungefähr 204 00:10:27,510 --> 00:10:31,230 seit 220 20. Und wie das funktioniert 205 00:10:31,230 --> 00:10:33,150 technisch. Ich hatte gar keine Ahnung, ich 206 00:10:33,150 --> 00:10:36,230 wusste nicht, dass das geht, es ist mal wieder so, dass wir 207 00:10:36,510 --> 00:10:39,870 aktuellen Fall haben und mich die Nase da auch beruflich, sag 208 00:10:39,870 --> 00:10:42,350 ich mal, reinstecken muss und das wollte ich einfach mal heute 209 00:10:42,350 --> 00:10:43,990 im Chat teilen, das ist nämlich ne. 210 00:10:44,750 --> 00:10:47,630 Ja, eigentlich ne ganz einfache Geschichte, wie das funktioniert 211 00:10:47,630 --> 00:10:49,190 und das kann man ganz schnell mal. 212 00:10:49,270 --> 00:10:51,510 Also ganz schnell, aber in einem Podcast schon mal erklären. 213 00:10:51,790 --> 00:10:53,630 Cool, das hat mir extrem geholfen. 214 00:10:53,630 --> 00:10:55,670 Diese Unterscheidung zwischen diesen 2 Möglichkeiten, entweder 215 00:10:55,670 --> 00:10:58,350 dass ein bestehendes Large Language Language Model eben 216 00:10:58,390 --> 00:11:01,670 entsprechend weiter zu trainieren mit dem spezifischen 217 00:11:01,670 --> 00:11:04,750 Wissen, was es noch können muss oder nicht, weiter zu 218 00:11:04,750 --> 00:11:08,190 trainieren, aber trotzdem es in die Lage dazu zu versetzen, 219 00:11:08,550 --> 00:11:11,430 dieses Wissen zu verarbeiten, was dann eben die Reg. 220 00:11:11,430 --> 00:11:16,550 Ai also nochmal langsam retrieval Augmented Generation 221 00:11:16,830 --> 00:11:18,920 AI. Ist genau. 222 00:11:19,360 --> 00:11:21,400 Okay sehr cool. Ich habe ein paar Fragen, aber 223 00:11:21,400 --> 00:11:23,520 vielleicht erklärst du es erstmal noch ein bisschen und 224 00:11:23,520 --> 00:11:27,120 ich stelle den dann am Ende, wie das jetzt genau funktioniert, 225 00:11:27,120 --> 00:11:30,160 weil erstmal klingt es ja so, also erstmal nicht so. 226 00:11:30,400 --> 00:11:33,600 Logisch, dass das überhaupt geht. 227 00:11:34,960 --> 00:11:37,480 Das stimmt. Ich versuche das mal zu 228 00:11:37,480 --> 00:11:41,680 erklären, also ganz wichtig bei dieser Methode ist, dass wir 229 00:11:41,680 --> 00:11:46,280 eine, dass wir eine zweite Knowledge Base Aufbenologisch 230 00:11:46,280 --> 00:11:49,880 Base, eine zweite Wissensbasis aufbauen, die erst mal nichts 231 00:11:49,960 --> 00:11:52,840 mit dem Modell zu tun hat, und ich hatte ganz am Anfang gesagt, 232 00:11:52,840 --> 00:11:55,790 Datenbasis Datenbank. Jetzt, so die, die die Fachleute 233 00:11:55,790 --> 00:11:58,030 sprechen jetzt schon von der Vektordatenbank es müsste eine 234 00:11:58,030 --> 00:12:01,390 Vektordatenbank aufgebaut werden, in der das spezifische 235 00:12:01,390 --> 00:12:04,390 Wissen gespeichert wird. So kann man es auch überall 236 00:12:04,390 --> 00:12:05,910 lesen, aber damit kann man nichts anfangen. 237 00:12:05,910 --> 00:12:09,550 Also was ist das ja. Im Prinzip ist es so, ich hab 238 00:12:09,590 --> 00:12:12,630 ich hab jetzt Informationen, die kommen zum Beispiel aus 239 00:12:12,630 --> 00:12:16,510 Dokumenten, also aus dem PDF aus dem Word Dokument textuelle 240 00:12:16,510 --> 00:12:20,190 Informationen, die ich jetzt quasi als aktuellen Kontext dem 241 00:12:20,190 --> 00:12:23,310 Modell beigeben will, so und die die können auch. 242 00:12:23,310 --> 00:12:25,350 Also ich finde die kommen entweder aus dokumententypischer 243 00:12:25,350 --> 00:12:27,790 Weise oder die kommt tatsächlich aus dem Web. 244 00:12:28,150 --> 00:12:30,070 Du könntest ja auch eine neue Webseite aufgemacht haben, da 245 00:12:30,070 --> 00:12:31,590 hast du dir irgendwie schon die Mühe gemacht, hast alles 246 00:12:31,590 --> 00:12:34,030 hingemacht, da gibt es ja auch ganz viel texturelle 247 00:12:34,030 --> 00:12:35,670 Informationen, die muss ich jetzt irgendwie noch so ein 248 00:12:35,670 --> 00:12:38,470 bisschen aus dem HTML rausziehen, aber da steht ja 249 00:12:38,470 --> 00:12:40,950 schon was drin, so, da kann das alles herkommen. 250 00:12:42,030 --> 00:12:44,430 Was wir jetzt machen müssen. Wir müssen im Prinzip diese 251 00:12:44,430 --> 00:12:50,400 textuelle Informationen. Speichern, und zwar so, dass 252 00:12:50,400 --> 00:12:53,920 wenn wir jetzt eine Frage stellen. 253 00:12:54,000 --> 00:12:57,120 An das an das Modell, die sich natürlich im Kontext irgendwie 254 00:12:57,120 --> 00:12:59,680 darauf bezieht, auf die aktuellen Daten. 255 00:13:01,760 --> 00:13:05,120 Dass dass die, dass die bestimmten Teile dieser ganzen 256 00:13:05,120 --> 00:13:08,360 Information nicht reingebe die relevanten Teile rausgesucht 257 00:13:08,360 --> 00:13:12,440 werden und dem Modell auch noch mit zur Verfügung gegeben 258 00:13:12,440 --> 00:13:15,240 werden. Denn also Key von dem Ganzen 259 00:13:15,240 --> 00:13:19,280 ist, dass ich nicht nur, denn das also prompt Engineering 260 00:13:19,280 --> 00:13:22,880 haben wir auch schon mal gehört. Ich kann natürlich dem Chat GP T 261 00:13:22,880 --> 00:13:26,840 eine einfache Frage stellen, ich kann aber dem Chat GPS prompt 262 00:13:26,840 --> 00:13:29,280 auch sehr viele andere Informationen noch mit beigeben, 263 00:13:29,440 --> 00:13:32,360 ich muss ja nicht nur eine Frage stellen, ich kann auch sagen. 264 00:13:33,040 --> 00:13:37,240 Liebes Jet GPT, meistens noch nicht so freundlich, aber hier 265 00:13:37,240 --> 00:13:39,280 hast du ein ganzes Stück Code oder Irgendsowas. 266 00:13:39,280 --> 00:13:42,760 Ja und dann und dann stellst du eine Frage, finde zum Beispiel 267 00:13:42,760 --> 00:13:44,910 den Film. Diesen Code, ja. 268 00:13:45,070 --> 00:13:47,590 Ist auch bei einer Übersetzung, ist es doch quasi auch ähnlich, 269 00:13:47,590 --> 00:13:48,390 oder? Ja, genau. 270 00:13:48,990 --> 00:13:51,990 Also wenn ich jetzt sage, hier ist NNN Absatz auf Deutsch, 271 00:13:52,110 --> 00:13:54,350 bitte werf mir den auf. Französisch raus, richtig, 272 00:13:54,630 --> 00:13:57,190 richtig genau. Und das ist halt ne Kompetenz, 273 00:13:57,190 --> 00:13:59,590 die kann halt, die kann halt das. 274 00:13:59,710 --> 00:14:02,470 Große Sprachmodell sowieso. Ja, du kannst halt, da kannst du 275 00:14:02,470 --> 00:14:04,990 ja beliebig viele, das ist meistens gesperrt, irgendwann 276 00:14:04,990 --> 00:14:07,070 kann das nicht mehr aufnehmen, das ist so die Anzahl der 277 00:14:07,070 --> 00:14:10,190 maximalen Tokens, das ist modellbasiert, aber das sind ein 278 00:14:10,190 --> 00:14:13,430 Paar, also du kannst das schon richtig Kontext rein reinkleben 279 00:14:13,430 --> 00:14:16,630 ja du kannst halt nicht einfach. Und, und das ist wichtig, du 280 00:14:16,630 --> 00:14:19,390 kannst halt nicht einfach deine ganzen PDFS irgendwie zu Texten 281 00:14:19,390 --> 00:14:23,230 machen oder irgendwie und die da bei jeder Anfrage vor das Modell 282 00:14:23,230 --> 00:14:26,470 knallen und sagen gegeben, diesen ganzen Informationen, sag 283 00:14:26,470 --> 00:14:29,670 mir mal das und das, ja das wär zu krass und das wär auch zu 284 00:14:29,670 --> 00:14:32,350 aufwendig und und aber im Prinzip funktioniert das so 285 00:14:32,350 --> 00:14:36,070 Gerrit, also die Idee ist eigentlich nimm die extra 286 00:14:36,070 --> 00:14:40,310 Informationen die ich hab und gib sie mit in den prompt und 287 00:14:40,310 --> 00:14:43,430 stell quasi darunter deine Frage die sich auf diesen Kontext 288 00:14:43,430 --> 00:14:46,990 bezieht, du sagst halt quasi und das ist der Key, du sagst halt. 289 00:14:48,040 --> 00:14:53,280 Liebe Sprachmodell, gib mir eine gute Antwort auf meine Frage, 290 00:14:53,320 --> 00:14:57,800 gegeben auf den Kontext, den ich dir jetzt hier mitgebe und dann 291 00:14:58,280 --> 00:15:01,840 dann dann copy pastest du quasi den Inhalt von deinem neuen 292 00:15:01,840 --> 00:15:04,440 Kontext einfach mit rein und gibst halt in der Anfrage die 293 00:15:04,440 --> 00:15:06,120 Informationen dazu. Das will. 294 00:15:06,480 --> 00:15:09,560 Ich jetzt wahrscheinlich, aber nicht bei jeder Anfrage machen, 295 00:15:09,560 --> 00:15:12,200 die ich dann an dieses doch an das LM Stelle. 296 00:15:12,200 --> 00:15:14,880 Musst du musst bei jeder Anfrage den entsprechenden Kontext 297 00:15:14,880 --> 00:15:16,840 mitgeben. Aber jetzt kommt's. 298 00:15:17,270 --> 00:15:20,470 Jetzt ist es nämlich so. Du willst halt also jede Frage 299 00:15:20,470 --> 00:15:23,310 benötigt ja für die Antwort nicht den gesamten Kontext 300 00:15:23,310 --> 00:15:26,830 deinen gesamten Webauftritts oder aller deiner 1000 PDFS, 301 00:15:26,830 --> 00:15:29,430 sondern nur n bestimmten Teilbereich und jetzt kommt das 302 00:15:29,430 --> 00:15:31,870 was ich gesagt hatte, jetzt müsste man quasi ne Möglichkeit 303 00:15:31,870 --> 00:15:35,830 haben. Aus einer Datenbank genau die 304 00:15:35,830 --> 00:15:39,310 Stellen, also die vielen Stellen, die potenziell vielen 305 00:15:39,310 --> 00:15:42,470 Stellen, die sich darauf beziehen auf das, was du jetzt 306 00:15:42,470 --> 00:15:47,870 gerade anfragst, rauszufinden und nur diese gefiltert. 307 00:15:48,270 --> 00:15:50,790 Dem Sprachmodell mitzugeben als Kontext. 308 00:15:50,790 --> 00:15:52,590 Du hast verstanden, ich weiß nicht, ob ich es erklärt. 309 00:15:52,590 --> 00:15:54,590 Habe also ich hab es verstanden, aber das klingt als würde jetzt 310 00:15:54,590 --> 00:15:58,710 für mich so klingen als wäre da irgendein Mechanismus im Gange 311 00:15:58,710 --> 00:16:00,870 oder Algorithmus oder sowas der erstmal. 312 00:16:01,790 --> 00:16:04,750 Raussucht, welches die relevanten Stellen sind und 313 00:16:04,750 --> 00:16:08,110 diese dann mitgibt als. Kontakt exakt, und das ist ja, 314 00:16:08,110 --> 00:16:11,230 dass die KI Technologie, wir brauchen also ne Datenwahl, also 315 00:16:11,230 --> 00:16:14,270 die Datenbank, die speichert quasi alle Informationen die wir 316 00:16:14,270 --> 00:16:17,070 reinpacken, und zwar nicht einfach nur als Text. 317 00:16:17,190 --> 00:16:19,870 Sondern als sogenannte Vektoren vom Text. 318 00:16:19,870 --> 00:16:22,270 Und so funktionieren auch die Sprachmodelle wir wissen, ich 319 00:16:22,270 --> 00:16:24,070 weiß nicht aus der 1. Folge vielleicht, dass wir haben 320 00:16:24,070 --> 00:16:26,150 immer so Gewichtungen, im Prinzip können so mit Modelle 321 00:16:26,150 --> 00:16:28,150 immer nur mit Nummern und Wahrscheinlichkeiten umgehen, 322 00:16:28,150 --> 00:16:31,230 das heißt, aus so einem Wort oder so ein Text wird quasi ne 323 00:16:31,230 --> 00:16:34,670 Abfolge von. Von von Floating Points, also 324 00:16:34,670 --> 00:16:37,590 von von Nummern generiert. So also tatsächlich in Mathe. 325 00:16:37,590 --> 00:16:40,470 In der Mathematik sind das Vektoren, entstehen aus Tokens 326 00:16:40,510 --> 00:16:44,190 halt multidimensional und diese diese Tokens kann ich nachher 327 00:16:44,190 --> 00:16:46,990 dann vergleichen miteinander, ob die sich ähnlich sind oder nicht 328 00:16:46,990 --> 00:16:49,430 und kann quasi. Kann dann quasi so ne Art 329 00:16:49,430 --> 00:16:52,190 Semantik erreichen. Also wenn ich so ne Anfrage habe 330 00:16:52,190 --> 00:16:56,070 und Speicher jetzt meine ganzen Daten die ich hab als Vektoren 331 00:16:56,070 --> 00:16:59,990 ne also als Nummer als durchnummerierte Informationen 332 00:16:59,990 --> 00:17:03,110 quasi ja in der Datenbank, das sind sogenannte Vektordatenbank, 333 00:17:03,110 --> 00:17:06,069 gibt es viele von viele verschiedene Arten, dann kann 334 00:17:06,069 --> 00:17:09,430 ich quasi meine Anfrage auch in so einen Vektor verwandeln live. 335 00:17:09,430 --> 00:17:11,950 Das passiert auch. Also ich gebe in den prompt ein 336 00:17:11,950 --> 00:17:15,510 meine Frage zum aktuellen, zum aktuellen Kontext, der wird in 337 00:17:15,510 --> 00:17:19,829 so einen Vektor umgewandelt, damit wird die Wissensdatenbank 338 00:17:19,829 --> 00:17:22,790 die ich aufbaue. Auch zu meinem Vater versucht so 339 00:17:22,790 --> 00:17:25,829 ein Vektorensearch quasi, das ist so Nearly's Naval Search und 340 00:17:25,829 --> 00:17:28,109 so weiter da werden also alle Stellen sehr schnell 341 00:17:28,109 --> 00:17:30,270 rausgefunden, die jetzt irgendwie relevant sind für für 342 00:17:30,270 --> 00:17:32,510 meine Anfrage. Die werden in Text 343 00:17:32,510 --> 00:17:36,070 zurückverwandelt und in den prompt geklatscht, in den prompt 344 00:17:36,070 --> 00:17:39,590 geklatscht und dann kommt die Frage dazu und dann kommt das 345 00:17:39,590 --> 00:17:43,430 große Sprachmodell und kann halt mit dem Vortrainierten Wissen, 346 00:17:43,430 --> 00:17:45,950 wie Sätze baut und wie es Antworten zu geben hat. 347 00:17:46,830 --> 00:17:49,470 Und im Kontext, den ich da gerade schnell rausgesucht habe 348 00:17:49,470 --> 00:17:51,870 aus der Wissensdatenbank eine ordentliche Antwort zu geben. 349 00:17:51,870 --> 00:17:55,070 Ne, ja, krass. So funktioniert das also ganz 350 00:17:55,070 --> 00:17:56,350 grob so. Also das da wirklich 2 351 00:17:56,350 --> 00:17:58,710 Technologien die da geschickt miteinander kommuniziert werden. 352 00:17:58,870 --> 00:18:02,030 Genau, ganz genau. Und diese diese Technologien, 353 00:18:02,030 --> 00:18:05,070 das also so Vektordatenbanken, die sind halt quasi während des 354 00:18:05,070 --> 00:18:07,870 Trainierens von Large Language Models. 355 00:18:08,470 --> 00:18:09,910 Halt quasi auch schon Bestandteil. 356 00:18:09,910 --> 00:18:11,710 Also das braucht man da auch, das sind halt quasi 357 00:18:11,710 --> 00:18:13,750 Technologien, die ich dafür sowieso brauche, deswegen sind 358 00:18:13,750 --> 00:18:17,070 die extrem weit entwickelt und man nimmt einfach dann die, die 359 00:18:17,070 --> 00:18:20,350 im Prinzip die die Embedding sagt man auch so ne die Arten 360 00:18:20,350 --> 00:18:22,630 und weisen wie ich quasi vom Text auf diese. 361 00:18:22,750 --> 00:18:25,190 Vektoren komme das, da steckt ja so ein bisschen die Magie drin, 362 00:18:25,190 --> 00:18:26,870 sage ich mal. Die nimmt man eigentlich schon, 363 00:18:26,870 --> 00:18:30,550 die man hat, macht es aber quasi als extra Kästchen sich hin, als 364 00:18:30,550 --> 00:18:35,190 extra Datenbank und und fragt dann schnell vorher ab und packt 365 00:18:35,190 --> 00:18:36,790 dann den Kontext in den man braucht. 366 00:18:36,990 --> 00:18:41,270 Dadurch werden die Anfragen. Minimal klein. 367 00:18:41,390 --> 00:18:43,750 Das ist wichtig, damit das Sprachmodell halt quasi ja auch 368 00:18:43,750 --> 00:18:46,150 irgendwie nicht überfordert ist und sich da die richtigen Sachen 369 00:18:46,150 --> 00:18:48,590 raussucht. Ja und auch für die Geldbörse 370 00:18:48,590 --> 00:18:52,230 ist es wichtig, denn dann die Anzahl der Tokens normal 371 00:18:52,230 --> 00:18:54,190 rechnen, die es also wenn du jetzt das als Service nimmst und 372 00:18:54,190 --> 00:18:56,710 das davon muss man mal ausgehen, man kann sich ja quasi nicht ein 373 00:18:56,710 --> 00:18:58,830 Modell selber hosten, weil dafür brauchst du extrem viele 374 00:18:58,830 --> 00:19:02,270 Ressourcen, dann willst du quasi die Anfrage Größe klein. 375 00:19:02,270 --> 00:19:06,670 Halten die LM schon vorbereitet darauf sage ich mal. 376 00:19:06,670 --> 00:19:11,710 Also ich weiß oder oder man weiß, dass ja die beim Training 377 00:19:11,710 --> 00:19:15,360 von den LMS bestimmte Quellen. Höher gewichtet werden als 378 00:19:15,360 --> 00:19:16,960 andere. Also ich glaube zum Beispiel 379 00:19:16,960 --> 00:19:18,880 Reddit. Alles was auf Reddit ist, geht 380 00:19:18,880 --> 00:19:23,000 mit einer höheren Gewichtung ein als ein x beliebiger Block oder 381 00:19:23,000 --> 00:19:25,360 so im Internet. Warum? 382 00:19:25,510 --> 00:19:28,990 Aber man glaubt, dass das bei Reddit so um die Wahrheit steht, 383 00:19:29,350 --> 00:19:31,830 eher die Wahrheit steht als woanders, sagen wir es mal so. 384 00:19:32,350 --> 00:19:34,830 So. Und jetzt müsste ja so ein LNM 385 00:19:34,830 --> 00:19:40,830 auch wiederum vielleicht den den Kontext wieder miteinander mit 386 00:19:40,830 --> 00:19:43,150 Vergleichen, mit mit, mit so etwas, was da zum Beispiel bei 387 00:19:43,150 --> 00:19:46,630 bei Reddit gelesen hat. Also was ist ne, was ist 388 00:19:46,630 --> 00:19:48,910 höhergewichtet? Ja, der sehr gute Frage. 389 00:19:48,950 --> 00:19:51,150 Ja, also ist das ist das vorbereitet ist, das schon 390 00:19:51,150 --> 00:19:53,110 vorher mit drin oder oder ist das egal? 391 00:19:53,110 --> 00:19:55,510 Das ist auch so überraschend einfach, wenn man sich das 392 00:19:55,510 --> 00:19:57,070 vorstellen kann. Das ist einfach die Frage, wie 393 00:19:57,070 --> 00:20:01,070 du dein prompt formulierst. Du kannst also wenn also wenn du 394 00:20:01,070 --> 00:20:03,430 jetzt zum Beispiel möchtest, dass das Sprachmodell 395 00:20:03,430 --> 00:20:06,630 tatsächlich nur und explizit nur aussagen. 396 00:20:06,830 --> 00:20:09,750 Zu den Informationen, die du da noch mit rein gibst, deine 397 00:20:09,750 --> 00:20:11,670 aktuellen Informationen, dann schreibst du halt in deinen 398 00:20:11,670 --> 00:20:13,350 prompt. Also während du den Kontext 399 00:20:13,350 --> 00:20:18,070 davor geklatscht hast, sagst du. Gib mir eine Antwort, basierend 400 00:20:18,070 --> 00:20:21,310 nur auf den von mir hier gegebenen Kontext. 401 00:20:21,310 --> 00:20:23,830 Ja, und wenn du das tust und du sagst, gib mir ne Antwort, 402 00:20:23,830 --> 00:20:28,470 basierend nur auf diesem Kontext, dann tut es das und 403 00:20:28,470 --> 00:20:31,750 wenn du jetzt ne Mischung haben willst zwischen wissen was quasi 404 00:20:31,750 --> 00:20:35,510 das Sprachmodell auch in sich trägt und deinem Kontext, also 405 00:20:35,510 --> 00:20:38,110 wenn es ein bisschen aufmachen willst, sage ich mal, dann kann, 406 00:20:38,110 --> 00:20:40,710 aber dann kann es halt sein, dass du eine halluzinierte 407 00:20:40,710 --> 00:20:43,790 Antwort bekommst und so weiter das Probleme kennen wir ja dann 408 00:20:43,790 --> 00:20:45,910 sagst du, gib mir bitte eine Antwort. 409 00:20:46,800 --> 00:20:49,280 Priorisiere irgendwie meinen Kontext hoch, aber du kannst 410 00:20:49,280 --> 00:20:50,720 auch andere Sachen auch mit Reinmischen. 411 00:20:50,720 --> 00:20:52,760 Das ist halt die Frage wie, das nennt sich ja prompt 412 00:20:52,760 --> 00:20:55,760 Engineering, Du gibst halt quasi in dem Satz den du formulierst, 413 00:20:55,760 --> 00:20:59,800 was das Sprachmodell zu tun hat, gibst du ihm vor, wie stark 414 00:20:59,800 --> 00:21:01,640 irgendwie was gewichtet in deiner Antwort. 415 00:21:02,870 --> 00:21:04,990 Und wenn du, wenn du willst, dass es tatsächlich exakt ist, 416 00:21:04,990 --> 00:21:07,230 weil du zum Beispiel weiß ich nicht, was du, weil du für ein 417 00:21:07,230 --> 00:21:09,750 Unternehmen intern irgendwie Dokumentation wiedergeben willst 418 00:21:09,750 --> 00:21:11,670 und du willst auf keinen Fall, dass du irgendwie Quatsch steht, 419 00:21:11,670 --> 00:21:14,510 dann dann sagst du dem Sprachmodell, bitte antworte nur 420 00:21:14,510 --> 00:21:17,430 gegeben den Informationen, die ich dir da reingegeben hab und 421 00:21:17,430 --> 00:21:20,070 dann passiert auch kein, da passiert auch kein kein 422 00:21:20,070 --> 00:21:24,470 komisches Zeug, dann passiert vielleicht nicht ganz richtig, 423 00:21:24,470 --> 00:21:27,710 dann passiert leicht ein bisschen komisches Zeugs, weil 424 00:21:27,710 --> 00:21:31,110 irgendwie die Sprachmodell in sich durcheinander kommt, zwar 425 00:21:31,110 --> 00:21:34,150 auf der Information, aber wirbelt das in sich irgendwie 426 00:21:34,150 --> 00:21:36,270 durcheinander die. Hier gegebenen Informationen, 427 00:21:36,270 --> 00:21:37,950 das hat das mit der Temperatur zu tun. 428 00:21:37,950 --> 00:21:39,270 Ich weiß nicht, ob du das schon mal gehört hast. 429 00:21:39,270 --> 00:21:41,310 So ein so ein Parameter, den kann man dann auch einstellen, 430 00:21:41,310 --> 00:21:44,430 wenn man auf dem Level ist. Du kannst quasi, das ist 431 00:21:44,430 --> 00:21:47,470 typischerweise ein Wert zwischen 0 und 1 Temperatur. 432 00:21:47,630 --> 00:21:49,830 Beim Sprachmodell gibst du das mit an. 433 00:21:49,950 --> 00:21:54,070 Und wenn du es kalt machst, da so 0, dann fängt das dann ist es 434 00:21:54,070 --> 00:21:56,350 hat es nen kühlen Kopf, so merk ich mir das immer das 435 00:21:56,350 --> 00:22:00,390 Sprachmodell und gibt sehr kurze ganz klare Antworten und fängt 436 00:22:00,390 --> 00:22:02,790 nicht irgendwie an irgendwie blumig zu reden und 437 00:22:02,790 --> 00:22:05,270 rumzuhalluzinieren. Und wenn du die Temperatur eben 438 00:22:05,270 --> 00:22:09,270 erhöhst, und das war bei 0,9 oder fast 1 bist, dann wirst du 439 00:22:09,270 --> 00:22:11,670 sehen, werden typischerweise die Antworten etwas länger und dann 440 00:22:11,670 --> 00:22:13,670 hast du irgendwelche Klammerausdrücke und so und 441 00:22:13,670 --> 00:22:16,950 relativsätze fängt es halt irgendwie an wild zu werden und 442 00:22:16,950 --> 00:22:19,110 dann ist die Wahrscheinlichkeit, dass da irgendwie. 443 00:22:20,240 --> 00:22:22,040 Ja, vielleicht eine widersprüchliche Sache. 444 00:22:22,040 --> 00:22:24,240 Zum Beispiel in einem Satz steht jetzt heute morgen gerade 445 00:22:24,240 --> 00:22:27,520 gesehen irgendwie bei Johannes Brahms, da war er geboren, und 446 00:22:27,520 --> 00:22:29,360 gleichzeitig war er schon irgendwie unterwegs und hat 447 00:22:29,360 --> 00:22:32,000 vorgespielt, irgendwie am gleichen Tag so, das kann dir 448 00:22:32,000 --> 00:22:33,720 passieren, ne da. Habe ich mal den Vergleich 449 00:22:33,720 --> 00:22:37,960 gehört, dass das Halluzinieren von von Ai ein bisschen 450 00:22:37,960 --> 00:22:40,760 verglichen werden könnte mit menschlicher Kreativität, weil 451 00:22:40,760 --> 00:22:44,200 es ja, weil die große Frage ist, ja, kann KI auch so kreativ 452 00:22:44,200 --> 00:22:47,720 sein, quasi wie ein Mensch? Und was ist ja Kreativität, das 453 00:22:47,720 --> 00:22:50,600 ist eigentlich. Erfinden von Dingen, aber dann 454 00:22:50,600 --> 00:22:52,920 doch wieder basierend auf Sachen, die man schon mal 455 00:22:52,920 --> 00:22:55,040 gesehen oder gehört hat. Irgendwo also Eindrücke, die man 456 00:22:55,040 --> 00:22:57,240 mal gewonnen hat, ob nun bewusst oder eigentlich auch unbewusst. 457 00:22:57,360 --> 00:22:59,920 Und. So ein bisschen eine, die 458 00:22:59,920 --> 00:23:03,920 halluziniert also und die Temperatur hochgestellt ist dann 459 00:23:03,920 --> 00:23:08,440 ja technisch gesprochen könnte könnte man als Kreativität 460 00:23:08,440 --> 00:23:09,880 bezeichnen. Ja, aber naja. 461 00:23:09,880 --> 00:23:11,520 Genau mathematische, philosophische. 462 00:23:11,520 --> 00:23:13,120 Also. Es ist sehr philosophische 463 00:23:13,120 --> 00:23:16,080 Parameter, aber mathematisch, ja klar, das heißt ja, weil es geht 464 00:23:16,080 --> 00:23:17,840 ja alles um Wahrscheinlichkeiten, es gibt 465 00:23:18,080 --> 00:23:21,720 das Sprachmodell durchläuft mit einem Input seine ganzen 466 00:23:21,720 --> 00:23:23,240 Gewichtungen, und dann kommt quasi. 467 00:23:23,990 --> 00:23:26,790 N ganzer Satz von Tokens raus. Die Tokens sind dann quasi die 468 00:23:26,790 --> 00:23:30,310 Wort Bestandteile oder Satzbestandteile, die haben alle 469 00:23:30,310 --> 00:23:32,950 ne Wahrscheinlichkeit und und und. 470 00:23:32,950 --> 00:23:36,110 Die Temperatur ist quasi so ne globale Wahrscheinlichkeits Cut 471 00:23:36,110 --> 00:23:38,990 off sag ich mal und alles was nicht total wahrscheinlich. 472 00:23:38,990 --> 00:23:42,910 Also je weiter du es nach 1 drehst desto mehr von diesen 473 00:23:42,910 --> 00:23:44,910 bisschen unwahrscheinlicheren Tokens werden halt noch mit 474 00:23:44,910 --> 00:23:47,750 Reingemengt und wenn du es kälter stellst, also gegen 0 475 00:23:47,750 --> 00:23:51,590 drehst, dann ist da der Cut Off für alles was nicht ganz so 476 00:23:51,590 --> 00:23:54,430 wahrscheinlich ist, halt härter und fliegt halt raus und dann 477 00:23:54,430 --> 00:23:57,720 muss es halt kürzer antworten. So ungefähr ist es halt 478 00:23:57,840 --> 00:23:59,360 mathematisch. Wenn du technisch mit der 479 00:23:59,360 --> 00:24:01,840 Beschreibung durch bist, also ich hab's auf jeden Fall 480 00:24:01,840 --> 00:24:04,080 verstanden, jetzt hätte ich noch ein bisschen fragen, wie man das 481 00:24:04,080 --> 00:24:07,200 jetzt so anwenden kann, aber. Ich sag noch eine technische 482 00:24:07,200 --> 00:24:10,920 Sache, dann bin ich durch. Das war für mich auch ein riesen 483 00:24:10,920 --> 00:24:14,200 aha Erlebnis. Es gibt ja auch den großen 484 00:24:14,200 --> 00:24:16,320 Unterschied, ob ich jetzt ein Sprachmodell mit einer einzelnen 485 00:24:16,320 --> 00:24:19,080 Frage Anfrage und es gibt mir ne Antwort, was natürlich ganz 486 00:24:19,080 --> 00:24:22,440 klar, aber was natürlich total cool ist und was neu ist, ist ja 487 00:24:22,440 --> 00:24:27,430 diese dieses Chatverhalten. Also dass du nen, dass du ne 488 00:24:27,430 --> 00:24:31,830 Konversation führen kannst und dich beziehen kannst auf 489 00:24:31,830 --> 00:24:33,910 vorherige Aussagen, die du gemacht hast. 490 00:24:34,230 --> 00:24:38,550 Ja also ich geb mal n Beispiel zum Beispiel ich hab jetzt diese 491 00:24:38,590 --> 00:24:42,910 reg AI gefüttert mit Wikipedia Eintrag von Johannes Brahms und 492 00:24:42,910 --> 00:24:45,750 dann frage ich irgendwie, wann ist Johannes Brahms geboren, da 493 00:24:45,750 --> 00:24:47,470 wird dann eine Antwort kommen die richtig ist. 494 00:24:47,470 --> 00:24:49,310 Ja, Johannes Brahms ist jetzt ein schlechtes Beispiel, ich 495 00:24:49,310 --> 00:24:51,070 müsste eigentlich jemanden nehmen, der jetzt heute gerade 496 00:24:51,070 --> 00:24:53,510 gelebt hat, den Johannes Brahms ist wahrscheinlich sogar das 497 00:24:53,510 --> 00:24:56,470 könnte es von sich aus ja, aber egal, du weißt was ich meine, 498 00:24:56,470 --> 00:24:59,750 also ich nehme, ich nehme jetzt mal den Johannes Brahms und frag 499 00:24:59,750 --> 00:25:02,200 wann ist er geboren. Und dann? 500 00:25:02,200 --> 00:25:05,200 Dann kann ich quasi weiterreden, indem ich sage und. 501 00:25:06,150 --> 00:25:10,190 Mit wem war er verheiratet? So, wenn ich jetzt, wenn ich 502 00:25:10,190 --> 00:25:13,870 jetzt n sprachmodell ohne Konversationskontext irgendwie 503 00:25:13,870 --> 00:25:16,430 sowas mit wem war er verheiratet, dann bezieht sich 504 00:25:16,430 --> 00:25:18,430 ja eher auf nix. Entschuldigung, das ist dann 505 00:25:18,430 --> 00:25:20,110 aber schon deine nächste Frage. Wieder ne. 506 00:25:20,110 --> 00:25:22,350 Also mit wem erst fragst du? Ja, genau das wäre die. 507 00:25:22,350 --> 00:25:24,270 Nächste Frau ist geboren der sagte 18:00 Uhr, Tschüss mich 508 00:25:24,270 --> 00:25:26,790 tot und dann schreibst. Du dann kommt die Antwort von 509 00:25:26,790 --> 00:25:29,670 dem System, also von der AI bla bla bla ist geboren dann und 510 00:25:29,670 --> 00:25:32,750 dann ja und dann frage ich eine zweite Frage und beziehe mich 511 00:25:32,750 --> 00:25:36,030 quasi auf die Konversation und gehe dann mit Relativwörtern und 512 00:25:36,030 --> 00:25:38,750 er und so weiter weiter und sofort wie wir jetzt auch gerade 513 00:25:38,750 --> 00:25:41,270 konversieren quasi während wir während. 514 00:25:41,390 --> 00:25:44,190 Podcast machen ne, das ist ja, das ist jetzt hat jetzt nichts 515 00:25:44,190 --> 00:25:46,310 mit direkt mit RAG zu tun, das dürfen wir nicht durcheinander 516 00:25:46,310 --> 00:25:49,030 bringen, aber ist natürlich ne wichtige Eigenschaft, denn ich 517 00:25:49,030 --> 00:25:52,350 will eigentlich, wenn ich jetzt auf Daten ich will quasi einen 518 00:25:52,350 --> 00:25:55,350 Chat auf Daten machen, ich will ne Konversation erreichen wenn 519 00:25:55,350 --> 00:25:57,990 ich jetzt so abfragen mache. Dann möchte ich quasi, dass 520 00:25:57,990 --> 00:26:01,670 meine Anwender auf den aktuellen Informationen, die ich zur 521 00:26:01,670 --> 00:26:04,830 Verfügung stelle, so n so n so n, so n, so n Frage Antwortspiel 522 00:26:04,830 --> 00:26:07,190 machen können und sich beziehen können auf ihre vorherigen 523 00:26:07,190 --> 00:26:09,870 Fragestellungen. Ja, ich, ich hab das Gefühl, das 524 00:26:09,910 --> 00:26:12,950 klappt mal mehr, mal weniger oder ist mal mehr und mal 525 00:26:12,950 --> 00:26:15,830 weniger ausgeprägt. Also zum Beispiel wenn ich bei 526 00:26:15,830 --> 00:26:18,790 Bart, wenn ich mit Bart Spiele, habe ich das Gefühl, der erklärt 527 00:26:18,790 --> 00:26:20,590 immer Sachen doppelt und dreifach, die eigentlich schon 528 00:26:20,590 --> 00:26:23,750 mal besprochen, in Anführungsstrichen besprochen. 529 00:26:23,750 --> 00:26:28,070 Worden. In diesem Chatverlauf sicher. 530 00:26:28,750 --> 00:26:30,630 Hat er ja auch immer den ganzen Kontext zur Verfügung. 531 00:26:30,630 --> 00:26:35,230 Also ganz bestimmt, aber ich hab das Gefühl, dass der die Bart 532 00:26:35,230 --> 00:26:37,630 oder was auch immer Bart auf jeden Fall immer das Gefühl hat, 533 00:26:37,630 --> 00:26:39,150 man müsste das alles noch mal erklären jetzt. 534 00:26:39,870 --> 00:26:41,550 Oder? Ja, das kann gut sein. 535 00:26:41,550 --> 00:26:43,430 Ich weiß nicht, das sind vielleicht die Modelle, wie sie 536 00:26:43,430 --> 00:26:46,350 ein bisschen unterschiedlich sind, aber ich hatte so ein 537 00:26:46,350 --> 00:26:49,470 krasses aha Erlebnis, weil ich immer gedacht habe, wie, wie ist 538 00:26:49,470 --> 00:26:51,590 das krasser Unterschied, also so ein Chat mit so einer 539 00:26:51,590 --> 00:26:54,510 Konversation ist ja auch nicht, klingt erstmal nicht so einfach 540 00:26:54,510 --> 00:26:56,230 und das war glaube ich auch so ein bisschen der Durchbruch 541 00:26:56,230 --> 00:26:59,910 warum Open AI mit ihrem Chat GPT, das war ja eine UX, quasi 542 00:26:59,910 --> 00:27:02,350 dass du quasi wirklich so einen Chat aufbauen konntest und du 543 00:27:02,350 --> 00:27:05,510 mit der AI quasi konversieren konntest. 544 00:27:05,560 --> 00:27:06,960 Es war natürlich eine krasse Neuerung. 545 00:27:07,320 --> 00:27:09,160 Die steckt aber wieder nicht im Sprachmodell. 546 00:27:09,160 --> 00:27:11,920 Der Trick ist ja genau der gleiche wie mit dem, und der ist 547 00:27:11,920 --> 00:27:13,840 so trivial, wie man sich so denken kann. 548 00:27:14,080 --> 00:27:16,160 Die Prompts, das muss ich halt auch noch mal sagen, die Promts, 549 00:27:16,160 --> 00:27:18,960 in denen du schreibst. Ja, also wenn du bei Open a da 550 00:27:18,960 --> 00:27:21,520 irgendwas eingibst oder auch jetzt, wenn wir was machen, ja 551 00:27:21,800 --> 00:27:24,280 das sind ja, das sind noch nicht die Proms, die das Modell 552 00:27:24,280 --> 00:27:26,920 tatsächlich sieht, das sind so eine Art man sagt Template 553 00:27:26,920 --> 00:27:29,830 prompt ja. Und der tatsächlich technische 554 00:27:29,830 --> 00:27:32,790 prompt, der wirklich an das Modell weitergeleitet wird, das 555 00:27:32,790 --> 00:27:35,990 ist n ganz anderer, ne, der wird dann quasi zusammengebaut aus 556 00:27:35,990 --> 00:27:38,230 den Informationen die du da reingegeben hast. 557 00:27:38,230 --> 00:27:40,950 So funktioniert es ja über ne. Also ich, ich geb ja quasi nur 558 00:27:40,950 --> 00:27:43,950 meine Frage rein und dann bau ich eigentlich n prompt zusammen 559 00:27:43,950 --> 00:27:47,270 aus dem Kontext, aus dem rausgesuchten Kontext so und 560 00:27:47,270 --> 00:27:49,310 wenn ich jetzt den Chat habe, das ist auch nichts anderes, da 561 00:27:49,310 --> 00:27:52,990 wird halt einfach nur eine Historie aufgezeichnet von von 562 00:27:52,990 --> 00:27:57,190 meinen Fragen von jungen Fragen und von den AI antworten und es 563 00:27:57,190 --> 00:27:58,670 wird ja eine immer längere Liste. 564 00:27:59,680 --> 00:28:03,160 Aber ich klatsche quasi bei jeder neuen Anfrage diese 565 00:28:03,160 --> 00:28:07,160 gesamte Liste der Konversation einfach mit in den finalen 566 00:28:07,160 --> 00:28:11,240 Anfrage prompt und der wirkliche prompt heißt hier ist meine 567 00:28:11,240 --> 00:28:15,280 Frage, bitte antworte gegeben der ganzen Konversation, die wir 568 00:28:15,280 --> 00:28:16,920 schon hatten, die du hier findest. 569 00:28:16,960 --> 00:28:19,880 Ja, und die steht dann wieder da, eigentlich drin, es ist also 570 00:28:19,880 --> 00:28:22,160 im Prinzip funktioniert das ganz ähnlich und wenn du das 571 00:28:22,160 --> 00:28:26,880 Kombinierst, also diese diese konversations Historie mit dem 572 00:28:26,880 --> 00:28:29,960 Kontext mit den Relations gesuchten Kontext aus der 573 00:28:29,960 --> 00:28:32,750 Datenbank. Dann hast du im Prinzip reg 574 00:28:33,270 --> 00:28:36,790 einen Rack Chat, der auf deinen Daten richtig gut antwortete. 575 00:28:36,790 --> 00:28:37,830 Rima jetzt. Hast du schon ein bisschen 576 00:28:37,830 --> 00:28:40,390 Übergang dahin gemacht zu dem, was ich dich noch fragen wollte, 577 00:28:40,390 --> 00:28:43,390 also wie man das jetzt anwenden könnte als Unternehmen oder wie 578 00:28:43,390 --> 00:28:44,510 das jetzt in der Praxis aussieht? 579 00:28:44,510 --> 00:28:47,270 Angenommen, es gibt ein Unternehmen, was weiß ich, 580 00:28:47,430 --> 00:28:50,710 Maschinenbauunternehmen hat vielleicht 500 Mitarbeitende hat 581 00:28:50,710 --> 00:28:55,150 x Seiten Dokumentation über die Jahre angehäuft, es existieren 582 00:28:55,150 --> 00:28:58,390 wahrscheinlich. Zehntausende, Hunderttausende 583 00:28:58,750 --> 00:29:04,070 Dokumente, hoffentlich digital, die alles Mögliche an wissen 584 00:29:04,070 --> 00:29:06,990 über diese Firma beinhalten. Und das ist jetzt eine riesen 585 00:29:06,990 --> 00:29:09,750 Chance, dieses Wissen tatsächlich auch der ganzen 586 00:29:09,750 --> 00:29:12,270 Firma zur Verfügung zu stellen. Voll ja. 587 00:29:12,270 --> 00:29:14,310 Genau das sind genau die. Anwendungsfälle jetzt möchte ich 588 00:29:14,310 --> 00:29:16,550 aber, also genau du kannst uns ja mal durchführen, wie würde 589 00:29:16,550 --> 00:29:19,430 man da anfangen, nicht im Detail und so weiter und sofort, dann 590 00:29:19,430 --> 00:29:22,710 wird das aussehen könnte wieso eine Firma das machen könnte und 591 00:29:22,950 --> 00:29:24,790 was mich jetzt besonders interessiert, was den prompt 592 00:29:24,790 --> 00:29:26,990 angeht, was du gerade schon mal so ein bisschen beschrieben 593 00:29:26,990 --> 00:29:30,070 hast, muss ich jetzt bei jedem prompt reinschreiben, bitte. 594 00:29:30,920 --> 00:29:33,040 Werte dieses Kontextwissen hier höher als das, was du im 595 00:29:33,040 --> 00:29:36,200 Internet gefunden hast. Oder ist das genau das, was im 596 00:29:36,200 --> 00:29:38,760 Hintergrund eigentlich schon passiert, für einen abgenommen 597 00:29:38,760 --> 00:29:40,160 wird? Als Anwender tippe ich einfach 598 00:29:40,160 --> 00:29:45,040 nur ein, was weiß ich welche, wie ist die Stückliste von der 599 00:29:45,040 --> 00:29:49,320 Maschine die wir 1995 an den Markt gebracht haben als 600 00:29:49,320 --> 00:29:51,120 Beispiel ja. So ein Stückliste verstanden? 601 00:29:51,120 --> 00:29:53,680 Spiel rausziehen möchte ja also. Wir kriegen genau das hin, was 602 00:29:53,680 --> 00:29:55,160 du gerade gesagt hast, als zweites gerade. 603 00:29:55,160 --> 00:29:57,360 Du musst dann also dem, der User muss überhaupt nichts eintippen, 604 00:29:57,360 --> 00:29:59,520 gar nichts wissen, der kann genau diese Fragen stellen. 605 00:30:00,510 --> 00:30:03,870 Das funktioniert so gut wie das prompt Engineering von dem 606 00:30:03,870 --> 00:30:08,430 Entwickler, der dir quasi diese RAG zur Verfügung stellt. 607 00:30:08,910 --> 00:30:11,510 Getan wurde. Ja, also ne, also du du schmeißt 608 00:30:11,510 --> 00:30:13,950 du, du generierst den finalen prompt. 609 00:30:14,510 --> 00:30:17,230 Mit der Anwendung mit der speziellen Anwendung für diese 610 00:30:17,230 --> 00:30:20,990 Firma, so wie es diese Firma Halt haben möchte und braucht. 611 00:30:20,990 --> 00:30:25,950 Ja und da muss man jetzt also wenn man das machen wollte, dann 612 00:30:25,950 --> 00:30:28,190 könnte man müsste man hingehen, bisschen coden. 613 00:30:28,910 --> 00:30:32,430 Es gibt, kann man sich vorstellen, für die KI wunderbar 614 00:30:32,430 --> 00:30:34,910 und ganz viel, und es entwickelt sich jede 10 Minuten. 615 00:30:34,910 --> 00:30:37,830 Irgendwie gibt es nen Commit, ist echt krass, Bibliotheken, 616 00:30:37,830 --> 00:30:41,510 Open Source, Bibliotheken eine davon, ich nenne die einmal 617 00:30:42,350 --> 00:30:46,670 Bananen Tappan ist lang, Chain heißt das, das sind quasi 618 00:30:46,670 --> 00:30:49,870 Bibliotheken die dir erlauben verschiedene Modelle mit 619 00:30:49,870 --> 00:30:53,350 verschiedenen Vektordatenbanken zu kombinieren usw und dir quasi 620 00:30:53,350 --> 00:30:56,470 diese ganze Detailarbeit wegnehmen und auch die dir 621 00:30:56,470 --> 00:30:59,830 erlauben quasi so ein prompt templating prompt Engineering zu 622 00:30:59,830 --> 00:31:02,200 machen. Und was du dann machen müsstest? 623 00:31:02,200 --> 00:31:04,280 Im Prinzip brauchst du nur 2. Du brauchst 2 Funktionen. 624 00:31:04,280 --> 00:31:07,440 Du brauchst ad knowledge, so würde ich es nennen. 625 00:31:08,040 --> 00:31:10,440 Tatsächlich bauen wir sowas auch, da heißt es ADD Knowledge, 626 00:31:10,560 --> 00:31:13,000 deswegen weiß ich ganz genau wie ich es machen würde, ich habe es 627 00:31:13,000 --> 00:31:16,280 gerade gemacht und in einem Knowledge das auch vorbereitet 628 00:31:16,280 --> 00:31:19,960 in diesen Open Source Dingern, da kann dann quasi jemand der im 629 00:31:19,960 --> 00:31:24,760 Backoffice sitzt einmalig, nur braucht er das machen alle PD fs 630 00:31:24,760 --> 00:31:27,640 also alles was du sagst alle digitalen Dokumente zum Bestand 631 00:31:27,640 --> 00:31:31,230 der Firma usw einsparen. Einfach hinzufügen, immer nimm, 632 00:31:31,430 --> 00:31:33,310 nimm, nimm, nimm, nimm, nimm, nimm, das dauert bei jedem 633 00:31:33,310 --> 00:31:35,830 Dokument irgendwie ne Sekunde oder 2, je nachdem wie lang die 634 00:31:35,830 --> 00:31:38,030 sind und. Wenn die, wenn die jetzt schon 635 00:31:38,030 --> 00:31:40,470 alle sag ich mal irgendeinem online Speicher vielleicht in 636 00:31:40,470 --> 00:31:42,310 der Cloud sogar alle einfach liegen. 637 00:31:42,390 --> 00:31:44,230 Ja, das gibt es alles. Dann kannst du sagen, nimm das 638 00:31:44,230 --> 00:31:47,270 ganze Directory hier und Frierst das alles ab und sie können 639 00:31:47,270 --> 00:31:49,430 sogar verschiedene file Datentypen, das musst du ein 640 00:31:49,430 --> 00:31:51,990 bisschen gut machen, was überhaupt technisch gar kein 641 00:31:51,990 --> 00:31:55,630 Problem zu sagen, hier ist der Ordner, nimm alles was da drin 642 00:31:55,630 --> 00:31:59,350 was du da findest an Doc x, an PDF an Text und so weiter. 643 00:31:59,350 --> 00:32:01,950 Und dann dauert es halt das Add knowdage genau so lange, wie gut 644 00:32:01,950 --> 00:32:04,230 man eben vorbereitet ist. Wenn man alles so ein Directory 645 00:32:04,230 --> 00:32:06,750 hat, dann schnell, wenn der ganze Kram wirklich nur auf 646 00:32:06,750 --> 00:32:08,750 Zettel rumfliegt, dann ein bisschen langsamer. 647 00:32:08,750 --> 00:32:10,230 Ein bisschen langsamer, genau. Und dann? 648 00:32:10,230 --> 00:32:12,670 Was dann passiert quasi. Dann baust du quasi. 649 00:32:13,600 --> 00:32:17,000 Also jedes jedes Dokument wird quasi verwandelt in so einen, in 650 00:32:17,000 --> 00:32:22,080 diesen Vektor, also in viele Vektoren von von von Texten und 651 00:32:22,080 --> 00:32:24,800 der Vektordatenbank Eingegleist, die wird dann immer größer und 652 00:32:24,800 --> 00:32:27,600 immer größer, aber die können das ab, die legst du irgendwo 653 00:32:27,600 --> 00:32:30,040 hin, da gibt es jetzt auch schon wieder zig vektordatenbanken 654 00:32:30,040 --> 00:32:33,350 wir. Wir benutzen eine ja gar nicht 655 00:32:33,350 --> 00:32:36,310 HNSWE glaube ich. Heißt das Ding, da gibt es halt 656 00:32:36,310 --> 00:32:38,270 auch ganz viele, muss man gucken, welches man am besten 657 00:32:38,310 --> 00:32:40,670 nimmt, die wächst dann und dann müsste irgendwann fertig. 658 00:32:40,670 --> 00:32:42,430 Du kannst ja auch erweitern, du kannst auch Sachen wieder 659 00:32:42,430 --> 00:32:44,990 rausnehmen und ändern, manchmal ändert sich ja auch n. 660 00:32:45,470 --> 00:32:47,550 Nen Faktum sag ich mal, irgendwas ist alt und neu ist 661 00:32:47,550 --> 00:32:50,350 kannst du machen. So das ist und und die musst du 662 00:32:50,350 --> 00:32:53,750 zentral halten und dann musst du natürlich für deine ganzen 663 00:32:53,750 --> 00:32:56,750 Mitarbeiter, die jetzt darauf basierend Fragen stellen wollen 664 00:32:56,750 --> 00:33:00,760 in prompt zur Verfügung stellen. Und, und der muss halt dieses 665 00:33:00,760 --> 00:33:03,920 Regtechnik können, das heißt, wenn der ne Frage stellt, was 666 00:33:03,920 --> 00:33:05,760 passiert dann technisch? Du hast ja gesagt, du musst n 667 00:33:05,760 --> 00:33:09,040 prompt zur Verfügung stellen und meinst NNNN Chatbot oder sowas 668 00:33:09,120 --> 00:33:11,120 genau n. Chatbot ja n Chat prompt genau 669 00:33:11,120 --> 00:33:14,680 ja genau, also das ist jetzt auch kein n Interface genau also 670 00:33:14,680 --> 00:33:18,680 du, also im einfachsten Falle gibt gibt der Kollege, der jetzt 671 00:33:18,680 --> 00:33:22,360 darauf wissen irgendwie haben möchte gibt das per Textuell 672 00:33:22,360 --> 00:33:25,200 einen kannst du auch jetzt schon, gibt's ja schon Sprache 673 00:33:25,200 --> 00:33:28,800 ne Sprache zu Text und so kannst sogar auch Sprache verstehen und 674 00:33:28,800 --> 00:33:32,240 dann eine Ausgabe geben und so das Nextlevel so ja aber du 675 00:33:32,240 --> 00:33:34,640 gibst, du brauchst halt ein kleiner muss eine kleine 676 00:33:34,640 --> 00:33:38,390 Anwendung bauen wo? Weiter seine Frage Reinsteckst 677 00:33:38,390 --> 00:33:40,790 Steckeln kannst oder das ist ja heute keine Kunst, das ist ja 678 00:33:40,790 --> 00:33:43,510 nur ein Textfeld, sag ich mal ja so, und diese Informationen aus 679 00:33:43,510 --> 00:33:47,110 diesem Textfeld. Mit dieser Information fragst du 680 00:33:47,110 --> 00:33:50,510 erstmal die große Vektordatenbank was gehört, was 681 00:33:50,510 --> 00:33:53,470 könnte semantisch oder inhaltlich, da alles zu passen, 682 00:33:53,470 --> 00:33:56,870 die Sachen werden rausgezogen und damit wird der prompt 683 00:33:56,870 --> 00:34:02,190 zusammengebaut plus also. Also die Anfrage, die Daten, die 684 00:34:02,190 --> 00:34:04,430 relevant sind für die Anfrage aus Direktdatenbank. 685 00:34:04,550 --> 00:34:06,710 Die Liste von allen Maschinen aus dem Jahr 95 zu. 686 00:34:06,710 --> 00:34:08,949 Möchten zum Beispiel genau dann geht da quasi die ganze Vektor 687 00:34:08,949 --> 00:34:11,310 deine ganze Knowledge Base durch alle Dokumente wo irgendwas zu 688 00:34:11,310 --> 00:34:13,830 Stücklisten steht oder Anteilen oder was weiß ich ja. 689 00:34:14,270 --> 00:34:17,469 Es wird dann alles rausgeholt aus der Vektordatenbank, in den 690 00:34:17,469 --> 00:34:19,790 prompt gebaut plus dem Chatverlauf, den du schon 691 00:34:19,790 --> 00:34:22,230 hattest, den den Fragen und den Antworten. 692 00:34:22,270 --> 00:34:25,590 Und das wird dem Large Language Modell vor die Nase geklemmt und 693 00:34:25,590 --> 00:34:28,310 dann kommt die Antwort zurück und aus dieser Antwort 694 00:34:28,310 --> 00:34:30,469 generierst du halt die Antwort für den Kunden plus was auch 695 00:34:30,469 --> 00:34:33,469 cool ist. Wenn du nämlich deine eigenen 696 00:34:33,469 --> 00:34:37,150 Daten einspeist, dann kann man sogenannte Metadaten dransetzen. 697 00:34:37,469 --> 00:34:40,750 Es kann ganz interessant sein zu wissen, woher hat das denn 698 00:34:40,750 --> 00:34:43,230 genommen, aus welchem Dokument ist denn diese Information, 699 00:34:43,230 --> 00:34:46,909 welches PDF mit welchem Namen an welcher Stelle vom PDF. 700 00:34:48,110 --> 00:34:51,350 Und Zeilennummer das kann man alles mit verhaften und es kann. 701 00:34:51,350 --> 00:34:55,389 Du kannst quasi dann. Diese Technologie zwingen es dir 702 00:34:55,389 --> 00:34:56,830 zu sagen, wo hat das her? Ja. 703 00:34:58,480 --> 00:35:00,280 Das ist auch ganz cool, weil dann also ne, wenn du wenn du 704 00:35:00,280 --> 00:35:02,440 sagst sowieso sagst du kannst mir nur auf diesen Kontext 705 00:35:02,440 --> 00:35:05,680 antworten, dann kann die, dann kann die auch dir 706 00:35:05,680 --> 00:35:08,200 beziehungsweise das ist dann ne Technologie der Vektordatenbank, 707 00:35:08,200 --> 00:35:10,720 die kann dir dann genau sagen hier und hier und hier, das 708 00:35:10,720 --> 00:35:12,720 Stand zur Verfügung, darauf basiert meine Antwort. 709 00:35:12,880 --> 00:35:14,640 Das ist ein Riesenthema, also sowas. 710 00:35:14,640 --> 00:35:17,320 Also Wissensmanagement innerhalb von von Firmen. 711 00:35:17,400 --> 00:35:18,880 Glaube ich jetzt. Ein bisschen älter sind. 712 00:35:18,880 --> 00:35:20,240 Deswegen ist KI so ein Riesenthema. 713 00:35:21,200 --> 00:35:23,800 Deswegen ist, glaube ich auch KI so ein Riesenthema, weil das 714 00:35:23,800 --> 00:35:26,560 halt richtig große Schmerzpunkte sind, die wir lösen. 715 00:35:26,600 --> 00:35:28,600 Können. Aber das ist ein Riesenproblem, 716 00:35:28,600 --> 00:35:31,880 was man dann eben mit Hilfe von KI und. 717 00:35:32,080 --> 00:35:36,120 Dem Retrieval Augmented, wie auch immer der Ergänzung durch 718 00:35:36,120 --> 00:35:40,240 Retrible Augmented. Ja, lösen kann. 719 00:35:40,240 --> 00:35:42,040 Das ist total cool. Und wir können das jetzt und wir 720 00:35:42,040 --> 00:35:42,960 können das jetzt anbieten. Wir. 721 00:35:42,960 --> 00:35:45,080 Können das auch? Wir können das Anbieten und die 722 00:35:45,080 --> 00:35:48,480 Kunst ist gar nicht die Technologie an sich, die Kunst 723 00:35:48,480 --> 00:35:51,400 ist und wo man, wo wir auch noch gerade üben und feilen. 724 00:35:52,880 --> 00:35:55,790 Ist gegebene Texte. Von Textform ne. 725 00:35:55,790 --> 00:35:58,390 Also so NPDF ist ja auch nicht nur NPDF, die sehen ja alle 726 00:35:58,390 --> 00:36:01,150 anders aus. Ja dann hast du Tabellen drin, 727 00:36:01,150 --> 00:36:05,670 Bilder drin und so weiter ja und die Kunst ist quasi diese Daten. 728 00:36:06,830 --> 00:36:10,550 So gut in diese Vektordatenbank reinzubringen, wie es nur geht. 729 00:36:10,550 --> 00:36:13,630 Ja, also du willst halt diese tabellarischen semantischen 730 00:36:13,630 --> 00:36:17,270 Informationen erhalten und so, das ist, das ist, da ist es, wo 731 00:36:17,270 --> 00:36:22,150 der Hase im Pfeffer liegt. Also das das das korrekte Parsen 732 00:36:22,550 --> 00:36:26,870 damit es später wenn du es quasi als Kontext der AI gibst damit 733 00:36:26,870 --> 00:36:29,790 die sich daraus ein Bild machen kann was da los ist, ja. 734 00:36:30,550 --> 00:36:34,270 Das ist extrem wichtig und da passieren sofort riesige 735 00:36:34,270 --> 00:36:36,590 Qualitätsunterschiede, je nachdem, wie du das machst. 736 00:36:36,590 --> 00:36:39,710 Ja, also auch wenn Du zum Beispiel Webseiten, paarst und 737 00:36:39,710 --> 00:36:41,790 so weiter wie du das dann quasi aufbereitest. 738 00:36:41,790 --> 00:36:44,470 Ja, die ganzen Informationen und dass du dann auch die HTML tags 739 00:36:44,470 --> 00:36:47,950 ordentlich wegschmeißt und diese ganzen Styling ansagen, die alle 740 00:36:47,950 --> 00:36:51,030 nicht zu dem Inhalt gehören, dass du das nicht alles der der 741 00:36:51,030 --> 00:36:53,790 AI vor die Nase klatscht so, sonst ist sie verwirrt, aber das 742 00:36:53,790 --> 00:36:55,190 nimmt. Dir so einen langen. 743 00:36:55,310 --> 00:36:58,430 Das nimmt dir so ein Langchain zum Teil ab, aber da bleibt noch 744 00:36:58,430 --> 00:37:01,870 viel an Handarbeit. Wurde noch irgendwie. 745 00:37:01,920 --> 00:37:04,160 Noch Performance machen kannst also dieses ganze Token 746 00:37:04,160 --> 00:37:05,840 splitting kannst. Mit langen Challengen gibt es 747 00:37:05,840 --> 00:37:08,840 Bibliotheken, gibt es loaders, da kannst du PD fs laden und das 748 00:37:08,920 --> 00:37:11,680 extrahiert dir schon mal den Text, aber was du dann und dann 749 00:37:11,680 --> 00:37:14,680 hast du den Text auf einer ganzen Seite, du kannst aber 750 00:37:14,680 --> 00:37:17,760 nicht, das wäre dann quasi ein Dokument was du dann was du dann 751 00:37:17,760 --> 00:37:19,680 raus bekommst. Aber du musst das quasi noch 752 00:37:19,680 --> 00:37:23,800 feiner Stücke in semantisch gut zusammenhängende Stücke und so 753 00:37:23,800 --> 00:37:26,880 weiter und damit die Vektordatenbank füttern, das 754 00:37:26,880 --> 00:37:28,920 sind jetzt alles aussagen, die sind heute noch richtig 755 00:37:28,920 --> 00:37:30,800 wahrscheinlich wenn wir in einem halben Jahr eine Folge machen 756 00:37:30,800 --> 00:37:32,920 würden, dann kannst du sagen, nimm das und brauchst über 757 00:37:32,920 --> 00:37:36,280 nichts mehr nachdenken, das ist natürlich alles alles Gegenstand 758 00:37:36,560 --> 00:37:38,990 aktuell. Der Entwicklung und andauernd, 759 00:37:38,990 --> 00:37:40,950 also im Prinzip jede Woche, kommt irgendwie ein neuer 760 00:37:40,950 --> 00:37:45,910 parser, Transformer und so weiter raus und aber das ist 761 00:37:45,910 --> 00:37:48,110 halt auch tatsächlich noch Gegenstand aktueller Forschung 762 00:37:48,110 --> 00:37:50,830 und. Man spielt ja noch mit diesen, 763 00:37:50,990 --> 00:37:53,750 man versteht es ja nicht so ganz genau, wann das gut funktioniert 764 00:37:53,750 --> 00:37:55,710 und wann nicht. Das ist ja das Geheimnis der KI, 765 00:37:55,710 --> 00:37:58,190 sag ich ja so n bisschen und ganz viele Forscher und so 766 00:37:58,190 --> 00:38:02,630 weiter arbeiten daran, was nun die besten generischen 767 00:38:02,630 --> 00:38:04,550 Koordinaten sind und sowas zu tun, ja. 768 00:38:04,790 --> 00:38:07,190 Ist auch voll davon. Wie wie kann ich irgendwie meine 769 00:38:07,190 --> 00:38:09,830 Inputdaten so optimieren, dass es am besten funktioniert? 770 00:38:10,910 --> 00:38:13,270 Dann wird es also nicht die letzte Folge gewesen sein. 771 00:38:13,590 --> 00:38:15,190 Zuge. Wenn bestimmt auch mal irgendwas 772 00:38:15,190 --> 00:38:17,550 zur KI sagen, ja, vielleicht dann auch was zur Sprache, zu 773 00:38:17,550 --> 00:38:19,070 sprachverständnissen und so weiter. 774 00:38:19,470 --> 00:38:20,870 Ich würd sagen, für heute passt das. 775 00:38:21,310 --> 00:38:22,670 Passt. Ich hab alles rübergebracht, was 776 00:38:22,670 --> 00:38:24,350 ich wollte. Ich wollte, dass ihr versteht, 777 00:38:24,350 --> 00:38:26,750 dass das geht, also ich mich hat das selbst. 778 00:38:27,150 --> 00:38:30,070 Ich muss sagen, also KI ist ja immer wieder man, man ist dann 779 00:38:30,070 --> 00:38:31,910 ja wieder auch n bisschen müde, weil es halt irgendwie so krass 780 00:38:31,910 --> 00:38:35,190 n aller Munde ist. Und jetzt haben wir das auch 781 00:38:35,190 --> 00:38:38,990 angefangen und mich hat es fast vom Stuhl gehauen, wie extrem 782 00:38:39,190 --> 00:38:40,950 gut das auch tatsächlich funktioniert. 783 00:38:40,950 --> 00:38:43,670 Ja, mit so unstrukturierten Informationen im PDF und dann 784 00:38:44,110 --> 00:38:46,670 lädst du das da rein und ergibt dir ne sehr strukturierte 785 00:38:46,670 --> 00:38:49,550 Antwort zu den du kannst dich ja auch, du kannst die ganzen 786 00:38:49,550 --> 00:38:52,110 Features fass mir das zusammen oder sowas, da hat jemand 787 00:38:52,110 --> 00:38:54,870 irgendwie einen riesen Abstract geschrieben und du packst das 788 00:38:54,870 --> 00:38:58,190 halt einfach als Kontext rein, als aktuellen und sagst halt 789 00:38:58,190 --> 00:39:01,710 deinem Modell was steht denn da drinne und fass mir das bitte 790 00:39:01,710 --> 00:39:05,910 gut zusammen, das kann er halt, weil das können ja sowieso diese 791 00:39:05,910 --> 00:39:08,520 Dinger. Und diese ganzen Power, der 792 00:39:08,520 --> 00:39:10,520 irgendwie in so einem Large Language Model steckt, den 793 00:39:10,520 --> 00:39:13,160 kannst du auf einmal anwenden, auf deine persönlichen Daten und 794 00:39:13,160 --> 00:39:15,630 das ist. Ziemlich erstaunlich, was da 795 00:39:15,630 --> 00:39:18,950 passieren kann, ne? Wer Lust hat da n paar Versuche 796 00:39:18,950 --> 00:39:21,510 zu machen mit uns meldet euch gerne, ja. 797 00:39:23,760 --> 00:39:26,800 Wir freuen uns da über über Interesse und gemeinsam Dinge zu 798 00:39:26,800 --> 00:39:28,760 arbeiten. Dann würde ich sagen, vielen 799 00:39:28,760 --> 00:39:33,920 dank Burkhard Reg, AI Retrieval Augmented generative AI wie du 800 00:39:33,920 --> 00:39:36,640 hast gelernt. Ein krasses Wort entschärft. 801 00:39:38,760 --> 00:39:42,480 Und ja, euch nochmal ein gutes Start ins neue Jahr. 2 Wochen 802 00:39:42,480 --> 00:39:45,720 geht es dann weiter, wieder mit einem Gast und für heute macht 803 00:39:45,720 --> 00:39:47,200 es. Gut ciao ciao, alles klar, bis 804 00:39:47,200 --> 00:39:51,400 dann Tschüss aus Hamburg. Einfach komplex wird produziert 805 00:39:51,400 --> 00:39:54,480 und präsentiert von Heisenware. Weitere Informationen findest du 806 00:39:54,480 --> 00:39:57,560 unterheisenwear.com. Vielen Dank fürs Hören dieser 807 00:39:57,560 --> 00:39:59,680 Folge und bis nächste Woche Tschüss aus Hamburg.