1 00:00:00,080 --> 00:00:03,600 Heute sprechen wir über einen neuen AI Agents Benchmark Test 2 00:00:03,600 --> 00:00:05,680 und der hat wirklich erstaunliche Ergebnisse 3 00:00:05,680 --> 00:00:07,760 geliefert. Die einen wird es vielleicht 4 00:00:07,760 --> 00:00:10,640 überraschen, die anderen nicht und für manche wird es auf jeden 5 00:00:10,640 --> 00:00:15,120 Fall ein Warnzeichen sein, also viel Spaß Coding Buddies Dein 6 00:00:15,120 --> 00:00:17,000 Podcast rund um Softwareentwicklung und 7 00:00:17,000 --> 00:00:19,560 aktueller Tech News herzlich Willkommen. 8 00:00:31,520 --> 00:00:35,440 Hello, Hello und Herzlich Willkommen zur neuen Folge vom 9 00:00:35,440 --> 00:00:38,240 Coding Buddies Podcast. Es ist natürlich mal wieder Zeit 10 00:00:38,480 --> 00:00:41,840 für ne neue Folge, so wie jede Woche und zwar mit mir, mit Fabi 11 00:00:41,840 --> 00:00:44,480 und dem Tino. Tino sitzt mir gegenüber, 12 00:00:44,800 --> 00:00:48,160 gleiches Grinsen sehr gut, Tino grüßt dich. 13 00:00:49,360 --> 00:00:51,760 Fabi grüßt dich. Ich hab gedacht, wann sagt das, 14 00:00:51,760 --> 00:00:54,920 wann sagt das, wann ist mein Outfit, wann darf. 15 00:00:54,960 --> 00:00:56,880 Ich was sagen? Was geht ab Fabi? 16 00:00:56,880 --> 00:00:59,920 Was geht ab? Ja, was geht ab? 17 00:01:01,120 --> 00:01:05,519 Ich hab gute Laune ja nicht zu, nicht zu dem, nee, wie sagt man 18 00:01:05,519 --> 00:01:09,880 also einfach deshalb, weil man kriegt das ja in der Folge mal 19 00:01:09,880 --> 00:01:12,400 nicht mit, aber bis wir mal anfangen so ne Folge 20 00:01:12,400 --> 00:01:14,800 aufzunehmen, ja dann dauert es immer schon gern mal so 10 21 00:01:14,800 --> 00:01:18,840 Minuten, einfach weil wir noch so n bisschen. 22 00:01:18,840 --> 00:01:21,680 Rum. Ja, ich finde, wir könnten aus 23 00:01:21,680 --> 00:01:24,680 dem, was wir vorher immer machen, ja, wo wir uns selbst 24 00:01:24,680 --> 00:01:26,800 immer gefühlt Bepissen vor lachen. 25 00:01:27,280 --> 00:01:29,520 Könnten wir eigentlich könnten wir eigentlich auch schon 26 00:01:31,200 --> 00:01:34,480 Podcast folgen machen? Aber kriegen wir. 27 00:01:34,480 --> 00:01:38,160 Genauso viel folgen zusammen, aber mir ist das schon 28 00:01:38,160 --> 00:01:41,000 aufgefallen, dass du in letzter Zeit wieder sehr viel sehr gute 29 00:01:41,000 --> 00:01:42,560 Laune hattest. Freut mich natürlich, ist ja 30 00:01:42,560 --> 00:01:46,040 auch sehr gut. Wir hatten ja vor n paar Wochen 31 00:01:46,040 --> 00:01:51,520 noch so immer dieses Wetterthema und Schnee und kalt und bäh und 32 00:01:51,520 --> 00:01:53,520 das hat ja schon deine Laune so n bisschen getrübt. 33 00:01:53,520 --> 00:01:55,840 Also man kann schon sagen, dass deine Laune n bisschen 34 00:01:55,840 --> 00:01:58,000 korreliert mit dem Wetter draußen oder könnte das sein? 35 00:01:58,320 --> 00:02:00,920 Alter nee, finde ich nee, gar nicht. 36 00:02:01,680 --> 00:02:03,560 Nein, damit fangen wir jetzt nicht an. 37 00:02:04,640 --> 00:02:08,280 OK, ich zeig dir jetzt so ne Schneekugel hier Instagram. 38 00:02:10,360 --> 00:02:12,600 Ja, aber ist auch absolut verständlich, weil das Wetter 39 00:02:12,600 --> 00:02:15,920 wird einfach zunehmend besser, es wird wärmer, man kann wieder 40 00:02:15,920 --> 00:02:20,720 mehr draußen machen und das muss sogar ich als developer und du 41 00:02:20,720 --> 00:02:23,680 als Developer zugeben, ja. Es ist auch cool, mal draußen zu 42 00:02:23,680 --> 00:02:26,480 sein und deswegen, ich glaube, das hat schon, das macht schon 43 00:02:26,480 --> 00:02:29,120 was mit dir, oder? Ich hab irgendwann mal ich mein 44 00:02:29,200 --> 00:02:32,000 Sonne draußen ist immer geil ne so ich hab irgendwann glaub ich 45 00:02:32,000 --> 00:02:36,080 auch meiner Podcast folge gesagt ich find es auch geil wenn es 46 00:02:36,080 --> 00:02:38,080 draußen richtig geiles Wetter ist. 47 00:02:38,480 --> 00:02:39,680 Und ich trotzdem immer mal drin sitze. 48 00:02:39,680 --> 00:02:42,160 Also ist auch schon schon geil, weißt du, wenn du so 49 00:02:42,160 --> 00:02:44,240 Rausdrückst, so Sonnenschein, alles gut. 50 00:02:45,600 --> 00:02:47,920 Stimmt, du hattest gesagt, du freust dich dann für die 51 00:02:47,920 --> 00:02:49,840 anderen, die gerade in der Sonne draußen rumlaufen. 52 00:02:49,840 --> 00:02:52,000 Das ist voll selbstlos, ist Ertig. 53 00:02:53,920 --> 00:02:55,760 Hab ich das hab ich auf jeden Fall gesagt. 54 00:02:57,040 --> 00:03:00,000 Doch, doch, ich bin der Meinung, dass, so ist es abgespeichert. 55 00:03:00,000 --> 00:03:04,080 So kam es bei mir an. Ja, du hast ja heute n ganz 56 00:03:04,080 --> 00:03:06,320 cooles Thema mitgebracht und es kann sein, dass wir da auch n 57 00:03:06,320 --> 00:03:07,880 bisschen brauchen. Für deswegen würde ich mal 58 00:03:07,880 --> 00:03:12,800 sagen, lass uns nicht zu lange rumblödeln, sondern jetzt mal so 59 00:03:12,800 --> 00:03:16,560 zu dem Thema kommen. Ich find das Thema klingt sehr 60 00:03:16,560 --> 00:03:21,640 gut, es ist so n Thema was du quasi so von dir aus mitgebracht 61 00:03:21,640 --> 00:03:23,920 hast. Das heißt ich bin heute eher der 62 00:03:24,240 --> 00:03:26,880 ich diskutier mit dir darüber part, aber du musst halt noch 63 00:03:26,880 --> 00:03:29,520 mal so n bisschen sagen worum es geht, ne? 64 00:03:30,400 --> 00:03:32,840 Lass mich nicht im Dunkeln stellen und die Zuhörerinnen und 65 00:03:32,840 --> 00:03:35,800 Zuhörer auch nicht. OK, Tino, könntest du mal ganz 66 00:03:35,800 --> 00:03:42,000 kurz beschreiben. Nee, ich, ich hab jetzt letztens 67 00:03:42,240 --> 00:03:45,200 mitgekriegt so n bisschen gelesen darüber, dass es so n 68 00:03:45,200 --> 00:03:50,040 ich sag mal n neuen Benchmark Test gibt und zwar über AIS ne 69 00:03:50,040 --> 00:03:52,800 also ich mein es gibt ja ganz viele verschiedene LLMS die man 70 00:03:52,800 --> 00:03:55,680 irgendwie verwenden kann. Und da wird ja auch oft immer 71 00:03:55,680 --> 00:03:58,080 gesagt, also logischerweise wird da geguckt, OK, wie gut 72 00:03:58,080 --> 00:04:02,240 performen die, was sollte man da vielleicht nutzen, was hilft 73 00:04:02,240 --> 00:04:05,160 einem am am besten gerade auch für verschiedene, also für 74 00:04:05,160 --> 00:04:07,920 verschiedene Anwendungsfälle, weil du hast ja auch nicht 75 00:04:07,920 --> 00:04:10,320 vielleicht immer, also wir sind natürlich in unserer Coding 76 00:04:10,320 --> 00:04:13,280 Bubble, das ist ja klar, aber es gibt natürlich auch noch andere 77 00:04:13,280 --> 00:04:16,800 Anwendungsfälle, ne, also andere nutzen ja auch AI nicht nur wir, 78 00:04:17,680 --> 00:04:20,079 auch wenn wir vielleicht am meisten AI benutzen, ich weiß es 79 00:04:20,079 --> 00:04:22,160 nicht, wie ich mich nie 2000 Fenster lehn. 80 00:04:23,280 --> 00:04:27,200 Ist ein so ein Anwendungsfall, so Katzenvideos zu machen, die 81 00:04:27,200 --> 00:04:29,120 auf der Veranda stehen und mit irgendwas rumschießen? 82 00:04:29,360 --> 00:04:33,360 Kennst du diese ey ey Videos? Oh Gott, die sind einfach 83 00:04:33,360 --> 00:04:36,320 überall gewesen, eine Zeit lang, das scheint ein Anwendungsfall 84 00:04:36,320 --> 00:04:39,160 zu sein sowas zu machen. Definitiv ein Anwendungsfall, 85 00:04:39,160 --> 00:04:40,640 wahrscheinlich auch Social Media und so. 86 00:04:40,640 --> 00:04:43,760 Es gibt ja mittlerweile auch leider Gottes Podcasts, die 87 00:04:43,760 --> 00:04:46,000 ausschließlich Ai generiert sind. 88 00:04:46,320 --> 00:04:48,960 Ist auf jeden Fall krass, aber die Anwendungsfälle hatte ich 89 00:04:48,960 --> 00:04:51,280 jetzt gerade nicht unbedingt im Kopf, sondern so glückliche 90 00:04:51,280 --> 00:04:53,120 Anwendungsfälle. Weißt du nicht wo der RAM 91 00:04:53,120 --> 00:04:58,720 einfach nur teurer wird, deswegen fand ich noch mal n 92 00:04:58,720 --> 00:05:02,720 bisschen off topic, hatten wir ja die Woche auf Discord oder 93 00:05:02,720 --> 00:05:04,200 was letzte Woche weiß nicht mehr genau, aber ich. 94 00:05:04,200 --> 00:05:06,640 Fand es so witzig mit der Übersetzung, da haben wir noch n 95 00:05:06,640 --> 00:05:11,120 Screenshot bekommen vom System mit den Eigenschaften und dann 96 00:05:11,120 --> 00:05:13,920 wieviel RAM hat denn das Gerät und dann war das einfach 97 00:05:13,920 --> 00:05:16,640 übersetzt mit Schafbock. Fand ich einfach super witzig. 98 00:05:17,280 --> 00:05:23,200 Ein Gigabyte schafbock, 2 Gigabyte schafbock, ja, wenn man 99 00:05:23,200 --> 00:05:26,000 da ein bisschen drüber nachdenkt, mehr oder weniger, 100 00:05:26,000 --> 00:05:28,160 dann kommt man auf jeden Fall darauf, dass es vielleicht die 101 00:05:28,160 --> 00:05:29,840 Übersetzung sein wird. Das hat bei mir ein bisschen 102 00:05:29,840 --> 00:05:33,360 gedauert. Erst das wir so hä ah okay. 103 00:05:34,640 --> 00:05:38,600 Also bei mir kommt's jetzt an. Okay gut, gut, gut, gut, sehr 104 00:05:38,600 --> 00:05:39,960 gut. Ja, das war mir wichtig, dass 105 00:05:39,960 --> 00:05:42,080 wir das mal aufklären für dich. Aber das war sehr. 106 00:05:42,240 --> 00:05:44,960 Das war auf jeden Fall lustig. Na ja, auf jeden Fall. 107 00:05:44,960 --> 00:05:47,680 Wie gesagt, du kannst ja verschiedene LLMS benutzen und 108 00:05:48,440 --> 00:05:50,800 es sind ja nicht alle genauso wie die anderen, also die haben 109 00:05:50,800 --> 00:05:54,440 ja schon Unterschiede und es wurde ja trotzdem irgendwie 110 00:05:54,440 --> 00:05:57,360 getestet um zu gucken, OK wie gut performt ist so n Ding ne 111 00:05:57,360 --> 00:05:59,920 also zum Beispiel gibt gab es ja auch so Tests, dass bestimmte 112 00:05:59,920 --> 00:06:04,400 Prüfungen auf zum Beispiel in Unis oder so dem diese Tests 113 00:06:04,400 --> 00:06:06,640 oder diese Klausuren Prüfungen wie man sie auch mal nennen mag 114 00:06:06,800 --> 00:06:10,560 wurden ja LLMS gegeben und dann sollten die LMS das lösen, ja 115 00:06:10,560 --> 00:06:13,520 und daran wurde ja zum Beispiel das waren Tests die gemacht 116 00:06:13,520 --> 00:06:19,520 wurden und. Verschiedenste andere oder halt 117 00:06:19,520 --> 00:06:24,840 auch mal in github Issue lösen oder es gibt verschiedene Dinge 118 00:06:24,840 --> 00:06:27,840 ne um dann halt einfach zu gucken, gerade im 119 00:06:27,840 --> 00:06:30,520 Softwareentwicklungsbereich OK, wie gut wird denn jetzt zum 120 00:06:30,520 --> 00:06:35,640 Beispiel ne Coding Aufgabe also erfüllt ne das ist natürlich 121 00:06:35,640 --> 00:06:37,760 auch irgendwie ganz interessant, gerade wenn du es zum Coden 122 00:06:37,760 --> 00:06:40,600 benutzt. Ist es ja wichtig zu sagen, OK, 123 00:06:40,880 --> 00:06:44,280 kommt da jetzt wirklich nur Müll raus mit diesem Assistenten, den 124 00:06:44,280 --> 00:06:46,480 ich da vielleicht nutze? Ich sag jetzt auch bewusst 125 00:06:46,480 --> 00:06:50,480 Assistenten oder kommen da halt auch gute Sachen raus, die ich 126 00:06:50,480 --> 00:06:52,920 verwerten kann, die ich benutzen kann, ne und wenn ich jetzt so n 127 00:06:52,920 --> 00:06:55,520 github issue habe und sage OK code mir das mal. 128 00:06:56,400 --> 00:06:59,120 Das heißt, du gibst dem nen Snapshot von einem Repository 129 00:06:59,120 --> 00:07:01,840 und sagst hier ist zum Beispiel n issue, das muss gelöst werden. 130 00:07:02,480 --> 00:07:05,520 Die AI versucht das Problem zu fixen und dann hast du halt am 131 00:07:05,520 --> 00:07:09,280 Ende grüne Tests und dann war es immer so ja OK war erfolgreich, 132 00:07:09,600 --> 00:07:13,680 passt ne aber das ist nicht. Das stimmt ja, aber das sind 133 00:07:13,680 --> 00:07:18,720 natürlich sehr lokale Probleme, ne, also sehr klein abgesteckt, 134 00:07:18,720 --> 00:07:20,640 also so fein säuberlich getrennt. 135 00:07:21,360 --> 00:07:24,040 Dass du sagen kannst, OK, ja, irgendwie hab ich das Gefühl, 136 00:07:24,040 --> 00:07:27,840 dass das kann man machen. Also das ist ja im Prinzip auch, 137 00:07:27,840 --> 00:07:30,480 gerade wenn du so Einsteigerinnen und Einsteigern 138 00:07:31,360 --> 00:07:34,360 die Mitarbeit Ermöglichst am Anfang und sie vielleicht noch 139 00:07:34,360 --> 00:07:37,480 so anlernst es ist ja genau das auch ne, dass du sagst, ja hier 140 00:07:37,480 --> 00:07:40,680 guck mal, hier ist n wirklich gut abgestecktes Problem, das 141 00:07:40,680 --> 00:07:44,480 ist n guter Entry Point sozusagen und dann schau mal, 142 00:07:44,480 --> 00:07:46,880 dass die Tests am Ende grün sind, so also. 143 00:07:47,280 --> 00:07:50,240 Macht man ja da genauso ne, das ist halt förderlich, weil du 144 00:07:50,240 --> 00:07:52,000 hast halt nicht viel drumherum dann. 145 00:07:52,720 --> 00:07:56,640 Richtig, genau. Und das ist ja auch prinzipiell 146 00:07:56,640 --> 00:07:59,120 gar nicht, wie gesagt, nicht verkehrt ist schön, ist schöner 147 00:07:59,120 --> 00:08:02,640 Vergleich auf jeden Fall, aber es es spiegelt ja nicht wirklich 148 00:08:02,640 --> 00:08:05,040 so n softwareprojekt wieder wie man es vielleicht so eigentlich 149 00:08:05,040 --> 00:08:06,080 kennt. Ne, also wirklich, dass du 150 00:08:06,080 --> 00:08:07,920 sagst. Du hast ne Entwicklung über 151 00:08:07,920 --> 00:08:12,480 Monate oder vielleicht Jahre. Du hast ganz viele Komponenten, 152 00:08:12,480 --> 00:08:16,240 die mehr oder weniger dependent oder Interdependent, also ne 153 00:08:16,240 --> 00:08:20,560 Abhängigkeit haben oder eben nicht und es kann natürlich auch 154 00:08:20,560 --> 00:08:22,080 dazu kommen. Ich mein das kennt man ja, das 155 00:08:22,080 --> 00:08:23,800 kennt ja wahrscheinlich jede Entwicklerin oder jeder 156 00:08:23,800 --> 00:08:26,160 Entwickler, dass er sagt, OK, ich hab hier irgendwie mal was 157 00:08:26,160 --> 00:08:30,160 verändert und komischerweise ich kann es noch nicht ganz 158 00:08:30,160 --> 00:08:32,080 erklären, aber irgendwie tritt da n Problem auf. 159 00:08:32,640 --> 00:08:35,200 Und du denkst im ersten Moment ja, das hat aber damit, es kann 160 00:08:35,200 --> 00:08:37,039 damit nichts zu tun haben. Ich bin mir wirklich sicher, 161 00:08:37,039 --> 00:08:39,600 dass es damit nichts zu tun haben kann, komischerweise dann 162 00:08:39,600 --> 00:08:46,640 aber doch, so weißt du, und deswegen ist es halt nicht 163 00:08:46,640 --> 00:08:50,040 unbedingt ausschlaggebend oder aussagekräftig zu sagen, du 164 00:08:50,720 --> 00:08:57,040 testest ne AI mit einem Test der n einmaligen fix halt testet so 165 00:08:57,040 --> 00:09:00,840 ne sondern. Es ist ja besser zu gucken, OK, 166 00:09:00,840 --> 00:09:03,920 wie ist das Ganze im komplexen Verbund, ne, also wie zum 167 00:09:03,920 --> 00:09:06,320 Beispiel verändert sich auch die Wartbarkeit des Systems dann 168 00:09:06,320 --> 00:09:09,400 durch diesen fix beispielsweise oder durch mehrere Fixes 169 00:09:09,400 --> 00:09:13,280 hintereinander. Ne, ja, das ist halt n guter 170 00:09:13,280 --> 00:09:19,600 Punkt, weil das auch ein Hauptkritikpunkt bei AI Code 171 00:09:19,600 --> 00:09:21,920 ist. Ne oder das Coden mit AI 172 00:09:21,920 --> 00:09:24,880 Unterstützung. Dass man sagt, ja, OK, so kleine 173 00:09:24,880 --> 00:09:26,920 Probleme können ganz gut gelöst werden, dann kriege ich so n 174 00:09:26,920 --> 00:09:29,440 Code Snippet, der funktioniert aber sobald mein Problem 175 00:09:29,440 --> 00:09:33,680 komplexer wird oder mehrere Stellen dafür analysiert und 176 00:09:34,240 --> 00:09:37,760 beachtet werden müssen, dass ich dann irgendwann, das hatten wir 177 00:09:37,760 --> 00:09:41,040 auch auf dem auf Twitch zum Beispiel ganz oft mit mit der 178 00:09:41,040 --> 00:09:43,760 Community das Thema, dass man irgendwie in so ne 179 00:09:43,760 --> 00:09:47,280 Abwärtsspirale reinkommt und die Qualität immer mehr abnimmt, bis 180 00:09:47,280 --> 00:09:50,560 hinzu völlig absurd wird und man sich denkt, so OK, ich kann an 181 00:09:50,560 --> 00:09:55,680 der Stelle jetzt aufhören. Irgendwelche prompts zu senden 182 00:09:55,680 --> 00:09:58,400 sozusagen, weil da kommt nur noch Mist bei rum, das hilft mir 183 00:09:58,400 --> 00:10:02,360 nicht mehr und das ist halt auch glaub ich das, wo man sagen 184 00:10:02,360 --> 00:10:05,760 muss, was unterscheidet echte Projektarbeit, echte 185 00:10:05,760 --> 00:10:08,240 Softwareentwicklung von so kleinen lokalen Problemen, was 186 00:10:08,240 --> 00:10:12,320 du gerade genannt hast, weil diese Kritik haben wir ja auch 187 00:10:12,320 --> 00:10:15,760 selbst, das erfahren wir auch selbst, dass das oft passiert 188 00:10:15,760 --> 00:10:19,920 und auch sehr viele andere. Und es absolut gerechtfertigt zu 189 00:10:19,920 --> 00:10:22,080 sagen, das hat dann nicht so eigentlich mit richtiger 190 00:10:22,080 --> 00:10:23,560 Softwareentwicklung am Ende zu tun. 191 00:10:23,560 --> 00:10:27,280 Ne, bei Twitch hatten wir glaub ich auch ging es auch darum, 192 00:10:27,840 --> 00:10:35,360 dass wie soll ich sagen, die Erfahrung kam, dass zum Beispiel 193 00:10:35,360 --> 00:10:38,720 du kannst dann nen sagen wir du hast Code und die AI. 194 00:10:39,600 --> 00:10:42,480 Soll die den Code refact dann so und dann bist du ja vielleicht 195 00:10:42,480 --> 00:10:45,200 irgendwann mal an einem Punkt wo du sagst okay ey du hast es halt 196 00:10:45,200 --> 00:10:48,640 refact, das ist okay so es passt ne, du bist ja nicht wirklich 197 00:10:48,640 --> 00:10:52,480 permanent 24 7 am Code refact dann so ne, also man sollte es 198 00:10:52,480 --> 00:10:54,840 regelmäßig machen, auf jeden Fall, aber du bist ja nicht 199 00:10:54,840 --> 00:10:57,760 ununterbrochen dabei Code zu refact dann du fängst ja nicht 200 00:10:57,760 --> 00:11:00,400 an ne Funktion zu refact dann um dann hinterher direkt im 201 00:11:00,400 --> 00:11:02,880 Anschluss zu sagen und jetzt refactor ich die noch mal ey, 202 00:11:02,880 --> 00:11:06,040 jetzt refactor ich die noch mal ne also du weißt was ich meine 203 00:11:06,040 --> 00:11:08,440 ne also sicherlich kann man sich jetzt hinstellen und sagen na ja 204 00:11:08,440 --> 00:11:11,400 aber man könnte ja vielleicht noch was finden. 205 00:11:11,400 --> 00:11:13,960 Nein das mein ich jetzt aber nicht, sondern ne du hast halt 206 00:11:13,960 --> 00:11:17,720 wirklich dein Bestes getan, so und gerade da war dann die 207 00:11:17,720 --> 00:11:20,800 Erfahrung, dass AI halt auch wirklich einfach mal sagt, OK, 208 00:11:21,120 --> 00:11:24,120 ich mach aber immer was, also du kannst jedes Mal sagen Refactor 209 00:11:24,120 --> 00:11:27,120 das und AI wird was tun ne das ist zum Beispiel halt auch genau 210 00:11:27,120 --> 00:11:29,680 das Ding und da geht es dann im Endeffekt auch hin. 211 00:11:30,400 --> 00:11:34,080 Und um genau sowas zu testen, um dann wirklich zu evaluieren, wie 212 00:11:34,080 --> 00:11:37,200 gut sind denn LLMS auch wirklich in diesem Bereich? 213 00:11:37,200 --> 00:11:39,640 Ne, also in diesem Kontext auch den, den wir jetzt gerade 214 00:11:39,640 --> 00:11:42,800 angerissen haben. Dafür wurde dann der sogenannte 215 00:11:43,040 --> 00:11:46,200 SWECI Test gemacht. Ne ist so n Benchmark Test, der 216 00:11:46,200 --> 00:11:49,520 genau halt versucht das zu zu checken ne also CI steht hier 217 00:11:49,520 --> 00:11:56,000 wirklich für Continuous Integration SWE Software und es. 218 00:11:56,320 --> 00:12:00,720 Ist ungefähr so aufgebaut, dass du halt 100 Aufgaben hast aus. 219 00:12:01,040 --> 00:12:06,040 Ich glaub 68 Python reports, Tories und die Entwicklung oder 220 00:12:06,080 --> 00:12:09,280 diese diese Test Entwicklung, also diese diese Tests, ne die 221 00:12:09,280 --> 00:12:12,880 Entwicklung der Software. Diese Aufgaben hat ungefähr so 222 00:12:12,880 --> 00:12:15,800 233 Tage Entwicklung gedauert, also wirklich mehrere Monate ne 223 00:12:15,800 --> 00:12:19,760 also da so weiß nicht roundabout 71 Commits pro task task ne um 224 00:12:19,760 --> 00:12:22,040 mal wirklich facts zu nennen hier ne und. 225 00:12:26,320 --> 00:12:29,840 Jeder also die Entwicklung des Tests oder oder. 226 00:12:30,080 --> 00:12:33,040 Also das, was die dann tun muss, ne. 227 00:12:33,600 --> 00:12:36,960 Ah OK, die Bearbeitungsdauer sozusagen durch die Agents dann. 228 00:12:36,960 --> 00:12:40,880 Genau, genau genau, also OK ne. Also beziehungsweise du hast. 229 00:12:40,880 --> 00:12:44,640 Also du hast noch mal ganz kurz so n Test ne wenn du so n Test 230 00:12:44,640 --> 00:12:47,440 fährst mit einer RI, dann hast du im Durchschnitt also ungefähr 231 00:12:47,440 --> 00:12:49,520 100 Aufgaben die gelöst werden müssen. 232 00:12:49,760 --> 00:12:53,600 Ne, es war wurden ungefähr also 68 Repositories genutzt, mit 233 00:12:53,600 --> 00:12:56,560 denen das wirklich passiert, also wo wo diese Tests gelaufen 234 00:12:56,560 --> 00:12:59,640 sind und durchschnittlich hat es halt 233 Tage gedauert für so n 235 00:12:59,640 --> 00:13:02,320 also diesen Test durchzuführen und es gab halt durchschnittlich 236 00:13:02,320 --> 00:13:06,960 71 Kommits pro task ne und dann war es halt so, dass sozusagen 237 00:13:07,440 --> 00:13:14,400 jede Aufgabe. Simuliert im Endeffekt dann ein, 238 00:13:14,560 --> 00:13:18,080 ich sag mal lebenslanges Entwicklungsprojekt. 239 00:13:18,080 --> 00:13:20,800 Also ne ne Geschichte eines Projektes, also eine 240 00:13:20,800 --> 00:13:22,760 Entwicklungsgeschichte wie man es auch immer nennen mag, also 241 00:13:22,760 --> 00:13:29,080 die History eines Projektes ja so und der Benchmark 242 00:13:29,080 --> 00:13:33,040 funktioniert jetzt so, dass du die, dass dieser Prozess der 243 00:13:33,040 --> 00:13:35,240 läuft, der ist. Wieso ne CI loop ne, also du 244 00:13:35,240 --> 00:13:39,440 hast halt quasi immer irgendwie die AI bearbeitet. 245 00:13:39,840 --> 00:13:43,920 Das Problem ja und packt dann quasi die Bearbeitung sozusagen 246 00:13:44,240 --> 00:13:48,160 in in so ne Loop rein, dann wird das quasi getestet, überprüft ob 247 00:13:48,160 --> 00:13:50,360 das passt. Wie auch immer, ne und dann geht 248 00:13:50,360 --> 00:13:53,560 das wieder von vorne los ne und pro Aufgabe gab es immer 249 00:13:53,560 --> 00:13:58,800 ungefähr so 20 Iterationen auf dieser CI loop und es war dann 250 00:13:58,800 --> 00:14:01,760 so vom Ablauf erstmal sind Testzeit fehlgeschlagen ne der 251 00:14:01,760 --> 00:14:05,240 Agent analysiert dann das Problem, dann verändert der 252 00:14:05,240 --> 00:14:07,880 Agent den Code ne also. Dieses klassische es ist 253 00:14:07,880 --> 00:14:10,320 irgendwas fehlgeschlagen, also musst du dir, sagst du dir, 254 00:14:10,480 --> 00:14:12,960 warte mal wieso, was ist jetzt das Problem, ich muss es fixen, 255 00:14:12,960 --> 00:14:18,800 so ne Code wird verändert, CI läuft erneut und dann hast du 256 00:14:18,800 --> 00:14:21,720 entweder halt wieder n grünen stand alles ist gut oder du hast 257 00:14:21,720 --> 00:14:24,760 halt neue Fehler die entstehen können ne und da war es dann 258 00:14:24,760 --> 00:14:28,240 halt auch natürlich so, dass durchaus das simuliert wurde, 259 00:14:28,240 --> 00:14:30,960 dass halt eben bestimmte Fehler auch auftreten, dann an der 260 00:14:30,960 --> 00:14:36,000 Stelle ne, damit du halt wirklich dieses dieses Ich sag 261 00:14:36,000 --> 00:14:38,800 mal echte Projekterlebnis hast. Weißt du? 262 00:14:39,040 --> 00:14:43,760 Ja OK, also es war so n bisschen simuliert das Ganze genau heißt 263 00:14:43,760 --> 00:14:46,280 man hat quasi mit einem Stand gestartet, der nicht 264 00:14:46,280 --> 00:14:48,800 funktioniert sozusagen. Also am Anfang waren die Tests 265 00:14:48,800 --> 00:14:51,960 schon rot ne und dann hat man das immer fixen lassen, 266 00:14:51,960 --> 00:14:54,960 sozusagen und wieder simuliert, dass neue Fehler reinkommen. 267 00:14:54,960 --> 00:15:00,600 Sozusagen OK genau. Und die Aufgabe war halt, und 268 00:15:00,600 --> 00:15:02,720 das war halt wirklich wichtig, was halt eben auch gemessen 269 00:15:02,720 --> 00:15:05,360 wurde, der Agent. Muss jetzt nicht nur einfach 270 00:15:05,360 --> 00:15:07,920 Tests bestehen und sagen, OK das das passt so ne ich hab jetzt 271 00:15:07,920 --> 00:15:12,080 alles grün ist gut oder einen bestimmten Teilbereich der dann 272 00:15:12,080 --> 00:15:14,440 zum Beispiel Grün ist, sondern es ist wichtig, dass halt alle 273 00:15:14,440 --> 00:15:17,200 bestehenden Tests halt eben auch immer noch weiterhin grün 274 00:15:17,200 --> 00:15:18,720 laufen. Ne, dieses typische du 275 00:15:18,840 --> 00:15:20,800 entwickelst irgendwie an einer neuen Aufgabe. 276 00:15:21,360 --> 00:15:24,240 Du hast vielleicht irgendwie rote Tests, du fix die und dann 277 00:15:24,240 --> 00:15:27,360 sollen nicht nur die Tests in dem Kontext in dem du gearbeitet 278 00:15:27,360 --> 00:15:29,520 hast grün sein, sondern wirklich auch alles andere drumherum ne, 279 00:15:29,680 --> 00:15:32,600 also das soll halt eben nicht dieser Effekt auftreten, nicht 280 00:15:32,600 --> 00:15:35,400 am Anfang meinte. Du änderst was und denkst dir so 281 00:15:35,400 --> 00:15:40,720 OK, passt alles und hä, wieso ist das gerade rot? 282 00:15:40,720 --> 00:15:43,600 Ne es kann nicht von meinem fix sein und dann am Ende merkst du 283 00:15:43,600 --> 00:15:47,400 aber OK komischerweise ah OK ne das ist halt eben doch passiert 284 00:15:47,400 --> 00:15:51,880 und genau das soll sozusagen gemessen werden, dass genau das 285 00:15:51,880 --> 00:15:54,320 eben nicht auftritt, ne? Ja gut, ich mein, Wir sprechen 286 00:15:54,320 --> 00:15:56,640 ja hier von Continuous Integration, ne, also in dem 287 00:15:56,800 --> 00:16:00,040 Benchmark ja auch. Und dann sollte es ja ne 288 00:16:00,040 --> 00:16:02,720 Bedingung sein, dass alle Testgrünen sind, bevor du den 289 00:16:02,720 --> 00:16:04,640 Code integrierst in die Codebase. 290 00:16:05,760 --> 00:16:08,960 Also das sollte schon gegeben sein von der von dem Agent, 291 00:16:08,960 --> 00:16:11,040 sozusagen von der Entwicklung. Genau. 292 00:16:11,920 --> 00:16:15,000 Und dann war das Ganze so aufgebaut, dass du halt in 293 00:16:15,000 --> 00:16:17,680 diesem Benchmark 2 Rollen hast. Ne, das heißt du hast dann nen 294 00:16:17,680 --> 00:16:21,440 Architekt. Agent, der sozusagen analysiert 295 00:16:21,440 --> 00:16:25,440 halt eben die CI Fehler und und schreibt dann die Requirements. 296 00:16:25,440 --> 00:16:28,080 Das heißt es wird dann geguckt irgendwas läuft auf der Pipeline 297 00:16:28,560 --> 00:16:32,280 nicht richtig ne und dieser eine Agent von dieser LLM die 298 00:16:32,280 --> 00:16:35,480 getestet wird sagt dann ey Pass auf wir haben nen Fehler da und 299 00:16:35,480 --> 00:16:37,600 da ich schreib jetzt requirements damit das eben 300 00:16:37,680 --> 00:16:40,760 gefixt wird und dann hast du sozusagen den Programm Agent der 301 00:16:40,760 --> 00:16:42,880 wiederum sagt OK ich implementier dann halt den Code 302 00:16:44,400 --> 00:16:48,080 und das soll dann im Endeffekt so n bisschen. 303 00:16:49,120 --> 00:16:52,680 Die Real so reale Software Teams widerspiegeln ne, dass sozusagen 304 00:16:52,680 --> 00:16:55,120 das Analyse nicht gleich Implementierung ist, obwohl ich 305 00:16:55,120 --> 00:16:57,440 da ganz ehrlich bin und sagen muss. 306 00:16:57,680 --> 00:17:03,200 Tino seh ich halt auch anders, weil ich finde gerade im Full 307 00:17:03,200 --> 00:17:05,359 Stack Bereich beispielsweise bist du halt einfach dafür 308 00:17:05,359 --> 00:17:07,440 verantwortlich, dass deine Software läuft. 309 00:17:07,440 --> 00:17:09,440 Ich weiß nicht wie du das siehst, weil ich eigentlich weiß 310 00:17:09,440 --> 00:17:13,520 ich wie du das siehst. Ich find es halt komisch zu 311 00:17:13,520 --> 00:17:16,760 sagen Du hast einmal diese Analyse unabhängig von der 312 00:17:16,760 --> 00:17:19,920 Implementierung so. Aber das wurde jetzt halt mehr 313 00:17:19,920 --> 00:17:22,720 gemacht. Die Frage ist halt, was jetzt 314 00:17:22,720 --> 00:17:26,800 mit Analyse da gemeint ist, wie die das wo der Schnitt da ist. 315 00:17:26,800 --> 00:17:29,600 Ja, das war wahrscheinlich jetzt nicht so detailliert 316 00:17:29,600 --> 00:17:31,120 beschrieben. Die Frage ist Halt, ist es die 317 00:17:31,120 --> 00:17:34,240 Analyse wie ich es jetzt technisch löse oder sind es so 318 00:17:34,240 --> 00:17:38,400 fachliche Sachen? Ne, also so reden wir hier zum 319 00:17:38,400 --> 00:17:41,440 Beispiel von der Rolle PO und Entwickler die da miteinander 320 00:17:41,440 --> 00:17:43,560 kommunizieren oder sind es irgendwie alles Entwickler? 321 00:17:43,560 --> 00:17:45,360 Aber einer sagt jetzt Pass auf wir haben. 322 00:17:45,680 --> 00:17:48,840 An der und der Stelle in der Klasse n Problem, dass das die 323 00:17:48,840 --> 00:17:50,200 Anforderung ist, dass das und das passiert. 324 00:17:50,200 --> 00:17:51,360 Und jetzt implementieren wir das. 325 00:17:51,600 --> 00:17:54,000 Dann bin ich natürlich ganz bei dir, dass das irgendwie alles 326 00:17:54,000 --> 00:17:57,840 Tätigkeit eines Entwicklers ist. Das ist wahrscheinlich auch 327 00:17:57,840 --> 00:17:59,640 nicht so ausführlich beschrieben gewesen, ne? 328 00:17:59,920 --> 00:18:02,800 Ja, also ich glaube ich. Ich meine, wenn man da jetzt 329 00:18:02,800 --> 00:18:04,920 vielleicht noch mal irgendwie sich das im genauen anguckt, 330 00:18:04,920 --> 00:18:06,840 dann kriegt man es wahrscheinlich auch irgendwie 331 00:18:06,880 --> 00:18:10,400 noch raus, aber das Ding ist. Für mich klang es halt auf jeden 332 00:18:10,400 --> 00:18:12,960 Fall so, dass es halt eben so ist, dass du hast halt diesen 333 00:18:12,960 --> 00:18:13,840 einen. Du hast halt diesen 334 00:18:13,840 --> 00:18:16,720 Analysepartner und prinzipiell ist es ja auch irgendwo auf 335 00:18:16,720 --> 00:18:19,600 einer Metaebene, sag ich mal möglich, dass du sagst, du 336 00:18:19,600 --> 00:18:22,360 guckst ob, was halt nicht richtig funktioniert, es muss ja 337 00:18:22,360 --> 00:18:24,880 auch nicht immer unbedingt jetzt, sagen wir mal in der CI 338 00:18:24,880 --> 00:18:26,640 sein, es kann ja, die CI kann ja auch. 339 00:18:27,600 --> 00:18:31,120 Sozusagen stellvertretend für User entdeckt Halt n Problem ne 340 00:18:31,120 --> 00:18:32,880 und das wird sozusagen weitergereicht. 341 00:18:32,880 --> 00:18:36,400 Du meinst an genau an so NPO, das versteh ich, ist auch n 342 00:18:36,400 --> 00:18:38,720 guter Gedankengang von dir, so dass man sagt das könnte ja auch 343 00:18:38,720 --> 00:18:41,920 PO und Entwickler entwicklerinnen sein, sozusagen 344 00:18:41,920 --> 00:18:46,560 diese Rollenverteilung, aber wenn ich mir denk, also aus 345 00:18:46,560 --> 00:18:49,040 dieser Perspektive heraus zu sagen, irgendwas ist rot auf der 346 00:18:49,040 --> 00:18:51,280 Pipeline, dann seh ich das halt einfach beim Entwickler, so 347 00:18:51,280 --> 00:18:54,160 weißt du, deswegen fand ich das so n bisschen komisch vom vom 348 00:18:54,160 --> 00:18:58,320 Naming. Aber genau das ist im Endeffekt 349 00:18:58,320 --> 00:19:03,920 so. Die Situation ne und am Ende 350 00:19:03,920 --> 00:19:07,160 wurde dann halt geguckt und halt es, es wird ja immer so, es gibt 351 00:19:07,160 --> 00:19:10,560 ja so n Maß ne so wo man sagt was ist wichtig, worauf wird 352 00:19:10,560 --> 00:19:12,640 jetzt geachtet ne und es wird jetzt zum Beispiel nicht 353 00:19:12,640 --> 00:19:14,160 unbedingt darauf geachtet zu sagen. 354 00:19:15,840 --> 00:19:19,200 Du hast n einzelnen Fehler und der wird gefixt, sondern es war 355 00:19:19,200 --> 00:19:23,440 halt wichtiger zu sagen was wie wie performt diese 356 00:19:23,440 --> 00:19:28,080 Gesamtsoftware später ne, das heißt wenn früher in diesem 357 00:19:28,080 --> 00:19:32,000 Prozess, in dieser Simulation sag ich jetzt mal zwar perfekt 358 00:19:32,000 --> 00:19:35,280 irgendwelche Fixes gemacht wurden, aber später das System 359 00:19:35,280 --> 00:19:37,120 immer schlimmer wurde, sag ich jetzt mal. 360 00:19:37,680 --> 00:19:40,000 Oder immer mehr Fehler im Nachhinein aufgetreten wurden. 361 00:19:40,000 --> 00:19:42,800 Das galt dann halt als schlecht, das heißt, es war auch 362 00:19:42,800 --> 00:19:45,920 gleichzeitig wiederum nicht schlimm, wenn am Anfang 363 00:19:46,160 --> 00:19:49,120 irgendwie fix ist, noch nicht richtig hundertprozentig gut 364 00:19:49,120 --> 00:19:52,640 umgesetzt wurden, wenn es noch nicht so richtig, noch nicht so 365 00:19:52,640 --> 00:19:55,280 richtig gepasst hat. Weißt du also sagen wir mal, du 366 00:19:55,280 --> 00:19:58,400 hast den ersten Fix und du löst ihn nur zu 50% könnte man ja 367 00:19:58,400 --> 00:20:00,240 jetzt sagen, OK das ist schlecht, ne. 368 00:20:00,960 --> 00:20:03,320 Wenn du aber am Ende sag ich jetzt mal immer weiter das 369 00:20:03,320 --> 00:20:07,640 System verbesserst, sodass du am Ende sagen wir mal Ich nenn 370 00:20:07,640 --> 00:20:10,080 jetzt einfach mal zahlen so n System von 90 von 100% 371 00:20:10,080 --> 00:20:12,520 geschaffen hast. Weißt du also um um das mal so 372 00:20:12,520 --> 00:20:15,680 auf einer Zahlenebene zu verständlich zu machen, dann war 373 00:20:15,680 --> 00:20:17,920 da ist das halt tausendmal besser als wenn du am Anfang 374 00:20:17,920 --> 00:20:22,240 aber so n so n fix 100% machst hinter deinem System aber nur 60 375 00:20:22,240 --> 00:20:23,840 von 100 Punkten bekommt, weißt du ich meine. 376 00:20:24,960 --> 00:20:27,200 Ne. Und da war es dann halt so, dass 377 00:20:27,200 --> 00:20:30,320 so Regressionsfehler nennt sich das ja immer dieses wiederholte 378 00:20:30,320 --> 00:20:33,520 Laufen der Pipeline sozusagen, wenn da dann halt Fehler später 379 00:20:33,520 --> 00:20:36,160 aufgetreten sind. Das wurde halt stärker bestraft 380 00:20:36,160 --> 00:20:38,560 als. Wenn du halt, sagen wir mal 381 00:20:38,560 --> 00:20:40,720 früher mal n Fehler drin hattest, so. 382 00:20:41,840 --> 00:20:44,440 Ja OK, also es geht halt wirklich um die Entwicklung und 383 00:20:44,440 --> 00:20:47,800 Wartbarkeit dahinter und wie stabil das System ist sozusagen 384 00:20:47,840 --> 00:20:49,760 oder die Softwareentwicklung dahinter auch so. 385 00:20:49,760 --> 00:20:51,640 Stichpunkttechnische Schulden oder so, die sich dann 386 00:20:51,640 --> 00:20:54,000 vielleicht aufbauen, ne, ich mein, das kennt man ja. 387 00:20:54,440 --> 00:20:58,720 Ist jedem ein Begriff. Ja, ist auf jeden Fall n ganz 388 00:20:58,720 --> 00:21:01,080 interessanter Aufbau, auch dass halt mehrere Agents da 389 00:21:01,080 --> 00:21:02,800 involviert sind, dass man halt wirklich. 390 00:21:03,200 --> 00:21:05,520 Weil es geht ja ganz oft darum, kann ich jetzt so 391 00:21:05,520 --> 00:21:08,640 Softwareentwicklerinnen und Entwickler ersetzen, ist ja ne 392 00:21:08,640 --> 00:21:11,840 Angst von vielen wird auch viel diskutiert, ist auch so n 393 00:21:11,840 --> 00:21:17,360 bisschen Panikmache und ja sag ich mal es kommt halt gut in den 394 00:21:17,360 --> 00:21:22,000 Medien so was zu sagen ne also das polarisiert Halt und 395 00:21:22,000 --> 00:21:24,440 natürlich muss man so n Test dann auch so aufbauen, dass man 396 00:21:24,440 --> 00:21:26,720 sagt OK wir haben jetzt mehrere Agents, wir ersetzen jetzt so n 397 00:21:26,720 --> 00:21:29,880 Team ne und mal gucken wie sie diese Software entwickeln und 398 00:21:29,880 --> 00:21:33,720 deswegen. Ist gerade so so ne die 399 00:21:33,720 --> 00:21:38,000 Regression dabei zu betrachten sehr plausibel das zu tun und 400 00:21:38,000 --> 00:21:40,560 auch wichtig ne das zu analysieren weil wie verhält es 401 00:21:40,560 --> 00:21:43,760 sich über Zeit wenn ich jetzt einen so n task hab und der wird 402 00:21:43,760 --> 00:21:48,360 ganz gut entwickelt und ich stell mich hin ach guck mal 30 403 00:21:48,360 --> 00:21:52,440 Sekunden ja super fertig das schafft niemals n Entwickler ja 404 00:21:52,440 --> 00:21:55,000 OK klar kannst du so schnell vielleicht nicht coden dann ne 405 00:21:55,000 --> 00:21:57,840 oder kriegst Ding das Ergebnis nicht geliefert. 406 00:21:58,800 --> 00:22:01,160 Aber die das Spannende ist ja wirklich, wie verhält sich es 407 00:22:01,160 --> 00:22:03,680 über Zeit und fährt man so n Projekt gegen die Wand so 408 00:22:03,680 --> 00:22:06,560 wirklich massiv gegen die Wand, dass es halt überhaupt gar nicht 409 00:22:06,560 --> 00:22:08,560 mehr funktioniert und alles n Bach runter geht? 410 00:22:08,880 --> 00:22:11,440 Oder können Sie halt dieses Level halten? 411 00:22:11,440 --> 00:22:14,400 Das ist das spannende jetzt, was man da denn versucht 412 00:22:14,800 --> 00:22:16,680 herauszufinden und ich muss sagen ich find das selbst auch 413 00:22:16,680 --> 00:22:19,200 super spannend ja bin gespannt was das Ergebnis. 414 00:22:19,560 --> 00:22:22,040 Ist da kommen wir gleich drauf. Ich find halt zum Beispiel ich 415 00:22:22,040 --> 00:22:24,000 mein das, das kennst du sicherlich auch. 416 00:22:24,400 --> 00:22:26,720 Wenn du so ein du hast ein Projekt und du sagst jetzt zum 417 00:22:26,720 --> 00:22:28,880 Beispiel, du hast wirklich einen kleinen Task und sagst jetzt AI, 418 00:22:28,880 --> 00:22:31,680 mach das so ne, vielleicht beschreibst du so, es geht jetzt 419 00:22:31,680 --> 00:22:33,680 nicht darum, dass du wirklich sagst, ich gebe jetzt die 420 00:22:33,680 --> 00:22:35,720 Anforderungen aus so einem Ticket da rein, sondern du 421 00:22:35,720 --> 00:22:37,880 beschreibst halt, dass du sagst, ich möchte gerne, dass sich die 422 00:22:37,880 --> 00:22:42,000 Software da da und dahingehend verändert ne so, dann ist es ja 423 00:22:42,000 --> 00:22:45,600 relativ easy, dass du wirklich eine Lösung bekommst, dass die 424 00:22:45,600 --> 00:22:48,840 AI etwas vorschlägt und sagt, OK, hier bitteschön ne, du 425 00:22:48,840 --> 00:22:51,360 testest das aus und sagst vielleicht OK, das funktioniert 426 00:22:51,360 --> 00:22:53,120 schon, das passt schon irgendwie so ne. 427 00:22:54,640 --> 00:22:57,240 Aber wenn du jetzt zum Beispiel an einem an einer anderen Stelle 428 00:22:57,240 --> 00:23:00,160 wieder was ähnliches machst, dann haut der dir wieder ne 429 00:23:00,160 --> 00:23:03,320 Lösung rein und dann hast du aber irgendwann den Punkt, dass 430 00:23:03,320 --> 00:23:06,400 vielleicht einfach Code Dopplungen da sind, wo du 431 00:23:06,400 --> 00:23:09,440 vielleicht aber intuitiv als Entwickler oder Entwicklerin dir 432 00:23:09,440 --> 00:23:11,400 denkst. Na ja, also ich hätte jetzt 433 00:23:11,400 --> 00:23:13,840 schon irgendwo nach einer gewissen Menge an Dopplungen 434 00:23:13,840 --> 00:23:17,120 vielleicht auch mal ne Single Source of Truth eingebaut, das 435 00:23:17,120 --> 00:23:18,960 ganze vielleicht mal refected und so weiter ne. 436 00:23:20,600 --> 00:23:24,320 Kleines Mini Beispiel dazu ist jetzt vielleicht nicht so 437 00:23:24,320 --> 00:23:26,960 hundertprozentig das, aber ich hatte das zum Beispiel mal mit 438 00:23:27,040 --> 00:23:30,960 mit CSS Code ne wo wo man sich dann so denkt so ich finde CSS 439 00:23:30,960 --> 00:23:33,680 bin ich ehrlich ist jetzt nicht mein absolutes Steckenpferd so 440 00:23:33,720 --> 00:23:37,040 man kommt damit halt klar, aber es hilft natürlich auch schon 441 00:23:37,040 --> 00:23:40,640 einfach mal so ein bisschen so von AI so mal was sich geben zu 442 00:23:40,640 --> 00:23:44,160 lassen weißt du und. Dann wird halt in der einen 443 00:23:44,160 --> 00:23:47,360 Seite n Button gestylt und in der nächsten Seite wird wieder n 444 00:23:47,360 --> 00:23:49,920 Button gestylt, der aber genauso aussieht sieht wie der andere, 445 00:23:49,920 --> 00:23:52,920 aber die AI kam niemals darauf zu sagen und das packen wir 446 00:23:52,920 --> 00:23:57,520 jetzt mal nicht Side CSS so allgemein ne so und das sind so 447 00:23:57,520 --> 00:23:59,360 Dinge. Na ja, gut, man muss natürlich 448 00:23:59,360 --> 00:24:02,080 sagen, da gibt es ja auch diesen witzigen Satz und ich find, der 449 00:24:02,080 --> 00:24:04,480 ist halt auch n bisschen zutreffend, bisschen provokant, 450 00:24:04,480 --> 00:24:08,000 aber auch zutreffend, dass CSS so Wright only ist und nicht 451 00:24:08,000 --> 00:24:11,240 mehr gelesen werden kann, dass du das so schreibst, sieht 452 00:24:11,240 --> 00:24:13,680 richtig aus, jut. OK guck ich mir nie wieder an, 453 00:24:13,680 --> 00:24:16,480 was da drin ist, weil es halt auch echt schnell eskalieren 454 00:24:16,480 --> 00:24:19,440 kann, ne, vielleicht denkt sich das ja ja. 455 00:24:19,600 --> 00:24:22,160 Auch. Ja, aber es ist es ist. 456 00:24:22,160 --> 00:24:23,360 Es ist ja nur ein kleines Beispiel. 457 00:24:23,360 --> 00:24:26,080 Es ist ja das, das kannst du halt auch so auf Mappen, auf auf 458 00:24:26,080 --> 00:24:28,880 normalen Code und das sind halt dann auch wieder so Probleme, wo 459 00:24:28,880 --> 00:24:32,160 du gerade wenn du vielleicht noch nicht so richtig Erfahrung 460 00:24:32,160 --> 00:24:35,320 hast, dass du dann in diesen Bereich kommst, wo du denkst, 461 00:24:35,320 --> 00:24:38,400 ey, das funktioniert ja richtig, richtig geil, ja, und dann 462 00:24:38,400 --> 00:24:41,920 kommst du aber genau in diese Hölle oder in diesen, in diese, 463 00:24:41,920 --> 00:24:44,480 dieses Testproblem, was wir jetzt ansprechen, weil. 464 00:24:44,880 --> 00:24:47,800 Es ging ja, wie gesagt mit dieser Regressionsrate, die da 465 00:24:47,800 --> 00:24:51,360 überprüft wurde, wurde er geguckt wie oft n Agent etwas 466 00:24:51,360 --> 00:24:54,160 repariert, ohne dass er etwas anderes halt am Ende wieder 467 00:24:54,160 --> 00:24:57,320 kaputt macht und die Ergebnisse waren halt schon stark, weil die 468 00:24:57,320 --> 00:25:02,480 Mehrheit aller Modelle wirklich genau dieses diese. 469 00:25:03,360 --> 00:25:07,440 Dieses Maß, was ich gerade genannt hab, nur kleiner 25% 470 00:25:07,440 --> 00:25:11,120 erfüllt hat, also nicht mal ein Viertel oder maximal ein Viertel 471 00:25:11,440 --> 00:25:14,000 der also der meisten Modelle. Nein, so nein warte. 472 00:25:14,000 --> 00:25:16,400 Die meisten Modelle haben nur zu. 473 00:25:16,800 --> 00:25:21,320 Wenig Statistik genau also du nimmst ein Modell und die 474 00:25:21,320 --> 00:25:23,840 Wahrscheinlichkeit, dass das Modell später etwas kaputt macht 475 00:25:23,840 --> 00:25:27,840 ist liegt bei 75%. So ist schon sehr hoch, das 476 00:25:27,840 --> 00:25:32,480 meine ich damit ne ein bisschen herausgestochen herausgestochen 477 00:25:32,480 --> 00:25:36,800 hat hier Cloud Opus ne kennt man ja, ist sicherlich vielen 478 00:25:36,800 --> 00:25:38,240 Begriff jetzt sagt wahrscheinlich der eine oder 479 00:25:38,240 --> 00:25:41,840 andere so alter ich hab es schon immer gesagt Opus. 480 00:25:41,840 --> 00:25:45,680 Rockt, so weißt du ja, stimmt, das ist ein Modell, was? 481 00:25:46,640 --> 00:25:49,600 Auch polarisiert also gefühlt jede neue Version und dann 482 00:25:49,600 --> 00:25:51,680 stellst du irgendwann fest. Ja, so geil ist doch nicht und 483 00:25:51,680 --> 00:25:54,720 dann kommt die nächste und dann. Aber jetzt ist richtig, richtig 484 00:25:54,720 --> 00:25:58,720 geil. Ja, es gibt so viele Fans von 485 00:25:58,720 --> 00:26:03,360 Opus, auch jetzt gerade mit der 4 Sechser Version ne die ja ist 486 00:26:03,360 --> 00:26:05,640 ja auch schon wieder ne Weile her, ich muss sagen ja die 487 00:26:05,640 --> 00:26:09,200 Ergebnisse fühlen sich besser an, aber das was wir anfangs 488 00:26:09,200 --> 00:26:10,560 kritisiert haben passiert da genauso. 489 00:26:10,880 --> 00:26:14,200 Ja, ist echt so. Also ich bin ganz ehrlich, so in 490 00:26:14,200 --> 00:26:16,400 letzter Zeit wo ich auch n bisschen mehr mit Opus 491 00:26:16,400 --> 00:26:21,040 gearbeitet hab, muss ich sagen es fühlt sich jetzt nicht 492 00:26:21,040 --> 00:26:25,440 deutlich besser an als irgendein anderes Modell, aber ist normal. 493 00:26:25,440 --> 00:26:28,960 Ja, also. Es ist, die Ergebnisse sind 494 00:26:28,960 --> 00:26:31,440 manchmal passender oder auch irgendwie. 495 00:26:32,960 --> 00:26:35,360 Ja, also geh mal ein besseres Gefühl, aber du kommst halt in 496 00:26:35,360 --> 00:26:38,000 die gleiche Teufelsküche, wenn es sich halt mal wieder n paar 497 00:26:38,000 --> 00:26:38,840 rund. Dreht so ne. 498 00:26:40,240 --> 00:26:43,120 Aber selbst bei opus kannst du halt ne Münze werfen, ne, also 499 00:26:43,120 --> 00:26:49,520 dass n opusmodell trotzdem zu 50% roundabout halt eben später 500 00:26:49,760 --> 00:26:52,920 auch eigene Fixes wieder kaputt macht und das ist halt schon 501 00:26:52,920 --> 00:26:56,000 krass, muss man halt wissen. Ne, das ist n Ding wo man halt. 502 00:26:56,000 --> 00:26:58,080 Also es ist natürlich deutlich besser als 75 wie der 503 00:26:58,080 --> 00:27:01,240 Durchschnitt sag ich mal ne ja, aber 50 ist halt immer noch sehr 504 00:27:01,240 --> 00:27:03,040 hoch. Ja wie du meinst, das ist n 505 00:27:03,040 --> 00:27:05,880 Münzwurf ist halt weiß nicht wie es bei dir ist, aber immer wenn 506 00:27:05,880 --> 00:27:07,040 Münzwurf ist verlier ich komischerweise. 507 00:27:09,480 --> 00:27:11,120 Du musst auf der richtigen Seite stehen. 508 00:27:11,120 --> 00:27:15,000 Ach so, ach so, ja das Richtige wählen vorher meinst du, 509 00:27:15,120 --> 00:27:19,680 logisch, nee, aber das ist halt n Ding, da muss man halt glaub 510 00:27:19,680 --> 00:27:22,240 ich auch n bisschen mit mit Deal ne und das muss man sollte man 511 00:27:22,240 --> 00:27:24,520 auch irgendwie auf dem Schirm haben, gerade wenn man sagt OK 512 00:27:25,520 --> 00:27:28,480 ich vibe Code jetzt mit irgend ne Software zusammen ist halt 513 00:27:28,480 --> 00:27:31,520 irgendwie n Ding gerade wenn du ne gerade wenn du dir ne 514 00:27:31,520 --> 00:27:35,600 Software überlegst wo du sagst oder wo du weißt das hat auch 515 00:27:35,600 --> 00:27:39,440 noch so n bisschen. Wie sagt man Wartungsbedarf? 516 00:27:39,440 --> 00:27:42,000 Ne, also wenn du jetzt eine Software machst und die viele 517 00:27:42,000 --> 00:27:49,400 Software Softwares die Mehrzahl davon wertsoftware Software, die 518 00:27:49,400 --> 00:27:52,560 werden ja später auch benutzt, viel ne und müssen 519 00:27:52,560 --> 00:27:54,720 dementsprechend halt auch angepasst werden, auch mit den 520 00:27:54,720 --> 00:27:59,320 ich sag mal userbedürfnissen angepasst werden, das ist 521 00:27:59,320 --> 00:28:03,400 Wartung am Ende auch ne und auch Erweiterung und solche Sachen 522 00:28:03,400 --> 00:28:05,280 also das da muss man muss man halt wissen. 523 00:28:06,000 --> 00:28:08,440 Ja, aber ich find es jetzt gar nicht so verwunderlich. 524 00:28:08,440 --> 00:28:12,640 Also ich find die Quote ist sehr hoch, das ist schon krass, aber 525 00:28:12,640 --> 00:28:15,120 das eine höhere Quote da ist find ich gar nicht so 526 00:28:15,120 --> 00:28:17,360 verwunderlich, weil du hattest ja auch am Anfang erwähnt, dass 527 00:28:17,360 --> 00:28:21,000 alte Tests immer so lokale Probleme waren oder so kleine 528 00:28:21,000 --> 00:28:23,640 Abgesteckte und dafür funktioniert es ja auch gut ne, 529 00:28:23,680 --> 00:28:27,200 wenn du eben sagst ey ich brauch ne Funktion die das das und das 530 00:28:27,200 --> 00:28:30,160 Macht und die ist so richtig schön autark, dann kriegst du 531 00:28:30,160 --> 00:28:32,640 auch gute Lösungen und die sind auch gut gecoded ja also das 532 00:28:32,640 --> 00:28:34,560 bekommt ja kein richtiger Murks zurück. 533 00:28:34,960 --> 00:28:39,760 Aber das sind halt so lokale Problemlöser, ne. 534 00:28:40,080 --> 00:28:44,240 Also das was du da zurückkriegst ist sehr gut für lokale Probleme 535 00:28:44,240 --> 00:28:47,120 und dann auch so für lokale Optimierung sowas zu sagen wie 536 00:28:47,280 --> 00:28:49,840 hier guck dir die Funktion an, was würdest du optimieren? 537 00:28:49,920 --> 00:28:52,720 Mal abgesehen davon, wenn du sagst was würdest du optimieren 538 00:28:52,720 --> 00:28:54,920 baut der immer irgendwas um weil er das Gefühl hat ich muss 539 00:28:54,920 --> 00:28:59,440 optimieren so weißt du. Aber sie sehen halt nur, denn 540 00:28:59,440 --> 00:29:03,680 diesen kleinen Ausschnitt, denn eventuell den Fehler da drin ne 541 00:29:03,680 --> 00:29:06,400 oder vielleicht nen fehlenden Test und gucken OK was passiert 542 00:29:06,400 --> 00:29:08,400 da, das wird aufgerufen. Gut dann bau ich da drin um so 543 00:29:08,400 --> 00:29:12,240 ne aber es hat nie den Gesamtblick da drauf also so ne 544 00:29:12,640 --> 00:29:16,240 so n Agent guckt gefühlt nicht auf die ganze Software, auch 545 00:29:16,240 --> 00:29:18,320 wenn du ja keine Ahnung was du alles machen kannst. 546 00:29:18,320 --> 00:29:21,080 Du kannst sagen guck dir diese Files an, dafür bezieh das und 547 00:29:21,080 --> 00:29:23,440 das mit ein. Du gibst ihm irgendwie das 548 00:29:23,440 --> 00:29:25,680 Gefühl, das ganze Projekt im Blick zu haben, aber so richtig 549 00:29:25,680 --> 00:29:27,520 weißt du es auch nicht und es fühlt sich auch nicht so an, als 550 00:29:27,520 --> 00:29:30,360 wenn das hat, weil wie gesagt es sehr lokal, immer alles 551 00:29:30,360 --> 00:29:35,200 betrachtet wird. Ne und so implizite 552 00:29:35,200 --> 00:29:39,280 Abhängigkeiten sag ich mal, sind denn auch einfach nicht 553 00:29:39,840 --> 00:29:43,640 berücksichtigt, oft ja oder auch Auswirkungen, was hat das wenn 554 00:29:43,640 --> 00:29:45,880 ich das jetzt mache, ja gut, dann ist der Test grün, aber das 555 00:29:45,880 --> 00:29:48,400 wird mir doch definitiv noch in die Suppe spucken, spielt ja gar 556 00:29:48,400 --> 00:29:52,560 keine Rolle, genau. Und das ist halt n 557 00:29:52,560 --> 00:29:55,920 Riesenproblem, was halt zu systematischen Fehlern einfach 558 00:29:55,920 --> 00:29:59,080 führt, weil halt auch nie zum Beispiel auch nie so ne richtige 559 00:29:59,080 --> 00:30:02,240 Architektur aufgebaut wird. Es wird halt dann in der Suppe 560 00:30:02,240 --> 00:30:05,920 rumgerührt, bis es wieder irgendwann passt, aber auch 561 00:30:05,920 --> 00:30:08,720 überhaupt nicht eingehalten, dass irgendwelche. 562 00:30:09,520 --> 00:30:12,160 Vorgaben da drin sein müssen, dass man irgendeine Architektur 563 00:30:12,160 --> 00:30:15,880 einhalten möchte oder so. Das passiert halt nicht ne und 564 00:30:15,880 --> 00:30:18,880 deswegen verwundert mich das Ergebnis nicht, diese lieblose 565 00:30:18,880 --> 00:30:21,440 Suppe, wo noch reingesprungen wird die ganze Zeit dann 566 00:30:21,520 --> 00:30:26,200 rumgerührt wird. Ja, das ist halt so wie wenn du 567 00:30:26,200 --> 00:30:29,120 keine Ahnung zu Hause n Rohr irgendwie reparierst in deinem 568 00:30:29,120 --> 00:30:32,800 Haus oder so ne und dann dir denkst also und nicht checkst, 569 00:30:32,800 --> 00:30:35,640 dass sich halt der gesamte Wasserdruck verändert ne ja 570 00:30:35,680 --> 00:30:37,880 also. Ich weiß jetzt nicht, ob das n 571 00:30:37,880 --> 00:30:40,800 tatsächlicher Anwendungsfall wäre, aber ja, das ist so. 572 00:30:40,960 --> 00:30:43,760 N Rohr ist kaputt, ne, du bist ja kurzsichtig sagt OK ich 573 00:30:43,760 --> 00:30:48,320 reparier das jetzt aber du. Setz irgendwas ein da. 574 00:30:48,400 --> 00:30:50,000 Genau also du. Du machst es irgendwie, aber du 575 00:30:50,000 --> 00:30:52,840 achtest halt nicht darauf, dass ich vielleicht irgendwie, warum 576 00:30:52,840 --> 00:30:56,640 auch immer, durch deinen Fix der Wasserdruck irgendwie der steigt 577 00:30:56,640 --> 00:30:59,840 stark an und irgendwann hast du n keinen Druckausgleich. 578 00:30:59,840 --> 00:31:02,320 Ja genau, irgendwann hast du ne Leitung die platzt oder was auch 579 00:31:02,320 --> 00:31:04,960 immer, weil du halt irgendwas gemacht hast, was aber später 580 00:31:04,960 --> 00:31:06,400 halt wieder n anderes Problem erzeugt. 581 00:31:06,400 --> 00:31:08,000 Oder was weiß ich du. Na ja, OK. 582 00:31:08,480 --> 00:31:10,360 Weiß nicht, wenn du überall Wasser anmachst, dann hast du 583 00:31:10,360 --> 00:31:13,280 hinterher kommt kein Wasser mehr, weil zu wenig Druck und du 584 00:31:13,280 --> 00:31:15,720 hast ne was auch immer. Ist jetzt nur aus den Haaren 585 00:31:15,840 --> 00:31:20,160 gesogenes Beispiel, aber du hast halt, also es kommt halt durch. 586 00:31:20,160 --> 00:31:24,400 Diesen Test konnte man erkennen, dass diese Weitsichtigkeit für 587 00:31:24,400 --> 00:31:28,000 sowas ne für diese Probleme, die sich irgendwie bedingen können, 588 00:31:28,000 --> 00:31:32,400 halt eben wie du ja auch meintest, so ne, dass das Halt 589 00:31:32,400 --> 00:31:35,960 nicht gegeben ist. Bei vielen NLMS ne und bei 590 00:31:35,960 --> 00:31:38,080 einigen mehr und bei anderen weniger, aber eigentlich bei 591 00:31:38,080 --> 00:31:42,080 allen ist es so. Also ich find es, es ist halt 592 00:31:42,080 --> 00:31:44,880 auf jeden Fall ne coole Art und Weise das zu testen und besser 593 00:31:44,880 --> 00:31:47,520 als zu sagen ey ich geb euch immer so einzelne Task und du 594 00:31:47,520 --> 00:31:50,040 ihr Fixt das und dann denkst du oh Mensch hier guck mal den mal 595 00:31:50,040 --> 00:31:53,280 aber richtig hohe Erfolgsquote ne da find ich ist das schon 596 00:31:53,440 --> 00:31:58,080 viel aussagekräftiger. Jetzt ist das natürlich irgendwo 597 00:31:58,080 --> 00:32:00,800 ja auch begrenzt ne also du hast ja gesagt zum Beispiel 100 598 00:32:00,800 --> 00:32:04,280 Aufgaben. Dann ist es ja nur in Python 599 00:32:04,280 --> 00:32:08,760 gewesen glaub ich. Ne man hat mit Open Source 600 00:32:08,760 --> 00:32:11,200 Repositories gearbeitet. Ja OK das sind jetzt vielleicht 601 00:32:11,200 --> 00:32:16,280 alles so Einschränkungen wo jetzt Leute kommen können und 602 00:32:16,280 --> 00:32:20,240 sagen Na ja, aber hier wenn ich hier aber mit javascript 603 00:32:20,240 --> 00:32:24,240 unterwegs bin dann läuft richtig ja also ja gut mag sein, 604 00:32:24,480 --> 00:32:27,040 vielleicht muss man das auch mal so für andere Sprachen jetzt 605 00:32:27,040 --> 00:32:30,080 sozusagen ausrollen. Aber ich würd das nicht mal 606 00:32:30,080 --> 00:32:32,200 unbedingt so krass auf die Sprache Münzen. 607 00:32:32,200 --> 00:32:34,160 Ne und Python hat sich wahrscheinlich da auch einfach 608 00:32:34,160 --> 00:32:37,840 angeboten, genauso wieder die Nutzung von Open Source 609 00:32:37,840 --> 00:32:43,040 Repositories ne und 100 Aufgaben finde ich ist von der Stichprobe 610 00:32:43,040 --> 00:32:46,080 her, also von der retschieren Anzahl schon auch 611 00:32:46,080 --> 00:32:48,400 aussagekräftig, ne gerade wenn man überlegt. 612 00:32:49,600 --> 00:32:53,000 Wieviel Iterationen denn da drunter wieder gemappt waren und 613 00:32:53,000 --> 00:32:54,640 so und die Laufzeit allein schon ne. 614 00:32:54,640 --> 00:32:56,720 Also da kannst du ja nicht sagen, OK, wir haben jetzt n 615 00:32:56,720 --> 00:32:58,240 Benchmark Test gemacht, ja wie lange? 616 00:32:58,240 --> 00:33:00,720 Ja wir haben jetzt eine so ne Sache nicht, statt einer haben 617 00:33:00,720 --> 00:33:03,360 wir 2 laufen lassen und deswegen können wir jetzt sagen so läuft 618 00:33:03,360 --> 00:33:08,560 immer noch ja also das ist halt so also ich find das ist halt 619 00:33:08,560 --> 00:33:11,400 auf jeden Fall cool umgesetzt gewesen und es bringt halt 620 00:33:11,400 --> 00:33:15,200 zumindestens jetzt an der Stelle und da komme ich jetzt ins Spiel 621 00:33:15,200 --> 00:33:20,240 ja. Ne so gewisse Thesen mit sich, 622 00:33:20,240 --> 00:33:23,120 die auf jeden Fall diskussionspotenzial haben und 623 00:33:23,120 --> 00:33:26,000 ich finde, darüber könnten wir jetzt so im letzten Teil der 624 00:33:26,000 --> 00:33:30,160 Folge, weil es soll ja nicht nur um die Ergebnisse gehen, das ist 625 00:33:30,160 --> 00:33:32,520 ja nicht ne reine News folge, sondern auch wir wollen ja mal 626 00:33:32,520 --> 00:33:35,520 unseren Senf dazu abgeben, wenn wir es nicht schon so nebenbei 627 00:33:35,520 --> 00:33:40,320 mitgemacht haben, ne und zwar möchte ich noch mal auf das 628 00:33:40,320 --> 00:33:45,040 Thema kommen AI. Ersetzt keine Entwickler oder? 629 00:33:45,040 --> 00:33:47,360 Jetzt hast du 2 Lager die einen sagen auf jeden Fall werden wir 630 00:33:47,360 --> 00:33:49,680 ersetzen, die anderen sagen auf keinen Fall, weil alle Projekte 631 00:33:49,680 --> 00:33:54,160 gehen Bach runter, jetzt hast du dieses Ergebnis für mich 632 00:33:54,160 --> 00:33:58,480 persönlich symbolisiert dieses Ergebnis eher, dass die Leute, 633 00:33:58,480 --> 00:34:00,960 die gesagt haben, OK es ist n Tool, aber wir können nicht 634 00:34:00,960 --> 00:34:03,360 ersetzt werden damit, weil dann gehen hier alle Projekte vor die 635 00:34:03,360 --> 00:34:06,720 Hunde, das spielt denen halt natürlich total in den Karten 636 00:34:06,720 --> 00:34:10,719 und ich mein da zähl ich uns beide auch dazu, das heißt es. 637 00:34:11,040 --> 00:34:13,600 Bestätigt ja irgendwo unsere Sicht der Dinge. 638 00:34:13,600 --> 00:34:18,800 Ne und auch wir haben ja ne Folge gemacht über wie sich Open 639 00:34:18,800 --> 00:34:21,679 Source zum Beispiel verändern kann, die Kultur dahinter ja, 640 00:34:21,679 --> 00:34:26,080 dass halt unglaublich viele, also eine Flut an Pull request 641 00:34:26,080 --> 00:34:29,520 kam durch Agents und Geweibecoded n Code, was die 642 00:34:29,520 --> 00:34:32,920 ganzen Maintainer gar nicht mehr händeln konnten und auf die 643 00:34:32,920 --> 00:34:35,360 Barrikaden gegangen sind. Ich finde das spielt jetzt hier, 644 00:34:35,440 --> 00:34:38,800 das zeigt dieses Ergebnis auch, ja du lässt das zwar irgendwie 645 00:34:38,800 --> 00:34:40,880 schnell coden, aber du hast n Riesen. 646 00:34:41,040 --> 00:34:42,719 Wartungsaufwand oder wie siehst du das? 647 00:34:42,719 --> 00:34:46,320 Also, wenn irgendwie ja mit 75 prozentiger Wahrscheinlichkeit 648 00:34:46,320 --> 00:34:48,880 bei den meisten Modellen irgendwann wieder was kaputt 649 00:34:48,880 --> 00:34:51,520 geht, heißt das für mich verdammt noch mal, das wird 650 00:34:51,520 --> 00:34:54,320 anstrengend das zu warten das richtig zu erkennen, rechtzeitig 651 00:34:54,320 --> 00:34:57,240 zu erkennen das zu fixen, ohne dass man komplett in diese 652 00:34:57,240 --> 00:35:00,160 Abwärtsspirale reinkommt. Ja, was ich, was ich halt geil 653 00:35:00,160 --> 00:35:02,000 finde ist, man kann sich jetzt auch hinstellen und sagen, ja 654 00:35:02,000 --> 00:35:04,320 OK, technische Schuld zum Beispiel baut sich auf und 655 00:35:04,320 --> 00:35:08,480 demzufolge passiert sowas ja auch ne das also es es war ja 656 00:35:08,720 --> 00:35:11,200 quasi wurde ja explizit genannt, dass es so ne Art technische 657 00:35:11,200 --> 00:35:14,360 Schuld ist, die sich aufbaut und demzufolge halt auch Fixes am 658 00:35:14,360 --> 00:35:18,240 Ende sozusagen wieder selbst kaputt gemacht werden ne und ich 659 00:35:18,240 --> 00:35:20,600 denk mir so ja klar, normalerweise bauen sich baut 660 00:35:20,600 --> 00:35:24,800 sich auch technische Schuld auf. Wenn normal, also wenn wenn 661 00:35:24,800 --> 00:35:27,280 menschliche Entwickler und Entwicklerinnen an Projekten 662 00:35:27,280 --> 00:35:30,560 arbeiten, OK, gucken wir uns ganz kurz an wieso, weil man 663 00:35:30,560 --> 00:35:33,440 immer oder meistens entsteht sowas durch Zeitdruck. 664 00:35:33,600 --> 00:35:36,640 Ja ich will jetzt aber auch mal wissen, wie zum Beispiel so n 665 00:35:36,640 --> 00:35:39,840 Zeitdruck sich auswirkt ja wenn du zum Beispiel nur noch Code 666 00:35:39,840 --> 00:35:42,880 generieren lässt, ja dann bist du nicht schneller, sondern du 667 00:35:42,880 --> 00:35:46,960 hast einfach nur schneller mehr technische Schuld aufgebaut. 668 00:35:46,960 --> 00:35:50,480 Weißt du nach diesem Test so, das ist für mich die logische 669 00:35:51,360 --> 00:35:54,240 Schlussfolgerung daraus. Und nur weil du mehr Code 670 00:35:54,240 --> 00:35:56,640 erzeugen kannst, beispielsweise heißt das noch lange nicht, dass 671 00:35:56,640 --> 00:36:00,640 es besserer Code ist. Sondern halt. 672 00:36:00,640 --> 00:36:02,000 Vielleicht sei doch auch nicht immer alles ne. 673 00:36:02,000 --> 00:36:04,720 Genau, sondern halt vielleicht eben mehr Wartungsarbeit. 674 00:36:04,720 --> 00:36:07,600 Dadurch entsteht ne die oder technische Schuld sich dadurch 675 00:36:07,600 --> 00:36:11,280 aufbaut und ich fand auch letztens hab ich auch noch mal 676 00:36:11,280 --> 00:36:14,880 so n so n so n kleines Video gesehen, da ging es genau um 677 00:36:14,880 --> 00:36:17,520 diese Aussage, die irgendwann mal getätigt wurde. 678 00:36:18,400 --> 00:36:21,200 Ich will jetzt gar keinen, keine Person benennen, weil ich glaub 679 00:36:21,200 --> 00:36:25,600 es haben n paar Personen gesagt, aber so was wie 90% des gesamten 680 00:36:25,600 --> 00:36:28,040 Codes wird irgendwann nur noch durch AI geschrieben. 681 00:36:28,040 --> 00:36:30,880 Ne wo ich mir so wo ich mir so dachte Boah Alter, das ist schon 682 00:36:30,880 --> 00:36:36,320 krass, aber wenn du jetzt mal überlegst ja, dass die Anzahl an 683 00:36:36,320 --> 00:36:41,440 Code die ein Mensch schreibt stabil bleibt gleich bleibt aber 684 00:36:41,440 --> 00:36:43,680 einfach nur ne Prozent des Verhältniss. 685 00:36:44,640 --> 00:36:48,480 Einfach nur noch mehr viel, viel mehr Code generiert wird. 686 00:36:48,600 --> 00:36:51,600 Natürlich hast du irgendwann 90% Code, der generiert wird, aber 687 00:36:51,840 --> 00:36:55,760 keiner sagt 90% guter Code wird generiert, sondern es kann nur 688 00:36:55,960 --> 00:36:59,680 wenn nur 10% davon denn verwendet wird genau ja, aber 689 00:36:59,840 --> 00:37:02,000 das ist halt das Ding und da muss man halt eben solche 690 00:37:02,000 --> 00:37:08,080 Aussagen auch eben wirklich ich sag mal mit Bedacht genießen ne 691 00:37:08,240 --> 00:37:10,160 und nicht einfach sagen Oh mein Gott Panik. 692 00:37:10,800 --> 00:37:15,760 Und ich find halt, dass. Diese Velocity ne, also dieses 693 00:37:15,760 --> 00:37:19,200 Code Code Code Code und lösen, lösen, lösen auch. 694 00:37:19,200 --> 00:37:22,160 Ja, das zeigt ja dieser Benchmark Test ja auch, dass das 695 00:37:22,160 --> 00:37:25,840 einfach nicht so funktionieren kann und wir sagen ja immer es 696 00:37:25,840 --> 00:37:28,800 ist n gutes Tool was man verwenden kann zum Brainstormen, 697 00:37:28,800 --> 00:37:33,120 zum Code Snippets generieren, aber am Ende wird man nicht so 698 00:37:33,120 --> 00:37:36,400 massiv schneller, es kommt immer auf die Task an wie komplex sie 699 00:37:36,400 --> 00:37:39,360 ist aber es hilft ne also es macht einen schon irgendwie 700 00:37:39,360 --> 00:37:42,320 effektiver. Aber es man wird nicht unendlich 701 00:37:42,320 --> 00:37:44,640 schnell und ich finde, das ist halt genau der Punkt. 702 00:37:44,640 --> 00:37:48,600 Also es zeigt, dass man AI richtig einsetzen soll und nicht 703 00:37:49,120 --> 00:37:51,840 übernehmen lassen soll. Ne, also damit meine ich nicht 704 00:37:51,840 --> 00:37:53,680 dass ersetzen, du kannst ja genauso da nehmen. 705 00:37:54,000 --> 00:37:58,960 Sitzen und sagen ja, OK ja, ja ja, confirmed ja gut, passt 706 00:37:58,960 --> 00:38:00,960 passt fast approved am Ende so ne. 707 00:38:00,960 --> 00:38:03,840 Na ja wär ja theoretisch möglich. 708 00:38:03,840 --> 00:38:07,240 Nein du bist natürlich weiterhin in der Verantwortung, du bist in 709 00:38:07,240 --> 00:38:10,320 der Verantwortung dafür zu sorgen, dass die Codequalität 710 00:38:10,320 --> 00:38:11,640 stimmt, weil es dein Produkt ist. 711 00:38:11,640 --> 00:38:14,200 Ne, du bist als Entwickler weiterhin dafür verantwortlich 712 00:38:14,200 --> 00:38:18,200 und so muss man das auch sehen und ne andere These, die man 713 00:38:18,200 --> 00:38:23,600 daraus ja ziehen kann ist gut. OK, mal angenommen wir lassen 714 00:38:23,600 --> 00:38:27,360 jetzt auch viel Code generieren und zwar in der Art und Weise 715 00:38:27,680 --> 00:38:30,680 wie ich es gerade meinte, also als Unterstützendes und nicht 716 00:38:30,680 --> 00:38:36,080 ersetzendes Tool sag ich mal ne. Dann ist ja irgendwo der Skill 717 00:38:36,080 --> 00:38:39,320 ein Systemverständnis zu haben und zu wissen, wie sieht 718 00:38:39,320 --> 00:38:42,080 Softwarearchitektur aus, wie sieht gute Softwareentwicklung 719 00:38:42,080 --> 00:38:44,160 aus, was muss ich alles berücksichtigen. 720 00:38:44,160 --> 00:38:47,840 Ja, das wird ja immer wichtiger, die Basics werden auch immer 721 00:38:47,840 --> 00:38:51,200 wichtiger, weil ich ja jetzt n Tool an die Hand bekomme, was 722 00:38:51,200 --> 00:38:55,040 schnell ausführen kann, aber ich muss das ja bewerten können und 723 00:38:55,040 --> 00:38:58,120 auch eingreifen können und deswegen ist dieses Verständnis 724 00:38:58,120 --> 00:39:01,040 finde ich, also das zeigt mir auch dieser Benchmark Test oder 725 00:39:01,040 --> 00:39:04,440 das Ergebnis. Dass das einfach noch wichtiger 726 00:39:04,440 --> 00:39:07,960 wird, weil ja auch viele Quereinsteiger, einsteigerinnen, 727 00:39:07,960 --> 00:39:10,640 Einsteiger, auch Leute, die überhaupt überlegen, in die 728 00:39:10,640 --> 00:39:12,880 Softwareentwicklung zu gehen, ja auf uns zukommen und fragen, 729 00:39:12,880 --> 00:39:15,360 lohnt sich das noch? Ja, es lohnt sich auf jeden Fall 730 00:39:15,360 --> 00:39:19,760 noch, aber es lohnt sich noch umso mehr, jetzt in der Zeit 731 00:39:19,920 --> 00:39:22,480 noch mehr die Basics zu verstehen, ja, und auch wirklich 732 00:39:22,480 --> 00:39:24,320 n bisschen back to the roots zu gehen. 733 00:39:24,640 --> 00:39:28,680 Klar, es gibt unglaublich hippe Softwarearchitekturen und 734 00:39:28,680 --> 00:39:33,040 Patterns und Prinzipien und alles richtig, ja, aber auch 735 00:39:33,040 --> 00:39:36,560 wirklich mal Softwareentwicklung mit allen Facetten in den 736 00:39:36,560 --> 00:39:39,240 Grundlagen zu verstehen. Und da will ich jetzt nicht 737 00:39:39,240 --> 00:39:41,800 sagen, so, ja ich hab das hier alles komplett verstanden. 738 00:39:41,800 --> 00:39:46,760 Ja also nee, ich finde man kann nach keine Ahnung 1015 Jahren 739 00:39:46,760 --> 00:39:49,680 Entwicklung immer noch sich denken verdammt das hab ich 740 00:39:49,680 --> 00:39:52,080 komplett nicht mehr auf dem Schirm gehabt oder ey davon hab 741 00:39:52,080 --> 00:39:53,520 ich auch noch nichts gehört so ne. 742 00:39:53,840 --> 00:39:56,000 Aber dass man da auch sich weiterentwickelt und dran 743 00:39:56,000 --> 00:39:59,080 bleibt, ist halt umso wichtiger. Dann also ich denke auch, dass 744 00:39:59,080 --> 00:40:02,080 es nicht unbedingt zwangsläufig sein muss, dass ein Entwickler 745 00:40:02,080 --> 00:40:05,040 oder eine Entwicklerin der heutigen Zeit oder der Zukunft 746 00:40:06,160 --> 00:40:09,520 super viel Code schreibt, also wirklich selber schreibt, aber 747 00:40:09,520 --> 00:40:12,880 das Verständnis was da passiert muss halt da sein, das ist sehr 748 00:40:12,880 --> 00:40:15,960 sehr wichtig und genau deswegen braucht muss man dieses 749 00:40:15,960 --> 00:40:19,680 Verständnis auch aufbauen, Dinge zu tun, einfach nur die ganze 750 00:40:19,680 --> 00:40:22,400 Zeit irgendwas in die AI einzugeben und das was rauskommt 751 00:40:22,400 --> 00:40:24,880 einfach blind zu übernehmen und. Ist halt haben wir glaub ich 752 00:40:24,880 --> 00:40:27,920 auch schon mal gesagt. Genau ne Sache wo man sich sagen 753 00:40:27,920 --> 00:40:31,880 kann OK solche da kann man schon ersetzt werden weil was bringt 754 00:40:31,880 --> 00:40:35,120 es dir wenn du nur durchwinkst so ne und dieses Verständnis 755 00:40:35,520 --> 00:40:41,040 nicht mitbringst so ne und ich meine man sieht halt im 756 00:40:41,040 --> 00:40:46,360 Endeffekt ja NLLM hat nicht so n Gedächtnis das ist jetzt kein 757 00:40:46,360 --> 00:40:48,480 richtiges Denken was da passiert. 758 00:40:51,080 --> 00:40:52,960 Aber und du brauchst halt auf jeden Fall genau aus diesen 759 00:40:52,960 --> 00:40:56,000 Gründen noch n ownership Gefühl für dein System. 760 00:40:56,000 --> 00:40:58,400 Ne, das ist halt einfach wichtig, das muss halt da sein. 761 00:41:00,880 --> 00:41:02,960 Was natürlich spannend ist. Es können natürlich jetzt auch 762 00:41:02,960 --> 00:41:06,880 Leute hervortreten, die sagen, na ja, natürlich, das sind alles 763 00:41:06,960 --> 00:41:11,520 Architekturen, Modelle, Arbeitsweisen, die ja auf uns. 764 00:41:12,160 --> 00:41:15,080 Coderinnen und Codern Gemappt sind ne, also dass quasi 765 00:41:15,080 --> 00:41:18,240 Menschen das danach arbeiten können das ich mein das ist n 766 00:41:18,240 --> 00:41:20,640 Argument, das kannst du immer bringen, ja dass sozusagen die 767 00:41:20,640 --> 00:41:24,040 Maschine. Gar nicht so eigentlich arbeiten 768 00:41:24,040 --> 00:41:26,160 würde und man diese Modelle irgendwie drauf drückt. 769 00:41:26,160 --> 00:41:30,160 Ja zum Beispiel zu sagen in diesen Iterationen mit CI und 770 00:41:30,160 --> 00:41:34,120 so, vielleicht würden ja Agenten unter sich sozusagen gar nicht 771 00:41:34,120 --> 00:41:36,480 so arbeiten, sondern in irgendeinem chaotischen Modell, 772 00:41:36,480 --> 00:41:39,120 aber am Ende kommt was richtig gutes raus, wie auch immer, ne, 773 00:41:39,360 --> 00:41:43,200 also ja vielleicht passen unsere Weltmodelle dazu nicht. 774 00:41:44,160 --> 00:41:46,320 Das bleibt natürlich irgendwo offen. 775 00:41:46,320 --> 00:41:50,040 Das Argument kann man so als Diskussions Totschlagargument 776 00:41:50,040 --> 00:41:53,200 bringen und alle stehen weiterhin im Dunkeln, sozusagen. 777 00:41:53,200 --> 00:41:57,360 Ja gut, kann sein, kann ich nicht widerlegen, aber ich 778 00:41:57,360 --> 00:42:00,480 finde, dass man trotzdem jetzt schon wirklich gute Take aways 779 00:42:00,480 --> 00:42:03,440 da mitnehmen kann. Ne, also aus diesen also 780 00:42:03,440 --> 00:42:05,920 natürlich Liebe, zuhören, Liebe zuhören aus dieser Folge hier, 781 00:42:05,920 --> 00:42:08,160 weil wir es ja für dich besprochen haben, aber auch 782 00:42:08,160 --> 00:42:10,080 allgemein, wenn man den Artikel gesehen hat. 783 00:42:11,280 --> 00:42:13,680 Hast du Bock, das vielleicht noch mal so n bisschen so am zum 784 00:42:13,680 --> 00:42:16,680 Abschluss zusammenzufassen? Ja, also ich find auf jeden Fall 785 00:42:16,680 --> 00:42:19,880 was sehr sehr wichtiges und wo man auf jeden Fall, was man sich 786 00:42:19,880 --> 00:42:23,280 in den Kopf rufen muss. Es ist n definitiven Unterschied 787 00:42:23,280 --> 00:42:26,800 Code zu generieren auf der einen Seite oder n System wirklich 788 00:42:26,800 --> 00:42:29,400 langfristig zu entwickeln und zu warten, das ist halt einfach 789 00:42:29,400 --> 00:42:33,640 wichtig muss man im Kopf haben das ist ne Code Generierung ist 790 00:42:33,640 --> 00:42:37,520 nicht einfach nur OK ich kann ne ne geile Software zwangsläufig 791 00:42:37,520 --> 00:42:42,880 dadurch erstellen. Man muss es halt stabil halten. 792 00:42:42,880 --> 00:42:45,840 Die Codebase muss irgendwie stabil gehalten werden, auch 793 00:42:45,840 --> 00:42:47,920 wenn AI den Code halt schreiben kann. 794 00:42:47,920 --> 00:42:54,240 So und gerade dieses diese langfristige Entwicklung, diese 795 00:42:54,240 --> 00:42:57,120 Regression, die da sozusagen getestet wurde, ne, das ist halt 796 00:42:57,120 --> 00:43:00,320 eben noch ein ungelöstes Problem, offensichtlich. 797 00:43:01,120 --> 00:43:03,520 Was ja nicht heißt, dass es nicht gelöst werden kann. 798 00:43:04,160 --> 00:43:07,760 Aber es gibt ja auch andere Probleme bei AID wahrscheinlich 799 00:43:07,760 --> 00:43:11,360 auch genau zu solchen Ergebnissen eben führen, was ja 800 00:43:11,360 --> 00:43:13,440 auch einfach Probleme sind, die noch nicht gelöst sind, ne, also 801 00:43:13,440 --> 00:43:15,480 wir können gerne mal, falls dich interessiert Liebe zuhören, 802 00:43:15,480 --> 00:43:18,640 lieber zuhören können wir gerne auch über Probleme die AIS hat 803 00:43:19,120 --> 00:43:25,600 mal ne Folge machen, das ist kein Problem und ansonsten ja. 804 00:43:25,840 --> 00:43:31,200 Also bugfixen kann ne Software System main tan hab ich Software 805 00:43:31,200 --> 00:43:35,360 gesagt, kann AI aber system main TAN kann AI halt eben noch nicht 806 00:43:35,360 --> 00:43:40,880 offensichtlich so ne und ja vielleicht ist das halt eben 807 00:43:40,880 --> 00:43:45,440 genau der Unterschied ja heutzutage zwischen ich sag mal 808 00:43:45,640 --> 00:43:50,680 einem so einer LLM und ich sag mal wirklich jemanden oder so 809 00:43:50,680 --> 00:43:53,520 einem einfachen Programmierer sag ich jetzt mal ne oder halt 810 00:43:53,520 --> 00:43:55,120 wirklich. Zu einem, ich sag mal 811 00:43:55,120 --> 00:43:58,320 Informatiker, Software Ingenieur, wie wie man das auch 812 00:43:58,320 --> 00:44:00,800 mal nennt, ne. Also der Unterschied zwischen 813 00:44:00,800 --> 00:44:04,880 ich wende einfach nur dieses Handwerk an ne weil das Handwerk 814 00:44:04,880 --> 00:44:07,840 wird n bisschen auch in die LLM gegeben, aber das Verständnis 815 00:44:07,840 --> 00:44:10,720 wie wir meinten dadurch halt eben ne brauchst du nicht. 816 00:44:10,720 --> 00:44:15,040 Und das ist ja, sag ich mal, in fast jedem Fall so, dass man ja 817 00:44:15,040 --> 00:44:18,640 nicht nur coder ist. Ne, also nicht nur derjenige 818 00:44:18,640 --> 00:44:21,200 ist, der den Code schreibt, sondern halt diese Software auch 819 00:44:21,200 --> 00:44:23,960 entwickelt. Und mit allem drum und dran ne 820 00:44:23,960 --> 00:44:27,680 oder dieses Software Engineering dann ne und das find ich ist n 821 00:44:27,680 --> 00:44:29,480 guter Punkt hier zu abschließen. Da hab ich auch gar nichts mehr 822 00:44:29,480 --> 00:44:32,160 hinzuzufügen, dass man halt wirklich sagt, vielleicht ist 823 00:44:32,160 --> 00:44:35,200 das genau noch der Unterschied den wir zur LLM haben und 824 00:44:35,200 --> 00:44:38,320 weswegen man das irgendwie miteinander verheiraten muss um 825 00:44:38,320 --> 00:44:42,080 gute Systeme entwickeln zu können und nicht in diese 826 00:44:42,560 --> 00:44:44,440 Abwärtsspirale rein zu geraten, ne? 827 00:44:45,520 --> 00:44:49,520 Genau auf jeden Fall cool, dieser Benchmark, dass man sagt, 828 00:44:49,520 --> 00:44:52,880 OK, nicht mehr nur angucken, Fix The Bugs, sondern Main tain the 829 00:44:52,880 --> 00:44:56,160 System, sag ich mal und geile Erkenntnisse da drin. 830 00:44:56,160 --> 00:44:57,760 Richtig cool, dass man das durchgezogen hat. 831 00:44:57,760 --> 00:44:59,800 Ich kann mir auch vorstellen, dass es n sehr sehr teurer 832 00:44:59,800 --> 00:45:03,040 Benchmark ist, das alles so laufen zu lassen, also wieviel 833 00:45:03,040 --> 00:45:06,320 Tokens da verbraucht wohnen will ich gar nicht wissen oder doch 834 00:45:06,320 --> 00:45:10,640 würde mich interessieren, aber es ist auf jeden Fall 10000000. 835 00:45:10,640 --> 00:45:13,600 Oder so. Echt ja, heftig ja gut, aber 836 00:45:13,600 --> 00:45:14,880 irgendwie hatte ich es mir schon fast gedacht. 837 00:45:14,880 --> 00:45:17,360 Also das hat ein bisschen was gekostet. 838 00:45:17,480 --> 00:45:20,400 Ja, um das uns hier so die Zahlen präsentieren zu können, 839 00:45:20,400 --> 00:45:25,440 auf jeden Fall Shampoo dafür. 10 Milliarden. 10 Milliarden, Ach 840 00:45:25,440 --> 00:45:29,600 du meine, na gut, okay dann würde ich sagen, Fabi, haben wir 841 00:45:29,600 --> 00:45:32,160 das Thema durch vielen, vielen Dank, dass du es mitgebracht 842 00:45:32,160 --> 00:45:33,920 hast. War mega interessant und ich 843 00:45:33,920 --> 00:45:36,880 fand wir haben auch eine coole Diskussion dazu geführt, aber 844 00:45:36,880 --> 00:45:39,760 eine Meinung fehlt uns natürlich dabei noch und zwar von dir, 845 00:45:39,760 --> 00:45:42,880 liebe Zuhörer, liebe Zuhörer. Wie ist deine Meinung zu dem 846 00:45:42,880 --> 00:45:45,520 Thema? Wie stehst du zu diesem neuen 847 00:45:45,520 --> 00:45:50,520 Benchmark, wie siehst du AIS und Agents allgemein, wie verwendest 848 00:45:50,520 --> 00:45:52,240 du sie vielleicht? Das würde uns mega mega 849 00:45:52,240 --> 00:45:54,720 interessieren. Schreib uns gerne zum Beispiel 850 00:45:54,880 --> 00:45:59,120 auf der Podcast Mail oder über die Plattform deiner Wahl, wir 851 00:45:59,120 --> 00:46:03,440 werden überall reagieren und antworten ist versprochen und 852 00:46:03,440 --> 00:46:05,440 alle Links findest du wie immer in den Shownotes. 853 00:46:06,240 --> 00:46:08,920 Da findest du auf jeden Fall auch einen kleinen Spendling. 854 00:46:08,920 --> 00:46:11,080 Wenn du sagst, ey Mensch Leute, ich hör mir den Podcast jetzt 855 00:46:11,080 --> 00:46:13,200 echt schon ne Weile an. Richtig richtig cool was ihr 856 00:46:13,200 --> 00:46:15,560 macht, vielen Dank dafür, ich möchte euch so n bisschen was 857 00:46:15,560 --> 00:46:18,720 zurückgeben, dann vielen vielen Dank dafür. 858 00:46:19,040 --> 00:46:23,280 Empfiehl ihnen auch gerne weiter den Podcast das freut uns mega 859 00:46:23,280 --> 00:46:29,040 und hilft uns natürlich auch quasi unser Gelaber hier sag ich 860 00:46:29,120 --> 00:46:31,280 mal noch mehr an die Leute zu tragen. 861 00:46:31,600 --> 00:46:34,080 Und falls es noch nicht gemacht hast, denk dran, auch diesen 862 00:46:34,080 --> 00:46:36,160 Podcast zu abonnieren. Auf der Plattform deiner Wahl. 863 00:46:36,560 --> 00:46:39,520 Und ansonsten hören wir uns alle beim nächsten Mal wieder. 864 00:46:39,520 --> 00:46:43,360 Habt eine schöne Zeit bis dahin, ciao, deine Cody weiß. 865 00:46:43,600 --> 00:46:44,480 Gemeinsam besser.