Moin zu einfach komplex, Folge 104 Wir sind Burkhard und Gerrit
Moin Moin Gerrit und wir selber nutzen viel, ich steig direkt
ein ne wir selber nutzen als Cloud viel hetzner und und pure
Server Bern Metal wie man so schön sagt aber es gibt ja da
draußen auch noch ganz viel mehr Cloud Services so von ABS zum
Beispiel oder Microsoft Azure und Google Cloud um gleich mal
die größten zu nennen und wir haben vor ne Kleine.
Serie zu machen. Dazu ja mal gucken, immer wenn
es reinpasst, mal wieder was darüber zu machen, auf jeden
Fall, weil der Bereich ist Groß, Cloud Services und zum Start
wollen wir einfach erst mal unterscheiden, was bedeutet das
eigentlich heutzutage, wenn man von Cloud spricht, was was kann
man da alles drunter verstehen, wie sieht es vielleicht bei uns
bei der Heisenware aus? Ich hab es schon mal angeteasert
gerade aber was könnte man noch alles so benutzen ja und ich
glaube heute Fokus auf Amazon oder AWSS 3 bookert ja.
Ganz genau, Gerrit, ja. Hat n bisschen auch was von der
Historie zu tun, denn Amazon Webservice ist quasi der der
älteste Kandidat, sag ich mal, der am längsten im Markt
bestehende, der der das quasi sag ich mal erfunden hat und als
erstes irgendwie in den in den Markt gebracht hat und ich
glaube auch mit s 3 was eine ja eine Speicherlösung ist für
Files in Cloud auch so als das war auch so mit der erste
Service der überhaupt im großen Stil genutzt wurde, deswegen
hatte ich gedacht irgendwie, das ist ganz cool.
Und das Wort S 3 hat dann immer schon mal gehört.
Aber ich selber hab auch gar nicht so viel gewusst.
Ich hab mich n bisschen vorbereiten müssen für diese
Folge, weil Gerrit, Du hast es gesagt, wir selber nutzen
eigentlich nicht direkt die aktiven großen Cloud
Dienstleister, wir nutzen und das erklär ich auch gleich noch
mal, wo da der Unterschied ist zwar auch irgendwie ne Cloud,
aber irgendwie auf einem anderen Level, nämlich einfach als
virtuelle Maschinen die wir haben bei Hetzner genau und
deswegen hab ich gedacht. Es wär aber trotzdem mal ganz
interessant für uns alle. Also selbst für mich, weil die
Technologie ist doch ganz schön erstaunlich.
Dahinter muss man sagen und vor allen Dingen für unsere Zuhörer
einmal so durchzugehen, was ist über die Haupt, die Cloud, was
gibt es da für Dienste und was versteckt sich an diesen ganzen
Namen, die da so rumschwirren und da machen wir einfach mal ne
kleine Serie. Ja, sehr cool.
Dann lass uns doch anfangen. Also also und wie immer ne, wir
haben hier. Nicht die Weisheit mit Löffeln
gefressen also es gibt bestimmt andere Definitionen von Cloud
und so, aber vielleicht so wie wir es verstehen, lass uns da
rein mal starten und das ist auch vielleicht der Unterschied
in in der Betrachtung ne Mhm, also welche Unterschiede kann
man da sehen? Ja, ich würde erst mal anfangen
mit dem. Also Cloud ist ja die Wolke,
also wenn man es mal so ganz runterbricht in meiner ganz
einfachen Welt, ist das ein Prinzip, ein Server, der im
Internet steht, ein Server, also Server heißt er ist 24 7 im
besten falle. Das ganze Jahr lang erreichbar
und hat ne public IP, also eine öffentlich ne öffentliche IP
Adresse die und und ist damit erreichbar, quasi aus dem für
alle Leute die im Internet unterwegs sind.
Ja und typischerweise kriegt so nen Server halt nicht nur ne IP
weil du tippst ja keine IP in deinem Browser ein, sondern
irgendwo gibt es ne Domain die dem zugeordnet ist, so dass du
irgendwie heisenware.com oder irgendsowas, dass die am Ende
des Tages diese auf diese IP zeigt und dann kommt man halt
quasi an, ja. Und die, und das wäre jetzt aber
nur ein Server und der Begriff Cloud heißt eigentlich ein
Verbund von vielen diesen Servern, ja, also physikalisch
gesehen, man spricht gerne von Notes.
Ja, also nicht nur, nicht nur ein ein Stück Hardware, sondern
im Notfall ganz viele Stücke Hardware und und Cloud macht
halt aus, dass die viele Stücke Hardware eine Funktion aber
erfüllen im Notfall. Es kann sein, dass du eine
Webanwendung hast. Die aber nicht von einem Server
tatsächlich physikalisch bedient wird, sondern im Notfall von
mehreren Servern, die sich irgendwie, und das ist wild, das
genau nehmen wir auseinander, auf irgendeine Art die Last
teilen. Die Last dieser Anwendung und
die Last der Anwendung ist verschieden, wir haben, wir
müssen computen, also müssen wir irgendwie rechnen und und und
Sachen Algorithmen ausführen, wir müssen, wir haben es mit
Daten zu tun, die wir speichern müssen für die User, die sind ja
dann auch nicht lokal, sondern in der Cloud Datenspeicher.
Wann sprechen wir durch heute und wir haben Kommunikation dann
zwischen diesen Servern und mit dem End Client und so weiter und
sofort und alle diese Komponenten einer Anwendung der
Definition der Cloud können quasi über verschiedene Nodes
über verschiedene physikalische Server, die irgendwo dahinter
stehen, das sind diese Rechenzentren, die man immer im
Fernsehen sieht, ja die es immer so blinkt, werden die quasi
diese Anwendung realisiert, ja, das nennt man heute, ich denke
ich Cloud und da gucken wir uns mal an was was da los ist, ja.
Genau zum Einstieg vielleicht gesagt, wir nutzen auch ne
Cloud, aber für unser Produkt, aber wir nutzen quasi keine in
dem Sinne keine Services, wir brauchen quasi nur die Server,
allerdings virtualisiert das heißt es ist im meisten Falle
haben wir gar nicht dedizierte Server, das heißt es gibt wir
kennen nicht das Stück Hardware diesen diesen diesen diesen
Einschub, quasi den Server den wir benutzen, sondern wir haben
sogenannte virtuelle Maschinen das das kennt ihr vielleicht
von. Es gibt ja, es gibt es ja auch
für den für den privaten Anwender, diese, wie heißt das
Gerrit V. Box gibt es glaube ich und BMWR
und so weiter man kann also quasi ne virtuelle Maschine
aufmachen, in der läuft n ganzes Betriebssystem.
Ja ich kann zum Beispiel sagen, in meinem Windows starte ich ne
virtuelle Maschine drauf läuft Linux ja oder umgekehrt und so
weiter und das in professionell quasi bieten halt auch solche
Hoster wie es dann heißt an wie zum Beispiel mach ich das, kann
ich einfach sagen hetzen, aber da gibt es auch ganz viele
Strato Yonos in Deutschland und auch im Ausland sowieso.
So, die bieten eigentlich nur an, diese Hardware virtuelle
Maschine drauf, IP Adresse zugeordnet und dann hab ich
quasi ja dann hab ich im Prinzip n Server unter der Hand, muss
aber dann meine ganzen meine ganze App und so weiter da muss
ich mich dann selber drum kümmern ne das ist wie wir
gecloud benutzen ne. Ja, es ist, man kann auch sagen,
es ist n Unmanaged Cloud. Ich glaube es ist die reine
Miete, insbesondere ich glaub das ist noch n Unterschied.
Mir gehört der Server nicht, sondern wir mieten ihn, wir
mieten beziehungsweise nicht mal den Server sondern eigentlich
Speicher Rechenleistung. Traffic, was auch immer.
Sowas mieten wir, da haben wir Bedingungen und es ist
unmanaged. Ich glaub bei Amazon oder bei
ABS gibt es das auch, bestimmt kann ich mir vorstellen und im
Gegensatz dazu, wenn du schon gewisse weitere Services drauf
hast, dann sagt man glaub ich auch oft Managed Cloud ne also
das ist ja verwaltet ist für dich wie auch immer, aber Cloud
und Managed Cloud, das wird auch häufig eingesetzt auf jeden
Fall. Richtig, richtig genau das Level
ist. Der Unterschied ist mehr so die,
die die Funktionalität, die du in die Hand kriegst, ne.
Also denn also bei einer Managed Cloud, bei bei diesen Diensten
hast du dann gesagt du kriegst ne fertige Datenbank quasi in
die Hand, du musst dich nicht drum kümmern, wer setzt die auf
und so, die ist einfach dann da ja oder auch beim Speicher, dann
hast du einfach ne API und sagst hier will ich mal n falsch
speichern, dann passiert das irgendwie ja während wir.
Wir müssen dann quasi erstmal mit mit, mit dem wir müssen auf
den Server drauf, müssen da was installieren und so weiter und
müssen überhaupt mal dafür sorgen, dass da überhaupt
irgendein Pfeil hinkommt. Ja, das ist nicht gegeben in dem
Fall, ja gut, aber wir wollen gar nicht so viel jetzt über
die, das ist ja klar, also ne virtuelle Maschine auf
irgendeinem Server, der da irgendwo ja geliehen wird oder
wie auch immer, das ist ja irgendwie easy das da brauchen
wir uns jetzt nicht lange drauf aufzuhalten, wir wollen mal
jetzt gucken in tatsächlich, diese Cloud Service ist ne Cloud
Dienstleistung die Managed Clouds gibt es unglaublich viele
Services werden auch noch mehr. Wir wollen irgendwie mal vorne
anfangen oder es n bisschen bisschen abholen.
Ne und du hast schon gesagt, Gerrit, Es gibt im Prinzip, wenn
man über die Cloud spricht, gibt es eigentlich nur 33 relevante
sag ich mal. Es gibt garantiert noch ganz
viel mehr, aber die 3 ganz großen sind halt AWS, also
Amazon Webservices. Amazon war ja mal früher der
Buchladen und das war das Hauptgeschäft und dann gab es
aber irgendwann diese Idee, die innen herauskam.
Die ganzen Daten und so weiter, die hatten halt quasi innen
heraus das Problem, auch alleine der Datenspeicherung.
Und da gab es ne Lösung für und dann entstand quasi auch diese
Idee dieser Cloud quasi. Ja, es hat der, der der Pionier
quasi hat auch im Moment glaub ich den größten, wie soll ich
sagen, die größte Schublade an an Funktionen und so weiter war
auch am frühesten da, ja dann haben wir von Microsoft das
Produkt Azure hat auch glaub ich schon mal jeder gehört,
Microsoft Azure ist auch auf dem Enterprise im Geschäft
unterwegs, wir haben ja viele Enterprise Kunden im im im
Windows Segment und so weiter das das funktioniert besonders
gut mit den. Mit den Windows und Microsoft
Anwendungen zusammen auch mit den Programmiertechnologien wie
C Sharp und dot net und so weiter funktioniert auch gut im
Hybriden, dass man also quasi nur Teile in der Cloud hat und
Teile irgendwie trotzdem noch on Prem und dann haben wir
natürlich auch den den Dritten noch Microsoft, da muss man im
nächsten Anzug Google sagen, Google hat auch n Cloud Produkt,
das nennt sich GCP und genau es vielleicht, ich glaube es ist
das was als letztes kam. Also das modernste auch sag ich
es vorsichtig, also ich bin als letztes in den Markt gegangen.
Hier sind, das ist alles immer Religion und und Philosophie und
Geschmacksfrage. Man sagt dem Google nach, es
habe die klarste API und so weiter ihr habt natürlich den
Vorteil gehabt, dass sie abgucken konnten von denen, die
schon mal in den Markt gegangen sind und ja vielleicht schon so
n paar Pit falls irgendwie umshifft haben und es noch mal
neu strukturiert haben. Klar Hardware und so weiter ist
ja auch alles aktueller gewesen, da konnte man vielleicht Sachen
von vornherein noch mal anders denken und dann mal anders
aufbauen, ne ja. Ich, ich sag dir noch die die
Marketshares dazu, also also ABS hat ungefähr 31% am weltweiten
Markt Cloud Markt Azure holt auf, also hat 24% holt stark
auf, weil immer mehr auch so Großkonzerne in die in die Cloud
gehen und die haben sowieso schon den ganzen Office Kram
typischerweise und gehen dann auch einfach zu Azure, das ist
eigentlich auch das was wir am meisten unseren Kunden jetzt
sehen im Industriebereich ne. So so.
Aber das sehen wir ja gar nicht bei unseren Industriekunden, sag
ich mal. Ist ja gar, spielt gar keine
Rolle oder GCP auch nicht und GCP hat 11% Market Share
zusammen. Haben die also so 2 Drittel des
Marktes, das können wir eigentlich schon als Oligopol
bezeichnen, ja des des weltweiten Marktes und dann gibt
es aber noch jemanden, den man erwähnen sollte, ist natürlich
auf jeden Fall in im asiatischen Raum, insbesondere China ist
halt Alibaba Cloud, ja. Gemessen beim weltweiten Volumen
sind das aber wohl nur so 4 5%, was immer noch viel ist, so aber
natürlich im Vergleich eher wenig.
Ja und dann gibt es weitere Digital Ocean, Oracle, IBM und
sonst wen noch, die sich dann diese restlichen 30% glaub ich
ne aufteilen. Ja, ja, und vielleicht noch zu
nennen. Mhm find ich jetzt auch
erwähnenswert. Das ist ja das Stacket find ich
auf jeden Fall spannendes Thema. Ne das ist das von der schwarz
Gruppe Gerrit ne ja. Ja, war jetzt auch gerade in den
Medien ganz aktuell genau, ist super spannendes Projekt find
ich auch ja. Gut, dass wir da auch was
Eigenes aufbauen. Ne, ich sag ich sag noch was zur
Historie hat mir noch keine Jahreszahlen gesagt, kann man
vielleicht auch einmal wissen. Im März 2006 wurde Amazon s 3,
also der verteilte Datenspeicher sag ich mal der Cloud verteilte
Datenspeicher, irgendwie geleast, gelauncht für für die
breite Masse der Leute, war also so mit einer der ersten
Services, wenn man es jetzt ganz akribisch nimmt, soweit meine
Recherche. War der war der Amazon SQS, der
Simple Q Service, tatsächlich technisch der erste, der draußen
war, aber in der Beta, der war 2004 schon raus rausgekommen,
aber also irgendwie kann man trotzdem sagen, dass dass es
irgendwie so mit dem Storage das erste Mal irgendwie so richtig
losging, weil der SQS Service war sehr noch noch sehr nischig,
quasi in der Beta war noch nicht so umworben, es waren
Entwickler, die das irgendwie benutzt haben und deswegen kann
man, so kann man sagen, ja die Ganze das ganze Cloud business
hat quasi mit s 3. Seinen Start genommen und
deswegen gucken wir uns heute auch s 3 an.
Übrigens s 3 steht für SSS ja, da haben Sie also SQS simple Q
Service ja SSS Simple Storage Service, ich schätze Sie haben
sich einfach nicht getraut 3 Äste dahin zu malen und haben es
einfach s 3 genannt, das steht halt für die 3 simple für die 3
s die simple Storage Service sind ja hab ich mich immer
gefragt, jetzt hab ich es verstanden aber warum heißt das
überhaupt s 3 bekloppter Name aber gar nicht so bekloppt also
hat wieder so n bisschen technisch freakig ja aber haben
wir oft in der. In diesen in diesen Bereichen
ne. Ja gut, dann haben wir das
irgendwie zur Einordnung glaub ich Gerrit oder wollen wir dann
wollen wir dann mal gucken was da los ist.
Nee wir haben was wir noch nicht gemacht haben von der Einordnung
vielleicht noch mal die die überhaupt die Säulen der Cloud
was es gibt ich hab jetzt von Storage gesprochen.
Ja, s 3 hast du schon als Storage jetzt gelabelt.
Genau hab ich hab ich gelabelt, genau da.
Die Namen sind natürlich auch unterschiedlich, das heißt genau
nur bei AWSS 3. Und bei den anderen Cloud
Anbietern heißt das irgendwie auch anders.
Heißt das irgendwie Blog, Storage oder Managed Discs bei
Azure und bei Google Cloud heißt irgendwie Cloud Storage, da
pesisted Disc Pesistant Disc Sorry und das wäre quasi eine
Komponente der Cloud, nämlich da einfach Datenspeicherung, das
ist so wie der Kofferraum ja wo also alles an Videos, an
Blogbeiträgen und so weiter alles was so Webapplikation so
speichern vom Nutzer, den kann ich halt einfach da rein blasen
ja und hab quasi unendlichen Speicher das ist die Idee ja.
Um das mal von vorher aufzunehmen.
Die Idee ist, ich hab hier nicht eine Festplatte, muss mich
kümmern was ist wenn die voll ist, sondern ich hab im Prinzip
alle Festplatten des Internets na ja also der Cloud Provider
sag ich mal. Der hat ja aber riesen
Rechenzentren. Ja und damit hab ich im Prinzip
unendlichen Speicher ja wenn ich unendlich auch reich bin und
Münzen einschmeiße weil das kostet ja auch n bisschen was
lassen Sie sich ja bezahlen, dazu müssen wir nichts sagen,
das ist halt so, da machen wir jetzt auch kein Fass auf Gerrit
irgendwie was die Kosten sind, die sind unterschiedlich und es
ist auch immer gar nicht so einfach zu wissen was wann
wieviel kostet. Was man mal sagen kann,
vielleicht bei diesem Speicher ist ganz spannend, wenn man,
wenn man reinspeichert in die Cloud, dann ist es noch relativ
überschaubar und günstig würd ich sagen.
Die Überraschung kann kommen wenn man meint man müsste das,
man müsste seine Files außerhalb des also aus diesem ganzen Azure
AWS System herausbringen, dann kann das n bisschen Geld kosten,
ja wenn man es also extern dann speichern will ja auf ne externe
Festplatte hinbeamen will ja das.
Hab ich nicht verstanden. Das heißt, wenn man da wieder
raus will zahlst du Geld oder wie?
Mehr Geld, als wenn du es reinspeicherst.
Ja OK, das ist so n bisschen, das ist so n bisschen der Sales
Hook ja irgendwie, das ist eigentlich gar nicht gar nicht
ganz unclever, ja von Unternehmer her und dann
irgendwas. Was ich, was ich dachte, ist,
dass vor allem Traffic auch da entsteht, wenn man Sachen
abruft. Also was weiß ich, wenn Netflix
lädt Film hoch, der liegt bei ich glaub Netflix ist bei Amazon
oder ABS und dann haben die da n Film ja und dann wird er
abgerufen und immer dann entstehen.
Kosten sollte ja nicht unbedingt safe, safe, wenn du halt, wenn
du halt. Wenn du jetzt gucken wir gleich
die anderen Dinger noch an, wenn du die ganzen anderen Services,
wenn du innerhalb quasi deines deines Wesens bleibst.
Also wenn du innerhalb der Cloud bleibst, sagen wir mal in ABS
und die ganzen Dienste benutzt und in die sich die Daten
austauschen ist alles cool, aber wenn du sie rausnimmst aus
diesem Ökosystem ABS, dann kostet Geld ja o.
K und da. Musst du n bisschen aufpassen,
ne genau, also wir haben im Kofferraum angefangen, vorne ist
fährt der Motor, also Computer ne Computer ist auch ne also CPU
Power oder GPU Power heute ganz aktuell.
Motor, Rechenleistung, GMS und so weiter ja das das ist auch n
Teil der Cloud, da gibt es auch Services für heißt bei AWS dann
EC 2 und Lambda Lambda sind die serverless Funktionen und so
weiter da stell ich mal nur so n Raum, das ist genau das was wir
dann vielleicht mal in der nächsten Podcast Folge oder der
übernächsten wenn es passt in diese Serie dann
auseinandernehmen. Im Azure sind das die Virtual
Machines und die Functions vom Namen her in der Google Cloud
heißt das Computer Engine und Cloud Run.
Dann haben wir also jetzt Compute und Storage und dann
gibt es noch die, die Datenbanken tatsächlich auch
kann man als Kategorie mal so sehen, ne, also Gedächtnis
Datenbanken n bisschen anders als jetzt der Storage wenn ich
sage Storage, dann ist das einfach ich schmeiß rein
wirklich wie n Kofferraum im Auto ja und ziemlich unsortiert
unrelational klack einfach nur Heep von Daten ja flach und
Datenbanken wissen wir alle es ist noch mal n anderer ganz
anderer Hebel für die Daten ist strukturierte speichern in in
Feldern und so weiter ich kann Relationen haben, ich hab diese
ganze. Filtering, abfragen, Sachen und
so weiter deswegen gibt es quasi auch ja Datenbanken als Service
direkt fertig. Ja und dann quasi um alles
ineinander zu verglühen brauchen wir sowas wie wie Netzwerk ja
also das Zentralnervensystem ja so n bisschen wie wie unser
unser zentrales Nervensystem um alle Komponenten miteinander
kommunizieren zu lassen und das ist würd ich sagen die 4 der
vierte Bereich den die den die Cloud Dienst Dienste irgendwie
realisieren müssen. Ja es hat auch alles Namen, das
lass ich jetzt mal gerade weg. Interessiert nicht, aber dann,
dann haben wir es erstmal durch. Ja, ich fass zusammen, wir haben
im Prinzip die die 3 relevantesten Global
marktmäßigen Anbieter sind Amazon, Microsoft und Google mit
ihren Cloud Produkten und wir haben wir können die Clouds
jetzt angucken und in 4 Kategorien, nämlich Compute,
Storage, Database und Networking und heute fangen wir an und
gucken uns die Storage Lösungen von Amazon Webservices an, die
heißt s 3 statefill. Simple Storage Solution und dann
los. Gut, warum hast du dir die jetzt
so speziell zuerst ausgesucht? Das ist.
Irgendwie hab ich Solution das erste simple Storage Solution
hab ich gesagt, gerade ne Mhm, ich glaube es falsch, es heißt
simple Storage Service wollen wir ja akkurat bleiben hier
genau entschuldigung jetzt hab ich dazwischen gequatscht, jetzt
musst du noch mal. Musst du noch mal deine Frage
stellen. Und ich hab noch mal gefragt,
warum jetzt gerade s 3, also weil das das erste der erste
Service war und der Relevanteste irgendwie der größte, oder?
Ja, das und weil, weil ich irgendwie keine Ahnung hatte,
wie das eigentlich funktioniert, mich das irgendwie auch brennend
interessiert hat, auch das, ja, das passt alles ganz gut und
weil wir, weil wir ne Lösung haben, es gibt n Open Source s 3
quasi, also es gibt mehrere davon, ich nenn mal das eine was
wir auch benutzen, das heißt Minio und und und.
Das ist im Prinzip ja, das kann man im Prinzip selber hosten,
selber installieren und dann hat funktioniert, aber wie s 3 und
es ist ganz cool weil das weil weil man halt auch ja ziemlich
große Files Gigabyte große Files damit verwalten kann und sicher
speichern kann und weil weil das dann irgendwie als
Downloadserver zum Beispiel find ich das ne super Lösung.
Ja da kann man den Kunden Dings geben, denn damit fang ich mal
an, es ist nämlich so, dass das S 3 basiert, das kann man mal
ganz vorneweg sagen auf einer auf einer Rest API.
Am Ende mach ich über ne HTTP put und get ja put ist Speicher
hin, das file leg 1 an und get kriegst es zurück ja.
Das ist natürlich ganz cool, weil dann kann ich sofort jedem
irgendwie nen File mitgeben. Ja, ich verteile nämlich nen
Link, ja der das der das File quasi codiert mehr oder weniger
und dann kann man es runterladen ja also für jeden für jeden
Downloadservice der irgendwie ordentlich ist ist es cool.
Ja ja das ist vielleicht der Grund warum ich warum ich s 3
zuerst zuerst ausgewählt hab ja OK gut so dann gucken wir uns
mal an wie das funktioniert Krasserweise ist es ja so man
muss sich man muss sich überlegen also.
Das haben die ja sehr früh gegründet, hab ich gesagt, und
Gott und die Welt speichert ja Files jetzt in in den Amazon, in
die Amazon Cloud, auf diese ganzen Services, und die müssen
ja sicher sein, ne Ausfallsicher also das Gesetz der großen
Zahlen und unter Wahrscheinlichkeiten sagt Halt,
wenn ich so und so viele Festplatten habe, davon sprechen
wir, wir haben immer noch Festplatten, ja physikalisch
wohin werden die Files gespeichert, am Ende sind die
auch Festplatten ja in zig Rechnern irgendwo ja.
So wenn ich jetzt aber Trillionen von Objekten habe und
und und und Bytes und und so weiter dann dann ist es halt
sehr wahrscheinlich, dass immer mal wieder ne Festplatte
ausfällt, ja oder sogar n ganzer Server oder irgendwas, keine
Ahnung, irgendwas wird kaputt gemacht oder sowas.
Ja und es im Notfall brennt mal so n ganzes Rechenzentrum ab
oder ich hab n Power Cut oder oder oder ja und am
allerschlimmsten ist das Problem eigentlich gar nicht so, dass ne
ganze Festplatte ausfällt, das Krieg ich nämlich mit ja wenn
wenn oder n Server ausfällt, dann kann ich nämlich wissen,
aber den gibt es nicht mehr, man kann da irgendwelche
Gegenmaßnahmen einleiten. Das Schlimmste ist eigentlich
das sogenannte Bit rotting Rott von Verrotten, ja von von
Sterben, denn das muss man auch wissen.
Ich, ich hab ja mal Molekularbiologie studiert und
so weiter da gibt es das auch, jetzt gibt es quasi das DNA
rotting, ja, das heißt glaub ich anders, aber punktmutation
durch, wir haben kosmische Strahlung, ja wir haben immer
mal wieder schießt dir so ne hochenergetischer Röntgenblitz
durch uns durch. Und wenn der auf die DNA trifft,
dann gibt es ne punktmotation ne wenn es blöd kommt dann und das
zu viel passiert, dann gibt es auch gerne mal Krebs davon und
aber die kosmischen Blitze, die treffen auch unsere Festplatten,
das sind ja quasi im Prinzip nur ja magnetische Entitäten, ne wo
da wo einfach nen Bit auf 1 oder 0 steht und wenn du Pech hast,
dann triffst du kosmischer Strahl genau so n Ding und dann
flippt das Bit von 1 auf 0 oder umgekehrt ja oder auch mehrere.
Und wenn du einfach n bit flippt, dann ist halt scheiße
so, dann ist es halt irgendwie, dann lügt halt, wenn du dann
sagst, jetzt holt ich mir das file raus, dann lügt es halt
danach, das war nicht mehr das was du gespeichert hast.
Im Notfall reicht das um es komplett zu korrumpieren.
Ja und deine Datenbank funktioniert nicht mehr
irgendsowas ja das nennt man bitrotting ja und das ist halt
in dem Phänomen, das passiert nicht so oft, aber das passiert
halt mit einer gewissen Wahrscheinlichkeit vergammeln
halt deine Daten ja und das einfach bei Australien.
Mhm durch kosmischen Strahlen ja OK klingt.
N bisschen wie der frisch jetzt, aber ich glaub das macht.
Es ist so, ja ist keiner frisch jetzt.
Ja, und das Problem gibt es halt auch, also wenn man jetzt, wenn
man jetzt nicht weiterdenkt, das Problem gibt es irgendwie immer
ne, also irgendwann kann jetzt mal die abstraktionsebene n
bisschen verlassen von diesem einen kosmischen Strahl, aber
ich sag mal was, ich denk mir neue Speichermedien aus und so
weiter und vielleicht sind neue Speichermedien auch cool, aber.
Ganz selten passiert irgendwie mal n Fehler ja beim Schreiben
oder beim Lesen oder beim Speichern selbst wird irgendwas
alt und unterdreht sich ja, man ist halt gut angesprochen wenn
man ne ne Methode hat die das auf ne technische Art und Weise
rausfindet und verhindert, dass ich halt korrumpierte Dateien
zurücklade ja die ich die ich ja nicht korrumpiert aufgespielt
hab. Ja und das löst zum Beispiel als
Dreier auch ja das ich wusste das alles nicht, finde ich
irgendwie ganz spannend, ja. OK, das war jetzt, das war jetzt
die Anleitung wo du sagst, OK, da ist einfach so, da sind so
viele Dateien gespeichert, so viel, ja so viele Files jetzt,
dann ist es so viele Bites, dass da irgendwann immer was kaputt
geht durch was auch immer genau und die haben weg gefunden das
zu verhindern. Genau also und das.
Ist was die die Erkenntnis, muss man als erstes mal sehen.
Es wird immer in der Cloud so gespeichert, dass ihr nichts
kaputt geht. Also es ist nicht so, dass du,
dass du das Dahinspeicherst, eine Version eine Kopie von dem
Pfeil und dann ist das so. Du musst hoffen und beten, dass
die irgendwie, also die machen halt für dich n Backup ja in der
Cloud und ich hab halt gedacht bis jetzt was ich so kenne an
Backup ist halt Raid Systeme gerade hast du mal was vom Raid
gehört Maid 1, Maid 2 und so weiter ja ja das sind im Prinzip
das war so früher die Art und Weise was heißt früher, das ist
immer noch hochaktuell, so wird es normalerweise gemacht, dass
du einfach deine Datei spiegelst quasi im Prinzip.
Hast du nicht nur eine Festplatte im Rechner?
Früher war das in diesen Towern, da hast du manchmal sogar 3
Festplatten, 3 identische Festplatten und die 2 anderen
waren da nur deine Daten zu spiegeln, also hast du einen
Pfeil quasi aufgespielt auf die Platte, dann haben die anderen 2
Festplatten einfach davon ne komplette Kopie gemacht und auf
die Platte 2 und 3 gelegt, so dass wenn ihr Platte 1 abfackelt
hast du halt das file noch da. Hat man festgestellt und sich
kurz ausgerechnet überlegt, was passiert, wenn ich quasi die
Cloud als Raid System aufbaue und die Files Hard Spiegel so
wie sie sind, ja dann hab ich irgendwie ne Verdreifachung von
allen Daten in der Cloud kannst du vergessen ne das geht einfach
nicht, das kann man halt nicht leisten ne und das ist zu teuer,
aber wir haben ja Gigabyte große Files, wir haben riesige Videos
und so weiter ich will die nicht nicht komplett spiegeln ne und
das hat dafür gesorgt, dass man sich hingesetzt hat und scharf
überlegt hat das. Das ist die Technologie, der da
steht. Wie kriegt man das hin, also wie
kriege ich sichere Datenspeicherung hin und wie
kriege ich diese ganzen Probleme gelöst mit diesem Bitrotting und
allem, ohne dass ich die Datei einfach hart dreimal spiegeln
muss, jede einzelne und das cool und dahinter steht ein ein, ja,
ein Wort, das nennt man oder ein Algorithmus, der ist schon
relativ alt. Die Idee, ich glaube.
Das ist ja meistens so ne, das sind dann Informatiker und was
ich glaub 18 also irgendein Mathematiker hat irgendwas
gezeigt, dass irgendwas geht. Ja, das ist meistens schon 1860
oder irgendwas passiert ja, aber der Algorithmus heißt Erasure
Coding und funktioniert mit mit Hilfe von einfach normaler
Algebra. Ja also alle die also die
Schulmatte reicht vielleicht nicht mehr ganz, aber alle die
Vektor vektormatte hatten irgendwie und und Matrizen mal
gerechnet haben, ich weiß nicht gerade ob das bei dir in der
Schule, ich glaub man muss Leistungskurs haben oder
irgendwas sind die Terminanten und sowas gehört hat.
Oder mindestens, man kann es auch verstehen, mit mit
Gleichungssystemen. Ja, und ich will es heute ist es
im Mathematikingenieur Studio Teaser ne ich.
Kam es vor im Ingenieurstudium? Das ist.
Ja, siehst du, da kommt spätestens vor.
Genau ja. Aber ich könnt es nicht mehr.
Also OK, du und du greifst jetzt das raus, muss ich kurz
verstehen, weil das so faszinierend ist.
Über s 3 ja, also. Das ist der Kern der
Technologie, ja. OKOKOK alles klar, also ist nur
ein Feature, ist der Kern alles klar.
Das ist der Kern, ne. Also wenn man jetzt s 3
verstehen wird, das geben wir nachher, bau ich alles zusammen,
ja. Es es ist ja so in s 3 was was
passiert in s 3. Ich hab jetzt irgendeinen File
in meiner Webanwendung, irgendjemand hat n Video
erstellt und der ist jetzt in der Amazon Cloud und will das
speichern ja dann dann spielt er das gegen eine API gegen eine
Web API und sagt hier uploade bitte diese Bytes dieses File ja
so und ich will erklären heute in diesem Podcast was passiert
denn danach? Ja es ist ja schön dass das es
funktioniert ja einfach ja das finde ich immer dieses Magische
bei der Cloud sind vielleicht alle ja ich pack nen file in die
Cloud. Ja, so what the Fuck.
Was heißt denn das? Ja, und ich kann es wieder
rausholen, ja, aber was machen die denn damit?
Ja, was passiert denn da in der Wo ist denn das ja so, ich hatte
keine Ahnung, ich weiß nicht vielleicht vielleicht ist das
common knowledge, ich glaub nicht, ja, aber aber es ist doch
eigentlich total spannend das mal zu wissen, ja.
Ja, absolut ist los. Genau, und und und.
Deswegen was passiert ist. Also du lädst das file hoch und
dann kommt dann kommt erstmal n Algorithmus an und haut dir das
File in viele kleine Stücke. Sogenannte Data Chunks, also was
ist überhaupt n Pfeil um das mal?
Wir machen das ganz klar hier auf dem Podcast.
Ja n Pfeil ist ja am Ende des Tages eine Folge von Nullen und
Einsen. Ja, und diese Nullen und 1, das
hatten wir auch mal ganz am Anfang, dass man zurück, das
sind die, die sind im Prinzip Bytes, das heißt und n Bytes,
das geht von 0 bis 255 ja, das sind also, also am Ende kann man
sagen, es sind zahlen. Von also immer verschiedene
Zahlen 66, 255, 14 und so weiter die hintereinander sind in der
Kette. Ja und die kodieren dann auf,
wie auch immer gehartete Weise entweder nen Text oder n Video
oder sowas. Ja also im Prinzip ist n Pfeil
wenn man es n bisschen mathematischer sieht eine
Abfolge von Zahlen ja in einem bestimmten Wertebereich.
Ja und jetzt schneide ich quasi aus diesem linearen Stück.
Und je länger das das das Stück ist, desto größer das Pfeil.
Klar, jetzt schneid ich quasi eine feste Anzahl oder wie auch
immer das konfiguriert ist, weiß ich nicht, ich schneid das in
Stücke, ja und was ich jetzt mache ist, jetzt füg ich noch
Stücke dazu parities nennt man das ja, ich hab dann sagen wir
mal ich hab nen nen nen Pfeil und ich schneid das in 2 Stücke
ja wir wir wir machen mal n ganz einfaches Beispiel wir sagen
unser Pfeil besteht aus einer 3 und einer 5.
Ja das ist der Inhalt ja ja. Und jetzt ist die Idee ich, ich
formuliere eine eine Formel, und zwar kann ich zum Beispiel
sagen, ich, ich entnehme den den parity, ich nenn das parity, ich
denk mir ne Formel aus, die mit dieser 3 und 5 arbeitet.
Ich könnt zum Beispiel sagen, ich addiere ja, also sag ich
also zum Beispiel 5 + 3 ist 8. Ja und diese Gleichung merk ich
mir 5 + 3 ist 8 und jetzt krieg ich n neues Ergebnis diese 8.
Ja das ist quasi die 8 ist quasi.
Die hat was mit der 5 und 3 zu tun.
Über ne bestimmte Mathematik. Ja und diese 8 Speicher ich auch
mit. Ja das heißt ich Speicher ich
nehme jetzt diese Files und jetzt kann ich diese ganzen
diese Chunks von den Files die Speicher ich jetzt irgendwo hin
auf irgendwelche Server lieb ich viele irgendwo und die 8
Speicher ich aber auch mit ja jetzt ist es so jetzt kann man
mathematisch zeigen und es ist einfach dass wenn wenn jetzt
jetzt hab ich nämlich 3 Dinger ja jetzt hab ich die 5 die 3 und
die 8. Jetzt ist es so, dass wenn ich,
wenn mir jetzt die 3 abhanden kommt, also das Original der
Original Chunk von dem file weg, weil irgendwie was weiß ich ja,
dann kann ich das file mathematisch rekonstruieren
gegeben der 5 und der 8, weil ich die Formel kenne.
Ja, das ist so einfach wie jetzt, wie man normale Gleichung
aufstellt ja also ich ich kann sagen 8 ist gleich 5 + 3 und
wenn 3 weg ist, dann wird das quasi NX ne Variable, dann lös
ich halt auf ja und dann weiß ich halt wieder was das los ist.
Ja so und und ich kürz das jetzt n bisschen ab was man.
Wie das jetzt in echt funktioniert, ist natürlich das
File nicht nur 5 und ne 3, sondern ganz viel und ich rechne
jetzt genügend. Also ich mach genügend Chunks
vor dem original file und ich stelle genügend Gleichungen auf,
da hab ich halt n Gleichungssystem, das löst man
dann in der Vektoralgebra mit n mit einer Matrizenrechnung ja
und jetzt Speicher ich halt quasi immer diese chunks Weg im
originalen und ganz viele parity chunks, also mathematische
Krücken also und. Und dadurch quasi hab ich zwar
etwas mehr Speicher, aber im im Mittel duplizier ich das file
und und nicht dupliziere das und so weiter ja und und jetzt und
was cool ist, ich kann es halt weil ich Chance habe.
Ich kann es halt ganz weit verteilen ne das das muss man
sich mal reinstellen also ich ich pack da n Video rein und
danach gibt es das so nicht mehr das File das wird halt auf den
Servern tatsächlich dieses File was vorher mal ganz da war wird
in kleine Teile gehackt und verteilt sich auf den Servern
von Amazon ne. Hat das Vorteile, wenn man das
jetzt das Hackstück speichert oder was geht das schneller
oder? Das hat den gigantischen
Vorteil, dass ich es halt nicht spiegeln muss.
Ich Speicher die Metadaten mit ja und ich ich kann vor allen
Dingen, was ich auch machen kann ist also ich Speicher erst.
Also ich spare erstmal Speicher, das ist der größte Vorteil ja
wenn ich spiegeln würde brauch ich halt ne ne Verdreifachung
von dem Fall. Ja und so hab ich hab ich ne so
und der zweite Vorteil ist ich kann jetzt quasi.
Ich Speicher Metadaten. Ja, das ist ne Art Index
Service, so funktioniert das auch.
Ich Speicher mir Metadaten für jeden Chunk und jetzt hatten wir
schon mal ne kryptographische Sache, jetzt kann ich aus ich
kann sogenannte Hashes machen, also Signaturen von diesem
originalen Chunk. Ja das geht jetzt schnell weil
die weil die klein sind, ich kann das Hochparallel machen ne
es ist ja immer das das Ding wenn ich wenn ich n großes
Problem in viele kleine parallele Verhackstücke und der
da kommt auch der Speed das ist hoch optimiert natürlich alles.
Dann kann ich das alles gleichzeitig machen mit unseren
CPUS, die wir haben. Ja, das passiert auch ja und da
dadurch kommt ne hohe Geschwindigkeit zustande um das
zu tun, weil das alles soll ja keine Latenz haben, ich soll ja
fast nicht merken, dass da noch was passiert im Hintergrund, das
soll hochgeladen werden, gespeichert und das runterladen
soll vor allen Dingen auch sehr schnell sein, ja und es
funktioniert deswegen schnell, weil ich jetzt kann ich
gleichzeitig, ich kann wenn jetzt jemand das file haben
will, dann forder ich halt gleichzeitig diese ganzen
Chancen an von den verschiedenen Servern, die spielen mir das
alle gleichzeitig zu, es muss nicht einer Fett IO machen.
Sondern ich hab quasi nen nen Inbound.
Das macht das unglaublich schnell halt auch.
Ja rechne aus und jetzt ist es noch so, dass dieses Bitrotting
jetzt wird jetzt speziell gelöst.
Das find ich cool, jetzt kann ich nämlich wenn ich so nen wenn
ich so ne Signatur ausgerechnet hab von meinem Original Chunk
und hol das File wieder ab, dann rechne ich diese Signatur wieder
aus, live gegeben dem was ich da gelesen hab und wenn jetzt so ne
0 zu einer 1 geflippt ist, weil da der kosmische Ray
Durchgedonnert ist durch dieses eine Stück von dem Pfeil.
Dann wird die Signatur, die ich in einer das ist ne Datenbank,
quasi was die da haben n Indexserver dann vergleichen die
die Signatur, also ist das Hash was ich ursprünglich mal hatte
zu diesem Chunk das gleiche wie das Hash was jetzt nen
Bitrotting hatte wo ne 0 und ne 1 geflippt ist.
Nein wird es nicht sein. Ja so funktionieren diese
hashing Algorithmen ne und jetzt jetzt ist glasklar OK hier ist
und und was da jetzt kaputt ist ja ob das nur ein Bit ist oder
ob 10 Bits geflippt sind oder was scheißegal dieses Hash ist
halt unterschiedlich. Das reicht ja zu wissen, dass
ich das nicht nehmen kann. Das ist halt irgendwie rotten.
Ja, das ist korrumpiert und jetzt tut der Algorithmus so,
als wär halt diese platte abgeraucht, ja, oder dieses
ganze Stück nicht da, dann ist auch völlig wurscht, ja weil es
gibt genug andere Stücke, aus denen dieses gerottete Stück
rekonstruiert werden kann, mathematisch korrekt, so wie es
gerade gesagt hat. Ja, ich rechne halt das einfach
aus, ja, ich brauch das gar nicht im Original.
Es ist n bisschen irre, aber so funktioniert das ja.
Gibt es Überschneidungen unter diesen einzelnen Chunks?
Quasi. Um Nein, es gibt keine
Überschneidung, es gibt es werden, es werden Paritäten
gerechnet. Also ich hab ich hab ne
Zahlenfolge, es war die originale Zahlenfolge und über
Vektor Algebra rechne ich andere Zahlen aus die mich quasi die
mir erlauben und das kann man aus also je mehr paritäten ich
habe man sagt immer k originale Stücke und m paritäten ne so
viele Paritäten wie ich ausrechnen habe so viele.
Server können sterben, wenn ich 3 chunks habe, 3 original chunks
und 2 paritäten, dann können und dann hab ich ja quasi 5 Stücke,
dann dürfen 22 komplett abbrennen, ne und die Matte
dahinter ist so elegant, dass es völlig Wurst ist, welche 2
abbrennen. Ja, im Prinzip vergrößere ich
meinen Pfeil um die Paritäten, sagen wir mal 3 originale
chunks, 2 paritäten, dann hab ich quasi nen Pfeil was aus 5
Stücken besteht. Für den Computer ist sind die 5
alle gleich ja irgendwelche von den 2 können sterben.
Von den 5 können sterben und mit den restlichen 3 kann ich immer
noch das originale File rekonstruieren.
So funktioniert die Matte dahinter, das ist halt total
elegant. Ja, also in in an ganz einfachen
Worten gesprochen, du changst dein file auf, dann erfindest du
quasi mathematisch gültige neue Stücke, die gleichwertig dir
erlauben es file wieder im Originalzustand zurückzurechnen
und die dir aber auch erlauben, dass quasi so viele wie du an
Stücken extra dazugerechnet hast.
Dürfen quasi auch kaputt sein, ja.
Und damit kriegst du ne unglaubliche Reliability.
Ja, und dieses Bitrotting Halt umsonst, weil wie gesagt beim
Einspeichern des Files wird halt von jedem echten Original Chunk
die Signatur Mitgespeichert verglichen und beim rausholen
wird gecheckt bist du sauber? Nein du bist nicht sauber, dann
egal. Ich brauch dich nicht mein
Freund, ich rechne zurück mit den anderen Dingern ne es wird
immer genug da sein und und dann hat man auch so n Selfie Ling
Prozess weil was auch passiert ist es wird es wird nicht nur
einfach ignoriert. Weil du nämlich tatsächlich aber
genau diese Stück rekonstruieren kannst, musst du ja mathematisch
wird quasi das Bitrotting geheilt.
Ja, das Bit war Geflippt du weißt, dass der Hash nicht mehr
richtig ist. Dann wird überschrieben an der
Stelle. Ja, das heißt, wenn du das
nächste Mal das file anfragst ist wieder heil.
Ja, das heißt es ist völlig Wurst, wenn wenn dein ganzes
Memory über die große Mitte n bisschen rottet, ja, da kannst
du nämlich auch n bisschen dünnere Discs nehmen oder
irgendsowas oder vielleicht sogar ne ganz andere
Speichertechnologie in Zukunft. Wo er irgendwann mal irgendwie n
bitflip da oder n organisches Molekül.
Wenn du da speicherst da drin oder n Kristall oder irgendwas
irgendwas passiert da mal nicht so schlimm, weil weil du
mathematisch quasi dieses dieses Problem lösen kannst.
Ja ist völlig cool, ich wusste das alles nicht, ja, aber so
funktioniert das tatsächlich im Hintergrund ja.
Und weißt du wozu das führt? Thema Haltbarkeit was ABS
versprichst an der Stelle. Keine Ahnung, das hab ich mir
nicht angeguckt, aber wahrscheinlich relativ lang.
Ne also. Hab ich es auch nicht
verifiziert, aber die Eleven Nights, also 99 Komma. 999999999
9% Haltbarkeit können die dadurch garantieren,
wahrscheinlich durch dieses durch diesen Mechanismus oder
diese Technologie. Das bedeutet, wenn man 10000
Dateien in s 3 speichert, dauert es statistisch gesehen 10000000
Jahre, bis auch nur eine Datei davon verloren geht.
Ja, ja, das ist total krass und du kannst es quasi.
Du kannst du quasi diese Dauer steuern aktiv und das das kann
man dann quasi, wenn man so Systeme selber aufsetzt.
Also diese algorithmik sag ich mal.
Ja, die ist wie gesagt, das ist zusammengesetzt dieses diese
Lösung ist zusammengesetzt aus Algorithmen, die gab es schon
lange, ja was wir noch brauchen, das hab ich nicht angesprochen
für die die die da mal einsteigen wollen die Spaß an
sowas haben, die müssen sich noch golloirfelder angucken, es
gibt noch ein Phänomen was ich noch hinkriegen muss, wenn ich
nämlich diese neuen Gleichungen aufbaue, dann dürfen keine
Ergebnisse rauskommen, also keine Lösung, keine Paritäten,
die größer als 255 oder kleiner als 0.
Ich muss ja wieder falsch speichern quasi, also muss ich
quasi. Paritäten generieren, die im
gleichen im gleichen Zahlenraum sind wie die wie die Bytes, die
ich speichern kann, und die sind dazwischen 0 und 250.
Das heißt, ich muss meine ganze Mathematik so einengen, dass
quasi dass dass, obwohl ich neu rechne und krasse Rechnungen
mache, das sind ja, ich brauch ja ganz viele Gleichungen, dass
die nie überspringen, das Phänomen, der, das gelöst hat,
mathematisch heißt, ist der Kollege Colois nicht colois, das
sind die Zigaretten, ich bin nicht so gut Französisch.
Also geschrieben wird der GALOIS ja, wie auch immer das
ausgesprochen wird. Ja, und das ist so n bisschen,
das ist so n bisschen n Trick, der quasi die Zahlen immer
wieder zurückbringt in so einer Überschlagart, das kann man sich
ja gut vorstellen mit einer Uhr, es ist ja, wenn du zum Beispiel
wenn du sagst, es ist 12:00 Uhr und plus 2, ja dann ist, dann
wär es 14 das gibt es jetzt auch noch, aber man sagt ja, dann ist
es wieder 2. Ja wenn du jetzt ne analoge Uhr
anguckst, ja dann bleiben ja quasi deine Zahlen bleiben
zwischen. Zwischen 1 und 12 ja, obwohl es
andauernd die Zeit weitergeht, ja im Prinzip so ähnlich kann
man sich das mathematische Phänomen vorstellen und mit dem
Trick kannst du halt riesige Gleichungssysteme bauen, in
denen die Zahlen gleich bleiben, ja, nur für die, die nochmal
tiefer einsteigen wollen, ja das wird dann mit dem x Ohr gelöst
und so weiter technisch ist alles hochoptimiert voll krass
und deswegen gibt es sowas halt auch manchmal nicht sofort.
Ja das sind so Sachen die wird die werden dann halt auch mit
erfunden und ich find. Find das kann man sich mal
reinziehen, da ist echt viel Technologie und da müssen die
Engineers irgendwie auch gucken und das testen und so weiter es
ist nicht nur einfach, dass man Hardware hinstellt und dann hat
man ne Cloud, sondern die Services dahinter.
Da steckt halt auch richtig Hirnschmalz hinter.
Wie kriege ich dieses Problem gelöst, dass ich halt auch
wirklich nachhaltig langfristig solche Files sicher speichern
kann, ohne dass mir die Ressourcen explodieren, ist halt
super cool da. Und weißt du, ob das jetzt
andere Manage Cloud, dann bitte auch mit den indischen
Algorithmen machen, oder? Die machen das alle mit dem das
ist. Das ist das non plus ultra.
Ja diese diese Algorithmik, genau das genau, es gibt auch
noch die Raid Systeme wo hart gespiegelt wird, weil ich sag
mal so n paar Nachteile wenn man das so macht, diese Mathematik
und sagen wir mal du hast n großes File und machst ne kleine
Änderung an einem großen Pfeil. Dann ist es aufwendig.
Weil selbst also jede einzelne Änderung an einem Pfeil führt
zwingend dazu, dass das Chunking und die Paritäten neu gerechnet
werden müssen. Für alle.
So funktioniert die Matte ja selbst wenn ich, wenn ich einen
Chunk verändere, ne, ich hab ja gerade erzählt, wie das
funktioniert, ja dann, dann muss ich quasi alles neu rechnen, das
heißt obwohl ich ne kleine Änderung mache, müssen halt alle
Rechner und alle Chunks die verteilt wurden upgedatet werden
und überschrieben werden ja das. Also das kann n Nachteil sein ne
und es gibt es gibt gewisse Use Cases wie es immer so ist.
Also wenn ich meinen Pfeil nicht einfach da reinklatsche sondern
wenn ich wenn ich quasi so so n Algorithmus habe oder ne
Anwendung habe wo ich ständig kleine Änderungen machen will
auf n großen Pfeil in einen Highspeed, dann nehm ich nicht s
3 ja das ist kacke. Ja da gibt es dann halt andere,
da gibt es bessere Sachen. Frage noch mal.
Also es ist ja du hast noch was zu einem Algorithmus und wird
Funktionsweise. Ich wollt eher noch mal s 3 so n
bisschen einordnen oder dich dazu noch mal n bisschen was
fragen. Gerne mach ich bin eigentlich
durch mit Margot, wenn wenn du es einigermaßen verstanden hast
Gerrit, dann hab ich es halt also ich ich weiß es ist komplex
aber ich wollt es mal irgendwie anteasern ne genau ich find.
Es faszinierend, aber ich glaub ich kann es jetzt nicht.
Nein, ich mach es erklären oder irgend so.
Ich hab schon gemerkt, ich hab mir, ich hab mich vorbereitet
und jetzt hab ich auch schon wieder n paar Stunden sind
natürlich wieder durch irgendwie beziehungsweise paar Tage auch
dass wir jetzt hier die Aufnahme machen, ich muss mich auch schon
wieder konzentrieren, weil das ist einfach ja das ist schon
auch n bisschen Materie, da ist n bisschen Fleisch dran an der
ganzen Idee ja das ist schon cool.
Ja, aber jetzt noch mal so n bisschen so zum zum wie man es
einsetzt. Das s 3 auch du, das find ich
eigentlich auch mal spannend. Du hast ja gesagt OK wir
benutzen das um große Dateien vielleicht einem Kunden
bereitzustellen, manchmal ja, dafür nutzen wir das S 3 ja und
es ist ja ein Teil der ganzen Services, die jetzt ABS
anbietet, ja oder ein ein Service und.
Wenn ich jetzt zum Beispiel ich, ich musste gerade denken, an
unseren Website Baukasten zum Beispiel, wir nutzen, wir nutzen
da ja NCMSN Content Management System mit von Hubspot, aber
gibt es ja ganz viele Wigs oder was auch immer.
Ja also Website, Baukästen und da lade ich ja auch Ressourcen
hoch, also Bilder und und und Files, die dann auf unserer
Website angezeigt werden. Sollen ja, und jetzt nehmen wir
mal. An die benutzen ja auch hinten
dran ne Manage Cloud. Ja ich weiß, weiß jetzt nicht
was Hubspot nutzt, du bestimmt 1 von den 3 großen und
wahrscheinlich nutzen die dann für die Bilder die auf unserer
Website sind. Sowas wie s 3 dahinter.
Das kann schon gut sein, ne? Ja, das heißt, wenn ich jetzt da
n Bild Reinschmeiße bei Hubspot zum Beispiel, in den in den in
die Ressourcen, damit ich es benutzen kann, im im Baukasten,
dann wird das vielleicht da hinten verhackstückelt und
irgendwo sonst wo hingelegt und verteilt auf dem eigentlichen
Speicher dahinter. Ja so, ja, genau so ist das ja,
laufen ne. Ja, du weißt jetzt nicht, ob die
jetzt ne Datenbank da haben oder irgendsowas.
Es gibt wie gesagt sehr viele Services, s 3 ist ja nur einer
von diesen, also insgesamt vielleicht 2000 oder
irgendsowas, die bei Amazon Web Service gibt, weiß nicht, müssen
wir noch mal genau nachgucken, du kannst immer alles irgendwie
anders machen, aber die Wahrscheinlichkeit schon sehr
hoch, dass für Files, die jetzt vor allen Dingen jetzt nicht n
relationsanspruch haben, sondern so Resources darstellen und so
weiter, dass die dann ins genau in den S 3 reingehen, ja genau,
und dann ist es gehackstückt und dann genau das kriegst du alles
nicht mit. Ja es passiert halt einfach
alles, ja. OK, aber die Frage ist, ob es
dann auch noch so angezeigt werden kann auf einer Website
dann also. Na ja, wenn das angezeigt wird,
dann wird das Gefatcht ne, dann wird das also entweder wird das
Zwischengecasht und so, das gibt es ja auch alles, aber du wenn
du es also wenn man jetzt damit programmiert und du machst ne
Cloud Lösung normalerweise macht man das ja so n bisschen 1 zu
der 0. Ja entweder sag ich ich mach
jetzt hier ne Anwendung die lebt halt in der Cloud oder halt
nicht ja und wenn ich halt in die Cloud gehe dann guck ich mir
halt an dann deswegen machen wir diese Folge dann muss ich
verstehen mit welchen Mitteln. Attackier ich denn jetzt meine
Probleme? Ja.
Wenn ich jetzt also Files habe und Ressourcen, die der Nutzer
hochlädt, wo pack ich die denn hin?
Ja und und dann hast du schon recht, also dann würde jetzt
quasi der Hersteller, also Hubspot, die Entwickler von
Hubspot, die haben sich gesagt ja OK wenn der Gerrit da
irgendwie Files hochlädt, Ressourcen und so weiter wo
speichern wir die ab? Ja wahrscheinlich s 3, weil
reicht ja der ab und zu klickt er da drauf, will das sehen, ja
dann ziehen wir die zusammen, das ist ja auch alles immediated
ja klang alles zu lang und langwierig und so weiter das
passiert aber alles in Hundertstel von Millisekunden
und so weiter ist alles schnell, ja.
Das kann schon gut sein, oder ist es halt ne Datenbank als
Service. Ja das weiß ich jetzt nicht,
aber. Je noch, nee, können wir ja auch
nicht wissen, aber nur mal so, man könnte es so lösen, ja
genau, man könnte es so. Lösen.
Ja genau, ich hab. Halt geguckt.
Es gibt so 200 bis 300 Services bei Amazon.
Ah, guck mal, mit meinen 1000 mach ich n bisschen zu viel,
dann aber ja, es ist auch schon ne ganze Menge.
Ja ja, vielleicht auch noch ein Fun Fact zu diesen zu diesen s 3
s. Das hab ich noch nicht gesagt,
wenn man wenn man sich die anguckt, das hab ich auch erst
gedacht, auch zum Beispiel bei uns minio, dann hat dann hat das
ja ne URL diese Files ja. Die haben ne Struktur mit
Slashes und so weiter also my cool picture, also my slash
cool, slash picture test.png und man könnte der Meinung sein, das
hat irgendwie wieso n pfeilsystem irgend ne Struktur,
ne Hierarchie und so weiter das wollt ich vielleicht auch noch
mal sagen, dieses ganze Konzept ist natürlich zerbrochen.
Ja das ist hoffentlich klar geworden mit dem Algorithmus,
aber es wird, das ist auch krass, sich einmal ranziehen, es
wird alles flach nebeneinander gespeichert, ja ist auch so ne
Erkenntnis wie man weil. Was in welcher Hierarchie sollst
du da irgendwas speichern? Das Problem gibt es nicht, sind
alle Files flach, ja und dieses mit den Slashes, das ist quasi
der Name des Files, ist immer nur ein eine ID, eine flache ID
aus diesem Namen wird quasi ne ID geformt, ne Unique ID und die
Files liegen alle nebeneinander flach, da gibt es keine
Hierarchien, das ist alles Fake. Ja Hierarchie ist nur ne Anzeige
Fake ja physikalisch gibt es keine Hierarchien, ne.
Auch flach nebeneinander von mit verschiedenen anderen.
Kunst alles durchmachen ja, du also diese, das ist ja das
Wilde, diese ganzen Chunks. Auf der physikalischen
Festplatte liegt ein Chunk neben dem nächsten, von den
verschiedensten Nutzern. Kreuzung quer durch die Files ja
völlig ihre und was du brauchst ist halt den indexing Server,
das brauchst du schon, du musst halt wissen an welcher Stelle in
auf welcher Platte liegt welcher Chunk von welchem Pfeil da sind
die Metadaten dazu, das ist der Metadaten Service der sorgt beim
Auseinanderbauen des Files quasi und beim Reinspielen der Chunks
dafür, dass sich alles gemerkt wird ja wo ist was und wie sind
die Hashes ja ist übrigens n Highway Hash ja was ich mal
angucken will ist ne besonders schnelle hashing Funktion.
Und genau, wenn dir das in die Grützen geht, dann hast du auch
n Problem. Und tatsächlich hatte Amazon
auch mal n Problem wie das so wie das so ist, ne mit mit Human
Failure und so weiter der ist bekannt, den kann man
nachgucken. Es gab am 28.
Februar 2017 n ziemlich ziemlich krasses Outage, weil genau
dieser indexing Dienst von dem ich spreche, da wurden zu viele
Sachen runtergefahren, das ist auch krass ich hab ich hab dann
gedacht, dass ich das gelesen hab, also was ist passiert?
Den Techniker sollte irgendwelche es war irgendwas
langsam und es sollten irgendwelche Kommandos abgegeben
werden damit wieder neue Server ins ins Game kommen und
ausgetauscht werden. Stattdessen ist es was ganz
Furchtbares passiert, es wurden ganz viele Systeme
runtergefahren und von diesem Index, Server und so weiter und
zwar über ein kritisches Intervall, dass halt diese Files
genau nicht mehr rekonstruiert werden konnten.
Es war halt zu viel aus ja und dann gab das so n Self in
Hauncing Loop. Dummerweise war dann auch noch
die ganze Dashboarding und Monitoring und und Notification
für die Customer von AWS System halt auch über s 3 quasi die
Daten dahinter Gewicht, sodass die noch nicht mal ihren Kunden
Bescheid sagen konnten, weil quasi ihr eigenes System
weggestorben ist. Das ist auch schon ganz schön
krass und es hat auch ganz schön gedauert, dass man sich wieder
anfahren konnte, weil es gibt quasi so ne, man kann sich fast
vorstellen wieso n Atomreaktor auch, sodass es jetzt keine
radioaktive Strahlung gibt, ist aber wenn du so ne kritische
Menge da Unterschreitest in diesem indexing Server und wenn
da irgendwas kaputt geht. Dann hast du im Notfall n super
Gauer am Hintern, weil weil wie gesagt, es gibt halt diese Files
werden halt nicht logisch an einem Stück abgelegt.
Ja wenn wenn dir da was kaputt geht oder wenn diese Parities
und die Chancen nicht mehr zusammengesetzt bekommst, dann
ist halt dann hast du halt nur noch Spaghetti ja ist schon auch
wild, ja. Das klingt wirklich, wieso ne
sehr vulnerable stelle, die wahrscheinlich sehr gut
geschützt ist. Ist es.
Total gut geschützt da ich glaub also das das ist das wenn du ich
meine wie krass ist also und da ist kurz mal n bisschen was
unten gewesen ja 2017 28. Februar ja und ansonsten?
Speichern alle und jeder seine Falz in die Cloud und kriegst
sie immer zurück? Ja, gibt es ja keine, keine
Schmerzen, ne schon schon n stabiles System, ne.
Ja, OK, man merkt, du bist fasziniert von der ganzen Sache.
Ja, aber ich mich fasziniert das, weil ich irgendwie dann
machst du irgendwie ewig Software.
Ich weiß nicht, wie ich es unseren Zuhörern gehe und du,
ich bin ja auch wirklich im Web unterwegs und so, jetzt bin ich
nicht so krass in der Cloud unterwegs, weil wir halt genau
dieses hetzner Sachen machen und dann dann weiß man auch einfach
nicht so viel davon, weil man sich einfach nicht das tägliche
Brot ist, sag ich mal. Aber ich hab nicht damit
gerechnet, was da was da für ne Eleganz und für ne Algorithmik
und für ne Mathematik hinter dieser Storage Lution steckt.
Das hat mich echt überrascht, weil ich dachte eigentlich Cloud
ist mir so. Ja ich stell ich bin halt
irgendwie ne Firma und hab sehr viel Geld und stell mir halt
ganz viele Rechner hin ja und hab dann halt fette
Netzwerkkabel und verteil halt den Quatsch zwischen den
Rechnern irgendwie und das ist halt definiert halt schon mal
Cloud weil ich halt einfach die Ressourcen hab.
Pustekuchen. Aber es ist nicht nur so.
Ja, also mal gucken, was jetzt noch kommt in den nächsten
Folgen, was wo noch Eleganz drin steckt bei den anderen
Kategorien sag ich mal auf den Motor gucken oder oder in auf
dem System kommen bestimmt auch noch n paar Highlights ja.
Ja, so Content Delivery Network, so was könnten wir uns auch mal
angucken, was es Cloudflare macht und so, also wo räumlich
Dinge gespeichert sind, damit sie noch n bisschen schneller
abgerufen werden können und solche Sachen.
Ne, ja. OK, ja dann würd ich sagen mach
mal Deckel drauf oder? Ja, 1.
Folge 1. Folge der Serie ab im im Kasten
und mal gucken ob wir wann wir wann wir zur nächsten Folge der
Serie kommen. Cloud Services.
Schauen wir mal. Gut, alles klar, ja dann würd
ich sagen Recalled A Podcast ja und der Recalled Podcast bis zum
nächsten Dankeschön Burkhard danke euch fürs Zuhören und bis
in 2 Wochen war einfach komplex tschau tschau.
Tschüss aus Hamburg. Einfach komplex wird produziert
und präsentiert von Heisenware Heisenware ist deine lowcode
Plattform zur Erstellung und zum Betrieb interaktiver Apps rund
um den Shopfloor. Starte noch heute deinen Free
trial. Unterheisenware.com einfach
minus komplex.