Artwork

Treść dostarczona przez c’t Magazin and C’t Magazin. Cała zawartość podcastów, w tym odcinki, grafika i opisy podcastów, jest przesyłana i udostępniana bezpośrednio przez c’t Magazin and C’t Magazin lub jego partnera na platformie podcastów. Jeśli uważasz, że ktoś wykorzystuje Twoje dzieło chronione prawem autorskim bez Twojej zgody, możesz postępować zgodnie z procedurą opisaną tutaj https://pl.player.fm/legal.
Player FM - aplikacja do podcastów
Przejdź do trybu offline z Player FM !

GPT-3: Schreibwunder und Lügenbaron | c’t uplink 42.6

1:08:00
 
Udostępnij
 

Manage episode 325014175 series 1305805
Treść dostarczona przez c’t Magazin and C’t Magazin. Cała zawartość podcastów, w tym odcinki, grafika i opisy podcastów, jest przesyłana i udostępniana bezpośrednio przez c’t Magazin and C’t Magazin lub jego partnera na platformie podcastów. Jeśli uważasz, że ktoś wykorzystuje Twoje dzieło chronione prawem autorskim bez Twojej zgody, możesz postępować zgodnie z procedurą opisaną tutaj https://pl.player.fm/legal.
Mit dabei: Arne Grävemeyer, Pina Merkert und Keywan Tonekaboni

KI-Sprachmodelle sind enorm gewachsen und beim Wachsen haben sie so gut schreiben gelernt, dass die meisten Menschen nicht erkennen können, ob eine KI oder ein Mensch getextet hat. Vom Kundencenter bis zum Automaten-Journalisten fallen einem jede Menge Einsatzgebiete für die Technik ein. Da jeder GPT-3, eines der größten Sprachmodelle, nun per API nutzen kann, spricht rein technisch nichts mehr gegen die KI-Schreibwerkstatt. Nur leider nehmen es GPT-3 und seine Geschwister nicht so genau mit der Wahrheit. Ein weiteres Problem stellt der Datenschutz dar, da bei der Benutzung der GPT-3-Schnittstelle zurzeit alle Anfragen auf Servern in den USA verarbeitet werden. Auch deswegen ist es spannend, die aktuell rasante Entwicklung weiterer Sprachmodelle zu beobachten.

GPT-3 steht für „Generative Pretrained Transformer in Version 3“. Transformer sind eine spezielle Bauform neuronaler Netze, die ihre Aufmerksamkeit selbst auf das lenken können, was ihr Erschaffer beim Training als Problem definiert hat. Die Strukturen in den Parametern des neuronalen Netzes, die zum freien Schreiben gebraucht werden, sind weitgehend die gleichen wie für Text-Klassifikation oder Übersetzung. Deswegen kann man einen Transformer zuerst auf terabyteweise Text aus dem Internet trainieren (Pre-Training) und ihn danach für die eigentliche Aufgabe wie Übersetzung oder Klassifikation fit machen. OpenAI, die Firma hinter GPT-3 hat das so gemacht und konnte mit diesem Trick ein gigantisches Netz mit 175 Milliarden Parametern trainieren.

Die schiere Größe von GPT-3 ist kaum vorstellbar und je größer, desto weniger haben seine Väter von OpenAI den Überblick, welche der Parameter was bewirken. In der Praxis überrascht GPT-3 sowohl mit stilsicheren Beschreibungen als auch mit dreisten Lügen und renitenter Arbeitsverweigerung. Dem neuronalen Netz wurde bereits Rassismus, Sexismus und das Formulieren von Verschwörungsmythen nachgewiesen. Den Entwicklern kann man das nur indirekt vorwerfen, da sie der KI keinen Hass in die Wiege gelegt haben. Die problematischen Sätze entspringen dem Training mit Text, den letztlich vorher Menschen geschrieben haben. GPT-3 ist ein wahres Kind der Netzkultur der heutigen Zeit – mit allen Problemen, die es mit sich bringt, wenn man kein Leben hat, sondern nur Internet.

Links zur Sendung: https://www.heise.de/news/heiseshow-Wenn-Maschinen-philosophieren-wo-bleibt-da-der-Mensch-4974474.html https://www.heise.de/ct/artikel/Alles-ueber-KI-c-t-uplink-29-5-4546162.html

=== Anzeige / Sponsorenhinweis === Dieser Podcast ist gesponsert von Dell Technologies. Rufen Sie uns an unter 0800-724 48 69 oder besuchen Sie uns online unter: Dell.de/KMU-Beratung === Anzeige / Sponsorenhinweis Ende ===

  continue reading

538 odcinków

Artwork
iconUdostępnij
 
Manage episode 325014175 series 1305805
Treść dostarczona przez c’t Magazin and C’t Magazin. Cała zawartość podcastów, w tym odcinki, grafika i opisy podcastów, jest przesyłana i udostępniana bezpośrednio przez c’t Magazin and C’t Magazin lub jego partnera na platformie podcastów. Jeśli uważasz, że ktoś wykorzystuje Twoje dzieło chronione prawem autorskim bez Twojej zgody, możesz postępować zgodnie z procedurą opisaną tutaj https://pl.player.fm/legal.
Mit dabei: Arne Grävemeyer, Pina Merkert und Keywan Tonekaboni

KI-Sprachmodelle sind enorm gewachsen und beim Wachsen haben sie so gut schreiben gelernt, dass die meisten Menschen nicht erkennen können, ob eine KI oder ein Mensch getextet hat. Vom Kundencenter bis zum Automaten-Journalisten fallen einem jede Menge Einsatzgebiete für die Technik ein. Da jeder GPT-3, eines der größten Sprachmodelle, nun per API nutzen kann, spricht rein technisch nichts mehr gegen die KI-Schreibwerkstatt. Nur leider nehmen es GPT-3 und seine Geschwister nicht so genau mit der Wahrheit. Ein weiteres Problem stellt der Datenschutz dar, da bei der Benutzung der GPT-3-Schnittstelle zurzeit alle Anfragen auf Servern in den USA verarbeitet werden. Auch deswegen ist es spannend, die aktuell rasante Entwicklung weiterer Sprachmodelle zu beobachten.

GPT-3 steht für „Generative Pretrained Transformer in Version 3“. Transformer sind eine spezielle Bauform neuronaler Netze, die ihre Aufmerksamkeit selbst auf das lenken können, was ihr Erschaffer beim Training als Problem definiert hat. Die Strukturen in den Parametern des neuronalen Netzes, die zum freien Schreiben gebraucht werden, sind weitgehend die gleichen wie für Text-Klassifikation oder Übersetzung. Deswegen kann man einen Transformer zuerst auf terabyteweise Text aus dem Internet trainieren (Pre-Training) und ihn danach für die eigentliche Aufgabe wie Übersetzung oder Klassifikation fit machen. OpenAI, die Firma hinter GPT-3 hat das so gemacht und konnte mit diesem Trick ein gigantisches Netz mit 175 Milliarden Parametern trainieren.

Die schiere Größe von GPT-3 ist kaum vorstellbar und je größer, desto weniger haben seine Väter von OpenAI den Überblick, welche der Parameter was bewirken. In der Praxis überrascht GPT-3 sowohl mit stilsicheren Beschreibungen als auch mit dreisten Lügen und renitenter Arbeitsverweigerung. Dem neuronalen Netz wurde bereits Rassismus, Sexismus und das Formulieren von Verschwörungsmythen nachgewiesen. Den Entwicklern kann man das nur indirekt vorwerfen, da sie der KI keinen Hass in die Wiege gelegt haben. Die problematischen Sätze entspringen dem Training mit Text, den letztlich vorher Menschen geschrieben haben. GPT-3 ist ein wahres Kind der Netzkultur der heutigen Zeit – mit allen Problemen, die es mit sich bringt, wenn man kein Leben hat, sondern nur Internet.

Links zur Sendung: https://www.heise.de/news/heiseshow-Wenn-Maschinen-philosophieren-wo-bleibt-da-der-Mensch-4974474.html https://www.heise.de/ct/artikel/Alles-ueber-KI-c-t-uplink-29-5-4546162.html

=== Anzeige / Sponsorenhinweis === Dieser Podcast ist gesponsert von Dell Technologies. Rufen Sie uns an unter 0800-724 48 69 oder besuchen Sie uns online unter: Dell.de/KMU-Beratung === Anzeige / Sponsorenhinweis Ende ===

  continue reading

538 odcinków

Wszystkie odcinki

×
 
Loading …

Zapraszamy w Player FM

Odtwarzacz FM skanuje sieć w poszukiwaniu wysokiej jakości podcastów, abyś mógł się nią cieszyć już teraz. To najlepsza aplikacja do podcastów, działająca na Androidzie, iPhonie i Internecie. Zarejestruj się, aby zsynchronizować subskrypcje na różnych urządzeniach.

 

Skrócona instrukcja obsługi