Große Sprachmodelle: GPT-4, LLaMA & Co 🎙️

Episode von Python Podcast von Jochen Wersdörfer / Dominik Geldmacher · 6. April 2023 · 2 h 34 min

Große Sprachmodelle: GPT-4, LLaMA & Co 🎙️ (hier klicken, um zu kommentieren)

6. April 2023, Jochen

Disclaimer: Sowohl Titel wie auch Beschreibung wurden von GPT-4 generiert. Kontext war die Liste der Links aus den Shownotes.

Manuel, Johannes, Dominik & Jochen tauschen sich über große Sprachmodelle (LLMs) wie GPT-4 und LLaMA aus 🌐. Sie besprechen faszinierende Anwendungen in Projekten wie GitHub Copilot und BlenderGPT 🛠️, sowie die Rolle von Word Embeddings und Reinforcement Learning from Human Feedback (RLHF) in der Modellentwicklung 📊. ChatGPT wird dabei als Beispiel hervorgehoben, das die Nützlichkeit von LLMs einer breiteren Öffentlichkeit verdeutlicht hat. Die Diskussion umfasst auch ethische Bedenken im Zusammenhang mit LLMs 🚨 und schließt mit Empfehlungen für vertiefende Ressourcen 📚🎧.

Shownotes

Unsere E-Mail für Fragen, Anregungen & Kommentare: [email protected]

News Allgemeines Geplauder

Pause Giant AI Experiments: An Open Letter

Thoughts on a Crazy Week in AI News

GitHub Copilot

JetBrains Fleet

GPT-3 (generative pre-trained transformer) / Few-shot learning / Chain-of-thought

GPT-4

Eight Things to Know about Large Language Models | Sehr interessante Zusammenfassung von Dingen, die man bisher weiß

BlenderGPT - This addon allows you to use Blender with natural language commands using OpenAI's GPT-3.5/GPT-4

Introducing LLaMA: A foundational, 65-billion-parameter large language model / Alpaca.cpp / Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality

GPUs in der Cloud: beam.cloud / pipeline.ai / crebrium.ai / banana.dev

Hugging Face / Natural Language Processing with Transformers (Book)

Inference of LLaMA model in pure C/C++

Large Language Models

Let's build GPT: from scratch, in code, spelled out

Attention Is All You Need | Das ursprüngliche Transformer-Paper

The Waluigi Effect (mega-post)

LangChain | Building applications with LLMs through composability

ChatGPT plugins

Zero-shot learning

On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?

Understanding models understanding language | Was Modelle aus Text über Farben lernen

Global workspace theory

Bouba/kiki effect

ControlNet

Word embeddings

llm command line tool

Geppetto - go LLM and GPT3 specific prompting framework | enthält das cli tool pinocchio

kitty - the fast, feature-rich, cross-platform, GPU based terminal

pyupgrade A tool (and pre-commit hook) to automatically upgrade syntax for newer versions of the language

Semi supervised learning

Illustrating Reinforcement Learning from Human Feedback (RLHF)

What Is ChatGPT Doing … and Why Does It Work?

The Illustrated Transformer

Eight Things to Know about Large Language Models

Medien zum Vertiefen

Yoshua Bengio: large language models, higher cognition, causality, working memory, responsible AI (The Robot Brains Podcast) | Sehr gut!

Episode 88: ChatGPT (Hotel Bar Sessions) | Meh, aber interessant wie daneben die liberal arts Leute liegen

A.I. Is About to Get Much Weirder. Here’s What to Watch For. (The Ezra Klein Show) | Quite solid for a journalistic publication

ChatGPT, GPT4 hype, and Building LLM-native products — with Logan Kilpatrick of OpenAI (Latent Space Podcast)

Prompt Engineering and AI Constitutions with Stephen Wolfram

Picks

streamlit.io - A faster way to build and share data apps

ruff - An extremely fast Python linter, written in Rust

Scrapeghost is an experimental library for scraping websites using OpenAI's GPT

BlenderGPT - This addon allows you to use Blender with natural language commands using OpenAI's GPT-3.5/GPT-4

Descript is the simple, powerful, and fun way to edit

Manuels Links

Geppetto - go LLM and GPT3 specific prompting framework

glazed - Output structured data in a variety of formats

GO GO ESCUSE ME

zsh ding

kitty script

Weitere Episoden von „Python Podcast“

Alle Episoden von Python Podcast · Mehr Technologie-Podcasts