#71 - Har OpenAI svært ved at udvikle mere avanceret AI?

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge og Jonas Høgh Kyhse-Andersen de nuværende udfordringer i AI-udviklingen, herunder diminishing returns, samarbejdet mellem Google og OpenAI, samt vigtigheden af dataens kvalitet og de økonomiske aspekter ved træning af AI-modeller. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de nuværende tendenser inden for AI, herunder investeringer i nye modeller som GPT-5 og GPT-6, samt de økonomiske realiteter bag hype. De udforsker også kreative tilgange til AI-udvikling, herunder 'chain of thought' prompting og 'test time training', som kan forbedre AI-modellers præstationer. Desuden præsenteres et nyt projekt, Garak, der fokuserer på LLM-sikkerhed. I denne samtale diskuterer Kasper Junge og Jonas Høgh Kyhse-Andersen de sikkerhedsudfordringer, der er forbundet med store sprogmodeller (LLM'er), herunder problemer som prompt injection, hallucinationer og misinformation. De taler også om vigtigheden af at teste og evaluere LLM'er for at sikre, at de fungerer korrekt og etisk. Diskussionen berører nuværende evalueringsmetoder og deres begrænsninger, samt fremtidige perspektiver for AI-ingeniører.

Links:
🔥 Bloomberg artikel: https://archive.ph/2024.11.13-100709/https://www.bloomberg.com/news/articles/2024-11-13/openai-google-and-anthropic-are-struggling-to-build-more-advanced-ai
🔥 Test-time Training paper: https://arxiv.org/abs/2411.07279
🔥 Ugens repo: https://github.com/NVIDIA/garak

Kapitler
00:00 Introduktion til AI-udviklingens udfordringer
03:09 Google og OpenAI's samarbejde
05:59 Diminishing Returns i AI-modeller
09:01 Kvalitet vs. kvantitet i data
12:02 Innovative metoder til dataindsamling
14:59 Økonomiske udfordringer i AI-udvikling
21:05 Investeringer i AI: Hype og Realiteter
23:12 Kreativ Tænkning i AI-udvikling
24:35 Chain of Thought: En Ny Tænkning i AI
30:02 Test Time Training: En Revolution i AI
40:21 Ugens Repo: Garak og LLM-sikkerhed
43:40 Sikkerhedsudfordringer ved LLM'er
47:54 Testning og evaluering af LLM'er
54:00 Kritik af nuværende evalueringsmetoder
59:52 Afslutning og fremtidige perspektiver

Видео #71 - Har OpenAI svært ved at udvikle mere avanceret AI? канала Verbos Podcast