#74 - Vi Snakker Ilya Sutskevers NeurIPS Talk m. Kenneth Enevoldsen og Thomas Kobber Panum

I denne episode af Verbos Podcast diskuterer værterne Kasper Junge, Kenneth Enevoldsen og Thomas Kobber Panum Ilya Sutskevers nylige talk ved NeurIPS, hvor han modtog Test of Time Award. De dykker ned i Ilya syn på AI-udvikling, især hans påstand om, at pre-training er dødt, og hvordan fremtidige AI-modeller skal udvikles. Diskussionen berører også udfordringerne ved dataindsamling og forståelsen af, hvordan AI-modeller fungerer. I denne samtale diskuterer deltagerne de nuværende og fremtidige udfordringer og muligheder inden for AI, herunder hvordan sprogmodeller lærer, betydningen af aktiv læring, og hvordan AI-systemer kan blive mere uforudsigelige. Der er også fokus på historien bag O-One modellen og dens udvikling, samt hvordan syntetisk data kan spille en rolle i fremtidig innovation. I denne samtale diskuterer deltagerne forskningen inden for AI, herunder balancen mellem ingeniørkunst og forskning, samt hvordan man skal forholde sig kritisk til de informationer, der præsenteres af prominente figurer i feltet. Der er fokus på, hvordan AI-teknologier har udviklet sig over tid, og hvordan de praktiske anvendelser af disse teknologier kan påvirke fremtidig forskning og innovation. Ilya’s talk: https://youtu.be/1yvBqasHLZs?si=BiwmGjU7-0c8N5wA “Sequence to Sequence Learning with Neural Networks”-paper: https://arxiv.org/abs/1409.3215