Kyky oppia ja sitä kautta tilannetaju ainakin vaaditaan, että tekoäly on muutakin kuin vastaus-/taskiautomaatti. Retreival-muistissa on muna-kana ongelma, koska muisti ja tilannetaju ovat toistensa edellytyksiä: jotta malli osaisi muistaa oikein, sen pitää jo ymmärtää mikä on olennaista, mutta jotta se ymmärtäisi mikä on olennaista, sen pitäisi jo muistaa oikein. Taskien toteuttamisessa tämä ei ole ongelma, koska huomioon otettavien asioiden määrä on rajattu, mutta AGI:n G eli general tarkoittaa mun mielestä sitä, että LLM:llä olisi universaali algoritmi, jolla päätellään mitä tiedonpalasia noudetaan muistista (kannasta) missäkin tilanteessa (tietämättä että tällaista tietoa on olemassa), joka on jokainen mahdollinen tilanne mitä ihmisellä elämässään on. Se voi olla tehtävissä, mutta kun sitä kokeilee miettiä hetken miten tarkalleen ottean sen voisi toteuttaa, niin huomaa, että se on vaikea ongelma. Toki jos kaiken voi vaan dumpata kontekstiin, niin tätä retreival-ongelmaa ei olisi, mutta nyt sinne menee muutama a4 tekstiä, jonka jälkeen laatu alkaa heiketä dramaattisesti. Sinne pitäisi mennä tietoa gigoja. Jos miettii vaikka, että mitä tärkeään business-päätökseen pitää ottaa potentiaalisesti huomioon: yrityksen tila, asiakkaisen tila, maailman tila jne. Näissä on massiivinen määrä tietoa, joista pitäis noukkia kontekstiin ne olennaiset tosiaankin tietämättä mitä tietoa on olemassa. Ihmiselle se ei ole vaikeaa, koska me otetaan huomioon automaattisesti relevantit asiat.
