Self-supervised learning

Variant waarin een model labels uit de data zelf afleidt, bijvoorbeeld door telkens een woord te voorspellen op basis van de rest van de zin. De manier waarop LLMs voorgetraind worden.