māchine

Mixture of Experts

Ook: MoE, mixture-of-experts

Definitie

Architectuur waarin een model uit meerdere gespecialiseerde sub-netwerken bestaat en per invoer alleen de relevante experts activeert. Maakt grote modellen efficiënter.

Andere begrippen