Mixture of Experts — MoE

Architektur, bei der nicht alle Parameter pro Token aktiviert werden, sondern nur ein Subset („Experten"). Mixtral 8x7B hat insgesamt 47B Parameter, aktiviert aber nur 13B pro Token — billiger und schneller bei vergleichbarer Qualität.