Введение

Недавно я начал исследовать большие языковые модели (LLMs) и наткнулся на Moonshot AI, компанию, которая действительно привлекла мое внимание. Их флагманская модель Kimi K2 утверждает, что может обрабатывать до 128K токенов контекста и использует передовую архитектуру Mixture of Experts (MoE).