Характеристики

• Параметры: 46,7 миллиарда.
• Архитектура: использует разреженную архитектуру смеси экспертов.
• Особенности: модель содержит 8 групп "экспертов", что позволяет использовать 12,9 миллиарда параметров на токен. Превосходит модели LLaMA 70B и GPT-3.5 по большинству бенчмарков.
• Доступность: также доступна через BitTorrent и Hugging Face.

Искусственный анализ: Mixtral 8x7B имеет высшый рейтинг соотношения производительность/затраты.

Область применения

• Генерация текста
• Машинный перевод
• Ответ на вопросы
• Классификация текста
• Автоматическое резюмирование текста
• Анализ текста
• Генерация кода

Это лишь несколько примеров областей применения модели Mistral 8x7B. Её широкий функционал и высокая производительность делают её полезной в различных сценариях искусственного интеллекта, требующих обработки и анализа текстовых данных.

Описание

Mistral 8x7B - это передовая языковая модель искусственного интеллекта, разработанная компанией Mistral AI. С общим числом параметров 46,7 миллиарда и использованием архитектуры трансформеров, она представляет собой мощный инструмент для обработки естественного языка. Модель была выпущена под лицензией Apache 2.0, что подчеркивает стремление к доступности и прозрачности искусственного интеллекта. Особенности включают в себя использование группового внимания к запросам (Grouped-query attention) и механизма оконного скольжения внимания (Sliding Window Attention), обеспечивающих более быструю обработку и уменьшение издержек при работе с длинными последовательностями текста. Доступ к модели осуществляется через различные платформы, такие как BitTorrent и Hugging Face, что делает её широко доступной для исследований и практического использования в различных приложениях обработки текста.

Ссылки

mistral AI models

mistral AI [xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx] OTHER: [networks] caption,url/uid [services] caption,url/uid [contacts] urls [features] [properties] открытый код или закрытое решение стоимость [news] articles category link tag urls ... [stored links] ... [xxx other] ----