Microsoft і NVIDIA об’єднали свої зусилля для створення моделі генерації природної мови Megatron-Turing Natural Language Generation, яка містить 530 мільярдів параметрів. Це найбільша і найпотужніша монолітна трансформаторна мовна модель, навчена на сьогоднішній день.

Тенденция изменения размеров современных NLP-моделей с течением времени
Тенденція зміни розмірів сучасних NLP-моделей з плином часу

MT-NLG має в 3 рази більше параметрів у порівнянні з існуючою найбільшою моделлю такого типу і демонструє неймовірну чутливість в широкому наборі завдань природної мови, таких як:

  • Передбачення завершення тексту за змістом;
  • Розуміння прочитаного;
  • Генерація логічних висновків;
  • Створення висновків на природній мові;
  • Розрізнення змісту слів з кількома значеннями.

Навчання настільки потужної моделі стало можливим завдяки численним інноваціям. Наприклад, NVIDIA і Microsoft об’єднали сучасну інфраструктуру навчання на основі GPU з передовим програмним стеком розподіленого навчання. Були створені бази даних природної мови, що включають сотні мільярдів одиниць контенту, а також розроблені методи навчання для підвищення ефективності і стабільності оптимізації.

Джерело Microsoft 

З питань придбання рішень Microsoft звертайтеся до наших фахівців +380 (44) 383 4410 або sales@softico.ua.