Microsoft і NVIDIA об’єднали свої зусилля для створення моделі генерації природної мови Megatron-Turing Natural Language Generation, яка містить 530 мільярдів параметрів. Це найбільша і найпотужніша монолітна трансформаторна мовна модель, навчена на сьогоднішній день.
MT-NLG має в 3 рази більше параметрів у порівнянні з існуючою найбільшою моделлю такого типу і демонструє неймовірну чутливість в широкому наборі завдань природної мови, таких як:
- Передбачення завершення тексту за змістом;
- Розуміння прочитаного;
- Генерація логічних висновків;
- Створення висновків на природній мові;
- Розрізнення змісту слів з кількома значеннями.
Навчання настільки потужної моделі стало можливим завдяки численним інноваціям. Наприклад, NVIDIA і Microsoft об’єднали сучасну інфраструктуру навчання на основі GPU з передовим програмним стеком розподіленого навчання. Були створені бази даних природної мови, що включають сотні мільярдів одиниць контенту, а також розроблені методи навчання для підвищення ефективності і стабільності оптимізації.
Джерело Microsoft
З питань придбання рішень Microsoft звертайтеся до наших фахівців +380 (44) 383 4410 або sales@softico.ua.
