Microsoft и Nvidia создали нейросеть говорящую на всех языках
Microsoft и Nvidia создали самообучаемую нейросеть способную говорить на любом языке не хуже человека, использовав для её Обучения 11 массивных баз данных, в число которых входит: Wikipedia, PudMed и все доступные произведения классической литературы.
Microsoft и Nvidia объединили свои усилия для создания большого искусственного интеллекта, способного говорить на любом языке не хуже человека — Megatron-Turing Natural Language Generation (MT-NLG). Это самая большая и самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день.
Процесс обучения системы ИИ занял чуть больше месяца, в течение которого специалисты обработали более 1,5 ТБ данных, собранных из сотни миллиардов единиц контента взятых с 11 больших открытых баз данных: Wikipedia, PudMed, массивы художественной литературы и многих др. В ИИ-системе нет фильтров, блокирующих токсичные и оскорбительные высказывания. Это значит, что качество текста нейросети зависит от использованных для обучения массивов данных, заявляют представители Microsoft.
MT-NLG насчитывает около 530 млрд параметров настройки, что в три раза больше по сравнению с предыдущей ИИ-системой GPT-3 (175 млрд).
• Устройство демонстрирует непревзойденную точность в широком наборе задач:
• Понимание прочитанного;
• Предсказание завершения текста по смыслу
• Генерация логических выводов;
• Создание заключений на том языке, который введён в программу
м Различение смысла слов с несколькими значениями;
Систему MT-NLG обучали с помощью суперкомпьютера NVIDIA Selene, который состоит из 560 серверов DGX A100. Каждое устройство было оснащено восемью графическими 80 ГБ процессорами A100. По данным The Next Platform, стоимость NVIDIA Selene доходит до 85 млн долларов.