В Летней школе ЦРТ студенты учили машину читать по губам

31.08.2017

С 14 по 25 августа в Университете ИТМО компания ЦРТ провела Летнюю школу машинного обучения AlGORythm. В течение 10 дней студенты школы изучали алгоритмы машинного обучения — в рамках теоретических курсов и практических занятий.

Для обучения в школе набирались студенты и выпускники технических вузов, молодые специалисты IT-сферы. Набор проходил на конкурсной основе — желающим высылали тестовое задание по обучению нейронной сети для системы распознавания образов — нужно было натренировать систему на обнаружение и распознавание дорожных знаков на фотографиях. По итогам отбора места в школе получили студенты из Санкт-Петербурга, Москвы, Череповца и Ярославля.

«Кафедра речевых информационных систем, основанная ЦРТ, работает в Университете ИТМО уже шесть лет, но такой формат мы попробовали впервые. Летняя школа машинного обучения — хороший способ расширить нашу аудиторию не только за счет студентов других вузов, но и за счет выпускников, молодых специалистов, которые интересуются темой», — комментирует заведующий кафедрой речевых информационных систем (РИС) Университета ИТМО Юрий Матвеев.

В рамках школы студенты изучали машинное обучение на примере задач по распознаванию речи. На занятиях преподаватели из Группы ЦРТ, «АО Сбербанк-Технологии» и НИУ ВШЭ в Нижнем Новгороде рассказывали о методах машинного обучения, на практических студенты практически с нуля создавали систему распознавания речи по звуку и артикуляции (движению губ). Для этого специалисты ЦРТ предоставили им базы аудио- и видеозаписей, примеры и заготовки алгоритмов распознавания.

Для решения итоговой задачи студентов разделили на команды. Нужно было обучить систему распознавать произносимые дикторами цифры. Аудио- и видеозаписи были сделаны в разных условиях, например, на фоне шумов. Каждая команда пробовала различные алгоритмы распознавания, архитектуры нейросетей и методы обучения. Студенты обучали систему распознавать звуки по отдельности и с учетом контекста, работали с аудио и видео раздельно и параллельно, экспериментировали с frontend-обработкой и т.д.
25 августа ребята выступили с презентациями своих достижений перед жюри, в которое вошло руководство и сотрудники научно-исследовательского департамента ЦРТ, заведующий кафедрой РИС Университета ИТМО и организатор школы от Университета ИТМО. Вклад каждого студента в результат команды оценивался отдельно. Лучшими были признаны Владимир Батаев, Иван Кремнев и Антон Митрофанов — им по итогам обучения предложили работу в ЦРТ.

«Десятидневный интенсив с упором на практику позволяет сконцентрироваться на теме и без чрезмерного увлечения теорией работать над реальным проектом. Такая школа — что-то среднее между собственно школой и стажировкой в компании, — рассказывает директор научно-исследовательского департамента ЦРТ Кирилл Левин. —  Студенты работают с прототипом рабочего движка, им приходится учиться распределять задачи внутри команды, делать максимум в условиях ограниченного времени и ресурсов. Здесь проявляются не только чисто технические умения, но то, как человек умеет решать практические задачи».

Обучение в школе проводилось бесплатно, дорогу и проживание в Петербурге иногородним студентам оплатили организаторы. Занятия проводились на базе Университета ИТМО и вычислительного кластера ЦРТ.

Подписаться на новости:

подписаться

Поделиться:

Другие новости

РБК Тренды: 10 кейсов применения GenAI в бизнесе

СomNews: «В 2025 г. искусственный интеллект начнет лучше понимать человека»

GigaChat поможет КАПИТАЛ LIFE трансформировать рынок страхования жизни и создать новые стандарты обслуживания клиентов

Все новостиподписаться

Карта сайта

Продукты

Партнёрам