![]()
Подводные беспилотники обучили навигации без GPS
Первый беспилотный подводный аппарат (он же UUV, он же подводный дрон) создали в 1957 году. Сегодня такие решения становятся чрезвычайно распространенными — не менее, чем БПЛА. Однако подводные беспилотники сталкиваются с проблемой плохой связи и неисправного навигационного контроля из-за искажающего эффекта воды. Сигналы GPS просто не проникают под водную толщу. Океан же (или море, не говоря о бурной речке) добавляет еще один уровень сложности к навигационным задачам, поскольку сильное подводное течение может просто унести аппарат далеко от пункта назначения.
Инженеры из Австралии и Франции использовали технологию глубокого обучения с подкреплением, чтобы научить UUV точнее ориентироваться в сложных условиях, не полагаясь на GPS. Обычно при таком обучении система опирается на весь эмпирический опыт — то есть, на все действия и их результаты, хранящиеся в буфере памяти. Для обновления параметров модель вынуждена перебирать все множество вариантов, пока не остановится на единственно верном. Это крайне ресурсозатратно.
Исследователи внесли изменения в процесс обучения, чтобы он извлекал выборку из буфера памяти таким образом, который больше похож на то, как учится человеческий мозг. Вместо того, чтобы извлекать уроки из всего прошлого опыта, больше внимания уделяется телодвижениям, приводящим к успеху. Действия, которые приводят к положительным результатам, подкрепляются, а те, что к отрицательным, исключаются.
src
