Циљ предмета је да студент разуме принципе функционисања дубоких неуронских мрежа и да се оспособи за њихову ефикасну имплементацију при решавању великог броја практичних проблема машинског учења.

Студенти који успешно савладају градиво на предмету умеју да самостално: - креирају, обуче и примене дубоке неуронске мреже различитих архитектура над разнородним подацима; - евалуирају и анализирају перформансе модела; - модификују хиперпараметре тако да се добије тачнији и робустнији модел; - јасно дефинишу, интерпретирају и дискутују постојеће алгоритме; - ефикасно прате нове научне радове и разумеју нова решења у области дубоког учења.

Теоријска настава Модел дубоке неуронске мреже: елементи (неурон и активационе функције, параметри мреже), циљне функције (квадратно растојање и унакрсна ентропија). Оптимизација за обуку дубоких модела: одређивање параметара мреже, алгоритам пропагације уназад, алгоритам градијентног опадања (batch, стохастички, mini-batch), моментум, Несторов убрзани градијент, Адаград, Ададелта, RMSProp, Ада, АдаМакс, Адам, Надам, AMSGrad. Регуларизација за дубоко учење: L1, L2 регуларизаиција, dropout и разлике између њих. Конволуционе неуронске мреже: конволуција и померање по улазним подацима, додавање нула, агрегација информација и рад с више канала. Упознавање са архитектура које се користе у пракси (AlexNet, VGG (Visual Geometry Group), NiN (Network in Network), GoogLeNet, ResNet, DenseNet). Моделовање временских секвенци: рекурентне мреже и статистички приступ преко Марковљевих модела. Обука с повратком у времену и начини ефикасног пресликавања секвенце у секвенцу (похлепна претрага, исцрпна претрага, beam search). Поређење архитектура савремених рекурентних неуронских мрежа: Gated Recurrent Units (GRU), Long Short Term Memory (LSTM) и Bidirectional Recurrent Neural Networks (BRNN). Механизми пажње у дубоком учењу односно математичком моделовању. Неуронске мреже на графу: подаци организовани у граф, репрезентација чворова, класификација чворова, предикције над графом или деловима графа, учење нових веза и сл. Аутоенкодери: процена могућности репрезентације модела у зависности од величине неуронске мреже, као и могућности учења ретке репрезентације улазних података или уклањања шума. Дубоки генеративни модели: модели за учење расподеле вишедимензионалних улазних података, (варијациони и генеративни аутоенкодери VAE, GAN). Методе за интерпретацију одлука (explainable AI) као што су: интерпретабилни локални сурогати, анализа оклузија, интегрирани градијенти и пропагације релевантности по слојевима мреже. Практични методолошки савети с примерима примене: савети за имплементацију модела и предностима појединих архитектура неуронских мрежа. За сваку наставну јединицу ће се утврдити предзнање и прилагодити ниво и обим предавања. Практична настава Циљ рачунарских вежби је да оспособе студената за самосталну имплементацију научених метода. Биће демонстрирани сви релевантни практични аспекти дубоког учења – иницијализација, регуларизација, нормализација, подешавање хиперпараметара, оптимизациони поступци, евалуација. Домаћи задаци имају за циљ да охрабре студенте да самостално реализују научене методе и тако уоче потенцијалне пропусте у свом знању, док у изради пројекта треба да се примени синтеза стечених знања за решавање изабраног реалног проблема. Пројекти могу да се реализују и кроз сарадњу с привредним субјектима, у смислу могућности избора теме, тј. конкретног проблема који ће бити решаван.

Предавања, рачунарске вежбе у одговарајућем софтверу (Python, PyTorch/TensorFlow/Keras) у циљу имплементације усвојених теоријских основа, домаћи задаци као једноставнији проблеми за самостално решавање уз имплементацију, консултације са предавачима, активно учење кроз пројекат, истраживање и анализу новијих научних публикација. Гостујућа предавања стручњака из привреде.