Програм се примењује од 16.09.2020..
Циљ предмета је да студент разуме принципе функционисања дубоких неуронских мрежа и да се оспособи за њихову ефикасну имплементацију при решавању великог броја практичних проблема машинског учења.
Студенти који успешно савладају градиво на предмету умеју да самостално:
- креирају, обуче и примене дубоке неуронске мреже различитих архитектура над разнородним подацима;
- евалуирају и анализирају перформансе модела;
- модификују хиперпараметре тако да се добије тачнији и робустнији модел;
- јасно дефинишу, интерпретирају и дискутују постојеће алгоритме;
- ефикасно прате нове научне радове и разумеју нова решења у области дубоког учења.
Теоријска настава
Модел дубоке неуронске мреже: елементи (неурон и активационе функције, параметри мреже), циљне функције (квадратно растојање и унакрсна ентропија).
Оптимизација за обуку дубоких модела: одређивање параметара мреже, алгоритам пропагације уназад, алгоритам градијентног опадања (batch, стохастички, mini-batch), моментум, Несторов убрзани градијент, Адаград, Ададелта, RMSProp, Ада, АдаМакс, Адам, Надам, AMSGrad.
Регуларизација за дубоко учење: L1, L2 регуларизаиција, dropout и разлике између њих.
Конволуционе неуронске мреже: конволуција и померање по улазним подацима, додавање нула, агрегација информација и рад с више канала. Упознавање са архитектура које се користе у пракси (AlexNet, VGG (Visual Geometry Group), NiN (Network in Network), GoogLeNet, ResNet, DenseNet).
Моделовање временских секвенци: рекурентне мреже и статистички приступ преко Марковљевих модела. Обука с повратком у времену и начини ефикасног пресликавања секвенце у секвенцу (похлепна претрага, исцрпна претрага, beam search).
Поређење архитектура савремених рекурентних неуронских мрежа: Gated Recurrent Units (GRU), Long Short Term Memory (LSTM) и Bidirectional Recurrent Neural Networks (BRNN).
Механизми пажње у дубоком учењу односно математичком моделовању.
Неуронске мреже на графу: подаци организовани у граф, репрезентација чворова, класификација чворова, предикције над графом или деловима графа, учење нових веза и сл.
Аутоенкодери: процена могућности репрезентације модела у зависности од величине неуронске мреже, као и могућности учења ретке репрезентације улазних података или уклањања шума.
Дубоки генеративни модели: модели за учење расподеле вишедимензионалних улазних података, (варијациони и генеративни аутоенкодери VAE, GAN).
Методе за интерпретацију одлука (explainable AI) као што су: интерпретабилни локални сурогати, анализа оклузија, интегрирани градијенти и пропагације релевантности по слојевима мреже.
Практични методолошки савети с примерима примене: савети за имплементацију модела и предностима појединих архитектура неуронских мрежа.
За сваку наставну јединицу ће се утврдити предзнање и прилагодити ниво и обим предавања.
Практична настава
Циљ рачунарских вежби је да оспособе студената за самосталну имплементацију научених метода. Биће демонстрирани сви релевантни практични аспекти дубоког учења – иницијализација, регуларизација, нормализација, подешавање хиперпараметара, оптимизациони поступци, евалуација. Домаћи задаци имају за циљ да охрабре студенте да самостално реализују научене методе и тако уоче потенцијалне пропусте у свом знању, док у изради пројекта треба да се примени синтеза стечених знања за решавање изабраног реалног проблема. Пројекти могу да се реализују и кроз сарадњу с привредним субјектима, у смислу могућности избора теме, тј. конкретног проблема који ће бити решаван.
Предавања, рачунарске вежбе у одговарајућем софтверу (Python, PyTorch/TensorFlow/Keras) у циљу имплементације усвојених теоријских основа, домаћи задаци као једноставнији проблеми за самостално решавање уз имплементацију, консултације са предавачима, активно учење кроз пројекат, истраживање и анализу новијих научних публикација. Гостујућа предавања стручњака из привреде.
Аутори | Назив | Година | Издавач | Језик |
---|
I. Goodfellow, Y. Bengio, A. Courville | Deep Learning | 2017 | MIT Press, Cambridge | Енглески |
A. Zhang, Z. Lipton, M. Li, A. Smola | Dive into Deep Learning | 2020 | (online) | Енглески |
K. Murphy | Machine Learning: A Probabilistic Perspective | 2012 | MIT Press | Енглески |
Предметна активност | Предиспитна | Обавезна | Број поена |
---|
Предметни пројекат | да | да | 40.00 |
Тест | да | да | 10.00 |
Домаћи задатак | да | да | 5.00 |
Домаћи задатак | да | да | 5.00 |
Домаћи задатак | да | да | 5.00 |
Домаћи задатак | да | да | 5.00 |
Писмени део испита - комбиновани задаци и теорија | не | да | 30.00 |
| Име и презиме | Вид наставе |
---|
| | Предавања |
| | Предавања |
| | Предавања |
| | Рачунарске вежбе |
| | Рачунарске вежбе |
| | Рачунарске вежбе |