Наредни састанак Семинара биће одржан онлајн у среду, 5. јуна 2024, са почетком у 19 часова.
Предавач: Александар Картељ, Математички факултет, Универзитет у Београду
Наслов предавања: RILS-ROLS: НОВИ ПРИСТУП ЗА РЕШАВАЊЕ ПРОБЛЕМА СИМБОЛИЧКЕ РЕГРЕСИЈЕ
Апстракт: Најчешћи приступ решавању проблема регресије се заснива на фиксирању функционалне форме модела (линеарна, полиномијална регресија, неуронска мрежа, итд.), а проблем тренирања се своди на подешавање коефицијената, тј. параметара функционалне форме. Симболичка регресија је привукла велику пажњу у току последње деценије због своје тенденције да самим својим дизајном спречава појаву преприлагођавања (енг. ovrfitting), јер је код ње функционална форма скоро произвољна, тј. ограничена једино скупом допуштених оператора и њиховим арностима. Другим речима, за задати скуп оператора нпр. {sin, cos, ln, +, -, *, /, exp, …}, може се фиксирати било које дрво израза над тим скупом оператора, усаглашено са њиховим арностима. Тако добијени скуп могућих математичких формула постаје изузетно велик, а када се томе додају и коефицијенти, који у општем случају могу бити реални, проблем постаје још захтевнији. У досадашњој литератури скоро сви приступи решавању симболичке регресије су све сводили на употребу популационих метахеуристика, и то најчешће генетског програмирања (као деривата проистеклог из идеје генетског алгоритма). Током излагања ће бити представљени наши скорашњи резултати (Картељ, Ђукановић, 2023.) који показују да метахеуристике засноване на једном решењу (енг. single-point metaheuristics) могу да буду упоредиве, па чак и боље од популационих метахеуристика.
Конкретно, биће представљена метода итериране локалне претраге (ILS), потпомогнута методом најмањих квадрата, под називом RILS-ROLS (акроним за Robust symbolic Regression via Iterated Local Search and Ordinary Least Squares). Најзначајнији доприноси нашег рада су:
- 1) иновативни дизајн функције прилагођености кандидат решења (енг. fitness function) који укључује неколико метрика: R2, RMSE и величину дрвета формиране математичке формуле;
- 2) интеграција OLS методе за ефикасно подешавање коефицијената придружених линеарним факторима формуле;
- 3) локалну претрагу која ефикасно претражује перспективне околине тренутног најбољег решења (математичке формуле) при чему се она користи не само за дискретне елементе простора претраге (унутрашње чворове дрвета — операторе), већ и за подешавање коефицијената унутар нелинеарних фактора;
- 4) упоредни однос са најзначајњим методама из литературе (у оквиру SRBENCH пројекта, https://cavalab.org/srbench), који показује да RILS-ROLS надмашује конкуренте по питању достигнутих циљних метрика (R2), као и потенцијала да се достигне егзактно решење.
Поред овога, биће представљене и нове идеје које би могле да унапреде постојећи модел у будућности, а тичу се повећања ефикасности предложеног алгоритма, као и увођења нових техника навођења претраге заснованих на очекиваним математичким својствима функције која се моделује:
- 1) монотоности;
- 2) вероватносне расподеле циљне променљиве и
- 3) Липшицове непрекидности.
Такође ће бити направљен осврт на нову имплементацију RILS-ROLS алгоритма, која је у међувремену преписана у C++ програмски језик, а доступна је за инсталацију у виду Python модула (https://pypi.org/project/rils-rols).
Напомена: Регистрациона форма за учешће на Семинару је доступна на линку:
https://miteam.mi.sanu.ac.rs/asset/CW5nJWDSEZDj7p32p
Уколико желите само да пратите предавање без могућности активног учешћа, пренос је доступан на линку:
https://miteam.mi.sanu.ac.rs/asset/4LNW8WtML7rLKojoz