ОПТИМІЗАЦІЯ РЕЗУЛЬТАТІВ МОДЕЛЮВАННЯ ШЛЯХОМ РОЗБИТТЯ ВИБІРОК ЗА КРИТЕРІЄМ ПОДІБНОСТІ ВІДСТАНІ МАХАЛАНОБІСА
Open Access
- 28 September 2023
- journal article
- research article
- Published by Igor Sikorsky Kyiv Polytechnic Institute in Біомедична інженерія і технологія
- No. 11,p. 21-30
Abstract
Методи створення класифікаційних, апроксимаційних та прогностичних моделей включають процедури розділення робочого набору даних на технологічні частини, які використовуються для розрахунку параметрів, верифікації структури та завершальної оцінки якості моделей. Саме універсальність застосування даних процедур визначає виняткову актуальність вирішення завдання забезпечення ефективності розділення робочого набору даних на технологічні частини з точки зору якості результатів моделювання. Існуючі підходи до розбиття даних не забезпечують стійкої ефективності при побудові моделей (метод простого випадкового відбору, метод проб і помилок, тощо), або є ефективними, однак обмеженими використанням певних типів набору даних (зручний і систематичний відбори, тощо). В роботі для вирішення проблеми пропонується застосувати процедури розподілу даних на основі критерію подібності відстані Махаланобіса, що забезпечує збереження властивості відхилень об’єктів основної робочої вибірки для всіх технологічних підвибірок в умовах нерівних дисперсій змінних та корельованості простору ознак. Оскільки універсальним і найчастіше застосованим методом розбиття даних в даний час є метод випадкового відбору, у роботі саме з ним порівнюється ефективність пропонованого підходу. Аналіз підходів здійснений на даних для прогнозування рівня смертності від раку в округах США, що взяті з ресурсу data.world, та класифікації серцевої недостатності - з ресурсу Kaggle. Порівняння проведено для методів k-найближчих сусідів, логістичної регресії, методу групового урахування аргументів в завданні класифікації та методів k-найближчих сусідів, екстремального градієнтного підсилення (XGB), підвищення градієнта на основі алгоритму дерева рішень (LGBM) в задачі апроксимації. Результати аналізу показали перевагу пропонованого у роботі підходу розбиття даних відповідно до критерію подібності відстані Махаланобіса.This publication has 10 references indexed in Scilit:
- Optimal ratio for data splittingStatistical Analysis and Data Mining: An ASA Data Science Journal, 2022
- Data TwinningStatistical Analysis and Data Mining: An ASA Data Science Journal, 2022
- SPlit: An Optimal Method for Data SplittingTechnometrics, 2021
- An Introduction to Machine LearningClinical Pharmacology & Therapeutics, 2020
- Multiple Versus Single Set Validation of Multivariate Models to Avoid MistakesCritical Reviews in Analytical Chemistry, 2017
- Recent developments in systematic sampling: A reviewJournal of Statistical Theory and Practice, 2017
- Sampling Methods in Clinical Research; an Educational Review2016
- Euclidean Distance Geometry and ApplicationsSIAM Review, 2014
- Distance Measures2011
- Data splitting for artificial neural networks using SOM-based stratified samplingNeural Networks, 2010