АНАЛІЗ ОСОБЛИВОСТЕЙ РОЗПОДІЛЕНИХ ХМАРНИХ СИСТЕМ ОБРОБКИ ВЕЛИКИХ ОБСЯГІВ ДАНИХ РИНКУ ПРАЦІ
Authors:
- Олексій Володимирович КоломійцевОКОлексій Володимирович Коломійцев
- Ілля Сергійович ГарбузІГІлля Сергійович Гарбуз
- Володимир Олександрович КомаровВКВолодимир Олександрович Комаров
- Альберт Миколайович КатунінАКАльберт Миколайович Катунін
- Олег Феліксович ГалицькийОГОлег Феліксович Галицький
- Леонід Іванович МатвєєвЛМЛеонід Іванович Матвєєв
- Руслан Михайлович КацубаРКРуслан Михайлович Кацуба
- Анатолій Григорович МокрякАМАнатолій Григорович Мокряк
- Оксана Володимирівна ТварковськаОТОксана Володимирівна Тварковська
- Олександр Юрійович КрикуненкоОКОлександр Юрійович Крикуненко
- Вікторія Вікторівна ЯрославськаВЯВікторія Вікторівна Ярославська
Open Access
- 13 November 2026
- journal article
- Published by European Scientific Platform (Publications) in Grail of Science
- No. 79,p. 615-641
Abstract
В статті проведено аналіз особливостей розподілених хмарних систем обробки великих обсягів даних ринку праці. Розглянуто методи машинного навчання для аналізу текстів вакансій і резюме. Проведено систематизацію способів подання текстів, методів виділення навичок, графів навичок та методи зіставлення вакансій і резюме. Визначено, яких властивостей бракує відомим рішенням для двомовних даних українського ринку праці. Відмічено, що документи змішаномовні, а лексичний збіг охоплює лише частину тексту. Розглянуті методи порівняно за ознаками: які враховують подання, які дані потрібні для навчання, або нормалізуються навички до таксономії, або можливо обчислити вектори кандидатів заздалегідь, скільки обчислень потребує один документ. Лексичні подання TF-IDF і BM25 дешеві й точно враховують назви технологій, а багатомовні щільні енкодери враховують зміст, але потребують графічних процесорів і пам’яті. Навички виділяють розміткою фрагментів тексту, класифікацією за таксономією ESCO і великими мовними моделями; мовні моделі не потребують розмітки, але дорожчі і в розмітці фрагментів поки поступаються навченим моделям. Графи навичок будують за спільною появою навичок, переважно за накопиченим масивом даних. Методи зіставлення розвиваються від сіамських енкодерів до двовежових моделей, графових нейронних мереж і мовних моделей як ранжувальників. Графові моделі зіставлення спираються на історію взаємодій закритих платформ. Аудити фіксують упередженість ранжування за статтю і расою. Запропоновано правила вибору методів за наявними даними. Сформульовано невирішені проблемні питання для відкритих двомовних даних без історії взаємодій: вартість подань за великої кількості пар, зміни структури навичок під час криз, окремий внесок графа навичок у якість зіставлення, поєднання якості з часткою переглянутих кандидатів, оцінювання без даних про наймання.Keywords
This publication has 54 references indexed in Scilit:
- Labor demand for digital skills in post-2022 Ukraine: Evidence from online job vacancy dataEconomic Modelling, 2026
- The Faiss LibraryIEEE Transactions on Big Data, 2025
- Efficient Text Encoders for Labor Market AnalysisIEEE Access, 2025
- CareerBERT: Matching resumes to ESCO jobs in a shared embedding space for generic job recommendationsExpert Systems with Applications, 2025
- What is the price of a skill? The value of complementarityResearch Policy, 2023
- Artificial Intelligence and Jobs: Evidence from Online VacanciesJournal of Labor Economics, 2022
- A Survey on Skill Identification From Online Job AdsIEEE Access, 2021
- Shortcut learning in deep neural networksNature Machine Intelligence, 2020
- The link‐prediction problem for social networksJournal of the American Society for Information Science and Technology, 2007
- Term-weighting approaches in automatic text retrievalInformation Processing & Management, 1988