АНАЛІЗ ОСОБЛИВОСТЕЙ РОЗПОДІЛЕНИХ ХМАРНИХ СИСТЕМ ОБРОБКИ ВЕЛИКИХ ОБСЯГІВ ДАНИХ РИНКУ ПРАЦІ


Abstract
В статті проведено аналіз особливостей розподілених хмарних систем обробки великих обсягів даних ринку праці. Розглянуто методи машинного навчання для аналізу текстів вакансій і резюме. Проведено систематизацію способів подання текстів, методів виділення навичок, графів навичок та методи зіставлення вакансій і резюме. Визначено, яких властивостей бракує відомим рішенням для двомовних даних українського ринку праці. Відмічено, що документи змішаномовні, а лексичний збіг охоплює лише частину тексту. Розглянуті методи порівняно за ознаками: які враховують подання, які дані потрібні для навчання, або нормалізуються навички до таксономії, або можливо обчислити вектори кандидатів заздалегідь, скільки обчислень потребує один документ. Лексичні подання TF-IDF і BM25 дешеві й точно враховують назви технологій, а багатомовні щільні енкодери враховують зміст, але потребують графічних процесорів і пам’яті. Навички виділяють розміткою фрагментів тексту, класифікацією за таксономією ESCO і великими мовними моделями; мовні моделі не потребують розмітки, але дорожчі і в розмітці фрагментів поки поступаються навченим моделям. Графи навичок будують за спільною появою навичок, переважно за накопиченим масивом даних. Методи зіставлення розвиваються від сіамських енкодерів до двовежових моделей, графових нейронних мереж і мовних моделей як ранжувальників. Графові моделі зіставлення спираються на історію взаємодій закритих платформ. Аудити фіксують упередженість ранжування за статтю і расою. Запропоновано правила вибору методів за наявними даними. Сформульовано невирішені проблемні питання для відкритих двомовних даних без історії взаємодій: вартість подань за великої кількості пар, зміни структури навичок під час криз, окремий внесок графа навичок у якість зіставлення, поєднання якості з часткою переглянутих кандидатів, оцінювання без даних про наймання.

This publication has 54 references indexed in Scilit: