Büyük Dil Modelleri Tarafından Üretilen Kodların Yazılım Mühendisliği Ölçütleriyle Çok Boyutlu Değerlendirilmesi
- 31 October 2026
- journal article
- Published by International Journal of Informatics Technologies in Bilişim Teknolojileri Dergisi
- Vol. 19 (4) , 473-481
Abstract
Büyük dil modelleri (LLM), yazılım mühendisliği süreçlerinde yalnızca kod üretimiyle sınırlı kalmayıp algoritma geliştirme, sistem tasarımı ve test gibi birçok aşamada etkin biçimde kullanılmaktadır. Bu çalışma, ChatGPT, Gemini, Claude ve GitHub Copilot tarafından üretilen Python kodlarının yazılım mühendisliği ölçütleri çerçevesinde çok boyutlu olarak değerlendirilmesini amaçlamaktadır. Araştırma kapsamında, kolay, orta ve zor düzeylerde yapılandırılmış algoritmik görevler tüm modellere aynı istemlerle sunulmuş; elde edilen kod çıktıları metinsel, yapısal, anlamsal ve işlevsel açılardan analiz edilmiştir. Değerlendirme sürecinde Levenshtein mesafesi, n-gram Jaccard benzerliği, özetleme tabanlı parmak izi analizi, soyut söz dizim ağacı benzerliği ve gömme tabanlı kosinüs benzerliği gibi metrikler kullanılmış; ayrıca kod karmaşıklığı ve sürdürülebilirliği, siklomatik karmaşıklık ve bakım yapılabilirlik indeksi üzerinden incelenmiştir. Model çıktıları, GitHub ve LeetCode platformlarından elde edilen insan geliştirici çözümleriyle karşılaştırılarak özgünlük, kalite ve yazılım mühendisliği standartlarına uyum açısından değerlendirilmiştir. Elde edilen bulgular, LLM’lerin aynı problemlere yönelik benzer yapısal eğilimler gösterebildiğini, ancak görev zorluk düzeyine bağlı olarak kalite ve özgünlük performanslarının anlamlı biçimde farklılaştığını ortaya koymaktadır. Bu çalışma, büyük dil modellerinin yazılım mühendisliği süreçlerindeki potansiyel katkılarını ve sınırlılıklarını nicel analizlerle ortaya koyarak literatüre deneysel bir bakış sunmaktadır.Keywords
This publication has 8 references indexed in Scilit:
- Self-Collaboration Code Generation via ChatGPTACM Transactions on Software Engineering and Methodology, 2024
- ChatGPT Prompt Patterns for Improving Code Quality, Refactoring, Requirements Elicitation, and Software Design2024
- On the assessment of generative AI in modeling tasks: an experience report with ChatGPT and UMLSoftware and Systems Modeling, 2023
- ChatGPT and Software Testing Education: Promises & Perils2023
- Software Engineering for AI-Based Systems: A SurveyACM Transactions on Software Engineering and Methodology, 2022
- CodeBERT: A Pre-Trained Model for Programming and Natural Languages2020
- Research on string similarity algorithm based on Levenshtein Distance2017
- A Complexity MeasureIEEE Transactions on Software Engineering, 1976