Abstract
Büyük dil modelleri (LLM), yazılım mühendisliği süreçlerinde yalnızca kod üretimiyle sınırlı kalmayıp algoritma geliştirme, sistem tasarımı ve test gibi birçok aşamada etkin biçimde kullanılmaktadır. Bu çalışma, ChatGPT, Gemini, Claude ve GitHub Copilot tarafından üretilen Python kodlarının yazılım mühendisliği ölçütleri çerçevesinde çok boyutlu olarak değerlendirilmesini amaçlamaktadır. Araştırma kapsamında, kolay, orta ve zor düzeylerde yapılandırılmış algoritmik görevler tüm modellere aynı istemlerle sunulmuş; elde edilen kod çıktıları metinsel, yapısal, anlamsal ve işlevsel açılardan analiz edilmiştir. Değerlendirme sürecinde Levenshtein mesafesi, n-gram Jaccard benzerliği, özetleme tabanlı parmak izi analizi, soyut söz dizim ağacı benzerliği ve gömme tabanlı kosinüs benzerliği gibi metrikler kullanılmış; ayrıca kod karmaşıklığı ve sürdürülebilirliği, siklomatik karmaşıklık ve bakım yapılabilirlik indeksi üzerinden incelenmiştir. Model çıktıları, GitHub ve LeetCode platformlarından elde edilen insan geliştirici çözümleriyle karşılaştırılarak özgünlük, kalite ve yazılım mühendisliği standartlarına uyum açısından değerlendirilmiştir. Elde edilen bulgular, LLM’lerin aynı problemlere yönelik benzer yapısal eğilimler gösterebildiğini, ancak görev zorluk düzeyine bağlı olarak kalite ve özgünlük performanslarının anlamlı biçimde farklılaştığını ortaya koymaktadır. Bu çalışma, büyük dil modellerinin yazılım mühendisliği süreçlerindeki potansiyel katkılarını ve sınırlılıklarını nicel analizlerle ortaya koyarak literatüre deneysel bir bakış sunmaktadır.