Gul Tahaoglu

Derin sahte ses manipülasyonları, gerçek insan seslerini neredeyse ayırt edilemeyecek kadar yüksek bir doğrulukla taklit edebilir; bu da ciddi güvenlik açıkları oluşturur, medyanın güvenilirliğini zedeler ve dijital kimlik doğrulama sistemlerinin güvenilirliğini tehdit eder. Bu çalışma, derin sahte ses örneklerini tespit etmek için Öz Denetimli Öğrenme (Self Supervised Learning, SSL) modellerinden elde edilen ses gösterimlerinin ve dikkat mekanizmalarına sahip NeXt-TDNN (NeXt Time Delay Neural Network) mimarisi ile sınıflandırılmasına dayalı sağlam bir tespit çerçevesi önermektedir. Önerilen yaklaşımda, girdi konuşma sinyallerinden ses özellikleri, HuBERT-Large ve WavLM-Large olarak isimlendirilen ön eğitimli SSL modelleri kullanılarak çıkarılmaktadır. Çıkarılan iki ayrı özellik bilgisinin birleştirilmesi amacı ile Uzman Karışımı (Mixture of Experts, MoE) mekanizması kullanılmıştır. MoE, farklı uzman ağlarının çıktılarının dinamik olarak ağırlıklandırılmasıyla birden fazla özelliğin daha etkili ve esnek bir şekilde birleştirilmesini sağlar. Bu yaklaşım, modelin hesaplama karmaşıklığını optimize ederken kanal ve zamansal boyutlarda daha ayrıntılı ve güvenilir bir gösterim öğrenimine imkân tanımaktadır. MoE tabanlı füzyon, özellikle heterojen ve yüksek boyutlu ses özelliklerini birleştirmede uzmanlaşmış alt modeller aracılığıyla derin sahte örnekleri ayırt etmede üstün performans sergilemektedir. Ayrıca MoE mimarisi, modelin genelleme yeteneğini artırarak farklı saldırı türlerine karşı daha sağlam ve ölçeklenebilir bir derin sahte ses tespit sistemi ortaya çıkarmaktadır. Bu bağlamda, MoE tabanlı özellik füzyonuna sahip önerilen tespit yöntemi, derin sahte ses tespitinde önemli avantajlar sunmaktadır. Deneysel sonuçlara göre önerilen yaklaşım ASVspoof 2019 LA veri kümesinde %0,34 EER ve 0,01 min t-DCF değerlerine ulaşmıştır.

Deepfake audio refers to speech that has been synthetically generated or altered through advanced neural network techniques, often with a degree of realism sufficient to convincingly imitate genuine human voices. As these manipulations become increasingly indistinguishable from authentic recordings, they present significant threats to security, undermine media integrity, and challenge the reliability of digital authentication systems. In this study, a robust detection framework is proposed, which leverages the power of self-supervised learning (SSL) and attention-based modeling to identify deepfake audio samples. Specifically, audio features are extracted from input speech using two powerful pretrained SSL models: HuBERT-Large and WavLM-Large. These distinctive features are then integrated through an Attentional Multi-Feature Fusion (AMFF) mechanism. The fused features are subsequently classified using a NeXt-Time Delay Neural Network (NeXt-TDNN) model enhanced with Efficient Channel Attention (ECA), enabling improved temporal and channel-wise feature discrimination. Experimental results show that the proposed method achieves a 0.42% EER and 0.01 min-tDCF on ASVspoof 2019 LA, a 1.01% EER on ASVspoof 2019 PA, and a pooled 6.56% EER on the cross-channel ASVspoof 2021 LA evaluation, thus highlighting its effectiveness for real-world deepfake detection scenarios. Furthermore, on the ASVspoof 5 dataset, the method achieved a 7.23% EER, outperforming strong baselines and demonstrating strong generalization ability. Moreover, the macro-averaged F1-score of 96.01% and balanced accuracy of 99.06% were obtained on the ASVspoof 2019 LA dataset, while the proposed method achieved a macro-averaged F1-score of 98.70% and balanced accuracy of 98.90% on the ASVspoof 2019 PA dataset. On the highly challenging ASVspoof 5 dataset, which includes crowdsourced, non-studio-quality audio, and novel adversarial attacks, the proposed method achieves macro-averaged metrics exceeding 92%, with a precision of 92.07%, a recall of 92.63%, an F1-measure of 92.35%, and a balanced accuracy of 92.63%.

The rapid advancement of digital environments has led to an increase in multimedia forgery, particularly in the realm of audio, which leads to significant threats to the reliability of digital evidence. This paper presents a novel method to detect audio copy-move forgery, a type of manipulation where segments of an audio file are duplicated and moved to different locations within the same file. The proposed method consists of two main stages. In the first stage, the frequency range containing the forged segments is identified by extracting high-resolution spectrograms from the audio and matching keypoints within the spectrogram images to detect duplicated segments. The frequency range of the sub-spectrogram images with the highest match density is considered the location of the repeated segments. A swarm-based optimization approach is used to adaptively determine this dense region. The audio is then bandpass filtered using the identified frequency range, and the second stage begins. In this stage, the filtered audio is represented as a graph using the proposed spiral pattern information extraction method. Graph coloring algorithms are applied to convert the graph into a visual representation, which is then input into a specially designed Convolutional Neural Network (CNN) model for classification. The trained model was evaluated using five different datasets, demonstrating that this approach generally outperforms existing methods in terms of detection accuracy. It provides a robust solution for verifying audio authenticity, even under various additional attack scenarios, and shows potential for generalization.

Automatic Speaker Verification systems are prone to various voice spoofing attacks such as replays, voice conversion (VC) and speech synthesis. Malicious users can perform specific tasks such as controlling the bank account of someone, taking control of a smart home, and similar activities, by using advanced audio manipulation techniques. This study presents a Multi-Pattern Features Based Spoofing detection mechanism using the modified ResNet architecture and OC-Softmax layer to detect various LA and PA spoofing attacks. We proposed a novel Pattern features-based audio spoof detection scheme. The scheme contains three branches to evaluate different patterns on a Mel spectrogram of the audio file. This is the first work for the audio spoofing detection task using three different pattern representations of Mel spectrogram with modified ResNet architecture and OC-Softmax layer. Through the proposed network, we can extract pattern images from the Mel spectrogram and gives each of them into modified ResNet architecture. At the last step of each network, we use OC-Softmax to obtain a score for the current pattern image and then the method fuses three scores to label the input audio. Experimental results on the ASVspoof 2019 and ASVspoof 2021 corpuses show that the proposed method achieves better results in the challenges of ASVspoof 2019 than state-of-the-art methods. For example, in the logical access scenario, our model improves the tandem decision cost function and equal error rate scores by 0.06% and 2.14%, respectively, compared with state-of-the-art methods. Additionally, experiments illustrate that the proposed fused decision improved the performance of the system.

Gerçek kişilerin konuşmalarını içeren dijital ses dosyalarının kullanılması ile gerçekleştirilen derin sahte ses manipülasyonu, sesi taklit edilecek kişinin sesini klonlayarak kişinin söylemediği bir şeyi söylemiş gibi içerikte ses dosyalarını oluşturan bir sahtecilik türüdür. Konuşmacının kimliğini doğrulamak için güvenlik adımı olarak kabul edilen Otomatik Konuşmacı Doğrulama Sistemlerinin derin sahte ses sahtecilikleri saldırılarına karşı savunmasızlığı söz konusudur. Ayrıca mahkemelerde karar merciini etkileyecek delil olarak sunulan ses dosyalarının orijinal olup olmadığı kontrolü önemli bir ihtiyaç haline gelmiştir. Bu tür sahteciliklerin uzman sistemler tarafından tespit edilebilmesi günümüz çağı için oldukça önem arz etmektedir. Bu sahtecilik türündeki saldırıların tespit edilebilmesi için literatürde çeşitli yöntemler önerilmiştir. Literatürdeki çalışmalarda performans değerlendirmesinde kullanılan ücretsiz erişimli veri setleri de mevcut olup sonuç kıyaslamasında kullanabilmesi mümkündür. Bu çalışmada literatürdeki yöntemler ve verisetleri incelenmiş, yöntemlerin bu verisetleri üzerindeki performans değerlendirmeleri, avantaj ve dezavantajları vurgulanmıştır.

Ses sahteciliği alanında yaygın olarak kullanılan Kopyala-yapıştır sahteciliği, ses içerisindeki bir sesli kısmın kopyalanıp yine aynı ses içerisinde farklı bir konuma yapıştırılmasıyla oluşturulmaktadır. Gelişmiş ses yazılımları sayesinde bu tür bir sahteciliğin uygulanması oldukça kolay olmakla birlikte, saldırganlar tarafından sahtecilik izlerini gizlemek için sahte sese uygulanan son işlem operasyonları bu sahtecilik tespitini oldukça zor hale getirmektedir. Bu amaçla, sesten elde edilen yüksek çözünürlüklü spektrogram görüntüsü üzerinde anahtar nokta tabanlı bir yaklaşım kullanarak, ses kopyala-yapıştır sahteciliğini tespit eden son işlem operasyonlarına dayanıklı yeni bir yöntem önerilmiştir. Önerilen yöntemde öncelikle ses dosyasından yüksek çözünürlüklü spektrogram görüntüsü elde edilir. Ardından, Akaze yöntemi ile spektrogram görüntüsünden anahtar noktalar ve özellik tanımlayıcıları çıkarılmaktadır. Çıkartılan özellikler g2NN algoritması ile eşleştirilmektedir. Spektrogram üzerindeki noktaların ses üzerine iz düşürülmesiyle de ses kopyala-yapıştır sahteciliği tespit edilmektedir. Elde edilen sonuçlar önerilen yöntemin son işlem operasyonları uygulansa dahi literatürdeki çalışmalarla kıyaslandığında çok yüksek doğrulukla ses kopyala-yapıştır sahteciliği tespitini yaptığını göstermektedir.

Automatic Speaker Verification systems are prone to various voice spoofing attacks such as replays, voice conversion (VC), speech synthesis, etc. Malicious users can perform specific tasks such as controlling the bank account of someone, taking the control of a smart home, and similar activities by using advanced audio manipulation techniques. This study presents a Multi-Pattern Features Based Spoofing detection mechanism using the modified ResNet architecture and OC-Softmax layer to detect various LA and PA spoofing attacks. We proposed a novel Pattern Features-based audio spoof detection scheme. The scheme contains three branches to evaluate different patterns on a Mel spectrogram of the audio file. This is the first work for the audio spoofing detection task using three different pattern representations of Mel spectrogram with modified ResNet architecture and OC-Softmax layer. Through the proposed network, we can extract pattern images from the Mel spectrogram and gives each of them into modified ResNet architecture. At the last step of each network, we use OC-Softmax to obtain a score for the current pattern image and then the method fuses three scores to label the input audio. Experimental results on the ASVspoof 2019 corpus show that the proposed method achieves better results in the challenges of ASVspoof 2019 than state-of-the-art methods. For example, in the logical access scenario, our model improves the tandem decision cost function and equal error rate scores by 0.06% and 2.14%, respectively, compared with state-of-the-art methods. Additionally, experiments illustrate that the proposed fused decision improved the performance of the system.