Bilgi grafiğini tamamlamak için Transformer nasıl kullanılır?

Bilgi grafiği tamamlama (KGC), yapay zeka ve bilgi temsili alanında, bir bilgi grafiğindeki eksik bilgileri çıkarmayı amaçlayan çok önemli bir görevdir. Güçlü bir sinir ağı mimarisi olan Transformer, çeşitli doğal dil işleme görevlerinde büyük potansiyel göstermiştir ve aynı zamanda KGC'ye de etkili bir şekilde uygulanabilir. Bir Transformer tedarikçisi olarak, bu blogda bilgi grafiğini tamamlamak için Transformer'ın nasıl kullanılacağını paylaşacağım.

SZ 11-M Series Three Phase Oil Immersed Distribution Transformer SC(ZB)9 Series 10kV Class Dry-type Transformer

Bilgi Grafiğinin Tamamlanmasını Anlamak

Bilgi grafiği, bilginin varlıklar ve bunlar arasındaki ilişkiler biçiminde yapılandırılmış bir temsilidir ve tipik olarak bir üçlü küme (özne, yüklem, nesne) olarak modellenir. Örneğin (Albert Einstein, geliştirilmiş, Genel Görelilik) bir bilgi grafiğinde üçlüdür. Bilgi grafiği tamamlama, bu üçlülerdeki eksik varlıkları veya ilişkileri tahmin etmeyi içerir. Bu görev, soru cevap sistemleri, öneri sistemleri ve anlamsal arama gibi birçok uygulama için önemlidir.

Neden KGC için Trafo Kullanmalı?

"İhtiyacınız Olan Tek Şey Dikkat" makalesinde tanıtılan Transformer mimarisinin, onu bilgi grafiği tamamlamaya uygun kılan çeşitli avantajları vardır:

Kişisel dikkat mekanizması: Transformer'daki kişisel dikkat mekanizması, giriş sırasındaki uzun vadeli bağımlılıkları yakalamasına olanak tanır. Bilgi grafiği tamamlama bağlamında, farklı varlıklar ve yüklemler arasındaki ilişkileri üçlü olarak etkili bir şekilde modelleyebilir.
Paralel işleme: Tekrarlayan sinir ağlarından (RNN'ler) farklı olarak Transformer, tüm giriş sırasını paralel olarak işleyebilir, bu da eğitim ve çıkarım sürecini önemli ölçüde hızlandırır.
Öğrenimi aktar: BERT gibi önceden eğitilmiş Transformer modelleri, çeşitli doğal dil işleme görevlerinde mükemmel performans göstermiştir. Bu önceden eğitilmiş modellere, büyük ölçekli metin derlemlerinden öğrenilen bilgilerden yararlanılarak bilgi grafiğinin tamamlanması için ince ayar yapılabilir.

KGC için Transformer Kullanma Adımları

1. Veri Hazırlama

İlk adım, verileri bilgi grafiğinin tamamlanması için hazırlamaktır. Veriler genellikle eğitim, doğrulama ve test kümelerine bölünebilen bir üçlü diziden oluşur. Üçlülerin Transformer'ın işleyebileceği bir formatta kodlanması gerekir. Yaygın bir yaklaşım, varlıkları ve yüklemleri yerleştirmelere dönüştürmektir. Örneğin, önceden eğitilmiş kelime yerleştirmelerini kullanabilir veya varlık ve yüklem yerleştirmelerini bilgi grafiğinin kendisinden öğrenebiliriz.

2. Model Tasarımı

Bilgi grafiğinin tamamlanması için Transformer tabanlı bir model tasarlayabiliriz. Bunun bir yolu, giriş üçlülerini işlemek için bir Transformer kodlayıcı kullanmaktır. Transformer kodlayıcının girişi, bir dizi varlık ve yüklem yerleştirmesi olabilir. Kodlayıcının çıktısı, eksik varlığı veya yüklemi üçlü olarak tahmin etmek için kullanılabilir.

PyTorch'ta KGC için Transformer tabanlı modelin basit bir örneği:

torch.nn'yi torch.nn'den nn olarak içe aktar TransformerEncoder, TransformerEncoderLayer sınıfı TransformerKGC(nn.Module): def __init__(self, d_model, nhead, num_layers, dim_feedforward): super(TransformerKGC, self).__init__() encoder_layer = TransformerEncoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward) self.transformer_encoder = TransformerEncoder(encoder_layer, num_layers=num_layers) self.fc = nn.Linear(d_model, num_entities) def forward(self, src): çıktı = self.transformer_encoder(src) çıktı = self.fc(çıkış[:, 0, :]) dönüş çıkışı

Bu örnekte,d_modeligömmelerin boyutudur,nheaddikkat kafalarının sayısıdır,num_layersTransformer kodlayıcı katmanlarının sayısıdır vedim_feedforwardTransformer kodlayıcı katmanındaki ileri beslemeli ağın boyutudur.

3. Modeli Eğitmek

Model tasarlandıktan sonra onu eğitim verileriyle eğitebiliriz. Eğitimin amacı tipik olarak çapraz entropi kaybı gibi kayıp fonksiyonunu en aza indirmektir. Eğitim sırasında modelin performansını artırmak için toplu normalleştirme, bırakma ve öğrenme oranı planlama gibi teknikleri kullanabiliriz.

torch.optim'i optim model olarak içe aktarın = TransformerKGC(d_model=128, nhead=4, num_layers=2, dim_feedforward=512) kriter = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=0,001) for epoch in range(num_epochs): Running_loss = 0,0 i için, numaralandırmadaki veriler(train_loader, 0): girdiler, etiketler = veri optimizer.zero_grad() çıktılar = model(girişler) kayıp = kriter(çıkışlar, etiketler) lost.backward() optimizer.step() Running_loss += lost.item() print(f'Epoch {epoch + 1}, Kayıp: {running_loss / len(train_loader)}')

4. Değerlendirme

Eğitimden sonra modeli doğrulama ve test setleri üzerinde değerlendirmemiz gerekiyor. Bilgi grafiğinin tamamlanmasına yönelik ortak değerlendirme ölçümleri arasında Ortalama Sıra (MR), Ortalama Karşılıklı Sıra (MRR) ve Hits@k yer alır. Bu ölçümler, modelin tüm olası adaylar arasında doğru varlıkları veya tahminleri ne kadar iyi sıralayabildiğini ölçer.

sklearn.metrics'ten torch.no_grad() ile ortalama_rank_score, ortalama_reciprocal_rank_score model.eval()'ı içe aktarın: all_labels = [] all_preds = [] test_loader'daki veriler için: girişler, etiketler = veri çıkışları = model(inputs) all_labels.extend(labels.tolist()) all_preds.extend(outputs.tolist()) mr = ortalama_rank_score(all_labels, all_preds) mrr = ortalama_reciprocal_rank_score(all_labels, all_preds) print(f'Ortalama Sıra: {mr}, Ortalama Karşılıklı Sıra: {mrr}')

KGC için Trafo Ürünlerimiz

Bir Transformatör tedarikçisi olarak, bilgi grafiğinin tamamlanması için kullanılabilecek geniş bir yelpazede yüksek kaliteli Transformatör ürünleri sunuyoruz. Örneğin, bizimSC(ZB)9 Serisi 10kV Sınıfı Kuru Tip TrafoTransformer modellerinin eğitimi ve çalıştırılması için gereken bilgi işlem altyapısı için istikrarlı güç kaynağı sağlar.SZ 11 - M Serisi Üç Fazlı Yağlı Dağıtım Transformatörüaynı zamanda bilgi grafiği tamamlama görevlerinde yer alan büyük ölçekli veri merkezleri için de güvenilir bir seçimdir. Ek olarak, bizim35kV Çift Sargılı Yük Düzenleyici Yağlı Güç TrafosuYüksek yoğunluklu bilgi işlem süreci sırasında güç sisteminin verimli çalışmasını sağlayabilir.

Çözüm

Bilgi grafiğini tamamlamak için Transformer'ı kullanmak, KGC'nin performansını artırmak için Transformer mimarisinin gücünden yararlanabilecek umut verici bir yaklaşımdır. Veri hazırlama, model tasarımı, eğitim ve değerlendirme adımlarını takip ederek bilgi grafiğinin tamamlanması için Transformer tabanlı etkili bir model oluşturabiliriz. Bir Transformatör tedarikçisi olarak, bilgi grafiği tamamlamada daha iyi sonuçlar elde etmenize yardımcı olmak için yüksek kaliteli ürünler ve teknik destek sağlamaya kendimizi adadık. Ürünlerimizle ilgileniyorsanız veya KGC için Transformatörün kullanımıyla ilgili herhangi bir sorunuz varsa, satın alma ve daha fazla görüşme için lütfen bizimle iletişime geçmekten çekinmeyin.

Referanslar

Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). İhtiyacınız olan tek şey dikkat. Sinirsel bilgi işleme sistemlerindeki gelişmeler.
Devlin, J., Chang, MW, Lee, K. ve Toutanova, K. (2018). BERT: Dilin anlaşılması için derin çift yönlü transformatörlerin ön eğitimi. arXiv ön baskı arXiv:1810.04805.