Translation not up to date
Modelin, bilgi isteminize yanıt olarak çıkışı nasıl oluşturduğunu denetlemek için parametreleri belirtebilirsiniz. Bu konuda, Bilgi İstemi Laboratuvarında denetleyebileceğiniz parametreler listelenir.
Kod çözme
Kod Çözme , bir modelin oluşturulan çıkıştaki belirteçleri seçmek için kullandığı süreçtir.
Açgözlü kod çözme , kod çözme işleminin her adımında en yüksek olasılığa sahip simgeyi seçer. Açgözlü kod çözme, modelin ön eğitim verilerinde ve daha az yaratıcı veya olgu tabanlı kullanım senaryolarında arzu edilen bilgi istemi metninizde en yaygın dille yakından eşleşen çıktı üretir. Açgözlü kod çözmenin zayıflığı, üretilen çıkışta tekrarlayan döngülere neden olabileceğidir.
Örnekleme kod çözme , açgözlü kod çözmekten daha rasgele, daha değişkendir. Değişkenlik ve rastgelelik, yaratıcı kullanım senaryolarında arzu edilir. Bununla birlikte, daha fazla değişkenlik ile anlamsız çıktı riski ortaya çıkar. Örnekleme kod çözme, her adımda bir olasılık dağılımından belirteçleri seçer:
- Sıcaklık örneklemesi , yüksek ya da düşük olasılıklı bir sonraki simgenin seçilmesini ifade eder.
- Üst-k örnekleme , en yüksek olasılıklara sahip belirli bir simge sayısı (k) arasından rasgele bir sonraki simgenin seçilmesini ifade eder.
- Top-p sampling , kümülatif olasılığın belirtilen bir değeri (p) aştığı en küçük simge kümesinden rasgele bir sonraki belirteç seçilmesini ifade eder. (Üst-p örneklemesi çekirdek örneklemesiolarak da adlandırılır.)
Hem Üst K hem de Üst P için değer belirtebilirsiniz. Her iki parametre de kullanıldığında, İlk K uygulanır. Üst P hesaplandığında, Üst K tarafından ayarlanan kesmenin altındaki tüm belirteçlerin sıfır olasılığına sahip olduğu kabul edilir.
| Değiştirge | Desteklenen değerler | Varsayılan | Kullanım |
|---|---|---|---|
| Sıcaklık | 0.0 (açgözlü kod çözme ile aynı) aralığındaki kayan noktalı sayı- 2.0 (yaratıcılık üst sınırı) | 0.7 | Daha yüksek değerler daha fazla değişkenliğe yol açar |
| Üst K | 1-100 aralığındaki tamsayı | 50 | Daha yüksek değerler daha fazla değişkenliğe yol açar |
| Üst P | 0.0 - 1.0 aralığındaki kayan noktalı sayı | 1.0 | Daha yüksek değerler daha fazla değişkenliğe yol açar |
Rasgele çekirdek
Aynı bilgi istemini bir modele, örnekleme kodunu çözerek birden çok kez gönderdiğinizde, genellikle her defasında farklı oluşturulan metinler geri dönersiniz. Bu değişkenlik, kod çözme işleminde yer alan kasıtlı sözde rastgeleliğin sonucudur. Rastgele tohum , sözde rasgele davranışı oluşturmak için kullanılan sayıyı ifade eder.
- Desteklenen değerler: 1-4 294 967 295 aralığındaki tamsayı
- Varsayılan: Yürürlükteki sunucu sistem saatine dayalı olarak oluşturulur
- Kullan: Yinelenebilir sonuçlar üretmek için her defasında aynı rasgele çekirdek değeri ayarlayın.
Tekrarlama cezası
Seçtiğiniz bilgi istemi, model ve parametreler için sürekli olarak yinelenen metin içerdiğini fark ederseniz, yineleme cezasıeklemeyi deneyebilirsiniz.
- Desteklenen değerler: 1.0 (ceza yok)- 2.0 (ceza üst sınırı)
- Varsayılan: 1.0
- Kullanım: Ceza ne kadar yüksekse, sonucun yinelenen metin içerme olasılığı da o kadar düşüktür.
Ölçütler durduruluyor
Model tarafından oluşturulan çıkışın uzunluğunu iki şekilde etkileyebilirsiniz: Durdurma sıraları belirtme ve simge sayısı alt sınırı ve simge sayısı üst sınırı. Model, çıkışın tamamlandığını, bir durdurma sırası oluşturulduğunu ya da simge üst sınırına ulaşıldığını düşündükten sonra metin oluşturma durur.
Dizileri durdur
Durdurma sırası , bir ya da daha çok karakterden oluşan bir dizedir. Durdurma sıraları belirtirseniz, belirttiğiniz durdurma sıralarından biri üretilen çıkışta görüntülendikten sonra model çıkış üretmeyi otomatik olarak durdurur. Örneğin, bir modelin tek bir tümceden sonra çıkış üretmeyi durdurmasının bir yolu, bir dönemi durdurma sırası olarak belirtmektir. Bu şekilde, model ilk cümleyi oluşturduktan ve bir dönemle bitirdikten sonra, çıktı oluşturma durur. Etkin durdurma sıralarının seçilmesi, kullanım durumunuza ve beklediğiniz üretilen çıkışın niteliğine bağlıdır.
Desteklenen değerler: 0-6 dizgi, her biri 40 simgeden uzun değil
Varsayılan: Durdurma sırası yok
Kullan:
- Durdurma sıraları, simge sayısı alt sınırı parametresinde belirtilen simge sayısı oluşturuluncaya kadar yoksayılır.
- Bilgi isteminizde giriş-çıkış çifti örnekleri varsa, örneklerdeki örnek çıkışın durdurma sıralarından biriyle bittiğinden emin olun.
Yeni simge sayısı alt sınırı ve üst sınırı
Modeldeki çıkışı çok kısa ya da çok uzun buluyorsanız, oluşturulan simge sayısını denetleyen parametreleri ayarlamayı deneyin:
- Jeton alt sınırı parametresi, oluşturulan çıkıştaki simge sayısı alt sınırını denetler
- Maks simge parametresi, oluşturulan çıkıştaki simge sayısı üst sınırını denetler
Çıkışta izin verilen simge sayısı üst sınırı modele göre değişir. Daha fazla bilgi için Desteklenen temel modelleriiçindeki Maksimum belirteç bilgilerine bakın.
Varsayılanlar:
- Simge sayısı alt sınırı: 0
- Simge sayısı üst sınırı: 20
Kullan:
- Simge sayısı alt sınırı, simge sayısı üst sınırından küçük ya da ona eşit olmalıdır.
- IBM watsonx.ai ürününde temel modelleri kullanma maliyeti, kısmen oluşturulan belirteç sayısıyla ilgili olan kullanıma dayalı olduğundan, kullanım senaryounuz için çalışan Max tokens için en düşük değerin belirlenmesi maliyet tasarrufu sağlayan bir stratejidir.
- Lite planları için, Maks tokens parametresiyle belirtilen değere ulaşılmasa bile, dinamik, modele özgü, ortama dayalı bir üst sınıra ulaşıldıktan sonra çıktı oluşturulmayı durdurur. Üst sınırı belirlemek için Desteklenen temel modeller içindeki modele ilişkin Simge sınırları bölümüne bakın ya da temel modeller Python kitaplığının
get_detailsişlevini çağırın.
Üst konu: Bilgi İstemi Laboratuvarı