Translation not up to date
Watson Machine Learning plánuje a počítá využití
Při trénování modelů AutoAI , spouštění modelů strojového učení nebo hodnocení nasazených modelů používáte prostředky Watson Machine Learning , které jsou měřeny v hodinách kapacity (CUH). Prostředky Watson Machine Learning , měřené v jednotkách prostředků (RU), používáte při spouštění odvozovacích služeb s modely základů. Toto téma popisuje různé plány, které si můžete vybrat, jaké služby jsou zahrnuty a jak se vypočítávají výpočetní prostředky.
Watson Machine Learning v produktu Cloud Pak for Data as a Service a watsonx
Plán Watson Machine Learning obsahuje podrobnosti pro watsonx.ai. Watsonx.ai je studio integrovaných nástrojů pro práci s generativní AI, založené na základových modelech a modelech strojového učení. Pokud používáte produkt Cloud Pak for Data as a Service, pak se na váš plán nevztahují podrobnosti pro práci s modely základů a odvozování výzev k zadání měření pomocí jednotek prostředků.
Máte-li povoleno jak pro watsonx , tak pro Cloud Pak for Data as a Service, můžete přepínat mezi těmito dvěma platformami.
Výběr plánu Watson Machine Learning
Zobrazte porovnání plánů a zvažte podrobnosti pro výběr plánu, který vyhovuje vašim potřebám.
- Watson Machine Learning
- Hodiny jednotek kapacity (CUH), tokeny a jednotky prostředků (RU)
- Watson Machine Learning podrobnosti plánu
- Měření jednotek kapacity v hodinách
- Monitorování využití CUH a RU
Plány Watson Machine Learning
Plány Watson Machine Learning řídí způsob účtování za modely, které trénujete a nasazujete s produktem Watson Machine Learning , a za výzvy, které používáte s modely základů. Vyberte si plán podle svých potřeb:
- Lite je volný plán s omezenou kapacitou. Tento plán vyberte, pokud vyhodnocujete Watson Machine Learning a chcete vyzkoušet funkce.
- Essentials je průběžný plán, který vám poskytuje flexibilitu při sestavování, implementaci a správě modelů tak, aby odpovídaly vašim potřebám.
- Standardní je podnikový plán s vysokou kapacitou, který je navržen tak, aby podporoval všechny potřeby organizace v oblasti strojového učení. Jednotkové hodiny kapacity jsou poskytovány s paušální sazbou, zatímco spotřeba jednotek prostředků je placená podle toho, jak jdete.
Podrobnosti o plánu a cenách viz IBM Cloud Machine Learning.
Hodiny kapacity (CUH), tokeny a jednotky prostředků (RU)
Pro účely měření a fakturace se modely strojového učení a implementace nebo základní modely měří s těmito jednotkami:
Hodiny jednotek kapacity (CUH) měří výpočet spotřeby prostředků za hodinu pro účely využití a účtování. Funkce CUH měří veškerou aktivitu Watson Machine Learning s výjimkou odvozování modelu Foundation Model.
Jednotky prostředků (RU) měří spotřebu odvozování základního modelu. Odvozování je proces volání základního modelu pro generování výstupu v reakci na výzvu. Každý ŽP se rovná 1 000 tokenů. Token je základní textová jednotka (obvykle 4 znaky nebo 0.75 slova) použitá ve vstupu nebo výstupu pro výzvu k zadání základního modelu. Zvolte plán, který odpovídá vašim požadavkům na použití.
Limit četnosti monitoruje a omezuje počet požadavků na odvozování za sekundu zpracovaných pro základní modely pro danou instanci plánu Watson Machine Learning . Limit sazeb je vyšší u placených plánů než u bezplatného plánu Lite.
Podrobnosti plánu Watson Machine Learning
Plán Lite poskytuje dostatek volných prostředků pro vyhodnocení schopností watsonx.ai. Poté můžete zvolit placený plán, který odpovídá potřebám vaší organizace, na základě funkcí plánu a kapacity.
| Funkce plánu | Lite | Essentials | Standardní |
|---|---|---|---|
| Machine Learning využití v CUH | 20 CUH za měsíc | Účtování v CUH na základě sazby v CUH vynásobené hodinami spotřeby | 2500 CUH za měsíc |
| Odvozování základního modelu v tokenech nebo jednotkách prostředků (RU) | 50 000 žetonů za měsíc | Účtováno pro použití (1000 tokenů = 1 RU) | Účtováno pro použití (1000 tokenů = 1 RU) |
| Maximální počet paralelních dávkových úloh Decision Optimization na implementaci | 2 | 5 | 100 |
| Úlohy implementace uchované za prostor | 100 | 1000 | 3000 |
| Doba implementace do nečinnosti | 1 den | 3 dny | 3 dny |
| Podpora protokolu HIPAA | NEDEF | NEDEF | Pouze oblast Dallas Musí být povoleno ve vašem účtu IBM Cloud |
| Omezení četnosti na ID plánu | 2 požadavky na odvozování za sekundu | 8 požadavků na odvozování za sekundu | 8 požadavků na odvozování za sekundu |
Pro všechny plány:
- Základní model odvozování jednotek prostředků (RU) lze použít pro odvozování produktu Prompt Lab, včetně vstupu a výstupu. To znamená, že výzva, kterou zadáte pro vstup, se započítává kromě generovaného výstupu. (pouzewatsonx )
- Odvozování modelu nadace je k dispozici pouze pro datová centra Dallas a Frankfurt. (pouzewatsonx )
- Rychlost RU určují tři modelové třídy. Cena za ŽP se liší podle modelové třídy. (pouzewatsonx )
- Spotřeba kapacity-jednotka-hodina (CUH) pro školení je založena na trénovacím nástroji, hardwarové specifikaci a běhovém prostředí.
- Spotřeba přenosové rychlosti CUH (Capacity-unit-hour) pro nasazení je založena na typu nasazení, specifikaci hardwaru a specifikaci softwaru.
- Watson Machine Learning umisťuje limity na počet úloh nasazení uchovaných pro každý jednotlivý prostor nasazení. Pokud překročíte limit, nemůžete vytvářet nové úlohy nasazení, dokud neodstraníte existující úlohy nebo neprovedete upgrade plánu. Standardně budou metadata úloh automaticky odstraněna po 30 dnech. Tuto hodnotu můžete přepsat při vytváření úlohy. Viz Správa úloh.
- Doba nečinnosti odkazuje na dobu, po kterou se má zvážit aktivní nasazení mezi požadavky na přidělení skóre. Pokud implementace neobdrží požadavky na přidělení skóre pro danou dobu trvání, je považována za neaktivní nebo nečinnou a účtování se zastaví pro všechny jiné rámce než SPSS.
- Plán umožňuje alespoň stanovený limit sazby a skutečný limit sazby může být vyšší než uvedený limit. Například plán Lite může zpracovat více než 2 požadavky za sekundu bez zadání chyby. Pokud máte placený plán a domníváte se, že jste dosáhli chybného limitu sazeb, obraťte se na podporu IBM se žádostí o pomoc.
Podrobnosti o plánu a cenách viz IBM Cloud Machine Learning.
Měření jednotek prostředků (watsonx)
Účtování jednotek prostředků je založeno na sazbě účtovací třídy pro základní model vynásobené počtem jednotek prostředků (RU). Jednotka prostředku se rovná 1000 tokenům ze vstupu a výstupu odvozování základního modelu. Tři základní třídy účtování modelu mají různé sazby RU.
| Model | Původ | Účtovací třída | Cena za ŽP |
|---|---|---|---|
| granite-13b-instruct-v1 | IBM | Třída 3 | $0.0050 na jednotku stojanu |
| granite-13b-chat-v1 | IBM | Třída 3 | $0.0050 na jednotku stojanu |
| flan-t5-xxl-11b | otevřený zdrojový kód | Třída 2 | $0.0018 na ŽP |
| flan-ul2-20b | otevřený zdrojový kód | Třída 3 | $0.0050 na jednotku stojanu |
| gpt-neox-20b | otevřený zdrojový kód | Třída 3 | $0.0050 na jednotku stojanu |
| llama-2-13b-chat | otevřený zdrojový kód | Třída 2 | $0.0018 na ŽP |
| llama-2-70b-chat | otevřený zdrojový kód | Třída 3 | $0.0050 na jednotku stojanu |
| mpt-7b-instruct2 | otevřený zdrojový kód | Třída 1 | $0.0006 na jednotku stojanu |
| mt0-xxl-13b | otevřený zdrojový kód | Třída 2 | $0.0018 na ŽP |
| starcoder-15.5b | otevřený zdrojový kód | Třída 2 | $0.0018 na ŽP |
Měření jednotkových hodin kapacity (watsonx a Watson Machine Learning)
Spotřeba CUH je ovlivněna výpočetními hardwarovými prostředky, které použijete pro úlohu, stejně jako dalšími faktory, jako je specifikace softwaru a typ modelu.
Míra spotřeby v CUH podle typu aktiva
| Typ aktiva | Typ kapacity | Počet jednotek kapacity za hodinu |
|---|---|---|
| AutoAI experiment | 8 vCPU a 32 GB RAM | 20 |
| Školení Decision Optimization | 2 vCPU a 8 GB RAM 4 vCPU a 16 GB RAM 8 vCPU a 32 GB RAM 16 vCPU a 64 GB RAM |
6 7 9 13 |
| Implementace Decision Optimization | 2 vCPU a 8 GB RAM 4 vCPU a 16 GB RAM 8 vCPU a 32 GB RAM 16 vCPU a 64 GB RAM |
30 40 50 60 |
| Machine Learning modely (trénování, vyhodnocování nebo hodnocení) |
1 vCPU a 4 GB RAM 2 vCPU a 8 GB RAM 4 vCPU a 16 GB RAM 8 vCPU a 32 GB RAM 16 vCPU a 64 GB RAM |
0.5 1 2 4 8 |
Spotřeba CUH podle typu implementace a rámce
Spotřeba CUH pro nasazení se vypočítá pomocí těchto vzorců:
| Typ implementace | Rámec | Výpočet CUH |
|---|---|---|
| Online | AutoAI, Python funkce a skripty, SPSS, Scikit-Learn custom libraries, Tensorflow, RShiny | aktivní_trvání implementace * no_of_nodes * CUH_rate_for_capacity_type_framework |
| Online | Spark, PMML, Scikit-Learn, Pytorch, XGBoost | score_duration_in_seconds * no_of_nodes * CUH_rate_for_capacity_type_framework |
| Dávka | všechny rámce | job_duration_in_seconds * no_of_nodes * CUH_rate_for_capacity_type_framework |
Monitorování využití prostředků
Můžete sledovat využití CUH nebo RU pro aktiva, která vlastníte nebo na nich spolupracujete v projektu nebo prostoru. Pokud jste vlastníkem účtu nebo administrátorem, můžete sledovat využití CUH nebo RU pro celý účet.
Sledování využití CUH nebo RU v projektu
Monitorování spotřeby CUH nebo ŽP v projektu:
Přejděte na kartu Spravovat pro projekt.
Klepnutím na volbu Prostředky přezkoumejte souhrn spotřeby prostředků pro aktiva v projektu nebo prostoru nebo přezkoumejte podrobnosti spotřeby prostředků pro konkrétní aktiva.
Sledování využití CUH pro účet
Můžete sledovat využití běhového prostředí pro účet na stránce Běhová prostředí , pokud jste vlastníkem nebo administrátorem účtu IBM Cloud nebo vlastníkem služby Watson Machine Learning . Podrobnosti viz Monitorování prostředků.
Sledování spotřeby CUH pro strojové učení v notebooku
Chcete-li vypočítat hodiny jednotky kapacity v přenosném počítači, použijte:
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
Například:
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
vrací 5.49 CUH
Podrobnosti viz část Instance služeb v dokumentaci IBM Watson Machine Learning API .
Další informace
Nadřízené téma: Watson Machine Learning