Translation not up to date
Zasoby Watson Machine Learning , mierzone w jednostkach mocy obliczeniowej (CUH), są używane podczas trenowania modeli AutoAI , uruchamiania modeli uczenia maszynowego lub oceniania wdrożonych modeli. Zasoby Watson Machine Learning , mierzone w jednostkach zasobów (RU), są używane podczas uruchamiania usług wnioskowania z modelami bazowymi. W tej sekcji opisano różne plany, które można wybrać, jakie usługi są uwzględniane i w jaki sposób obliczane są zasoby obliczeniowe.
Watson Machine Learning w produkcie Cloud Pak for Data as a Service i watsonx
Plan Watson Machine Learning zawiera szczegółowe informacje na temat pliku watsonx.ai. Watsonx.ai to studio zintegrowanych narzędzi do pracy z generatywną sztuczną inteligencją, oparte na modelach podstawowych i modelach uczenia maszynowego. W przypadku korzystania z usługi Cloud Pak for Data as a Serviceszczegóły dotyczące pracy z modelami bazowymi i ustalania liczników za pomocą jednostek zasobów nie mają zastosowania do planu użytkownika.
Jeśli włączono zarówno opcję watsonx , jak i opcję Cloud Pak for Data as a Service, można przełączać się między dwiema platformami.
Wybór planu Watson Machine Learning
Wyświetl porównanie planów i rozważ szczegóły, aby wybrać plan, który odpowiada Twoim potrzebom.
- PlanyWatson Machine Learning
- Godziny jednostki mocy obliczeniowej (CUH), tokeny i jednostki zasobów (RU)
- Szczegóły planuWatson Machine Learning
- Mierzenie jednostek mocy obliczeniowej w godzinach
- Monitorowanie użycia CUH i RU
Plany Watson Machine Learning
Plany Watson Machine Learning określają sposób naliczania opłat za modele, które są trenowane i wdrażane za pomocą usługi Watson Machine Learning , a także za pytania, które są używane z modelami bazowymi. Wybierz plan w zależności od potrzeb:
- Lite to bezpłatny plan o ograniczonej mocy obliczeniowej. Wybierz ten plan, jeśli przeprowadzasz ocenę Watson Machine Learning i chcesz wypróbować dostępne możliwości.
- Essentials to plan płatności wg faktycznego zużycia, który zapewnia elastyczność niezbędną do budowania, wdrażania i zarządzania modelami zgodnie z potrzebami.
- Standard to plan przedsiębiorstwa o dużej mocy obliczeniowej, który został zaprojektowany z myślą o obsłudze wszystkich potrzeb organizacji w zakresie uczenia maszynowego. Jednostkowe godziny mocy obliczeniowej są udostępniane według stawki ryczałtowej, podczas gdy jednostkowe wykorzystanie zasobów jest opłacane w miarę możliwości.
Szczegółowe informacje o planie i cenach można znaleźć na stronie IBM Cloud Machine Learning.
Jednostki mocy obliczeniowej w godzinach (Capacity Unit Hours-CUH), tokeny i jednostki zasobów (Resource Units-RU)
Do celów pomiarowych i rozliczeniowych modele uczenia maszynowego i wdrożenia lub modele podstawowe są mierzone za pomocą następujących jednostek:
Godziny jednostki mocy obliczeniowej (CUH) mierzą wykorzystanie zasobów obliczeniowych na jednostkę godziny na potrzeby wykorzystania i fakturowania. Opcja CUH mierzy wszystkie działania Watson Machine Learning z wyjątkiem wnioskowania w modelu Foundation Model.
Jednostki zasobów (Resource Units-RU) mierzenia poziomu wykorzystania przez model podstawowy wnioskowania. Wnioskowanie to proces wywoływania modelu fundamentalnego w celu wygenerowania danych wyjściowych w odpowiedzi na pytanie. Każdy RU jest równy 1000 tokenów. Token jest podstawową jednostką tekstu (zwykle 4 znaki lub 0.75 słowa) używaną w danych wejściowych lub wyjściowych dla pytania modelu bazowego. Wybierz plan, który odpowiada wymaganiom dotyczącym użycia.
Limit szybkości monitoruje i ogranicza liczbę żądań wnioskowania na sekundę przetwarzanych dla modeli podstawowych dla danej instancji planu Watson Machine Learning . Limit stawki jest wyższy w przypadku płatnych planów niż w przypadku bezpłatnego planu Lite.
Szczegóły planu Watson Machine Learning
Plan Lite udostępnia wystarczającą ilość wolnych zasobów do oceny możliwości pliku watsonx.ai. Następnie można wybrać plan płatny, który odpowiada potrzebom organizacji, na podstawie funkcji planu i mocy obliczeniowej.
Funkcje planu | Lite | Kluczowe funkcje | Standardowy produkt |
---|---|---|---|
Użycie Machine Learning w CUH | 20 CUH miesięcznie | Fakturowanie CUH na podstawie stawki CUH pomnożonej przez liczbę godzin zużycia | 2500 CUH miesięcznie |
Model podstawowy wnioskowania w tokenach lub jednostkach zasobów (RU) | 50 000 tokenów na miesiąc | Zafakturowane za użycie (1000 tokenów = 1 RU) | Zafakturowane za użycie (1000 tokenów = 1 RU) |
Maksymalna liczba równoległych zadań wsadowych Decision Optimization na wdrożenie | 2 | 5 | 100 |
Liczba zachowanych zadań wdrażania na obszar | 100 | 1000 | 3000 |
Czas wdrażania do stanu bezczynności | 1 dzień | 3 dni | 3 dni |
Obsługa HIPAA | ND | ND | Tylko region Dallas Musi być włączony na koncie IBM Cloud |
Limit częstotliwości na identyfikator planu | 2 żądania wnioskowania na sekundę | 8 żądań wnioskowania na sekundę | 8 żądań wnioskowania na sekundę |
Dla wszystkich planów:
- Podstawowe jednostki zasobów (Resource Units-RU) modelu wnioskowania mogą być używane do wnioskowania w laboratorium Podpowiedź, w tym do wprowadzania i wyprowadzania danych. Oznacza to, że zachęta wprowadzana jako dane wejściowe jest liczona oprócz wygenerowanych danych wyjściowych. (tylkowatsonx )
- Model podstawowy jest dostępny tylko dla centrów przetwarzania danych w Dallas i Frankfurcie. (tylkowatsonx )
- Częstotliwość RU jest określana przez trzy klasy modeli. Cena za jednostkę RU różni się w zależności od klasy modelu. (tylkowatsonx )
- Wykorzystanie mocy obliczeniowej na godzinę (Capacity-unit-hour-CUH) na potrzeby szkolenia jest oparte na narzędziach szkoleniowych, specyfikacji sprzętu i środowisku wykonawczym.
- Wykorzystanie mocy obliczeniowej na godzinę (Capacity-unit-unit-hour-CUH) dla wdrożenia jest oparte na typie wdrożenia, specyfikacji sprzętu i specyfikacji oprogramowania.
- System Watson Machine Learning ogranicza liczbę zadań wdrażania przechowywanych dla każdego obszaru wdrażania. Jeśli limit zostanie przekroczony, nie można tworzyć nowych zadań wdrażania do czasu usunięcia istniejących zadań lub zaktualizowania planu. Domyślnie metadane zadań będą automatycznie usuwane po 30 dniach. Tę wartość można nadpisać podczas tworzenia zadania. Patrz sekcja Zarządzanie zadaniami.
- Czas do bezczynności odnosi się do czasu, w którym wdrożenie jest aktywne między żądaniami oceniania. Jeśli wdrożenie nie otrzyma żądań oceny przez określony czas, będzie traktowane jako nieaktywne lub bezczynne, a fakturowanie zostanie zatrzymane dla wszystkich środowisk innych niż SPSS.
- Plan dopuszcza co najmniej określony limit szybkości, a rzeczywisty limit szybkości może być wyższy niż określony limit. Na przykład plan Lite może przetwarzać więcej niż 2 żądania na sekundę bez generowania błędu. Jeśli masz płatny plan i uważasz, że osiągasz limit częstotliwości błędów, skontaktuj się z działem wsparcia IBM , aby uzyskać pomoc.
Szczegółowe informacje o planie i cenach można znaleźć na stronie IBM Cloud Machine Learning.
Mierzenie jednostek zasobów (watsonx)
Fakturowanie jednostek zasobów jest oparte na stawce klasy fakturowania dla modelu fundacji pomnożonej przez liczbę jednostek zasobów (RU). Jednostka zasobów jest równa 1000 tokenów z wejścia i wyjścia wnioskowania modelu fundamentalnego. Trzy podstawowe klasy rozliczeniowe modelu mają różne stawki RU.
operacyjny | Początek | Klasa fakturowania | Cena za RU |
---|---|---|---|
granite-13b-instruct-v1 | IBM | Klasa 3 | $0.0050 na jednostkę RU |
granite-13b-chat-v1 | IBM | Klasa 3 | $0.0050 na jednostkę RU |
flan-t5-xxl-11b | Open source | Klasa 2 | $0.0018 na jednostkę RU |
flan-ul2-20b | Open source | Klasa 3 | $0.0050 na jednostkę RU |
gpt-neox-20b | Open source | Klasa 3 | $0.0050 na jednostkę RU |
llama-2-13b-chat | Open source | Klasa 2 | $0.0018 na jednostkę RU |
llama-2-70b-chat | Open source | Klasa 3 | $0.0050 na jednostkę RU |
mpt-7b-instruct2 | Open source | Klasa 1 | 0.0006 na jednostkę RU |
mt0-xxl-13b | Open source | Klasa 2 | $0.0018 na jednostkę RU |
starcoder-15.5b | Open source | Klasa 2 | $0.0018 na jednostkę RU |
Pomiar liczby jednostek mocy obliczeniowej w godzinach (watsonx i Watson Machine Learning)
Na wykorzystanie CUH mają wpływ obliczeniowe zasoby sprzętowe zastosowane dla zadania, a także inne czynniki, takie jak specyfikacja oprogramowania i typ modelu.
Współczynniki wykorzystania CUH według typu zasobu
Typ zasobu | Typ wielkości | Jednostki mocy obliczeniowej na godzinę |
---|---|---|
Eksperyment AutoAI | 8 vCPU i 32 GB pamięci RAM | 20 |
Szkolenie Decision Optimization | 2 vCPU i 8 GB RAM 4 vCPU i 16 GB RAM 8 vCPU i 32 GB RAM 16 vCPU i 64 GB RAM |
6 7 9 13 |
Wdrożenia Decision Optimization | 2 vCPU i 8 GB RAM 4 vCPU i 16 GB RAM 8 vCPU i 32 GB RAM 16 vCPU i 64 GB RAM |
30 40 50 60 |
Modele Machine Learning (uczące, oceniające lub oceniające) |
1 vCPU i 4 GB RAM 2 vCPU i 8 GB RAM 4 vCPU i 16 GB RAM 8 vCPU i 32 GB RAM 16 vCPU i 64 GB RAM |
0.5 1 2 4 8 |
Wykorzystanie CUH wg typu wdrożenia i struktury
Wykorzystanie CUH dla wdrożeń jest obliczane za pomocą następujących formuł:
Typ wdrożenia | Środowisko | Obliczenie CUH |
---|---|---|
Z połączeniem | AutoAI, funkcje i skrypty Python , SPSS, Scikit-Ucz się bibliotek niestandardowych, Tensorflow, RShiny | deployment_active_duration * no_of_nodes * CUH_rate_for_capacity_type_framework |
Z połączeniem | Spark, PMML, Scikit-Learn, Pytorch, XGBoost | score_duration_in_seconds * no_of_nodes * CUH_rate_for_capacity_type_framework |
wsadowo | wszystkie środowiska | job_duration_in_seconds * no_of_nodes * CUH_rate_for_capacity_type_framework |
Monitorowanie wykorzystania zasobów
Użytkownik może śledzić wykorzystanie CUH lub RU dla zasobów, których jest właścicielem lub nad którymi współpracuje w projekcie lub obszarze. Jeśli jesteś właścicielem lub administratorem konta, możesz śledzić wykorzystanie CUH lub RU dla całego konta.
Śledzenie użycia CUH lub RU w projekcie
Aby monitorować konsumpcję CUH lub RU w projekcie:
Przejdź do karty Zarządzanie dla projektu.
Kliknij opcję Zasoby , aby przejrzeć podsumowanie wykorzystania zasobów przez zasoby aplikacyjne w projekcie lub obszarze albo aby przejrzeć szczegóły wykorzystania zasobów przez konkretne zasoby aplikacyjne.
Śledzenie wykorzystania CUH dla konta
Użytkownik może śledzić wykorzystanie środowiska wykonawczego dla konta na stronie Środowiska wykonawcze , jeśli jest właścicielem lub administratorem konta IBM Cloud lub właścicielem usługi Watson Machine Learning . Szczegółowe informacje na ten temat zawiera sekcja Monitorowanie zasobów.
Śledzenie wykorzystania CUH dla uczenia maszynowego w notebooku
Aby obliczyć jednostkową liczbę godzin mocy obliczeniowej w notatniku, należy użyć:
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
Na przykład:
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
zwraca wartość 5.49 CUH
Szczegółowe informacje na ten temat zawiera sekcja Instancje usług w dokumentacji interfejsu API IBM Watson Machine Learning .
Więcej inform.
Temat nadrzędny: Watson Machine Learning