0 / 0
Go back to the English version of the documentation
Watson Machine Learning planuje i oblicza wykorzystanie
Last updated: 09 lis 2023
Watson Machine Learning planuje i oblicza wykorzystanie

Zasoby Watson Machine Learning , mierzone w jednostkach mocy obliczeniowej (CUH), są używane podczas trenowania modeli AutoAI , uruchamiania modeli uczenia maszynowego lub oceniania wdrożonych modeli. Zasoby Watson Machine Learning , mierzone w jednostkach zasobów (RU), są używane podczas uruchamiania usług wnioskowania z modelami bazowymi. W tej sekcji opisano różne plany, które można wybrać, jakie usługi są uwzględniane i w jaki sposób obliczane są zasoby obliczeniowe.

Watson Machine Learning w produkcie Cloud Pak for Data as a Service i watsonx

Ważne:

Plan Watson Machine Learning zawiera szczegółowe informacje na temat pliku watsonx.ai. Watsonx.ai to studio zintegrowanych narzędzi do pracy z generatywną sztuczną inteligencją, oparte na modelach podstawowych i modelach uczenia maszynowego. W przypadku korzystania z usługi Cloud Pak for Data as a Serviceszczegóły dotyczące pracy z modelami bazowymi i ustalania liczników za pomocą jednostek zasobów nie mają zastosowania do planu użytkownika.

Jeśli włączono zarówno opcję watsonx , jak i opcję Cloud Pak for Data as a Service, można przełączać się między dwiema platformami.

Wybór planu Watson Machine Learning

Wyświetl porównanie planów i rozważ szczegóły, aby wybrać plan, który odpowiada Twoim potrzebom.

Plany Watson Machine Learning

Plany Watson Machine Learning określają sposób naliczania opłat za modele, które są trenowane i wdrażane za pomocą usługi Watson Machine Learning , a także za pytania, które są używane z modelami bazowymi. Wybierz plan w zależności od potrzeb:

  • Lite to bezpłatny plan o ograniczonej mocy obliczeniowej. Wybierz ten plan, jeśli przeprowadzasz ocenę Watson Machine Learning i chcesz wypróbować dostępne możliwości.
  • Essentials to plan płatności wg faktycznego zużycia, który zapewnia elastyczność niezbędną do budowania, wdrażania i zarządzania modelami zgodnie z potrzebami.
  • Standard to plan przedsiębiorstwa o dużej mocy obliczeniowej, który został zaprojektowany z myślą o obsłudze wszystkich potrzeb organizacji w zakresie uczenia maszynowego. Jednostkowe godziny mocy obliczeniowej są udostępniane według stawki ryczałtowej, podczas gdy jednostkowe wykorzystanie zasobów jest opłacane w miarę możliwości.

Szczegółowe informacje o planie i cenach można znaleźć na stronie IBM Cloud Machine Learning.

Jednostki mocy obliczeniowej w godzinach (Capacity Unit Hours-CUH), tokeny i jednostki zasobów (Resource Units-RU)

Do celów pomiarowych i rozliczeniowych modele uczenia maszynowego i wdrożenia lub modele podstawowe są mierzone za pomocą następujących jednostek:

  • Godziny jednostki mocy obliczeniowej (CUH) mierzą wykorzystanie zasobów obliczeniowych na jednostkę godziny na potrzeby wykorzystania i fakturowania. Opcja CUH mierzy wszystkie działania Watson Machine Learning z wyjątkiem wnioskowania w modelu Foundation Model.

  • Jednostki zasobów (Resource Units-RU) mierzenia poziomu wykorzystania przez model podstawowy wnioskowania. Wnioskowanie to proces wywoływania modelu fundamentalnego w celu wygenerowania danych wyjściowych w odpowiedzi na pytanie. Każdy RU jest równy 1000 tokenów. Token jest podstawową jednostką tekstu (zwykle 4 znaki lub 0.75 słowa) używaną w danych wejściowych lub wyjściowych dla pytania modelu bazowego. Wybierz plan, który odpowiada wymaganiom dotyczącym użycia.

  • Limit szybkości monitoruje i ogranicza liczbę żądań wnioskowania na sekundę przetwarzanych dla modeli podstawowych dla danej instancji planu Watson Machine Learning . Limit stawki jest wyższy w przypadku płatnych planów niż w przypadku bezpłatnego planu Lite.

Szczegóły planu Watson Machine Learning

Plan Lite udostępnia wystarczającą ilość wolnych zasobów do oceny możliwości pliku watsonx.ai. Następnie można wybrać plan płatny, który odpowiada potrzebom organizacji, na podstawie funkcji planu i mocy obliczeniowej.

Tabela 1. Szczegóły planu
Funkcje planu Lite Kluczowe funkcje Standardowy produkt
Użycie Machine Learning w CUH 20 CUH miesięcznie Fakturowanie CUH na podstawie stawki CUH pomnożonej przez liczbę godzin zużycia 2500 CUH miesięcznie
Model podstawowy wnioskowania w tokenach lub jednostkach zasobów (RU) 50 000 tokenów na miesiąc Zafakturowane za użycie (1000 tokenów = 1 RU) Zafakturowane za użycie (1000 tokenów = 1 RU)
Maksymalna liczba równoległych zadań wsadowych Decision Optimization na wdrożenie 2 5 100
Liczba zachowanych zadań wdrażania na obszar 100 1000 3000
Czas wdrażania do stanu bezczynności 1 dzień 3 dni 3 dni
Obsługa HIPAA ND ND Tylko region Dallas
Musi być włączony na koncie IBM Cloud
Limit częstotliwości na identyfikator planu 2 żądania wnioskowania na sekundę 8 żądań wnioskowania na sekundę 8 żądań wnioskowania na sekundę

Uwaga: W przypadku aktualizacji z wersji Essentials do Standard nie można wrócić do planu Essentials. Należy utworzyć nowy plan.

Dla wszystkich planów:

  • Podstawowe jednostki zasobów (Resource Units-RU) modelu wnioskowania mogą być używane do wnioskowania w laboratorium Podpowiedź, w tym do wprowadzania i wyprowadzania danych. Oznacza to, że zachęta wprowadzana jako dane wejściowe jest liczona oprócz wygenerowanych danych wyjściowych. (tylkowatsonx )
  • Model podstawowy jest dostępny tylko dla centrów przetwarzania danych w Dallas i Frankfurcie. (tylkowatsonx )
  • Częstotliwość RU jest określana przez trzy klasy modeli. Cena za jednostkę RU różni się w zależności od klasy modelu. (tylkowatsonx )
  • Wykorzystanie mocy obliczeniowej na godzinę (Capacity-unit-hour-CUH) na potrzeby szkolenia jest oparte na narzędziach szkoleniowych, specyfikacji sprzętu i środowisku wykonawczym.
  • Wykorzystanie mocy obliczeniowej na godzinę (Capacity-unit-unit-hour-CUH) dla wdrożenia jest oparte na typie wdrożenia, specyfikacji sprzętu i specyfikacji oprogramowania.
  • System Watson Machine Learning ogranicza liczbę zadań wdrażania przechowywanych dla każdego obszaru wdrażania. Jeśli limit zostanie przekroczony, nie można tworzyć nowych zadań wdrażania do czasu usunięcia istniejących zadań lub zaktualizowania planu. Domyślnie metadane zadań będą automatycznie usuwane po 30 dniach. Tę wartość można nadpisać podczas tworzenia zadania. Patrz sekcja Zarządzanie zadaniami.
  • Czas do bezczynności odnosi się do czasu, w którym wdrożenie jest aktywne między żądaniami oceniania. Jeśli wdrożenie nie otrzyma żądań oceny przez określony czas, będzie traktowane jako nieaktywne lub bezczynne, a fakturowanie zostanie zatrzymane dla wszystkich środowisk innych niż SPSS.
  • Plan dopuszcza co najmniej określony limit szybkości, a rzeczywisty limit szybkości może być wyższy niż określony limit. Na przykład plan Lite może przetwarzać więcej niż 2 żądania na sekundę bez generowania błędu. Jeśli masz płatny plan i uważasz, że osiągasz limit częstotliwości błędów, skontaktuj się z działem wsparcia IBM , aby uzyskać pomoc.

Szczegółowe informacje o planie i cenach można znaleźć na stronie IBM Cloud Machine Learning.

Mierzenie jednostek zasobów (watsonx)

Fakturowanie jednostek zasobów jest oparte na stawce klasy fakturowania dla modelu fundacji pomnożonej przez liczbę jednostek zasobów (RU). Jednostka zasobów jest równa 1000 tokenów z wejścia i wyjścia wnioskowania modelu fundamentalnego. Trzy podstawowe klasy rozliczeniowe modelu mają różne stawki RU.

operacyjny Początek Klasa fakturowania Cena za RU
granite-13b-instruct-v1 IBM Klasa 3 $0.0050 na jednostkę RU
granite-13b-chat-v1 IBM Klasa 3 $0.0050 na jednostkę RU
flan-t5-xxl-11b Open source Klasa 2 $0.0018 na jednostkę RU
flan-ul2-20b Open source Klasa 3 $0.0050 na jednostkę RU
gpt-neox-20b Open source Klasa 3 $0.0050 na jednostkę RU
llama-2-13b-chat Open source Klasa 2 $0.0018 na jednostkę RU
llama-2-70b-chat Open source Klasa 3 $0.0050 na jednostkę RU
mpt-7b-instruct2 Open source Klasa 1 0.0006 na jednostkę RU
mt0-xxl-13b Open source Klasa 2 $0.0018 na jednostkę RU
starcoder-15.5b Open source Klasa 2 $0.0018 na jednostkę RU

Pomiar liczby jednostek mocy obliczeniowej w godzinach (watsonx i Watson Machine Learning)

Na wykorzystanie CUH mają wpływ obliczeniowe zasoby sprzętowe zastosowane dla zadania, a także inne czynniki, takie jak specyfikacja oprogramowania i typ modelu.

Współczynniki wykorzystania CUH według typu zasobu

Tabela 3. Współczynniki wykorzystania CUH według typu zasobu
Typ zasobu Typ wielkości Jednostki mocy obliczeniowej na godzinę
Eksperyment AutoAI 8 vCPU i 32 GB pamięci RAM 20
Szkolenie Decision Optimization 2 vCPU i 8 GB RAM
4 vCPU i 16 GB RAM
8 vCPU i 32 GB RAM
16 vCPU i 64 GB RAM
6
7
9
13
Wdrożenia Decision Optimization 2 vCPU i 8 GB RAM
4 vCPU i 16 GB RAM
8 vCPU i 32 GB RAM
16 vCPU i 64 GB RAM
30
40
50
60
Modele Machine Learning
(uczące, oceniające lub oceniające)
1 vCPU i 4 GB RAM
2 vCPU i 8 GB RAM
4 vCPU i 16 GB RAM
8 vCPU i 32 GB RAM
16 vCPU i 64 GB RAM
0.5
1
2
4
8

Wykorzystanie CUH wg typu wdrożenia i struktury

Wykorzystanie CUH dla wdrożeń jest obliczane za pomocą następujących formuł:

Tabela 4. Wykorzystanie CUH wg typu wdrożenia i struktury
Typ wdrożenia Środowisko Obliczenie CUH
Z połączeniem AutoAI, funkcje i skrypty Python , SPSS, Scikit-Ucz się bibliotek niestandardowych, Tensorflow, RShiny deployment_active_duration * no_of_nodes * CUH_rate_for_capacity_type_framework
Z połączeniem Spark, PMML, Scikit-Learn, Pytorch, XGBoost score_duration_in_seconds * no_of_nodes * CUH_rate_for_capacity_type_framework
wsadowo wszystkie środowiska job_duration_in_seconds * no_of_nodes * CUH_rate_for_capacity_type_framework

Monitorowanie wykorzystania zasobów

Użytkownik może śledzić wykorzystanie CUH lub RU dla zasobów, których jest właścicielem lub nad którymi współpracuje w projekcie lub obszarze. Jeśli jesteś właścicielem lub administratorem konta, możesz śledzić wykorzystanie CUH lub RU dla całego konta.

Śledzenie użycia CUH lub RU w projekcie

Aby monitorować konsumpcję CUH lub RU w projekcie:

  1. Przejdź do karty Zarządzanie dla projektu.

  2. Kliknij opcję Zasoby , aby przejrzeć podsumowanie wykorzystania zasobów przez zasoby aplikacyjne w projekcie lub obszarze albo aby przejrzeć szczegóły wykorzystania zasobów przez konkretne zasoby aplikacyjne.

    Śledzenie zasobów w projekcie

Śledzenie wykorzystania CUH dla konta

Użytkownik może śledzić wykorzystanie środowiska wykonawczego dla konta na stronie Środowiska wykonawcze , jeśli jest właścicielem lub administratorem konta IBM Cloud lub właścicielem usługi Watson Machine Learning . Szczegółowe informacje na ten temat zawiera sekcja Monitorowanie zasobów.

Śledzenie wykorzystania CUH dla uczenia maszynowego w notebooku

Aby obliczyć jednostkową liczbę godzin mocy obliczeniowej w notatniku, należy użyć:

CP =  client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

Na przykład:

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

zwraca wartość 5.49 CUH

Szczegółowe informacje na ten temat zawiera sekcja Instancje usług w dokumentacji interfejsu API IBM Watson Machine Learning .

Więcej inform.

Temat nadrzędny: Watson Machine Learning

Generative AI search and answer
These answers are generated by a large language model in watsonx.ai based on content from the product documentation. Learn more