0 / 0
영어 버전 문서로 돌아가기
프로젝트의 노트북 편집기에 대한 컴퓨팅 리소스 옵션
프로젝트의 노트북 편집기에 대한 컴퓨팅 리소스 옵션

프로젝트의 노트북 편집기에 대한 컴퓨팅 리소스 옵션

프로젝트의 노트북 편집기에서 노트북을 실행할 때 런타임 환경에 대한 계산 자원을 정의하는 환경 템플리트를 선택합니다. 환경 템플리트는 하드웨어 구성의 유형, 크기 및 전원과 소프트웨어 구성을 지정합니다. 노트북의 경우 환경 템플리트에는 지원되는 Python, R 또는 Scala 언어가 포함됩니다.

환경의 유형

실행 중인 노트북에서 다음 유형의 환경을 사용할 수 있습니다.

노트북의 대부분의 환경 유형에는 기본 환경 템플리트가 있으므로 빨리 시작할 수 있습니다. 그렇지 않으면 사용자 정의 환경 템플리트를 작성할 수 있습니다.

노트북에 대한 환경 유형
환경 유형 기본 템플리트 사용자 정의 템플리트
Anaconda CPU
Spark 클러스터
GPU

런타임 릴리스

노트북의 기본 환경은 런타임 릴리스의 계열사로 추가되고 Runtime 접두부와 릴리스 연도 및 릴리스 버전이 접두부로 추가됩니다.

런타임 릴리스는 키 데이터 사이언스 라이브러리 및 언어 버전의 목록 (예: Python 3.10) 을 지정합니다. 런타임 릴리스의 모든 환경은 릴리스에 정의된 라이브러리 버전을 기반으로 빌드되므로 모든 데이터 과학 애플리케이션에서 데이터 과학 라이브러리를 일관적으로 사용할 수 있습니다.

2022년에 첫 번째 런타임 릴리스는 Python 3.9에서만 사용할 수 있으며 Runtime 22.1의 접두부입니다. 2022년두 번째 릴리스는 Python 3.10및 R 4.2에 사용할 수 있으며 Runtime 22.2가 접두부로 추가됩니다.

런타임 릴리스가 지원되는 동안, IBM 버전을 갱신하여 보안 요구사항을 처리합니다. 이러한 갱신사항은 라이브러리의 <Major>.<Minor> 버전은 변경되지 않지만 <Patch> 버전만 변경됩니다. 그러면 노트북 자산이 계속 실행됩니다.

예를 들어, 런타임 릴리스는 TensorFlow 2.9를 지원합니다. Cloud Pak for Data 4.6에서 런타임 릴리스에는 TensorFlow 2.9.0이 포함됩니다. 나중에 Cloud Pak for Data 4.6.x 릴리스에서 TensorFlow는 버전 2.9.1또는 2.9.2로 업데이트될 수 있지만 버전 2.10으로 업데이트되지 않습니다.

22.x 런타임 릴리스의 라이브러리

22.x 런타임 릴리스에는 Python 및 R에 대한 다음과 같은 유명한 데이터 사이언스 라이브러리 패키지가 포함됩니다.

Python 3.10및 3.9의 런타임 릴리스 라이브러리와 해당 버전:

테이블 1. Python 용 22.x 런타임 릴리스의 패키지 및 해당 버전
라이브러리 Python 3.10의 런타임 22.2 Python 3.9의 런타임 22.1
Dali 1.15 1.9
Horovod 0.25 0.23
Keras 2.9 2.7
Lale 0.6 0.6
LightGBM 3.3 3.3
NumPy 1.23 1.20
ONNX 1.12 1.10
ONNX 런타임 1.12 1.10
OpenCV 4.6 4.5
pandas 1.4 1.3
PyArrow 8.0 5.0
PyTorch 1.12 1.10
scikit-learn 1.1 1.0
scipy 1.8 1.7
SnapML 1.8 1.8
Tensorboard 2.9 2.7
TensorFlow 2.9 2.7
XGBoost 1.6 1.5

런타임 릴리스 22.2 (R 4.2목록 라이브러리 및 해당 버전 포함):

테이블 2. 2. R에 대한 22.2런타임 릴리스의 패키지 및 버전
라이브러리 R 4.2에 대한 런타임 22.2
화살표 8.0
car 3.0
캐럿 6.0
도구 1.18
예측 8.16
ggplot2 3.3
glmnet 4.1
hmisc 4.7
Keras 2.9
lme4 1.1
심드름하다 1.1
판문서 2.12
정신과 2.2
python 3.10
무작위림 4.7
세망하다 1.25
샌드위치 3.0
scikit-learn 1.1
공간 7.3
Tensorflow 2.9
티디르 1.2
XGBoost 1.6

Python 용 22.x 런타임 릴리스와 R에는 테이블에 나열된 라이브러리 외에도 다른 유용한 라이브러리 세트가 포함됩니다. 전체 목록을 보려면 프로젝트의 관리 탭에 있는 환경 페이지의 템플리트 아래에서 Runtime 22.2 on Python 3.10 또는 Runtime 22.2 on R 4.2 환경 템플리트를 선택하십시오.

CPU 환경 템플릿

노트북에 대해 다음 기본 CPU 환경 템플리트를 선택할 수 있습니다. 기본 환경 템플리트는 프로젝트의 관리 탭에 있는 환경 페이지의 템플리트 아래에 나열됩니다.

DO은(는) 다른 기본 Python 환경에서 라이브러리의 Community Edition에서 지원하는 복잡도를 초과하는 의사결정 최적화 문제점을 모델 및 해결하기 위해 환경 템플리트에 CPLEX 및 DOcplex 라이브러리가 포함되어 있음을 표시합니다. Decision Optimization 노트북을 참조하십시오.

NLP 환경 템플리트에 비정형 데이터에서 실행할 수 있는 언어 처리 태스크에 대한 선행 학습된 모델이 있는 Watson 자연어 처리 라이브러리가 포함되어 있음을 표시합니다. Watson 자연어 처리 라이브러리 사용을 참조하십시오. 이 기본 환경은 선행 학습된 모델을 실행하기에 충분히 커야 합니다.

~ 환경 템플리트에 Watson Studio Enterprise 계획이 필요함을 표시합니다. 오퍼링 플랜을 참조하십시오.

* 환경 템플리트가 더 이상 사용되지 않음을 표시합니다.

노트북용 기본 CPU 환경 템플리트
이름 하드웨어 구성 시간당 CUH 비율
Python 3.10 XXS의 런타임 22.2 1 vCPU 및 2GB RAM 0.5
Python 3.10 XS의 런타임 22.2 vCPU 2개 및 8GB RAM 2
Python 3.10S의 런타임 22.2 vCPU 4개 및 16GB RAM 4
Python 3.9 XXS의 런타임 22.1 1 vCPU 및 2GB RAM 0.5
Python 3.9 XS의 런타임 22.1 vCPU 2개 및 8GB RAM 2
Python 3.9 S의 런타임 22.1 vCPU 4개 및 16GB RAM 4
DO+NLP 런타임 22.2 ( Python 3.10) vCPU 2개 및 8GB RAM 6
DO+NLP 런타임 22.1 Python 3.9 vCPU 2개 및 8GB RAM 6
R 4.2 S의 런타임 22.2 vCPU 4개 및 16GB RAM 4
기본 R 3.6 S * vCPU 4개 및 16GB RAM 4
기본 R 3.6 M ~ * vCPU 16개 및 64GB RAM 8

추가 용량 단위 시간(CUH)의 사용을 방지하기 위해 더 이상 필요하지 않은 경우 모든 활성 CPU 런타임을 중지해야 합니다. CPU 유휴 제한시간을 참조하십시오.

노트북 및 CPU 환경

CPU 런타임 환경의 편집 모드에서 노트북을 열면 사용자가 선택한 노트북 언어 및 환경 런타임에 대해 정확히 하나의 대화식 커널이 Jupyter 커널에 연결됩니다. 런타임은 노트북마다가 아니라 단일 사용자별로 시작됩니다. 이는 동일한 프로젝트에서 동일한 환경 템플리트를 사용하여 두 번째 노트북을 여는 경우 두 번째 커널이 동일한 런타임에서 시작됨을 의미합니다. 런타임 자원은 런타임에서 시작하는 Jupyter 커널에 의해 공유된다. CPU에 GPU가 있으면 런타임 자원도 공유됩니다.

런타임 공유를 피하고 프로젝트의 여러 노트북에 대해 동일한 환경 템플리트를 사용하려는 경우, 동일한 스펙을 갖는 사용자 정의 환경 템플리트를 작성하고 각 노트북을 자체 템플리트와 연관시켜야 합니다.

필요한 경우 커널을 다시 시작하거나 다시 연결할 수 있습니다. 커널을 다시 시작하면 커널이 중지된 후 동일한 세션에서 다시 시작되지만 모든 실행 결과는 유실됩니다. 연결이 유실된 후 커널에 다시 연결하면 노트북은 동일한 커널 세션에 연결되고, 저장되었던 이전의 모든 실행 결과를 사용할 수 있습니다.

스파크 환경 템플릿

노트북에 대해 다음 기본 Spark 환경 템플리트를 선택할 수 있습니다. 기본 환경 템플리트는 프로젝트의 관리 탭에 있는 환경 페이지의 템플리트 아래에 나열됩니다.

* 환경에 Runtime 22.1의 라이브러리가 포함되어 있음을 나타냅니다.

~환경 템플리트가 더 이상 사용되지 않음을 표시합니다. 가능한 빨리 새 버전으로 전환하십시오.

노트북용 기본 스파크 환경 템플리트
이름 하드웨어 구성 시간당 CUH 비율
기본 스파크 3.3, Python 3.9 *
기본 스파크 3.3및 R 3.6
2 실행자: 1 vCPU 및 4GB RAM,
드라이버: 1 vCPU 및 4GB RAM
1
Default Spark 3.2 & Python 3.9 * ~
Default Spark 3.2 & R 3.6 ~
Default Spark 3.2 & Scala 2.12 ~
2 실행자: 1 vCPU 및 4GB RAM,
드라이버: 1 vCPU 및 4GB RAM
1

추가 용량 단위 시간(CUH)의 사용을 방지하기 위해 더 이상 필요하지 않은 경우 모든 활성 Spark 런타임을 중지해야 합니다. Spark 유휴 제한시간을 참조하십시오.

큰 Spark 환경

Standard 및 Enterprise 계획 사용자는 더 큰 Spark 환경을 위한 사용자 정의 환경 템플리트를 작성할 수 있습니다.

Standard 및 Enterprise 계획 사용자는 최대 35개의 실행 프로그램을 보유할 수 있으며 드라이버 및 실행 프로그램 모두에 대해 다음 옵션 중에서 선택할 수 있습니다.

하드웨어 구성
vCPU 1개 및 4GB RAM
1 vCPU 및 8GB RAM
1 vCPU 및 12GB RAM

시간당 CUH 비율은 추가되는 모든 vCPU에 대해 0.5씩 증가합니다. 예를 들어, 1x Driver: 3vCPU with 12GB of RAM4x Executors: 2vCPU with 8GB of RAM은(는) (3 + (4 * 2)) = 11 vCPUs5.5 CUH에 해당합니다.

노트북 및 Spark 환경

둘 이상의 노트북에 대해 동일한 Spark 환경 템플리트를 선택할 수 있습니다. 환경과 연관된 모든 노트북에는 자체 전용 Spark 클러스터가 있으며 리소스가 공유되지 않습니다.

Spark 환경을 시작하면, Jupyter Enterprise Gateway, Spark Master 및 Spark 작업자 디먼에 추가 리소스가 필요합니다. 이러한 추가 리소스 양은 드라이버당 vCPU 1개, 2GB의 RAM, 각 실행자당 1GB의 RAM입니다. Spark 환경의 하드웨어 크기를 선택할 때 이 추가 리소스를 고려해야 합니다. 예를 들어, 노트북을 작성하고 Default Spark 3.3 & Python 3.9을(를) 선택하는 경우 Spark 클러스터는 3 vCPU 및 12GB RAM을 소비하지만 추가 자원에는 1 vCPU 및 4GB RAM이 필요하므로 노트북에 남아 있는 자원은 2 vCPU 및 8GB RAM입니다.

Spark 클러스터의 파일 시스템

Spark 클러스터의 드라이버나 커널 및 실행자에서 파일을 공유하려면, /home/spark/shared에서 공유된 파일 시스템을 사용할 수 있습니다.

자체 사용자 정의 라이브러리를 사용하려면, /home/spark/shared/user-libs/에 저장할 수 있습니다. Python, R 및 Scala 또는 Java 런타임에 사용 가능하도록 사전 구성된 /home/spark/shared/user-libs/에 4개의 하위 디렉토리가 있습니다.

다음 표는 사용자 정의 라이브러리를 추가할 수 있는 사전 구성된 하위 디렉토리를 나열합니다.

테이블 1. 사용자 정의 라이브러리의 사전 구성된 서브디렉토리
디렉토리 라이브러리 유형
/home/spark/shared/user-libs/python3/ Python 3 라이브러리
/home/spark/shared/user-libs/R/ R 패키지
/home/spark/shared/user-libs/spark2/ Java 또는 Scala JAR 파일

Spark 드라이버와 실행자에서 라이브러리를 공유하려면 다음을 수행하십시오.

  1. 사용자 정의 라이브러리나 JAR 파일을 해당 사전 구성된 라이브러리에 다운로드하십시오.
  2. 커널 > 커널 다시 시작을 클릭하여 노트북 메뉴에서 커널을 다시 시작하십시오. 이렇게 하면 사용자 정의 라이브러리나 JAR 파일을 Spark에 로드합니다.

이 라이브러리가 유지되지 않는다는 점에 유의하십시오. 환경 런타임을 중지하고 나중에 다시 시작하면 라이브러리를 다시 로드하지 않아도 됩니다.

GPU 환경 템플릿

노트북용으로 다음과 같은 GPU 환경 템플릿을 선택할 수 있다. 환경 템플리트는 프로젝트의 관리 탭에 있는 환경 페이지의 템플리트 아래에 나열됩니다.

GPU 환경 템플릿 명칭은 가속기 전력을 나타낸다. GPU 환경 템플리트에는 구조화되지 않은 데이터에서 실행할 수 있는 언어 처리 태스크에 대한 사전 학습된 모델이 있는 Watson 처리 라이브러리가 포함됩니다. Watson 라이브러리 사용을 참조하십시오.

~ 환경 템플리트에는 Watson Studio 전문가 계획이 필요함을 표시합니다. 오퍼링 플랜을 참조하십시오.

* 환경 템플리트가 축소되어 이미 이 템플리트를 사용 중인 노트북에서만 사용할 수 있음을 표시합니다. GPU V100 템플리트를 사용하여 시작하십시오.

노트북용 기본 GPU 환경 템플릿
이름 하드웨어 구성 시간당 CUH 비율
Python 3.10 ~ 의 GPU V100 Runtime 22.2 40 vCPU+172 GB+1 NVIDIA TESLA V100 (1 GPU) 68
Python 3.9의 V100 Runtime 22.1 GPU ~ 40 vCPU+172 GB+1 NVIDIA TESLA V100 (1 GPU) 68
Python 3.9의 GPU K80 Runtime 22.1 ~ * 4 vCPU + 24 GB + 0.5 NVIDIA TESLA K80(1GPU) 6

추가 용량 단위 시간(CUH)의 사용을 방지하기 위해 더 이상 필요하지 않은 경우 모든 활성 CPU 런타임을 중지해야 합니다. GPU 유휴 제한시간을 참조하십시오.

노트북 및 GPU 환경

노트북에 대한 GPU 환경은 댈러스 IBM Cloud 서비스 지역에서만 사용할 수 있습니다.

프로젝트에서 둘 이상의 노트북에 대해 동일한 Python 및 GPU 환경 템플리트를 선택할 수 있습니다. 이 경우, 모든 노트북 커널은 동일한 런타임 인스턴스에서 실행되고 리소스는 공유됩니다. 런타임 자원을 공유하지 않으려면 동일한 스펙을 사용하여 여러 개의 사용자 정의 환경 템플리트를 작성하고 각 노트북을 자체 템플리트와 연관시키십시오.

Watson Machine Learning을 사용하여 모델을 스코어링하기 위한 기본 하드웨어 스펙

노트북 내에서 Watson Machine Learning API를 호출하는 경우 Watson Machine Learning 서비스의 컴퓨팅 리소스 및 노트북 커널에 대한 컴퓨팅 리소스를 사용합니다.

Watson Machine Learning에 연결하고 배치를 작성할 때 다음 하드웨어 스펙 중 하나를 선택할 수 있습니다.

노트북에서 Watson Machine Learning 서비스를 호출할 때 사용 가능한 하드웨어 구성
용량 크기 하드웨어 구성 시간당 CUH 비율
초소형 1x4 = vCPU 1개 및 4GB RAM 0.5
소형 2x8 = vCPU 2개와 8GB RAM 1
중간 4x16 = vCPU 4개와 16GB RAM 2
대형 8x32 = vCPU 8개와 32GB RAM 4

노트북 환경의 데이터 파일

대형 데이터 세트에 대해 작업 중인 경우, 프로젝트와 연관된 IBM Cloud Object Storage에서 소형 청크에 데이터 세트를 저장하고 노트북에서 청크 단위로 데이터를 처리해야 합니다. 또는 Spark 환경에서 노트북을 실행해야 합니다.

각 런타임의 파일 시스템이 비지속적이고, 여러 환경에서 공유될 수 없음을 기억하십시오. Watson Studio에서 파일을 유지하려면 IBM Cloud Object Storage를 사용해야 합니다. 프로젝트의 노트북에서 IBM Cloud Object Storage를 사용하는 가장 쉬운 방법은 Python에 대한 project-lib 패키지 또는 R에 대한 project-lib 패키지를 활용하는 것입니다.

서비스별 컴퓨팅 사용

노트북 런타임은 기본 또는 사용자 정의 환경을 실행하는 동안 Watson Studio에서 CUH로 계산 자원을 소비합니다. 프로젝트의 관리 탭에 있는 자원 사용 페이지에서 프로젝트의 Watson Studio CUH 이용을 모니터할 수 있습니다.

노트북이 Watson Machine Learning을 호출하여 모델을 스코어링하는 경우 Watson Machine Learning 서비스의 CUH를 사용할 수도 있습니다. 프로젝트의 관리 탭에 있는 자원 사용 페이지에서 Watson Machine Learning 서비스에 대한 월별 CUH 소비 총계를 모니터할 수 있습니다.

노트북에서 Watson Machine Learning의 CUH 소비량 추적

노트북에서 사용된 용량 단위 시간을 계산하려면 노트북에서 다음 코드를 실행하십시오.

CP =  client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)

예:

'capacity_units': {'current': 19773430}

19773430/(3600*1000)

5.49 CUH 리턴

자세한 내용은 IBM Watson Machine Learning API 문서의 서비스 인스턴스 절을 참조하십시오.

런타임 범위

환경 런타임은 항상 프로젝트 내의 사용자 및 환경 템플리트로 범위가 지정됩니다. 프로젝트에 있는 다른 사용자가 동일한 환경에 대해 작업하는 경우 각 사용자는 별도의 런타임을 얻게 됩니다.

스케줄된 작업으로 노트북의 한 버전을 실행하도록 선택하면 스케줄된 작업 각각은 항상 전용 런타임에서 시작합니다. 작업이 완료되면 런타임이 중지됩니다.

노트북의 환경 변경

여러 가지 이유로 환경을 전환할 수 있습니다. 예를 들어, 다음을 수행할 수 있습니다.

  • 더 많은 처리 능력 또는 더 많은 RAM이 있는 환경 선택
  • Spark가 없는 환경 사용에서 Spark 환경으로 변경

노트북이 잠금 해제된 경우에만 노트북의 환경을 변경할 수 있습니다. 환경을 변경할 수 있습니다.

  • 편집 모드로 열리는 노트북에서는 다음을 수행할 수 있습니다.

    1. 사용자의 노트북 변경사항을 저장하십시오.
    2. 노트북 도구 모음에서 노트북 정보 아이콘(노트북 정보 아이콘)을 클릭하고 환경을 클릭하십시오.
    3. 목록에서 계산 능력 및 메모리 용량이 있는 다른 템플리트를 선택하십시오.
    4. 환경 변경을 선택하십시오.
      활성 런타임을 중지하고 새로 선택한 환경을 시작합니다.
  • 프로젝트의 자산 페이지에서 다음을 수행하십시오.

    1. 노트북 섹션에서 노트북을 선택하고 조치 > 환경 변경을 클릭한 후 다른 환경을 선택하십시오. 환경을 변경하기 전에 커널이 중지되어야 합니다. 다음 번에 편집을 위해 노트북을 열면 이 새 런타임 환경이 인스턴스화됩니다.
  • 작업 템플리트를 편집하여 노트북 작업에서 작업을 수행하십시오. 작업 설정 편집을 참조하십시오.

다음 단계

자세히 보기

상위 주제: 도구에 대한 계산 자원 선택