프로젝트의 노트북 편집기에 대한 컴퓨팅 리소스 옵션
프로젝트의 노트북 편집기에서 노트북을 실행할 때 런타임 환경에 대한 계산 자원을 정의하는 환경 템플리트를 선택합니다. 환경 템플리트는 하드웨어 구성의 유형, 크기 및 성능과 소프트웨어 구성을 지정합니다. 노트북의 경우 환경 템플리트에는 Python 및 R의 지원되는 언어가 포함되어 있습니다.
- 환경의 유형
- 런타임 릴리스
- CPU 환경 템플리트
- Spark 환경 템플리트
- GPU 환경 템플리트
- Watson Machine Learning을 사용하여 모델을 스코어링하기 위한 기본 하드웨어 스펙
- 노트북 환경의 데이터 파일
- 서비스별 컴퓨팅 사용
- 런타임 범위
- 환경 변경
환경의 유형
실행 중인 노트북에서 다음 유형의 환경을 사용할 수 있습니다.
- Anaconda CPU 환경 표준 워크로드의 경우.
- Spark 환경 플랫폼 또는 기타 서비스에서 제공하는 병렬 처리의 경우.
- GPU 환경 계산 중심 머신 러닝 모델의 경우.
노트북에 대한 대부분의 환경 유형에는 기본 환경 템플리트가 있으므로 빠르게 시작할 수 있습니다. 그렇지 않으면 사용자 정의 환경 템플리트를 작성할 수 있습니다.
환경 유형 | 기본 템플리트 | 사용자 정의 템플리트 |
---|---|---|
Anaconda CPU | ✓ | ✓ |
Spark 클러스터 | ✓ | ✓ |
GPU | ✓ | ✓ |
런타임 릴리스
노트북의 기본 환경은 런타임 릴리스의 제휴로 추가되며 Runtime
앞에 릴리스 연도 및 릴리스 버전이 붙습니다.
런타임 릴리스는 주요 데이터 과학 라이브러리 및 언어 버전의 목록을 지정합니다 (예: Python 3.10). 런타임 릴리스의 모든 환경은 릴리스에 정의된 라이브러리 버전을 기반으로 빌드되므로 모든 데이터 과학 애플리케이션에서 데이터 과학 라이브러리를 일관적으로 사용할 수 있습니다.
하나 24.1 런타임 릴리스 및 하나 23.1 다양한 버전의 런타임 릴리스가 존재합니다. Python 그리고 R.
런타임 릴리스가 지원되는 동안 IBM 은 보안 요구사항을 해결하기 위해 라이브러리 버전을 업데이트합니다. 이러한 업데이트는 라이브러리의 <Major>.<Minor>
버전을 변경하지 않고 <Patch>
버전만 변경합니다. 그러면 노트북 자산이 계속 실행됩니다.
런타임에 포함된 라이브러리 패키지
Watson Studio 런타임에 포함된 인기 있는 데이터 사이언스 라이브러리 패키지의 특정 버전에 대해서는 다음 표를 참조하십시오.
라이브러리 | Python 3.10 의 런타임 23.1 | 실행 시간 24.1 ~에 Python 3.11 |
---|---|---|
Keras | 2.12 | 2.14.0 |
Lale | 0.7.x | 0.8.0 |
LightGBM | 3.3.5 | 4.2.0 |
NumPy | 1.23.5 | 1.26.4 |
ONNX | 1.13 | 1.15.0 |
ONNX 런타임 | 1.14 | 1.14.0 |
OpenCV | 4.7 | 4.8.1 |
pandas | 1.5 | 2.1.4 |
PyArrow | 11.0 | 15.0.1 |
PyTorch | 2.0 | 2.1.2 |
scikit-learn | 1.1 | 1.3.0 |
SciPy | 1.10 | 1.11.4 |
SnapML | 1.13 | 1.14.6 |
TensorFlow | 2.12 | 2.14.1 |
XGBoost | 1.6 | 2.0.3 |
라이브러리 | R 4.2 의 런타임 23.1 | 실행 시간 24.1 R에 4.3 |
---|---|---|
화살표 | 11.0 | 15.0 |
자동차 | 3.0 | 3.1 |
캐럿 | 6.0 | 6.0 |
Catools | 1.18 | 1.18 |
예측 | 8.16 | 8.21 |
ggplot2 | 3.3 | 3.4 |
글넷 | 4.1 | 4.1 |
흐미스트 | 4.7 | 5.1 |
Keras | 2.11 | 2.13 |
lme4 | 1.1 | 1.1 |
mvtnorm | 1.1 | 1.2 |
판문서 | 2.12 | 2.12 |
정신과 | 2.2 | 2.3 |
비단뱀속 | 3.10 | 3.11 |
무작위 포리스트 | 4.7 | 4.7 |
세화하다 | 1.25 | 1.34 |
샌드위치 | 3.0 | 3.0 |
scikit-learn | 1.1 | 1.3 |
공간 | 7.3 | 7.3 |
Tensorflow | 2.12 | 2.15 |
티디르 | 1.2 | 1.3 |
XGBoost | 1.6 | 1.7 |
표에 나열된 라이브러리 외에도 런타임에는 다른 많은 유용한 라이브러리가 포함되어 있습니다. 전체 목록을 보려면 프로젝트에서 관리 탭을 선택한 후 템플리트를 클릭하고 환경 탭을 선택한 후 나열된 환경 중 하나를 클릭하십시오.
CPU 환경 템플리트
노트북에 대해 다음 기본 CPU 환경 템플리트를 선택할 수 있습니다. 기본 환경 템플리트는 프로젝트의 관리 탭에 있는 환경 페이지의 템플리트 아래에 나열됩니다.
DO
은(는) 다른 기본 Python 환경에서 라이브러리의 Community Edition에서 지원하는 복잡도를 초과하는 의사결정 최적화 문제점을 모델 및 해결하기 위해 환경 템플리트에 CPLEX 및 DOcplex 라이브러리가 포함되어 있음을 표시합니다. Decision Optimization 노트북을 참조하십시오.
NLP
환경 템플리트에 비정형 데이터에서 실행할 수 있는 언어 처리 태스크에 대한 선행 학습된 모델이 있는 Watson 자연어 처리 라이브러리가 포함되어 있음을 표시합니다. Watson 자연어 처리 라이브러리 사용을 참조하십시오. 이 기본 환경은 선행 학습된 모델을 실행하기에 충분히 커야 합니다.
이름 | 하드웨어 구성 | 시간당 CUH 비율 |
---|---|---|
실행 시간 24.1 ~에 Python 3.10 XXS | vCPU 1개 및 4GB RAM | 0.5 |
실행 시간 24.1 ~에 Python 3.10 XS | vCPU 2개 및 8GB RAM | 1 |
실행 시간 24.1 ~에 Python 3.10 에스 | vCPU 4개 및 16GB RAM | 2 |
Python 3.10 XXS의 런타임 23.1 | vCPU 1개 및 4GB RAM | 0.5 |
Python 3.10 XS의 런타임 23.1 | vCPU 2개 및 8GB RAM | 1 |
Python 3.10 S의 런타임 23.1 | vCPU 4개 및 16GB RAM | 2 |
NLP + DO 런타임 24.1 ~에 Python 3.11 XS | vCPU 2개 및 8GB RAM | 6 |
Python 3.10 XS의 NLP+DO 런타임 23.1 | vCPU 2개 및 8GB RAM | 6 |
실행 시간 24.1 R에 4.3 에스 | vCPU 4개 및 16GB RAM | 2 |
R 4.2 S의 런타임 23.1 | vCPU 4개 및 16GB RAM | 2 |
더 이상 필요하지 않은 모든 활성 CPU 런타임을 중지하여 추가 용량 단위 시간 (CUH) 을 사용하지 않도록 하십시오. CPU 유휴 제한시간을 참조하십시오.
노트북 및 CPU 환경
CPU 런타임 환경의 편집 모드에서 노트북을 열면 사용자가 선택한 노트북 언어 및 환경 런타임에 대해 정확히 하나의 대화식 커널이 Jupyter 커널에 연결됩니다. 런타임은 노트북이 아닌 단일 사용자별로 시작됩니다. 이는 동일한 프로젝트에서 동일한 환경 템플리트를 사용하여 두 번째 노트북을 여는 경우 두 번째 커널이 동일한 런타임에서 시작됨을 의미합니다. 런타임 자원은 런타임에서 시작하는 Jupyter 커널에 의해 공유됩니다. 자세한 정보는 런타임 범위를 참조하십시오.
필요한 경우 커널을 다시 시작하거나 다시 연결할 수 있습니다. 커널을 다시 시작하면 커널이 중지된 후 동일한 세션에서 다시 시작되지만 모든 실행 결과는 유실됩니다. 연결이 유실된 후 커널에 다시 연결하면 노트북은 동일한 커널 세션에 연결되고, 저장되었던 이전의 모든 실행 결과를 사용할 수 있습니다.
Spark 환경 템플리트
노트북에 대해 다음 기본 Spark 환경 템플리트를 선택할 수 있습니다. 기본 환경 템플리트는 프로젝트의 관리 탭에 있는 환경 페이지의 템플리트 아래에 나열됩니다.
이름 | 하드웨어 구성 | 시간당 CUH 비율 |
---|---|---|
Default Spark 3.3 & R 4.2 |
2 실행자: 1 vCPU 및 4GB RAM, 드라이버: 1 vCPU 및 4GB RAM |
1 |
Default Spark 3.4 & R 4.2 |
2 실행자: 1 vCPU 및 4GB RAM, 드라이버: 1 vCPU 및 4GB RAM |
1 |
더 이상 필요하지 않은 모든 활성 Spark 런타임을 중지하여 추가 용량 단위 시간 (CUH) 을 사용하지 않도록 하십시오. Spark 유휴 제한시간을 참조하십시오.
큰 Spark 환경
Watson Studio Professional 플랜이 있는 경우 대규모 Spark 환경에 대한 사용자 정의 환경 템플리트를 작성할 수 있습니다.
Professional 플랜 사용자는 최대 35개의 실행 프로그램을 가질 수 있으며 드라이버 및 실행 프로그램 모두에 대해 다음 옵션 중에서 선택할 수 있습니다.
하드웨어 구성 |
---|
vCPU 1개 및 4GB RAM |
vCPU 2개 및 8GB RAM |
vCPU 3개 및 12GB RAM |
시간당 CUH 비율은 추가되는 모든 vCPU에 대해 0.5씩 증가합니다. 예를 들어, 1x Driver: 3vCPU with 12GB of RAM
및 4x Executors: 2vCPU with 8GB of RAM
은(는) (3 + (4 * 2)) = 11 vCPUs
및 5.5 CUH
에 해당합니다.
노트북 및 Spark 환경
둘 이상의 노트북에 대해 동일한 Spark 환경 템플리트를 선택할 수 있습니다. 환경과 연관된 모든 노트북에는 자체 전용 Spark 클러스터가 있으며 리소스가 공유되지 않습니다.
Spark 환경을 시작하면, Jupyter Enterprise Gateway, Spark Master 및 Spark 작업자 디먼에 추가 리소스가 필요합니다. 이러한 추가 리소스 양은 드라이버당 vCPU 1개, 2GB의 RAM, 각 실행자당 1GB의 RAM입니다. Spark 환경의 하드웨어 크기를 선택할 때 이 추가 리소스를 고려해야 합니다. 예를 들어, 노트북을 작성하고 Default Spark 3.3 & Python 3.10
을(를) 선택하는 경우 Spark 클러스터는 3 vCPU 및 12GB RAM을 소비하지만 추가 자원에는 1 vCPU 및 4GB RAM이 필요하므로 노트북에 남아 있는 자원은 2 vCPU 및 8GB RAM입니다.
Spark 클러스터의 파일 시스템
실행자와 Spark 클러스터의 드라이버 또는 커널에서 파일을 공유하려면 공유 파일 시스템(/home/spark/shared
)을 사용할 수 있습니다.
사용자 정의 라이브러리를 사용하려는 경우 /home/spark/shared/user-libs/
에 저장할 수 있습니다. /home/spark/shared/user-libs/
아래에는 Python 및 R 또는 Java 런타임에 사용할 수 있도록 사전 구성된 네 개의 서브디렉토리가 있습니다.
다음 표는 사용자 정의 라이브러리를 추가할 수 있는 사전 구성된 하위 디렉토리를 나열합니다.
디렉토리 | 라이브러리 유형 |
---|---|
/home/spark/shared/user-libs/python3/ |
Python 3 라이브러리 |
/home/spark/shared/user-libs/R/ |
R 패키지 |
/home/spark/shared/user-libs/spark2/ |
Java JAR 파일 |
Spark 드라이버와 실행자에서 라이브러리를 공유하려면 다음을 수행하십시오.
- 사용자 정의 라이브러리나 JAR 파일을 해당 사전 구성된 라이브러리에 다운로드하십시오.
- 커널 > 커널 다시 시작을 클릭하여 노트북 메뉴에서 커널을 다시 시작하십시오. 이렇게 하면 사용자 정의 라이브러리나 JAR 파일을 Spark에 로드합니다.
이 라이브러리가 유지되지 않는다는 점에 유의하십시오. 환경 런타임을 중지하고 나중에 다시 시작하면 라이브러리를 다시 로드하지 않아도 됩니다.
GPU 환경 템플리트
노트북에 대해 다음 GPU 환경 템플리트를 선택할 수 있습니다. 환경 템플리트는 프로젝트의 관리 탭에 있는 환경 페이지의 템플리트 아래에 나열됩니다.
GPU 환경 템플리트 이름은 가속기 전원을 표시합니다. GPU 환경 템플리트에는 구조화되지 않은 데이터에서 실행할 수 있는 언어 처리 태스크에 대한 사전 훈련된 모델이 있는 Watson Natural Language Processing 라이브러리가 포함되어 있습니다. Watson 자연어 처리 라이브러리 사용을 참조하십시오.
~ 환경 템플리트에 Watson Studio Professional 플랜이 필요함을 표시합니다. 오퍼링 계획을 참조하십시오.
이름 | 하드웨어 구성 | 시간당 CUH 비율 |
---|---|---|
GPU V100 실행 시간 24.1 ~에 Python 3.11 ~ | 40 vCPU +172GB RAM+1 NVIDIA TESLA V100 (GPU 1개) | 68 |
GPU 2xV100 실행 시간 24.1 ~에 Python 3.11 ~ | 80 vCPU 및 344 GB RAM+2 NVIDIA TESLA V100 (2 GPU) | 136 |
GPU V100 Runtime 23.1 on Python 3.10 ~ | 40 vCPU +172GB RAM+1 NVIDIA TESLA V100 (GPU 1개) | 68 |
Python 3.10 ~ 의 GPU 2xV100 Runtime 23.1 | 80 vCPU 및 344 GB RAM+2 NVIDIA TESLA V100 (2 GPU) | 136 |
더 이상 필요하지 않은 모든 활성 GPU 런타임을 중지하여 추가 용량 단위 시간 (CUH) 을 사용하지 않도록 하십시오. GPU 유휴 제한시간을 참조하십시오.
노트북 및 GPU 환경
노트북에 대한 GPU 환경은 댈러스 IBM Cloud 서비스 지역에서만 사용할 수 있습니다.
프로젝트에서 둘 이상의 노트북에 대해 동일한 Python 및 GPU 환경 템플리트를 선택할 수 있습니다. 이 경우, 모든 노트북 커널은 동일한 런타임 인스턴스에서 실행되고 리소스는 공유됩니다. 런타임 자원을 공유하지 않으려면 동일한 스펙을 사용하여 여러 사용자 정의 환경 템플리트를 작성하고 각 노트북을 자체 템플리트와 연관시키십시오.
Watson Machine Learning을 사용하여 모델을 스코어링하기 위한 기본 하드웨어 스펙
노트북 내에서 Watson Machine Learning API를 호출하는 경우 Watson Machine Learning 서비스의 컴퓨팅 리소스 및 노트북 커널에 대한 컴퓨팅 리소스를 사용합니다.
Watson Machine Learning에 연결하고 배치를 작성할 때 다음 하드웨어 스펙 중 하나를 선택할 수 있습니다.
용량 크기 | 하드웨어 구성 | 시간당 CUH 비율 |
---|---|---|
초소형 | 1x4 = vCPU 1개 및 4GB RAM | 0.5 |
소형 | 2x8 = vCPU 2개와 8GB RAM | 1 |
중간 | 4x16 = vCPU 4개와 16GB RAM | 2 |
대형 | 8x32 = vCPU 8개와 32GB RAM | 4 |
노트북 환경의 데이터 파일
대형 데이터 세트에 대해 작업 중인 경우, 프로젝트와 연관된 IBM Cloud Object Storage에서 소형 청크에 데이터 세트를 저장하고 노트북에서 청크 단위로 데이터를 처리해야 합니다. 또는 Spark 환경에서 노트북을 실행해야 합니다.
각 런타임의 파일 시스템이 비지속적이고, 여러 환경에서 공유될 수 없음을 기억하십시오. Watson Studio에서 파일을
유지하려면 IBM Cloud Object Storage를 사용해야 합니다. 프로젝트의 노트북에서 IBM Cloud Object Storage를 사용하는 가장 쉬운 방법은 Python에 대한 project-lib
패키지 또는 R에 대한 project-lib
패키지를 활용하는 것입니다.
서비스별 컴퓨팅 사용
노트북 런타임은 기본 또는 사용자 정의 환경을 실행하는 동안 Watson Studio에서 CUH로 컴퓨팅 리소스를 이용합니다. 프로젝트의 관리 탭에 있는 리소스 사용 페이지에서 프로젝트의 Watson Studio CUH 이용을 모니터할 수 있습니다.
노트북이 Watson Machine Learning을 호출하여 모델을 스코어링하는 경우 Watson Machine Learning 서비스의 CUH를 사용할 수도 있습니다. 프로젝트의 관리 탭에 있는 자원 사용 페이지에서 Watson Machine Learning 서비스에 대한 총 월별 CUH 소비량을 모니터할 수 있습니다.
노트북에서 Watson Machine Learning의 CUH 소비량 추적
노트북에서 사용된 용량 단위 시간을 계산하려면 노트북에서 다음 코드를 실행하십시오.
CP = client.service_instance.get_details()
CUH = CUH["entity"]["usage"]["capacity_units"]["current"]/(3600*1000)
print(CUH)
예를 들어,
'capacity_units': {'current': 19773430}
19773430/(3600*1000)
5.49 CUH 리턴
세부사항은 IBM Watson Machine Learning API 문서의 서비스 인스턴스 섹션을 참조하십시오.
런타임 범위
환경 런타임은 항상 프로젝트 내의 환경 템플리트 및 사용자로 범위가 지정됩니다. 프로젝트에 있는 다른 사용자가 동일한 환경에 대해 작업하는 경우 각 사용자는 별도의 런타임을 얻게 됩니다.
스케줄된 작업으로 노트북의 한 버전을 실행하도록 선택하면 스케줄된 작업 각각은 항상 전용 런타임에서 시작합니다. 작업이 완료되면 런타임이 중지됩니다.
노트북의 환경 변경
여러 가지 이유로 환경을 전환할 수 있습니다. 예를 들어, 다음을 수행할 수 있습니다.
- 더 많은 처리 능력 또는 더 많은 RAM이 있는 환경 선택
- Spark가 없는 환경 사용에서 Spark 환경으로 변경
노트북이 잠금 해제된 경우에만 노트북의 환경을 변경할 수 있습니다. 환경을 변경할 수 있습니다.
편집 모드로 열리는 노트북에서는 다음을 수행할 수 있습니다.
- 사용자의 노트북 변경사항을 저장하십시오.
- 다음을 클릭하세요. 노트북 정보 상
노트북 도구 모음에서 다음을 클릭합니다. 환경.
- 목록에서 계산 능력 및 메모리 용량이 있는 다른 템플리트를 선택하십시오.
- 환경 변경을 선택하십시오. 활성 런타임이 중지되고 새로 선택한 환경이 시작됩니다.
프로젝트의 자산 페이지에서 다음을 수행하십시오.
- 노트북 섹션에서 노트북을 선택하고 조치 > 환경 변경을 클릭한 후 다른 환경을 선택하십시오. 환경을 변경하기 전에 커널이 중지되어야 합니다. 다음 번에 편집을 위해 노트북을 열면 이 새 런타임 환경이 인스턴스화됩니다.
작업 템플리트를 편집하여 노트북 작업에서 작업을 수행하십시오. 작업 설정 편집을 참조하십시오.
다음 단계
자세한 정보
상위 주제: 도구에 대한 자원 계산