파이프라인의 노드를 구성하여 입력을 지정하고 파이프라인의 일부로 출력을 작성하십시오.
작업공간 범위 지정
기본적으로 파이프라인의 범위는 파이프라인을 포함하는 프로젝트입니다. 파이프라인에서 사용되는 자산을 찾기 위해 기본값 이외의 범위를 명시적으로 지정할 수 있습니다. 범위는 자산을 포함하는 프로젝트, 카탈로그 또는 공간입니다. 사용자 인터페이스에서 범위를 찾아볼 수 있습니다.
입력 모드 변경
노드를 구성할 때 다양한 방법으로 데이터 및 노트북을 포함하는 자원을 지정할 수 있습니다. 예를 들어, 이름 또는 ID를 직접 입력하거나 자산을 찾아보거나 파이프라인의 이전 노드에서 출력을 사용하여 필드를 채우십시오. 필드에 사용 가능한 옵션을 확인하려면 필드에 대한 입력 아이콘을 클릭하십시오. 컨텍스트에 따라 옵션에는 다음이 포함될 수 있습니다.
- 자원 선택: 자산 브라우저를 사용하여 데이터 파일과 같은 자산을 찾거나 입력 값을 직접 입력합니다.
- 파이프라인 매개변수 지정: 파이프라인 매개변수로 구성된 변수를 사용하여 값을 지정하십시오. 자세한 정보는 글로벌 오브젝트 구성을 참조하십시오.
- 다른 노드에서 선택: 파이프라인에서 이전 노드의 출력을 이 필드의 값으로 사용합니다.
- 표현식을 입력하십시오. 값을 지정하거나 자원을 식별하는 코드를 입력하십시오. 더 자세한 정보는 오케스트레이션 파이프라인의 표현식 빌더에 사용되는 기능들을 참고하세요.
- 스크립트에서: Bash 스크립트 또는 Korn 셸 스크립트의 출력을 사용하여 값을 할당합니다. 인라인 스크립트 코드의 경우, 명령어
echo <path_of_script>를 사용하여 스크립트의 출력을 입력으로 저장하십시오.
파이프라인 노드 및 매개변수
다음 유형의 파이프라인 노드를 구성하십시오.
노드 복사
노드 복사를 사용하여 파이프라인에 자산을 추가하거나 파이프라인 자산을 내보내십시오.
프로젝트 또는 공간에서 선택한 자산을 비어 있지 않은 공간으로 복사합니다. 다음 자산을 영역으로 복사할 수 있습니다.
AutoAI 실험
코드 패키지 작업
연결
Data Refinery 플로우
Data Refinery 작업
데이터 자산
DataStage 작업
배치 작업
환경
함수
작업
모델
노트북
노트북 작업
파이프라인 작업
스크립트
스크립트 작업
SPSS Modeler 작업
자산 복사
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 소스 자산 | 목록에 추가할 소스 자산을 찾아보거나 검색하십시오. 파이프라인 매개변수를 사용하거나 다른 노드의 출력을 사용하거나 자산 ID를 입력하여 자산을 지정할 수도 있습니다. |
| 대상 | 대상 영역을 찾아보거나 검색하십시오. |
| 복사 모드 | 플로우가 자산을 복사하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법을 선택하십시오. 다음 중 하나: ignore, fail, overwrite |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 출력 자산 | 복사된 자산 목록 |
자산 내보내기
범위에서 프로젝트나 배치 영역과 같이 선택된 자산을 내보냅니다. 이 오퍼레이션은 기본적으로 모든 자산을 내보냅니다. 내보낼 리소스 목록을 빌드하여 자산 선택을 제한할 수 있습니다.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 자산 | 내보낼 수 있는 모든 항목을 내보내려면 범위 를 선택하고 내보낼 수 있는 특정 항목 목록을 작성하려면 목록 을 선택하십시오. |
| 소스 프로젝트 또는 공간 | 내보낼 자산을 포함하는 프로젝트 또는 공간의 이름 |
| 내보낸 파일 | 내보내기 파일을 저장할 파일 위치 |
| 작성 모드 (선택사항) | 플로우가 자산을 작성하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법을 선택하십시오. 다음 중 하나: ignore, fail, overwrite |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 내보낸 파일 | 내보낸 파일의 경로 |
참고:
- 노트북을 포함하는 프로젝트 자산을 내보내는 경우, 노트북의 최신 버전이 내보내기 파일에 포함됩니다. 노트북 작업 실행 노드가 있는 파이프라인이 최신 버전이 아닌 다른 노트북 버전을 사용하도록 구성된 경우, 익스포트된 파이프라인은 임포트할 때 최신 버전을 사용하도록 자동으로 재구성됩니다. 이로 인해 예기치 않은 결과가 발생하거나 가져오기 후에 일부 재구성이 필요할 수 있습니다.
- 자산이 내보낸 프로젝트에 자체 포함된 경우 새 프로젝트를 가져올 때 보유됩니다. 그렇지 않으면 내보낸 자산을 가져온 후 일부 구성이 필요할 수 있습니다.
자산 가져오기
내보낸 자산을 포함하는 ZIP 파일에서 자산을 가져오십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 대상을 가져올 경로 | 가져올 자산을 찾아보거나 검색 |
| 가져올 파일 아카이브 | ZIP 파일 또는 아카이브에 대한 경로를 지정하십시오. |
참고: 파일을 가져온 후에는 가져온 자산에 대한 경로 및 참조가 다음 규칙에 따라 업데이트됩니다.
- 내보낸 프로젝트 또는 공간의 자산에 대한 참조는 가져오기 후 새 프로젝트 또는 공간에서 업데이트됩니다.
- 내보낸 프로젝트의 자산이 외부 자산 (다른 프로젝트에 포함됨) 을 참조하는 경우 외부 자산에 대한 참조는 가져오기 후에도 지속됩니다.
- 외부 자산이 더 이상 존재하지 않는 경우 매개변수는 비어 있는 값으로 대체되며 올바른 자산을 가리키도록 필드를 다시 구성해야 합니다.
노드 작성
파이프라인에서 자산을 작성하는 데 필요한 노드를 구성합니다.
AutoAI 실험 작성
AutoAI 분류 또는 회귀 실험 을 훈련시키고 모델 후보 파이프라인을 생성하려면 이 노드를 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| AutoAI 실험 이름 | 새 실험의 이름 |
| 범위 | 실험이 작성될 프로젝트 또는 공간 |
| 예측 유형 | 2진, 분류 또는 회귀 데이터의 모델 유형 |
| 예측 열(레이블) | 예측 열 이름 |
| 양의 클래스 (선택사항) | 2진 분류 실험에 대해 긍정적인 클래스 지정 |
| 훈련 데이터 분할 비율 (선택사항) | 훈련을 보류하고 파이프라인을 테스트하는 데 사용할 데이터의 백분율(float: 0.0 - 1.0) |
| 포함할 알고리즘 (선택사항) | 사용할 평가자 목록 제한(목록은 학습 유형에 따라 다름) |
| 사용할 알고리즘 | 사용할 평가자 목록 지정(목록은 학습 유형에 따라 다름) |
| 메트릭 최적화 (선택사항) | 모델 순위 지정에 사용되는 메트릭 |
| 하드웨어 스펙(선택사항) | 실험에 대한 하드웨어 스펙 지정 |
| AutoAI 실험 설명 | 실험의 설명 |
| AutoAI 실험 태그 (선택사항) | 실험을 식별하기 위한 태그 |
| 작성 모드 (선택사항) | 파이프라인이 실험을 작성하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법을 선택하십시오. 다음 중 하나: ignore, fail, overwrite |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| AutoAI 실험 | 저장된 모델의 경로 |
AutoAI 시계열 실험 작성
AutoAI 시계열 실험 을 훈련하고 모델 후보 파이프라인을 생성하려면 이 노드를 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| AutoAI 시계열 실험 이름 | 새 실험의 이름 |
| 범위 | 파이프라인이 작성될 프로젝트 또는 영역 |
| 예측 열 (레이블) | 하나 이상의 예측 열의 이름 |
| 날짜/시간 열(선택사항) | 날짜/시간 열의 이름 |
| 지원 기능의 미래 가치 활용 | 예측을 개선하기 위해 (외부) 기능을 지원하기 위한 고려사항을 사용하려면 "True" 를 선택하십시오. 예를 들어, 아이스크림 판매를 예측하기 위한 온도 기능을 포함하십시오. |
| 지원 기능 (선택사항) | 지원 기능 선택 및 목록에 추가 |
| 대체 방법 (선택적) | 데이터 세트에서 결측값을 대치하기 위한 기술 선택 |
| 대체 임계값 (선택사항) | 지정된 대체 방법으로 제공할 결측값의 백분율에 대해 더 높은 임계값을 지정하십시오. 임계값을 초과하면 실험이 실패합니다. 예를 들어, 10%의 값을 대치할 수 있도록 지정하고 데이터 세트에 15%의 값이 누락된 경우 실험이 실패합니다. |
| 채우기 유형 | 지정된 대체 방법이 널값을 채우는 방법을 지정하십시오. 모든 값의 평균과 모든 값의 중앙값을 제공하도록 선택하거나 채우기 값을 지정하십시오. |
| 값 채우기 (선택사항) | 널값을 대체할 값을 지정하도록 선택한 경우 이 필드에 값을 입력하십시오. |
| 최종 교육 데이터 세트 | 훈련 데이터만 사용하거나 훈련 데이터 및 검증용 데이터를 사용하여 최종 파이프라인을 훈련할지 여부를 선택하십시오. 훈련 데이터를 선택하면 생성된 노트북에 홀드아웃 데이터를 검색하기 위한 셀이 포함됩니다. |
| 홀드아웃 크기 (선택사항) | 훈련 데이터를 훈련 및 홀드아웃 데이터로 분할하는 경우 파이프라인 유효성 검증을 위해 홀드아웃 데이터로 예약할 훈련 데이터의 백분율을 지정하십시오. 홀드아웃 데이터는 데이터의 1/3을 초과하지 않습니다. |
| 백테스트 수 (선택사항) | 시계열 실험을 교차 검증하도록 백테스트 사용자 정의 |
| 갭 길이 (선택사항) | 각 백테스트에 대한 훈련 데이터 세트와 유효성 검증 데이터 세트 사이의 시점 수를 조정하십시오. 매개변수 값이 0이 아닌 경우 갭의 시계열 값은 실험을 훈련하거나 현재 백테스트를 평가하는 데 사용되지 않습니다. |
| Lookback창 (선택적) | 현재 시간 지점을 예측하는 데 사용되는 이전 시계열 값의 수를 표시하는 매개변수입니다. |
| 예측 창 (선택사항) | 이전 검색 창의 데이터를 기반으로 예측할 범위입니다. |
| 포함할 알고리즘 (선택사항) | 사용할 평가자 목록 제한(목록은 학습 유형에 따라 다름) |
| 완료할 파이프라인 | 선택적으로 작성할 파이프라인 수를 조정하십시오. 파이프라인이 많을수록 훈련 시간과 리소스가 늘어납니다. |
| 하드웨어 스펙(선택사항) | 실험에 대한 하드웨어 스펙 지정 |
| AutoAI 시계열 실험 설명 (선택사항) | 실험의 설명 |
| AutoAI 실험 태그 (선택사항) | 실험을 식별하기 위한 태그 |
| 작성 모드 (선택사항) | 파이프라인이 실험을 작성하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법을 선택하십시오. 다음 중 하나: ignore, fail, overwrite |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| AutoAI 시계열 실험 | 저장된 모델의 경로 |
일괄처리 배치 작성
기계 학습 모델에 대한 일괄처리 배치를 작성하려면 이 노드를 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| ML 자산 | 배치할 기계 학습 자산의 이름 또는 ID |
| 새 배치 이름 (선택사항) | 새 배치의 이름과 선택적 설명 및 태그 |
| 작성 모드 (선택사항) | 파이프라인이 작업을 작성하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법입니다. 다음 중 하나: ignore, fail, overwrite |
| 새 배치 설명 (선택사항) | 배치에 대한 설명 |
| 새 배치 태그 (선택사항) | 배치를 식별하기 위한 태그 |
| 하드웨어 스펙(선택사항) | 작업에 대한 하드웨어 스펙 지정 |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 새 배치 | 새로 작성된 배치의 경로 |
데이터 자산 작성
데이터 자산을 작성하려면 이 노드를 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 파일 | 파일 스토리지에 있는 파일의 경로 |
| 대상 범위 | 대상 공간 또는 프로젝트에 대한 경로 |
| 이름(선택사항) | 선택적 설명, 원본 국가 및 태그가 있는 데이터 소스의 이름 |
| 설명(선택사항) | 자산에 대한 설명 |
| 원래 국가 (선택사항) | 데이터 규정의 원래 국가 |
| 태그(선택 사항) | 자산을 식별하는 태그 |
| 작성 모드 | 파이프라인이 작업을 작성하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법입니다. 다음 중 하나: ignore, fail, overwrite |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 데이터 자산 | 새로 작성된 데이터 자산 |
배치 공간 작성
배치를 구성하고 작성하는 데 사용할 수 있는 영역을 작성하고 구성하려면 이 노드를 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 새 공간 이름 | 새 영역의 이름과 선택적 설명 및 태그 |
| 새 공간 태그 (선택사항) | 공간을 식별하기 위한 태그 |
| 새 공간 COS 인스턴스 CRN | COS 서비스 인스턴스의 CRN |
| 새로운 공간 WML 인스턴스 CRN (선택 사항) | watsonx.ai 런타임 서비스 인스턴스의 CRN |
| 작성 모드 (선택사항) | 파이프라인이 공간을 작성하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법입니다. 다음 중 하나: ignore, fail, overwrite |
| 공간 설명 (선택사항) | 공간 설명 |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 공백 | 새로 작성된 영역의 경로 |
온라인 배치 작성
웹 서비스 REST API 엔드포인트에 직접 테스트 데이터를 제출할 수 있는 온라인 배치를 작성하려면 이 노드를 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| ML 자산 | 배치할 기계 학습 자산의 이름 또는 ID |
| 새 배치 이름 (선택사항) | 새 배치의 이름과 선택적 설명 및 태그 |
| 작성 모드 (선택사항) | 파이프라인이 작업을 작성하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법입니다. 다음 중 하나: ignore, fail, overwrite |
| 새 배치 설명 (선택사항) | 배치에 대한 설명 |
| 새 배치 태그 (선택사항) | 배치를 식별하기 위한 태그 |
| 하드웨어 스펙(선택사항) | 작업에 대한 하드웨어 스펙 지정 |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 새 배치 | 새로 작성된 배치의 경로 |
1 - 2분 동안
경로에 지정된 위치에서 자산을 사용할 수 있을 때까지 파이프라인을 일시정지하려면 노드를 사용하십시오.
파이프라인에서 이전 노드의 모든 결과가 사용 가능할 때까지 대기하여 파이프라인을 계속할 수 있도록 하려면 이 노드를 사용하십시오.
이 노드에는 입력이 없으며 출력도 생성하지 않습니다. 결과가 모두 사용 가능하면 파이프라인이 자동으로 계속됩니다.
모든 결과 대기
파이프라인에 있는 이전 노드의 결과를 사용할 수 있을 때까지 이 노드를 사용하여 파이프라인을 계속할 수 있습니다. 업스트림 조건이 충족되는 즉시 다운스트림 노드를 실행하십시오.
이 노드에는 입력이 없으며 출력도 생성하지 않습니다. 결과가 사용 가능하면 파이프라인이 자동으로 계속됩니다.
결과 대기
파이프라인에서 이전에 작업 또는 프로세스의 경로에 지정된 위치에서 자산이 작성되거나 업데이트될 때까지 기다리십시오. 조건이 충족되기를 기다리는 제한시간 길이를 지정하십시오. 00:00:00이 지정된 제한시간 길이인 경우 플로우가 무한정 대기합니다.
파일 대기
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 파일 위치 | 자산이 상주하는 자산 브라우저에서 위치를 지정하십시오. 경로가 루트에 상대적인 data_asset/filename 형식을 사용하십시오. 파일이 존재해야 하며 사용자가 지정하는 위치에 있어야 합니다. 그렇지 않으면 노드가 오류로 실패합니다. |
| 대기 모드 | 기본적으로 이 모드는 파일이 표시되는 것입니다. 파일이 사라질 때까지 대기하도록 변경할 수 있습니다. |
| 제한시간 길이 (선택사항) | 파이프라인을 진행하기 전에 대기할 시간을 지정하십시오. hh:mm:ss 형식 사용 |
| 오류 정책 (선택사항) | 오류 처리 참조 |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 리턴 값 | 노드의 리턴값 |
| 실행 상태 | 리턴 값: 완료됨, 경고와 함께 완료됨, 오류가 있는 완료됨, 실패 또는 취소됨 |
| 상태 메시지 | 상태와 연관된 메시지 |
제어 노드
오류 처리 및 로직을 추가하여 파이프라인을 제어하십시오.
루프는 코딩된 루프처럼 작동하는 파이프라인의 노드입니다.
두 가지 유형의 루프는 병렬 및 순차입니다.
조작에 대한 반복 수가 동적일 때 루프를 사용할 수 있습니다. 예를 들어, 처리할 노트북 수를 모르거나 런타임 시 노트북 수를 선택하려는 경우, 루프를 사용하여 노트북 목록을 반복할 수 있습니다.
또한 루프를 사용하여 노드의 출력 또는 데이터 배열의 요소를 통해 반복할 수 있습니다.
병렬 루프
병렬 루프 구조를 파이프라인에 추가합니다. 병렬 루프는 반복 노드를 독립적으로 실행하며 동시에 실행할 수도 있습니다.
예를 들어, 최상의 수행자를 찾기 위해 하이퍼 매개변수 세트를 사용하여 기계 학습 모델을 훈련시키려면 루프를 사용하여 하이퍼 매개변수 목록을 반복하여 노트북 변형을 병렬로 훈련시킬 수 있습니다. 결과는 나중에 플로우에서 비교하여 최상의 노트북을 찾을 수 있습니다. 동시에 실행할 수 있는 루프 수에 대한 한계를 보려면 제한사항을 참조하십시오.
다음 예제에서 Bash 스크립트 실행 노드는 지정된 기준과 일치하는 노트북을 검색합니다. DataStage 작업 실행 노드는 Git 저장소에서 데이터를 검색합니다. 각 노드의 입력이 사용 가능하면 루프 프로세스가 시작되어 검색으로 검색된 각 노트북을 실행하고 Git 저장소에서 검색된 데이터를 처리합니다.
펼치기를 클릭하여 노드 추가 또는 노드의 발신 아이콘을 클릭하여 전체 루프 프로세스를 보십시오. 노트북이 실행될 때 노트북의 모든 오류는 품질 저하라는 조건에서 캡처됩니다. 이 조건은 오류 개수 증가라는 사용자 변수를 증가시키기 위해 Bash 스크립트를 트리거합니다. 증가 오류 수 변수의 값이 지정된 임계값을 충족하면 루프가 종료됩니다.
플로우는 각 노트북에 대해 병렬로 실행되므로 순차 루프보다 빠르게 결과를 리턴합니다.
목록 유형 반복 시 입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 입력 목록 | 목록 입력 매개변수에는 두 개의 필드, 즉 루프가 반복하는 목록 컨텐츠 및 목록의 데이터 유형 또는 파이프라인 입력 또는 파이프라인 출력에 대한 표준 링크가 포함되어 있습니다. |
| 병렬 처리 | 동시에 실행할 최대 태스크 수입니다. 0보다 커야 합니다. |
문자열 유형 반복 시 입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 텍스트 입력 | 루프가 읽는 텍스트 데이터 |
| 구분 기호 | 텍스트를 분할하는 데 사용되는 문자 |
| 병렬 처리 (선택사항) | 동시에 실행할 최대 태스크 수입니다. 0보다 커야 합니다. |
입력 배열 요소 유형이 JSON 또는 이와 같이 표시되는 유형인 경우 이 필드는 이를 사전으로 분해할 수 있습니다. 키는 원래 요소 키이고 값은 출력 이름의 별명입니다.
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 제어 중단 노드 ID | 노드가 종료된 종료자 노드의 노드 ID를 포함하며, 그렇지 않으면 비어 있습니다 |
| 실행 상태 | 작업 상태에 대한 정보: 보류, 시작, 실행 중, 완료, 취소됨 또는 오류로 실패함 |
| 상태 메시지 | 작업 상태에 대한 정보 |
시퀀스의 루프
순차 루프 구조를 파이프라인에 추가합니다. 루프는 구분 기호를 사용하여 숫자 범위, 목록 또는 텍스트를 반복할 수 있습니다.
순차 루프의 유스 케이스는 조작이 실패했는지 여부를 판별하기 전에 조작을 3번시도하려는 경우입니다.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 입력 목록 | 목록 입력 매개변수에는 두 개의 필드, 즉 루프가 반복하는 목록 컨텐츠 및 목록의 데이터 유형 또는 파이프라인 입력 또는 파이프라인 출력에 대한 표준 링크가 포함되어 있습니다. |
| 텍스트 입력 | 루프가 읽는 텍스트 데이터입니다. 텍스트를 분할할 문자를 지정하십시오. |
| 범위 | 반복할 범위의 시작, 종료 및 선택적 단계를 지정하십시오. 기본 단계는 1입니다. |
루프 반복 범위를 구성한 후 루프가 완료될 때까지 실행할 루프 내의 서브파이프라인 플로우를 정의하십시오. 예를 들어, 반복당 노트북, 스크립트 또는 기타 플로우를 호출할 수 있습니다.
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 제어 중단 노드 ID | 노드가 종료된 종료자 노드의 노드 ID를 포함하며, 그렇지 않으면 비어 있습니다 |
| 실행 상태 | 작업 상태에 대한 정보: 보류, 시작, 실행 중, 완료, 취소됨 또는 오류로 실패함 |
| 상태 메시지 | 작업 상태에 대한 정보 |
루프 종료
병렬 또는 순차 루프 프로세스 플로우에서 파이프라인 종료 노드를 추가하여 언제든지 루프 프로세스를 종료할 수 있습니다. 해지 조건을 직접 사용자 지정해야 합니다. 노드에서 루프가 종료될 때 완료 또는 실패로 루프 상태를 변경할 수 있습니다. 이렇게 하면 루프를 완료하고도 루프 노드가 실패하는 조건을 충족하고 파이프라인을 계속 진행하거나 다른 작업을 수행할 수 있습니다.
사용자 변수 설정
키/값 쌍으로 사용자 변수를 구성한 후 이 노드에 대한 동적 변수 목록을 추가합니다.
사용자 변수 작성 방법에 대한 자세한 정보는 글로벌 오브젝트 구성을 참조하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 이름 | 변수의 이름이나 키를 입력합니다. |
| 입력 유형 | 표현식 또는 파이프라인 매개변수를 입력 유형으로 선택하십시오. |
- 표현식의 경우 내장 표현식 빌더를 사용하여 사용자 정의 표현식의 결과인 변수를 작성하십시오.
- 파이프라인 매개변수의 경우, 파이프라인 매개변수를 지정하고 매개변수 값을 사용자 변수의 입력으로 사용하십시오.
파이프라인 종료
제어 카테고리에서 파이프라인 종료 노드를 사용하여 파이프라인 종료를 시작하고 제어할 수 있습니다. 오류 플로우가 실행될 때 파이프라인의 노드에서 시작된 노트북 또는 훈련 작업을 처리하는 방법을 선택적으로 지정할 수 있습니다. 작업이 완료될 때까지 대기할지, 작업을 취소한 후 파이프라인을 중지할지 또는 취소하지 않고 모두 중지할지 여부를 지정해야 합니다. 종료 파이프라인 노드에 대한 옵션을 지정하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 터미네이터 모드 (선택적) | 오류 플로우의 동작 선택 |
종료자 모드는 다음일 수 있습니다.
- 파이프라인 실행 종료 및 모든 실행 중인 작업은 모든 작업을 중지하고 파이프라인을 중지합니다.
- 실행 중인 모든 작업을 취소한 후 파이프라인 종료는 파이프라인을 중지하기 전에 실행 중인 작업을 취소합니다.
- 작업 완료 실행 후 파이프라인 종료 실행은 작업 실행이 완료될 때까지 대기한 후 파이프라인을 중지합니다.
- 작업을 중지하지 않고 실행되는 파이프라인 종료 는 파이프라인을 중지하지만 실행 중인 작업을 계속할 수 있습니다.
노드 업데이트
업데이트 노드를 사용하여 자산을 바꾸거나 업데이트하여 성능을 향상시키십시오. 예를 들어, 태그를 표준화하려면 태그를 새 태그로 대체하도록 업데이트할 수 있습니다.
AutoAI 실험에 대한 훈련 세부사항을 업데이트합니다.
AutoAI 실험 업데이트
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| AutoAI 실험 | 실험이 있는 프로젝트나 영역 경로 |
| AutoAI 실험 이름 (선택사항) | 업데이트될 실험의 이름과 선택적 설명 및 태그 |
| AutoAI 실험 설명 (선택적) | 실험의 설명 |
| AutoAI 실험 태그 (선택사항) | 실험을 식별하기 위한 태그 |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| AutoAI 실험 | 업데이트된 실험의 경로 |
일괄처리 배치 업데이트
일괄처리 배치를 업데이트하려면 이러한 매개변수를 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 배치 | 업데이트될 배치에 대한 경로 |
| 배치의 새 이름 (선택사항) | 업데이트될 배치의 이름이나 ID |
| 배치에 대한 새 설명 (선택사항) | 배치에 대한 설명 |
| 배치를 위한 새 태그 (선택사항) | 배치를 식별하기 위한 태그 |
| ML 자산 | 배치할 기계 학습 자산의 이름 또는 ID |
| 하드웨어 스펙 | 작업에 대한 하드웨어 스펙 업데이트 |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 배치 | 업데이트된 배치의 경로 |
배치 공간 업데이트
영역의 세부사항을 업데이트합니다.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 공백 | 기존 영역의 경로 |
| 공간 이름 (선택사항) | 공간 이름 업데이트 |
| 공간 설명 (선택사항) | 공간 설명 |
| 공간 태그 (선택사항) | 공간을 식별하기 위한 태그 |
| WML 인스턴스(선택 사항) | 새 Machine Learning 인스턴스 지정 |
| WML 인스턴스 | 새 머신 러닝 인스턴스를 지정하십시오. 참고: UI의 인스턴스에 다른 이름을 지정하는 경우에도 시스템 이름은 머신 러닝 인스턴스입니다. 인스턴스 CRN을 사용하여 서로 다른 인스턴스를 구별하십시오. |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 공백 | 업데이트된 영역의 경로 |
온라인 배치 업데이트
온라인 배치 (웹 서비스) 를 업데이트하려면 이 매개변수를 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 배치 | 기존 배치의 경로 |
| 배치 이름 (선택사항) | 배치 이름 업데이트 |
| 배치 설명 (선택사항) | 배치에 대한 설명 |
| 배치 태그 (선택사항) | 배치를 식별하기 위한 태그 |
| 자산 (선택사항) | 재배치될 기계 학습 자산(또는 버전) |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 배치 | 업데이트된 배치의 경로 |
노드 삭제
삭제 오퍼레이션의 매개변수를 구성합니다.
삭제
다음을 삭제할 수 있습니다.
- AutoAI 실험
- 일괄처리 배치
- 배치 공간
- 온라인 배치
각 품목에 대해 삭제할 자산을 선택하십시오.
실행 노드
이 노드를 사용하여 실험을 훈련하고 스크립트를 실행하거나 데이터 플로우를 실행합니다.
AutoAI 실험 실행
AutoAI 실험 파이프라인 및 모델을 훈련하고 저장합니다.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| AutoAI 실험 | ML 파이프라인 자산을 찾아보거나 파이프라인 매개변수 또는 이전 노드의 출력에서 실험을 가져오십시오. |
| 교육 데이터 자산 | 실험을 훈련할 데이터를 찾아보거나 검색하십시오. 파이프라인 매개변수를 사용하여 런타임 시 데이터를 제공할 수 있습니다. |
| 홀드아웃 데이터 자산 (선택사항) | 선택적으로 testingmodel 성능을 위해 홀드아웃 데이터에 사용할 별도의 파일을 선택하십시오. |
| 모델 개수 (선택사항) | 최고 성능의 파이프라인에서 저장할 모델의 수를 지정하십시오. 한계는 3개모델입니다. |
| 실행 이름 (선택사항) | 실험의 이름과 선택적 설명 및 태그 |
| 모델 이름 접두부 (선택사항) | 훈련된 모델의 이름을 지정하는 데 사용되는 접두부. 기본값은 < (실험 이름) > 입니다. |
| 실행 설명 (선택사항) | 새 훈련 실행에 대한 설명 |
| 실행 태그 (선택사항) | 새 훈련 실행에 대한 태그 |
| 작성 모드 (선택사항) | 파이프라인 플로우가 자산을 작성하려고 시도하고 동일한 이름 중 하나가 존재하는 케이스를 처리하는 방법을 선택하십시오. 다음 중 하나: ignore, fail, overwrite |
| 오류 정책 (선택사항) | 선택적으로 노드의 기본 오류 정책을 대체하십시오. |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 모델 | 훈련되고 지속된 최상위 N 모델의 경로 목록 (선택된 평가 메트릭에 따라 정렬됨) |
| 가장 적합한 모델 | 최우수 모델(선택된 평가 메트릭 기준)의 경로 |
| 모델 메트릭 | 훈련된 모델 메트릭의 목록(각 항목은 다음과 같은 메트릭을 갖는 중첩된 오브젝트임: holdout_accuracy, holdout_average_precision, ...) |
| 최우수 모델 메트릭 | 최우수 모델의 선택된 평가 메트릭 |
| 최적화된 메트릭 | 모델을 조정하는 데 사용된 메트릭 |
| 실행 상태 | 작업 상태에 대한 정보: 보류, 시작, 실행 중, 완료, 취소됨 또는 오류로 실패함 |
| 상태 메시지 | 작업 상태에 대한 정보 |
Bash 스크립트 실행
인라인 Bash 스크립트 또는 Korn 셸 스크립트를 실행하여 파이프라인의 기능이나 프로세스를 자동화합니다. Bash 스크립트 코드를 수동으로 입력하거나, 자원, 파이프라인 매개변수 또는 다른 노드의 출력에서 bash 스크립트를 가져올 수 있습니다.
또한, Bash 스크립트나 Korn 셸 스크립트를 사용하여 큰 출력 파일을 처리할 수도 있습니다. 예를 들어, 루프를 사용하여 반복할 수 있는 큰 쉼표로 구분된 목록을 생성할 수 있습니다.
다음 예제에서는 사용자가 인라인 스크립트 코드를 수동으로 입력했습니다. 스크립트는 cpdctl 도구를 사용하여 변수 설정 태그가 있는 모든 노트북을 검색하고 JSON 목록에서 결과를 집계합니다. 그러면 검색에서 리턴된 노트북 실행과 같은 다른 노드에서 목록을 사용할 수 있습니다.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 인라인 스크립트 코드 | 인라인 코드 편집기에 Bash 스크립트 또는 Korn 셸 스크립트를 입력합니다. 선택사항: 또는 자원을 선택하거나 파이프라인 매개변수를 지정하거나 다른 노드에서 선택할 수 있습니다. |
| 환경 변수(선택사항) | 변수 이름(키)과 데이터 유형을 지정하고 스크립트에서 사용할 변수 목록에 추가합니다. |
| 런타임 유형 (선택사항) | 독립형 런타임 (기본값) 또는 공유 런타임을 사용하도록 선택하십시오. 공유 팟 (Pod) 에서 실행해야 하는 태스크에 대해 공유 런타임을 사용하십시오. |
| 오류 정책 (선택사항) | 선택적으로 노드의 기본 오류 정책을 대체하십시오. |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 출력 변수 | 각 사용자 정의 변수의 키/값 쌍을 구성한 후 추가 단추를 클릭하여 노드의 동적 변수 목록을 채우십시오. |
| 리턴 값 | 노드의 리턴값 |
| 표준 출력 | 스크립트의 표준 출력 |
| 표준 오차 | 스크립트의 표준 오류 메시지 |
| 실행 상태 | 작업 상태에 대한 정보: 보류, 시작, 실행 중, 완료, 취소됨 또는 오류로 실패함 |
| 상태 메시지 | 상태와 연관된 메시지 |
Bash 또는 Korn 셸 스크립트 출력 규칙
스크립트의 출력은 종종 계산된 표현식의 결과이며, 그 크기가 클 수 있습니다. 유효한 대형 출력이 있는 스크립트의 특성을 검토할 때 뷰어에서 출력을 미리 보거나 다운로드할 수 있습니다.
이러한 규칙은 유효한 대형 출력의 유형을 제어합니다.
list_expression의 출력은 계산된 표현식이므로 큰 출력으로 유효합니다.- 문자열 출력은 계산된 표현식이 아닌 리터럴 값으로 처리되므로 인라인 표현식을 관리하는 크기 한계를 따라야 합니다. 예를 들어, 리터럴 값이 1KB를 초과하고 2KB이상의 값으로 인해 오류가 발생하는 경우 경고가 표시됩니다.
- 표준 출력 (
standard_output) 에 표준 오류 메시지를 포함하고 이를 볼 수 있습니다 (예:GetCommandOutput함수 사용).
스크립트에서 변수 참조하기
스크립트에서 변수를 참조하는 방법은 변수가 입력 변수로 작성되었는지 또는 출력 변수로 작성되었는지에 따라 다릅니다. 출력 변수는 파일로 작성되며 참조에 파일 경로가 필요합니다. 세부사항:
- 입력 변수는 지정된 이름을 사용하여 사용 가능합니다.
- 출력 변수 이름은 값이
{output_name}_PATH변수가 가리키는 출력 파일에 기록되어야 함을 나타내기 위해 변수 이름에_PATH을(를) 추가해야 합니다.
일괄처리 배치 실행
선택한 배치 작업을 실행하도록 이 노드를 구성하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 배치 | 배치 작업 찾아보기 또는 검색 |
| 입력 데이터 자산 | 일괄처리 작업에 사용되는 데이터를 지정하십시오. |
| 출력 자산 | 일괄처리 작업의 결과에 대한 출력 파일의 이름 파일 이름 을 선택하고 사용자 정의 파일 이름을 입력하거나 데이터 자산 을 선택하고 영역에서 기존 자산을 선택할 수 있습니다. |
| 하드웨어 스펙(선택사항) | 작업에 적용할 하드웨어 스펙 찾아보기 |
| 오류 정책 (선택사항) | 선택적으로 노드의 기본 오류 정책을 대체하십시오. |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 작업 | 배치 작업의 결과가 포함된 파일의 경로 |
| 작업 실행 | 작업의 ID |
| 실행 상태 | 작업 상태에 대한 정보: 보류, 시작, 실행 중, 완료, 취소됨 또는 오류로 실패함 |
| 상태 메시지 | 작업 상태에 대한 정보 |
IBM DataStage는 데이터를 이동하고 변환하는 작업을 설계, 개발 및 실행하기 위한 데이터 통합 도구입니다. DataStage 작업을 실행하고 이후 노드에서 출력을 사용하십시오.
예를 들어, 다음 플로우는 Git 저장소에서 데이터를 검색하는 DataStage 노드를 표시합니다. 작업이 성공적으로 완료되면 파이프라인은 다음 노드를 실행하고 배치 영역을 작성합니다. 작업이 실패하면 알림 이메일이 트리거되고 루프가 종료됩니다.
| 매개변수 | 설명 |
|---|---|
| DataStage 작업 | DataStage 작업에 대한 경로 |
| 로컬 매개변수의 값 (선택사항) | 기본 작업 매개변수를 편집하십시오. 이 옵션은 작업에 로컬 매개변수가 있는 경우에만 사용할 수 있습니다. |
| 매개변수 세트의 값 (선택사항) | 이 작업에서 사용되는 매개변수 세트를 편집하십시오. 기본적으로 정의된 대로 매개변수를 사용하거나 다른 파이프라인의 매개변수에서 값 세트를 사용하도록 선택할 수 있습니다. |
| 환경 | DataStage 작업을 실행하는 데 사용되는 환경을 찾아 선택하십시오. 주의: 기본 DataStage XS 런타임을 사용하려면 환경 필드를 그대로 두십시오. 대체하도록 선택하는 경우 작업을 실행하기 위한 대체 환경을 지정하십시오. 런타임 오류를 방지하기 위해 지정한 환경이 하드웨어 구성과 호환 가능한지 확인하십시오.
|
| 환경 변수(선택사항) | 변수 이름 (키) 및 데이터 유형을 지정하고 작업에서 사용할 변수 목록에 추가하십시오. |
| 작업 매개변수 (선택사항) | 작업이 실행될 때 작업에 전달할 추가 매개변수입니다. 키/값 쌍을 지정하고 목록에 추가하십시오. 참고: 로컬 매개변수
DSJobInvocationId 가 사용되는 경우 해당 값은 작업 세부사항 대시보드에서 작업 이름으로 전달됩니다. |
| 오류 정책 (선택사항) | 선택적으로 노드의 기본 오류 정책을 대체하십시오. |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 작업 | DataStage 작업의 결과에 대한 경로 |
| 작업 실행 | 작업 실행에 대한 정보 |
| 작업 이름 | 작업 이름 |
| 실행 상태 | 작업 상태에 대한 정보: 보류, 시작, 실행 중, 완료, 취소됨 또는 오류로 실패함 |
| 상태 메시지 | 작업 상태에 대한 정보 |
Data Refinery 작업 실행
이 노드는 지정된 Data Refinery 작업을 실행합니다.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| Data Refinery 작업 | Data Refinery 작업에 대한 경로입니다. |
| 환경 | 작업을 실행하는 데 사용되는 환경의 경로 주의: 기본 런타임을 사용하려면 환경 필드를 그대로 두십시오. 대체하도록 선택하는 경우 작업을 실행하기 위한 대체 환경을 지정하십시오. 런타임 오류를 방지하려면 지정한 환경이 구성요소 언어 및 하드웨어 구성과 호환 가능한지 확인하십시오.
|
| 오류 정책 (선택사항) | 선택적으로 노드의 기본 오류 정책을 대체하십시오. |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 작업 | Data Refinery 작업의 결과에 대한 경로 |
| 작업 실행 | 작업 실행에 대한 정보 |
| 작업 이름 | 작업 이름 |
| 실행 상태 | 플로우 상태에 대한 정보: 보류, 시작, 실행 중, 완료, 취소됨 또는 오류로 실패함 |
| 상태 메시지 | 플로우 상태에 대한 정보 |
여러 작업을 실행
이 노드를 사용하면 파이프라인 캔버스에 여러 작업을 실행할 수 있습니다. 범위를 선택한 다음, 추가하고자 하는 범위의 작업을 선택합니다.
노트북 작업 실행
파이프라인에서 Jupyter Notebook 을 실행하는 방법을 지정하려면 이 구성 옵션을 사용하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 노트북 작업 | 노트북 작업에 대한 경로입니다. |
| 환경 | 노트북을 실행하는 데 사용되는 환경의 경로입니다. 주의: 기본 환경을 사용하려면 환경 필드를 그대로 두십시오. 대체하도록 선택하는 경우 작업을 실행하기 위한 대체 환경을 지정하십시오. 런타임 오류를 방지하려면 지정한 환경이 노트북 언어 및 하드웨어 구성과 호환 가능한지 확인하십시오.
|
| 환경 변수(선택사항) | 노트북 작업을 실행하는 데 사용되는 환경 변수 목록 |
| 오류 정책 (선택사항) | 선택적으로 노드의 기본 오류 정책을 대체하십시오. |
참고:
- 파이프라인에서 정의하는 환경 변수는 오케스트레이션 파이프라인 외부에서 실행하는 노트북 작업에 사용할 수 없습니다.
- 일반 패키지의 코드 패키지에서 노트북을 실행할 수 있습니다.
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 작업 | 노트북 작업의 결과에 대한 경로 |
| 작업 실행 | 작업 실행에 대한 정보 |
| 작업 이름 | 작업 이름 |
| 출력 변수 | 각 사용자 정의 변수에 대해 키/값 쌍을 구성한 후 추가 를 클릭하여 노드의 동적 변수 목록을 채우십시오. |
| 실행 상태 | 실행 상태에 대한 정보: 보류, 시작, 실행 중, 완료, 취소됨 또는 오류로 실패함 |
| 상태 메시지 | 실행된 노트북 상태에 대한 정보 |
파이프라인 컴포넌트 실행
Python 스크립트를 사용하여 작성된 재사용 가능한 파이프라인 구성요소를 실행하십시오. 자세한 정보는 사용자 정의 컴포넌트 작성을 참조하십시오.
- 파이프라인 구성품목이 사용 가능한 경우 노드를 구성하면 사용 가능한 구성품목 목록이 표시됩니다.
- 선택하는 컴포넌트는 노드의 입력 및 출력을 지정합니다.
- 노드에 구성요소를 지정하면 구성요소를 삭제하거나 변경할 수 없습니다. 노드를 삭제하고 새 노드를 작성해야 합니다.
파이프라인 작업 실행
파이프라인을 추가하여 포함하는 파이프라인의 일부로 중첩된 파이프라인 작업을 실행하십시오. 이는 재사용 가능한 프로세스를 여러 파이프라인에 추가하는 방법입니다. 포함하는 파이프라인에서 노드에 대한 입력으로 실행되는 중첩된 파이프라인의 출력을 사용할 수 있습니다.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| 파이프라인 작업 | 기존 파이프라인 작업에 대한 경로를 선택하거나 입력하십시오. |
| 환경 (선택사항) | 파이프라인 작업을 실행할 환경을 선택하고 환경 리소스를 지정하십시오. 주의: 기본 런타임을 사용하려면 환경 필드를 그대로 두십시오. 대체하도록 선택하는 경우 작업을 실행하기 위한 대체 환경을 지정하십시오. 런타임 오류를 방지하려면 지정한 환경이 구성요소 언어 및 하드웨어 구성과 호환 가능한지 확인하십시오.
|
| 작업 실행 이름(선택사항) | 사용자 정의 작업 실행 이름을 지정하여 대체하지 않으면 기본 작업 실행 이름이 사용됩니다. 작업 세부사항 대시보드에서 작업 실행 이름을 볼 수 있습니다. |
| 로컬 매개변수의 값 (선택사항) | 기본 작업 매개변수를 편집하십시오. 이 옵션은 작업에 로컬 매개변수가 있는 경우에만 사용할 수 있습니다. |
| 매개변수 세트의 값 (선택사항) | 이 작업에서 사용되는 매개변수 세트를 편집하십시오. 기본적으로 정의된 대로 매개변수를 사용하거나 다른 파이프라인의 매개변수에서 값 세트를 사용하도록 선택할 수 있습니다. |
| 오류 정책 (선택사항) | 선택적으로 노드의 기본 오류 정책을 대체하십시오. |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 작업 | 파이프라인 작업의 결과에 대한 경로 |
| 작업 실행 | 작업 실행에 대한 정보 |
| 작업 이름 | 작업 이름 |
| 실행 상태 | 리턴 값: 완료됨, 경고와 함께 완료됨, 오류가 있는 완료됨, 실패 또는 취소됨 |
| 상태 메시지 | 상태와 연관된 메시지 |
중첩된 파이프라인 작업 실행에 대한 참고사항
중첩된 파이프라인을 사용하여 파이프라인을 작성하고 최상위 레벨에서 파이프라인 작업을 실행하는 경우 파이프라인은 다음 규칙을 사용하는 프로젝트 자산으로 이름 지정되고 저장됩니다.
- 최상위 레벨 파이프라인 작업의 이름은 "평가판 작업- pipeline guid" 입니다.
- 모든 후속 작업의 이름은 "pipeline_ pipeline guid" 입니다.
SPSS Modeler 작업 실행
이 구성 옵션을 사용하여 파이프라인에서 SPSS Modeler 를 실행하는 방법을 지정하십시오.
입력 매개변수
| 매개변수 | 설명 |
|---|---|
| SPSS Modeler 작업 | 기존 SPSS Modeler 작업에 대한 경로를 선택하거나 입력하십시오. |
| 환경 (선택사항) | SPSS Modeler 작업을 실행할 환경을 선택하고 환경 자원을 지정하십시오. 주의: 기본 SPSS Modeler 런타임을 사용하려면 환경 필드를 그대로 두십시오. 대체하도록 선택하는 경우 작업을 실행하기 위한 대체 환경을 지정하십시오. 런타임 오류를 방지하기 위해 지정한 환경이 하드웨어 구성과 호환 가능한지 확인하십시오.
|
| 로컬 매개변수에 대한 값 | 기본 작업 매개변수를 편집하십시오. 이 옵션은 작업에 로컬 매개변수가 있는 경우에만 사용할 수 있습니다. |
| 오류 정책 (선택사항) | 선택적으로 노드의 기본 오류 정책을 대체하십시오. |
출력 매개변수
| 매개변수 | 설명 |
|---|---|
| 작업 | 파이프라인 작업의 결과에 대한 경로 |
| 작업 실행 | 작업 실행에 대한 정보 |
| 작업 이름 | 작업 이름 |
| 실행 상태 | 리턴 값: 완료됨, 경고와 함께 완료됨, 오류가 있는 완료됨, 실패 또는 취소됨 |
| 상태 메시지 | 상태와 연관된 메시지 |
자세한 정보
상위 주제: 파이프라인 작성