Translation not up to date
Nakonfigurujte uzly propojení procesů tak, aby určovaly vstupy a vytvářovaly výstupy jako součást propojení procesů.
Určení rozsahu pracovního prostoru
Standardně je rozsahem propojení procesů projekt obsahující propojení procesů. Chcete-li vyhledat aktivum použité v propojení procesů, můžete explicitně zadat jiný rozsah než výchozí. Rozsah je projekt, katalog nebo prostor obsahující aktivum. V uživatelském rozhraní můžete procházet rozsah.
Změna režimu vstupu
Když konfigurujete uzel, můžete uvést všechny prostředky včetně dat a notebooků různými způsoby, jako je například přímé zadání názvu nebo ID, procházení aktiva nebo použití výstupu z předchozího uzlu v propojení procesů k naplnění pole. Chcete-li zobrazit volby, které jsou pro pole k dispozici, klepněte na ikonu vstupu pro pole. V závislosti na kontextu mohou volby zahrnovat:
- Vybrat prostředek: použijte prohlížeč aktiv k nalezení aktiva, jako je datový soubor.
- Přiřadit parametr propojení procesů: přiřadit hodnotu pomocí proměnné nakonfigurované s parametrem propojení procesů. Další informace viz Konfigurace globálních objektů.
- Vyberte z jiného uzlu: jako hodnotu tohoto pole použijte výstup z uzlu dříve v propojení procesů.
- Zadejte výraz: zadejte kód pro přiřazení hodnot nebo identifikaci prostředků. Podrobnosti viz Kódovací prvky.
Uzly a parametry propojení procesů
Nakonfigurujte následující typy uzlů propojení procesů:
Kopírovat uzly
Použijte volbu Kopírovat uzly k přidání aktiv do propojení procesů nebo k exportu aktiv propojení procesů.
Kopírovat vybraná aktiva z projektu nebo prostoru do neprázdného prostoru. Tato aktiva můžete zkopírovat do prostoru:
- Datové aktivum
- Model
- Propojení procesů ML
- Funkce
- Připojení
- Specifikace softwaru
- Tok Data Refinery
- Prostředí
- Skript
Vstupní parametry
Parametr Popis Zdrojová aktiva Procházejte nebo vyhledejte zdrojové aktivum, které se má přidat do seznamu. Můžete také uvést aktivum s parametrem propojení procesů, s výstupem jiného uzlu, nebo zadáním ID aktiva Cíl Procházet nebo vyhledat cílový prostor Režim kopírování Zvolte, jak se má zacházet s případem, kdy se tok pokouší zkopírovat aktivum a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwriteVýstupní parametry
Parametr Popis Výstupní aktiva Seznam kopírovaných aktiv
Exportovat vybraná aktiva z rozsahu, například projekt nebo prostor implementace. Operace standardně exportuje všechna aktiva. Výběr aktiv můžete omezit sestavením seznamu prostředků pro export.
Vstupní parametry
Parametr Popis Aktiva Chcete-li exportovat všechny exportovatelné položky, vyberte volbu Rozsah . Chcete-li vytvořit seznam specifických položek pro export, vyberte volbu Seznam . Zdrojový projekt nebo prostor Název projektu nebo prostoru obsahujícího aktiva pro export Exportovaný soubor Umístění souboru pro uložení souboru exportu Režim vytvoření (volitelné) Zvolte, jak zacházet s případem, kdy se tok pokouší vytvořit aktivum a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwriteVýstupní parametry
Parametr Popis Exportovaný soubor Cesta k exportovanému souboru Poznámky:
- Pokud exportujete projekt, který obsahuje zápisník, nejnovější verze zápisníku se zahrne do souboru exportu. Pokud bylo propojení procesů konfigurované s uzlem Spustit úlohu zápisníku nakonfigurováno tak, aby používalo jinou verzi zápisníku, než je nejnovější verze, exportovaná propojení procesů se při importu automaticky překonfiguruje tak, aby používala nejnovější verzi. To může vést k neočekávaným výsledkům nebo po importu vyžadovat určitou opětovnou konfiguraci.
- Pokud jsou aktiva v exportovaném projektu obsažena samostatně, jsou při importu nového projektu zachována. Jinak může být po importu exportovaných aktiv vyžadována určitá konfigurace.
Importovat aktiva ze souboru ZIP obsahujícího exportovaná aktiva.
Vstupní parametry
Parametr Popis Cesta k cíli importu Procházet nebo vyhledat aktiva, která se mají importovat Archivní soubor pro import Zadejte cestu k souboru ZIP nebo archivu. Poznámky: Po importu souboru se cesty a odkazy na importovaná aktiva aktualizují podle těchto pravidel:
- Odkazy na aktiva z exportovaného projektu nebo prostoru se aktualizují v novém projektu nebo prostoru po importu.
- Pokud aktiva z exportovaného projektu odkazují na externí aktiva (zahrnutá v jiném projektu), odkaz na externí aktivum zůstane po importu zachován.
- Pokud již externí aktivum neexistuje, parametr se nahradí prázdnou hodnotou a vy budete muset překonfigurovat pole tak, aby ukazovaly na platné aktivum.
Vytvořit uzly
Nakonfigurujte uzly pro vytváření aktiv v propojení procesů.
Tento uzel použijte k trénování klasifikace nebo regresního experimentu AutoAI a generování potrubních kanálů kandidujících na model.
Vstupní parametry
Parametr Popis Název experimentu AutoAI Název nového experimentu Rozsah Projekt nebo prostor, kde bude experiment vytvořen Typ předpovědi Typ modelu pro daná data: binární, klasifikační nebo regresní Sloupec předpovědi (popisek) Název sloupce předpovědi Kladná třída (nepovinné) Určit kladnou třídu pro experiment binární klasifikace Poměr rozdělení trénovací dat (volitelný) Procento dat, která se mají zadržet z trénování a použít k testování kanálů (float: 0.0 - 1.0) Algoritmy, které mají být zahrnuty (volitelné) Omezit seznam odhadců, které se mají použít (seznam závisí na typu učení) Algoritmy k použití Uveďte seznam odhadců, které se mají použít (seznam závisí na typu učení) Optimalizovat metriku (volitelné) Metrika použitá pro hodnocení modelu Specifikace hardwaru (volitelné) Určení specifikace hardwaru pro experiment Popis experimentu AutoAI Popis experimentu Značky experimentu AutoAI (volitelné) Značky pro identifikaci experimentu Režim vytvoření (volitelné) Zvolte, jak zacházet s případem, kdy se propojení procesů pokusí vytvořit experiment a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwriteVýstupní parametry
Parametr Popis AutoAI experiment Cesta k uloženému modelu
Tento uzel použijte k trénování experimentu časové řady AutoAI a generování potrubních kanálů kandidujících na model.
Vstupní parametry
Parametr Popis Název experimentu časové řady AutoAI Název nového experimentu Rozsah Projekt nebo prostor, kde se má vytvořit propojení procesů Sloupce předpovědí (popisek) Název jednoho nebo více sloupců předpovědi Sloupec Datum/čas (nepovinné) Název sloupce datum/čas Využijte budoucí hodnoty podpůrných funkcí Chcete-li umožnit zohlednění podpůrných (exogenních) funkcí pro zlepšení predikce, vyberte volbu "True". Například zahrňte funkci teploty pro předpovídání prodeje zmrzliny. Podpůrné funkce (volitelné) Vybrat podpůrné funkce a přidat do seznamu Metoda imputace (nepovinné) Zvolit techniku pro imputing chybějících hodnot v datové sadě Prahová hodnota imputace (nepovinné) Zadejte horní prahovou hodnotu pro procentní část chybějících hodnot, která má být dodána s uvedenou metodou imputace. Dojde-li k překročení prahové hodnoty, pokus se nezdaří. Pokud například určíte, že lze přičíst 10% hodnot a v datové sadě chybí 15% hodnot, pokus se nezdaří. Typ výplně Určete, jak má určená metoda imputace vyplnit hodnoty null. Vyberte, zda chcete zadat střední hodnotu všech hodnot a střední hodnotu všech hodnot, nebo zadejte hodnotu výplně. Vyplnit hodnotu (volitelné) Pokud jste vybrali pro přepisování hodnoty pro nahrazení hodnot null, zadejte hodnotu do tohoto pole. Datová sada konečného trénování Zvolte, zda chcete trénovat finální potrubí pouze s trénovacími daty nebo s trénovacími daty a zda chcete data zadržet. Pokud zvolíte trénovací data, vygenerovaný zápisník bude obsahovat buňku pro načtení dat o držení Velikost výčtu (volitelné) Pokud rozdělujete trénovací data na trénovací a zadržená data, uveďte procentní část trénovacích dat, která se mají vyhradit jako zadržená data pro ověření potrubních systémů. Údaje o zadržených datech by neměly překročit třetinu údajů. Počet zpětných testů (nepovinné) Přizpůsobení zpětných testů pro křížové ověření experimentu časové řady Délka mezery (nepovinné) Upravte počet časových bodů mezi sadou trénovacích dat a datovou sadou ověření pro každý backtest. Je-li hodnota parametru nenulová, hodnoty časové řady v mezeře nebudou použity k trénování experimentu nebo vyhodnocení aktuálního zpětného testu. Okno zpětného hledání (volitelné) Parametr, který označuje, kolik předchozích hodnot časové řady se používá k předpovídání aktuálního časového bodu. Okno prognózy (volitelné) Rozsah, který chcete předpovědět na základě dat v okně zpětného vyhledávání. Algoritmy, které mají být zahrnuty (volitelné) Omezit seznam odhadců, které se mají použít (seznam závisí na typu učení) Potrubí k dokončení Volitelně upravte počet kanálů, které se mají vytvořit. Více plynovodů zvyšuje dobu a zdroje školení. Specifikace hardwaru (volitelné) Určení specifikace hardwaru pro experiment Popis experimentu časové řady AutoAI (volitelné) Popis experimentu Značky experimentu AutoAI (volitelné) Značky pro identifikaci experimentu Režim vytvoření (volitelné) Zvolte, jak zacházet s případem, kdy se propojení procesů pokusí vytvořit experiment a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwriteVýstupní parametry
Parametr Popis AutoAI experiment časové řady Cesta k uloženému modelu
Tento uzel použijte k vytvoření dávkové implementace pro model strojového učení.
Vstupní parametry
Parametr Popis Aktivum ML Název nebo ID aktiva strojového učení, které se má implementovat Nový název implementace (volitelné) Název nové úlohy s volitelným popisem a značkami Režim vytvoření (volitelné) Jak zacházet s případem, kdy se propojení procesů pokusí vytvořit úlohu a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwritePopis nové implementace (volitelné) Popis nasazení Nové značky nasazení (volitelné) Značky pro identifikaci implementace Specifikace hardwaru (volitelné) Uveďte specifikaci hardwaru pro úlohu Výstupní parametry
Parametr Popis Nová implementace Cesta k nově vytvořené implementaci
Tento uzel použijte k vytvoření datového aktiva.
Vstupní parametry
Parametr Popis Soubor Cesta k souboru v úložišti souborů Cílový rozsah Cesta k cílovému prostoru nebo projektu Název (nepovinné) Název zdroje dat s volitelným popisem, zemí původu a značkami Popis (volitelný) Popis pro aktivum Země původu (nepovinné) Země původu pro nařízení o údajích Značky (volitelné) Značky pro identifikaci aktiv Režim vytvoření Jak zacházet s případem, kdy se propojení procesů pokusí vytvořit úlohu a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwriteVýstupní parametry
Parametr Popis Datové aktivum Nově vytvořené datové aktivum
Tento uzel použijte k vytvoření a konfiguraci prostoru, který můžete použít k uspořádání a vytvoření implementací.
Vstupní parametry
Parametr Popis Název nového prostoru Název nového prostoru s volitelným popisem a značkami Nové značky prostoru (volitelné) Značky pro identifikaci prostoru Nové číslo CRN instance COS prostoru CRN instance služby COS CRN instance WML nového prostoru (volitelné) CRN instance služby Watson Machine Learning Režim vytvoření (volitelné) Jak zpracovat případ, kdy se propojení procesů pokusí vytvořit mezeru a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwritePopis prostoru (volitelný) Popis prostoru Výstupní parametry
Parametr Popis Prostor Cesta k nově vytvořenému prostoru
Tento uzel použijte k vytvoření implementace online, kde můžete odeslat testovací data přímo do koncového bodu rozhraní REST API webové služby.
Vstupní parametry
Parametr Popis Aktivum ML Název nebo ID aktiva strojového učení, které se má implementovat Nový název implementace (volitelné) Název nové úlohy s volitelným popisem a značkami Režim vytvoření (volitelné) Jak zacházet s případem, kdy se propojení procesů pokusí vytvořit úlohu a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwritePopis nové implementace (volitelné) Popis nasazení Nové značky nasazení (volitelné) Značky pro identifikaci implementace Specifikace hardwaru (volitelné) Uveďte specifikaci hardwaru pro úlohu Výstupní parametry
Parametr Popis Nová implementace Cesta k nově vytvořené implementaci
Čekat
Uzly v této sekci použijte k pozastavení propojení procesů, dokud nebude aktivum k dispozici v umístění uvedeném v cestě.
Pomocí tohoto uzlu počkejte, dokud nebudou k dispozici všechny výsledky z předchozích uzlů v propojení procesů, aby mohlo propojení procesů pokračovat.
Tento uzel nepřijímá žádné vstupy a neprodukuje žádný výstup. Když jsou všechny výsledky k dispozici, propojení procesů pokračuje automaticky.
Tento uzel použijte, chcete-li počkat, dokud nebude k dispozici jakýkoli výsledek z předchozích uzlů v propojení procesů, aby mohlo propojení procesů pokračovat. Spusťte následné uzly, jakmile bude splněna kterákoli z předchozích podmínek.
Tento uzel nepřijímá žádné vstupy a neprodukuje žádný výstup. Jsou-li k dispozici výsledky, propojení procesů pokračuje automaticky.
Počkejte na vytvoření nebo aktualizaci aktiva v umístění, které je uvedeno v cestě z úlohy nebo procesu dříve v propojení procesů. Zadejte délku časového limitu pro čekání na splnění podmínky. Pokud je zadaná délka časového limitu 00:00:00, tok čeká na dobu neurčitou.
Vstupní parametry
Parametr Popis Umístění souboru Uveďte lokalitu v prohlížeči aktiv, kde se aktivum nachází. Použijte formát data_asset/filename, kde je cesta relativní ke kořenovému adresáři. Soubor musí existovat a být v určeném umístění, jinak dojde k selhání uzlu s chybou.Režim čekání Standardně se soubor zobrazuje v režimu. Můžete přejít na čekání na zmizení souboru Délka časového limitu (volitelné) Zadejte dobu, po kterou se má čekat před pokračováním v propojení procesů. Použijte formát hh:mm:ssZásada chyb (volitelné) Viz Zpracování chyb Výstupní parametry
Parametr Popis Návratová hodnota Návratová hodnota z uzlu Stav provedení Vrací hodnotu: Dokončeno, Dokončeno s varováními, Dokončeno s chybami, Nezdařilo se nebo Zrušeno Stavová zpráva Zpráva přidružená ke stavu
Řídicí uzly
Řízení propojení procesů přidáním ošetření chyb a logiky.
Smyčky jsou uzel v kanálu, který funguje jako kódovaná smyčka.
Existují dva typy smyček: paralelní a sekvenční.
Cykly můžete použít, když je počet iterací pro operaci dynamický. Pokud například neznáte počet notebooků, které se mají zpracovat, nebo chcete vybrat počet notebooků za běhu, můžete použít smyčku pro iteraci v seznamu notebooků.
Smyčku můžete také použít k iteraci prostřednictvím výstupu uzlu nebo prvků v datovém poli.
Smyčky paralelně
Přidejte konstrukt paralelního cyklu do propojení procesů. Paralelní smyčka spouští iterující uzly nezávisle a možná současně.
Chcete-li například vytrénovat model strojového učení se sadou hyperparametrů, abyste nalezli nejlepšího umělce, můžete použít smyčku k iteraci seznamu hyperparametrů, které se mají použít k paralelnímu trénování variací zápisníku. Výsledky lze porovnat později v toku najít nejlepší notebook. Chcete-li zobrazit omezení počtu smyček, které můžete spustit současně, viz Omezení.
V následujícím příkladu uzel skriptu Run Bash vyhledává a načítá zápisníky, které odpovídají uvedeným kritériím. Uzel Spustit DataStage načítá data z úložiště Git . Když je vstup z každého uzlu k dispozici, zahájí se proces smyčky spuštěním každého zápisníku načteného hledáním a zpracováním dat načtených z úložiště Git .
Klepnutím na volbu Rozbalit pro přidání uzlů nebo na odchozí ikonu v uzlu zobrazíte proces úplné smyčky. Při spuštění zápisníku jsou všechny chyby v zápisníku zachyceny v podmínce s názvem Nízká kvalita. Podmínka spustí skript Bash, který zvýší uživatelskou proměnnou s názvem Zvýšit počet chyb. Když hodnota proměnné Zvýšit počet chyb dosáhne uvedené prahové hodnoty, smyčka se ukončí.
Protože se tok provádí paralelně pro každý zápisník, vrátí výsledky rychleji než sekvenční smyčka.
Vstupní parametry při iteraci typů seznamu
Parametr Popis Vstup seznamu Parametr Vstup seznamu obsahuje dvě pole, datový typ seznamu a obsah seznamu, přes který smyčka iteruje, nebo standardní odkaz na vstup propojení procesů nebo výstup propojení procesů. Paralelizmus Maximální počet úloh, které mají být spuštěny současně. Musí být větší než nula Vstupní parametry při iteraci typů řetězců
Parametr Popis Vstup textu Textová data, ze kterých smyčka čte Oddělovač Znak použitý k rozdělení textu Paralelismus (volitelné) Maximální počet úloh, které mají být spuštěny současně. Musí být větší než nula Pokud je typ prvku vstupních polí JSON nebo libovolný typ, který je jako takový reprezentován, může být toto pole rozloženo jako slovník. Klíče jsou původní klíče prvků a hodnoty jsou aliasy pro výstupní názvy.
Smyčky v pořadí
Přidejte sekvenční konstrukci smyčky do propojení procesů. Smyčky mohou iterovat v číselném rozsahu, seznamu nebo textu s oddělovačem.
Příklad použití pro sekvenční smyčky je, pokud chcete zkusit operaci třikrát před určením, zda operace selhala.
Vstupní parametry
Parametr Popis Vstup seznamu Parametr Vstup seznamu obsahuje dvě pole, datový typ seznamu a obsah seznamu, přes který smyčka iteruje, nebo standardní odkaz na vstup propojení procesů nebo výstup propojení procesů. Vstup textu Textová data, ze kterých smyčka čte. Zadejte znak pro rozdělení textu. Rozsah Zadejte počáteční, koncový a volitelný krok pro rozsah, přes který se má iterovat. Výchozí krok je 1. Po konfiguraci rozsahu iterací smyčky definujte tok dílčí kolony uvnitř smyčky, který se má spustit, dokud nebude smyčka dokončena. Může například vyvolat zápisník, skript nebo jiný tok na iteraci.
Ukončit smyčku
V paralelním nebo sekvenčním průběhu procesu smyčky můžete přidat uzel Ukončit propojení procesů , který proces smyčky kdykoli ukončí. Musíte upravit podmínky pro ukončení.
Upozornění: Pokud použijete uzel Ukončit smyčku, smyčka zruší všechny probíhající úlohy a ukončí se bez dokončení iterace.
Nakonfigurujte uživatelskou proměnnou s dvojicí klíč/hodnota a poté přidejte seznam dynamických proměnných pro tento uzel.
Podrobnosti o vytvoření uživatelské proměnné viz Konfigurace globálních objektů.
Vstupní parametry
x
Tabulka 1. vstupní parametry uživatelské proměnné Parametr Popis Název Zadejte název nebo klíč proměnné Typ vstupu Jako typ vstupu vyberte volbu Výraz nebo Parametr propojení procesů. - Pro výrazy použijte vestavěný Tvůrce výrazů k vytvoření proměnné, která je výsledkem vlastního výrazu.
- Pro parametry propojení procesů přiřaďte parametr propojení procesů a použijte hodnotu parametru jako vstup pro uživatelskou proměnnou.
Ukončení propojení procesů můžete zahájit a řídit pomocí uzlu propojení procesů Ukončit z kategorie Řízení. Při spuštění toku chyb můžete volitelně určit, jak zpracovat zápisník nebo trénovací úlohy, které byly zahájeny uzly v propojení procesů. Musíte uvést, zda se má čekat na dokončení úloh, zrušit úlohy a pak zastavit propojení procesů, nebo pouze zastavit vše bez zrušení. Zadejte volby pro uzel propojení procesů ukončení.
Vstupní parametry
Parametr Popis Režim terminátoru (volitelné) Zvolit chování pro tok chyb Režim terminátoru může být:
- Volba Ukončit spuštění propojení procesů a všechny spuštěné úlohy zastaví všechny úlohy a zastaví propojení procesů.
- Volba Zrušit všechny spuštěné úlohy a poté ukončit propojení procesů před zastavením propojení procesů zruší všechny spuštěné úlohy.
- Ukončit spuštění propojení procesů po dokončení spuštěných úloh čeká na dokončení spuštěných úloh a poté zastaví propojení procesů.
- Ukončit propojení procesů, které je spuštěno bez zastavení úloh zastaví propojení procesů, ale umožní spuštěným úlohám pokračovat.
Aktualizovat uzly
Použijte uzly aktualizace k nahrazení nebo aktualizaci aktiv, abyste zlepšili výkon. Chcete-li například standardizovat značky, můžete je aktualizovat a nahradit je novou značkou.
Aktualizujte podrobnosti trénování pro experiment AutoAI.
Vstupní parametry
Parametr Popis AutoAI experiment Cesta k projektu nebo prostoru, kde se experiment nachází Název experimentu AutoAI (volitelné) Název experimentu, který má být aktualizován, s volitelným popisem a značkami Popis experimentu AutoAI (volitelné) Popis experimentu Značky experimentu AutoAI (volitelné) Značky pro identifikaci experimentu Výstupní parametry
Parametr Popis AutoAI experiment Cesta aktualizovaného experimentu
Pomocí těchto parametrů aktualizujte dávkovou implementaci.
Vstupní parametry
Parametr Popis Nasazení Cesta k implementaci, která má být aktualizována Nový název pro nasazení (volitelný) Název nebo ID implementace, která se má aktualizovat Nový popis nasazení (volitelný) Popis nasazení Nové značky pro implementaci (volitelné) Značky pro identifikaci implementace Aktivum ML Název nebo ID aktiva strojového učení, které se má implementovat Specifikace hardwaru Aktualizovat specifikaci hardwaru pro úlohu Výstupní parametry
Parametr Popis Nasazení Cesta aktualizovaného nasazení
Aktualizujte podrobnosti pro prostor.
Vstupní parametry
Parametr Popis Prostor Cesta k existujícímu prostoru Název prostoru (volitelné) Aktualizovat název prostoru Popis prostoru (volitelný) Popis prostoru Značky prostoru (volitelné) Značky pro identifikaci prostoru Instance WML (volitelné) Zadejte novou instanci Machine Learning Instance WML Zadejte novou instanci Machine Learning . Poznámka: I když přiřadíte jiný název pro instanci v uživatelském rozhraní, název systému je Machine Learning instance. Rozlišovat mezi různými instancemi pomocí názvu CRN instance Výstupní parametry
Parametr Popis Prostor Cesta aktualizovaného prostoru
Pomocí těchto parametrů můžete aktualizovat implementaci online (webovou službu).
Vstupní parametry
Parametr Popis Nasazení Cesta k existujícímu nasazení Název implementace (volitelné) Aktualizovat název implementace Popis nasazení (volitelný) Popis nasazení Značky implementace (volitelné) Značky pro identifikaci implementace Aktivum (volitelné) Aktivum strojového učení (nebo verze), které má být znovu implementováno Výstupní parametry
Parametr Popis Nasazení Cesta aktualizovaného nasazení
Odstranit uzly
Nakonfigurujte parametry pro operace odstranění.
Můžete odstranit:
- AutoAI experiment
- Dávková implementace
- Prostor implementace
- Nasazení online
Pro každou položku zvolte aktivum, které se má odstranit.
Spustit uzly
Použijte tyto uzly k trénování experimentu, provedení skriptu nebo spuštění datového toku.
Trénuje a ukládá AutoAI experimentovat potrubí a modely.
Vstupní parametry
Parametr Popis AutoAI experiment Vyhledejte aktivum propojení procesů ML nebo získejte experiment z parametru propojení procesů nebo výstupu z předchozího uzlu. Datové aktivum trénování Procházejte nebo vyhledejte data pro trénování experimentu. Všimněte si, že můžete dodat data za běhu pomocí parametru propojení procesů Zadržet datové aktivum (volitelné) Volitelně zvolte samostatný soubor, který se má použít pro data o držení pro výkon testovacího modelu. Počet modelů (volitelné) Určete, kolik modelů se má uložit z nejvýkonnějších kanálů. Limit je 3 modely Název spuštění (volitelné) Název experimentu a volitelný popis a značky Předpona názvu modelu (volitelné) Předpona používaná k pojmenování natrénovaných modelů. Výchozí hodnota je < (název experimentu) > Popis spuštění (volitelné) Popis nového tréninkového běhu Spustit značky (volitelné) Značky pro nový trénovací běh Režim vytvoření (volitelné) Zvolte, jak se má zacházet s případem, kdy se tok propojení procesů pokusí vytvořit aktivum a existuje jeden se stejným názvem. Jedna z následujících možností: ignore,fail,overwriteZásada chyb (volitelné) Volitelně můžete přepsat výchozí zásadu chyb pro uzel. Výstupní parametry
Parametr Popis Modely Seznam cest k horním N natrénovaným a trvalým modelům (seřazeno podle vybrané metriky vyhodnocení) Nejlepší model cesta vítězného modelu (na základě vybrané vyhodnocovací metriky) Metriky modelu seznam natrénovaných metrik modelu (každá položka je vnořený objekt s metrikami jako: holdout_precision, holdout_average_precision, ...) Metrika vítězného modelu zvolená hodnoticí metrika vítězného modelu Optimalizovaná metrika Metrika použitá k vyladění modelu Stav provedení Informace o stavu úlohy: nevyřízená, spuštěná, spuštěná, dokončená, zrušená nebo nezdařená s chybami Stavová zpráva Informace o stavu úlohy
Spuštěním vloženého skriptu Bash zautomatizujte funkci nebo proces pro propojení procesů. Kód skriptu bash můžete zadat ručně, nebo můžete importovat skript bash z prostředku, parametru propojení procesů nebo výstupu jiného uzlu.
Můžete také použít skript Bash ke zpracování velkých výstupních souborů. Můžete například generovat velký seznam oddělený čárkami, který pak můžete iterovat pomocí smyčky.
V následujícím příkladu zadal uživatel vložený kód skriptu ručně. Skript používá nástroj
cpdctlk vyhledání všech notebooků se značkou set variable a agreguje výsledky v seznamu JSON. Seznam lze poté použít v jiném uzlu, jako je například spuštění notebooků vrácených z hledání.
Vstupní parametry
Parametr Popis Vložený kód skriptu V editoru vloženého kódu zadejte skript Bash. Volitelné: Volitelně můžete vybrat prostředek, přiřadit parametr propojení procesů nebo vybrat z jiného uzlu. Proměnné prostředí (volitelné) Zadejte název proměnné (klíč) a datový typ a přidejte do seznamu proměnných, které se mají použít ve skriptu. Zásada chyb (volitelné) Volitelně můžete přepsat výchozí zásadu chyb pro uzel. Výstupní parametry
Parametr Popis Výstupní proměnné Konfigurujte dvojici klíč/hodnota pro každou vlastní proměnnou a poté klepnutím na tlačítko Přidat naplňte seznam dynamických proměnných pro uzel. Návratová hodnota Návratová hodnota z uzlu Standardní výstup Standardní výstup ze skriptu Stav provedení Informace o stavu úlohy: nevyřízená, spuštěná, spuštěná, dokončená, zrušená nebo nezdařená s chybami Stavová zpráva Zpráva přidružená ke stavu Pravidla pro výstup skriptu Bash
Výstup pro skript Bash je často výsledkem vypočteného výrazu a může být velký. Při kontrole vlastností pro skript s platným velkým výstupem můžete zobrazit náhled nebo stáhnout výstup v prohlížeči.
Tato pravidla řídí, jaký typ velkého výstupu je platný.
- Výstup
list_expressionje vypočtený výraz, takže je platný velký výstup. - Řetězcový výstup je považován za literálovou hodnotu spíše než za vypočtený výraz, takže musí dodržovat omezení velikosti, která řídí vložené výrazy. Budete například varováni, když literálová hodnota překročí 1 KB a hodnoty 2 KB a vyšší způsobí chybu.
Odkazování na proměnnou ve skriptu Bash
Způsob odkazování na proměnnou ve skriptu závisí na tom, zda byla proměnná vytvořena jako vstupní proměnná nebo jako výstupní proměnná. Výstupní proměnné jsou vytvořeny jako soubor a vyžadují cestu k souboru v odkazu. Konkrétně:
- Vstupní proměnné jsou k dispozici s použitím přiřazeného názvu.
- Názvy výstupních proměnných vyžadují, aby byl k názvu proměnné připojen řetězec
_PATH, který označuje, že hodnoty musí být zapsány do výstupního souboru, na který odkazuje proměnná{output_name}_PATH.
Použití SSH ve skriptech Bash
Následující kroky popisují, jak použít ` ssh ` ke spuštění vašeho vzdáleného skriptu Bash.- Vytvořte soukromý klíč a veřejný klíč.
ssh-keygen -t rsa -C "XXX" - Zkopírujte veřejný klíč na vzdáleného hostitele.
ssh-copy-id USER@REMOTE_HOST - Na vzdáleném hostiteli zkontrolujte, zda je obsah veřejného klíče přidán do
/root/.ssh/authorized_keys. - Zkopírujte veřejný a soukromý klíč do nového adresáře v uzlu Spustit skript Bash .
mkdir -p $HOME/.ssh #copy private key content echo "-----BEGIN OPENSSH PRIVATE KEY----- ... ... -----END OPENSSH PRIVATE KEY-----" > $HOME/.ssh/id_rsa #copy public key content echo "ssh-rsa ...... " > $HOME/.ssh/id_rsa.pub chmod 400 $HOME/.ssh/id_rsa.pub chmod 400 $HOME/.ssh/id_rsa ssh -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o GlobalKnownHostsFile=/dev/null -i $HOME/.ssh/id_rsa USER@REMOTE_HOST "cd /opt/scripts; ls -l; sh 1.sh"
Použití obslužných programů SSH ve skriptech Bash
Následující kroky popisují, jak použít ` sshpass ` ke spuštění vašeho vzdáleného skriptu Bash.- Vložte soubor s heslem SSH do systémové cesty, například do připojené cesty svazku úložišť.
- Heslo SSH použijte přímo v uzlu Spustit skript Bash :
cd /mnts/orchestration ls -l sshpass chmod 777 sshpass ./sshpass -p PASSWORD ssh -o StrictHostKeyChecking=no USER@REMOTE_HOST "cd /opt/scripts; ls -l; sh 1.sh"
- Výstup
Nakonfigurujte tento uzel pro spuštění vybraných úloh implementace.
Vstupní parametry
Parametr Popis Nasazení Procházet nebo vyhledat úlohu implementace Vstupní datová aktiva Uveďte data použitá pro dávkovou úlohu Omezení: Vstup pro úlohy dávkového nasazení je omezen na datová aktiva. Implementace, které vyžadují vstup JSON nebo více souborů jako vstup, nejsou podporovány. Například modely SPSS a řešení Decision Optimization , která vyžadují více souborů jako vstup, nejsou podporována.Výstupní aktivum Název výstupního souboru pro výsledky dávkové úlohy. Můžete buď vybrat Název souboru a zadat vlastní název souboru, nebo Datové aktivum a vybrat existující aktivum v prostoru. Specifikace hardwaru (volitelné) Procházením vyhledejte specifikaci hardwaru, která se má použít pro úlohu Zásada chyb (volitelné) Volitelně můžete přepsat výchozí zásadu chyb pro uzel. Výstupní parametry
Parametr Popis Úloha Cesta k souboru s výsledky z úlohy implementace Spuštění úlohy ID pro úlohu Stav provedení Informace o stavu úlohy: nevyřízená, spuštěná, spuštěná, dokončená, zrušená nebo nezdařená s chybami Stavová zpráva Informace o stavu úlohy
IBM DataStage je nástroj pro integraci dat pro návrh, vývoj a spouštění úloh, které přesouvají a transformují data. Spusťte úlohu DataStage a použijte výstup v pozdějším uzlu.
Například následující tok zobrazuje uzel Spustit DataStage , který načítá data z úložiště Git . Pokud je úloha úspěšně dokončena, propojení procesů provede další uzel a vytvoří prostor implementace. Pokud úloha selže, spustí se oznamovací e-mail a smyčka se ukončí.
Parametr Popis Úloha DataStage Cesta k úloze DataStage Hodnoty pro lokální parametry (volitelné) Upravte výchozí parametry úlohy. Tato volba je k dispozici pouze v případě, že máte v úloze lokální parametry. Hodnoty ze sad parametrů (volitelné) Upravte sady parametrů používané touto úlohou. Můžete zvolit použití parametrů, které jsou definovány jako výchozí, nebo použít sady hodnot z jiných parametrů propojení procesů. Prostředí Vyhledejte a vyberte prostředí použité ke spuštění úlohy DataStage . Upozornění: Ponechte pole prostředí tak, aby používalo výchozí běhové prostředí DataStage XS. Pokud se rozhodnete přepsat, uveďte alternativní prostředí pro spuštění úlohy. Ujistěte se, že jakékoli zadané prostředí je kompatibilní s konfigurací hardwaru, abyste se vyhnuli běhové chybě.Proměnné prostředí (volitelné) Zadejte název proměnné (klíč) a datový typ a přidejte do seznamu proměnných, které se mají použít v úloze. Parametry úlohy (volitelné) Další parametr, který se má předat úloze při jejím spuštění. Zadejte dvojici klíč/hodnota a přidejte ji do seznamu Zásada chyb (volitelné) Volitelně můžete přepsat výchozí zásadu chyb pro uzel. Výstupní parametry
Parametr Popis Úloha Cesta k výsledkům z úlohy DataStage Spuštění úlohy Informace o spuštění úlohy Název úlohy Název úlohy Stav provedení Informace o stavu úlohy: nevyřízená, spuštěná, spuštěná, dokončená, zrušená nebo nezdařená s chybami Stavová zpráva Informace o stavu úlohy
Tento uzel spustí určenou úlohu Data Refinery .
Vstupní parametry
Parametr Popis Úloha Data Refinery Cesta k úloze Data Refinery . Prostředí Cesta prostředí použitého ke spuštění úlohy Upozornění: Pole prostředí ponechte tak, aby používalo výchozí běhové prostředí. Pokud se rozhodnete přepsat, uveďte alternativní prostředí pro spuštění úlohy. Ujistěte se, že jakékoli prostředí, které zadáte, je kompatibilní s konfigurací jazyka a hardwaru komponenty, abyste se vyhnuli běhové chybě.Zásada chyb (volitelné) Volitelně můžete přepsat výchozí zásadu chyb pro uzel. Výstupní parametry
Parametr Popis Úloha Cesta k výsledkům z úlohy Data Refinery Spuštění úlohy Informace o spuštění úlohy Název úlohy Název úlohy Stav provedení Informace o stavu toku: nevyřízeno, spuštěno, spuštěno, dokončeno, zrušeno nebo selhalo s chybami Stavová zpráva Informace o stavu toku
Pomocí těchto voleb konfigurace určete, jak spustit Jupyter Notebook v propojení procesů.
Vstupní parametry
Parametr Popis Úloha zápisníku Cesta k úloze zápisníku. Prostředí Cesta prostředí použitého ke spuštění zápisníku. Upozornění: Pole prostředí ponechte tak, aby používalo výchozí prostředí. Pokud se rozhodnete přepsat, uveďte alternativní prostředí pro spuštění úlohy. Ujistěte se, že jakékoli prostředí, které uvedete, je kompatibilní s jazykem notebooku a konfigurací hardwaru, abyste se vyhnuli běhové chybě.Proměnné prostředí (volitelné) Seznam proměnných prostředí použitých ke spuštění úlohy zápisníku Zásada chyb (volitelné) Volitelně můžete přepsat výchozí zásadu chyb pro uzel. Poznámky:
- Proměnné prostředí, které definujete v propojení procesů, nelze použít pro úlohy zápisníku, které spustíte mimo Watson Pipelines.
- Zápisník můžete spustit z balíku kódu v běžném balíku.
Výstupní parametry
Parametr Popis Úloha Cesta k výsledkům z úlohy zápisníku Spuštění úlohy Informace o spuštění úlohy Název úlohy Název úlohy Výstupní proměnné Nakonfigurujte dvojici klíč/hodnota pro každou vlastní proměnnou a poté klepněte na tlačítko Přidat , abyste naplnili seznam dynamických proměnných pro uzel. Stav provedení Informace o stavu spuštění: nevyřízeno, spuštěno, spuštěno, dokončeno, zrušeno nebo selhalo s chybami Stavová zpráva Informace o stavu spuštění zápisníku
Spusťte znovu použitelnou komponentu propojení procesů vytvořenou pomocí skriptu Python . Podrobnosti viz Vytvoření vlastní komponenty.
- Je-li k dispozici komponenta propojení procesů, představuje konfigurace uzlu seznam dostupných komponent.
- Vybraná komponenta určuje vstup a výstup pro uzel.
- Jakmile přiřadíte komponentu k uzlu, nemůžete komponentu odstranit ani změnit. Musíte odstranit uzel a vytvořit nový.
Přidejte propojení procesů, chcete-li spustit vnořenou úlohu propojení procesů jako součást obsahujícího propojení procesů. Jedná se o způsob přidání znovupoužitelných procesů do více kanálů. Výstup z vnořeného propojení procesů lze použít jako vstup pro uzel v příslušném propojení procesů.
Vstupní parametry
Parametr Popis Úloha propojení procesů Vyberte nebo zadejte cestu k existující úloze propojení procesů. Prostředí (volitelné) Vyberte prostředí, ve kterém se má spustit úloha propojení procesů, a přiřaďte prostředky prostředí. Upozornění: Pole prostředí ponechte tak, aby používalo výchozí běhové prostředí. Pokud se rozhodnete přepsat, uveďte alternativní prostředí pro spuštění úlohy. Ujistěte se, že jakékoli prostředí, které zadáte, je kompatibilní s konfigurací jazyka a hardwaru komponenty, abyste se vyhnuli běhové chybě.Hodnoty pro lokální parametry (volitelné) Upravte výchozí parametry úlohy. Tato volba je k dispozici pouze v případě, že máte v úloze lokální parametry. Hodnoty ze sad parametrů (volitelné) Upravte sady parametrů používané touto úlohou. Můžete zvolit použití parametrů, které jsou definovány jako výchozí, nebo použít sady hodnot z jiných parametrů propojení procesů. Zásada chyb (volitelné) Volitelně můžete přepsat výchozí zásadu chyb pro uzel. Výstupní parametry
Parametr Popis Úloha Cesta k výsledkům z úlohy propojení procesů Spuštění úlohy Informace o spuštění úlohy Název úlohy Název úlohy Stav provedení Vrací hodnotu: Dokončeno, Dokončeno s varováními, Dokončeno s chybami, Nezdařilo se nebo Zrušeno Stavová zpráva Zpráva přidružená ke stavu Poznámky ke spouštění vnořených úloh propojení procesů
Pokud vytvoříte propojení procesů s vnořenými potrubími a spustíte úlohu propojení procesů z nejvyšší úrovně, budou tato propojení procesů pojmenována a uložena jako aktiva projektu s použitím této konvence:
- Úloha propojení procesů nejvyšší úrovně má název "Trial job- pipeline guid".
- Všechny následné úlohy jsou pojmenovány "pipeline_ pipeline guid".
Další informace
Nadřízené téma: Vytvoření propojení procesů