propiedades de extensionmodelnode

Volver a la versión inglesa de la documentación

Última actualización: 04 oct 2024

propiedades de extensionmodelnode

Icono de nodo de modelo de extensión Con el nodo de Modelo de extensión, puede ejecutar scripts R o Python para Spark para crear y puntuar resultados.

Tenga en cuenta que muchas de las propiedades y mucha de la información de esta página sólo son aplicables a las corrientes de SPSS Modeler Desktop.

Ejemplo de Python para Spark

import modeler.api
stream = modeler.script.stream()
node = stream.create("extension_build", "extension_build")
node.setPropertyValue("syntax_type", "Python")

build_script = """
import json
import spss.pyspark.runtime
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.linalg import DenseVector
from pyspark.mllib.tree import DecisionTree

cxt = spss.pyspark.runtime.getContext()
df = cxt.getSparkInputData()
schema = df.dtypes[:]

target = "Drug"
predictors = ["Age","BP","Sex","Cholesterol","Na","K"]

def metaMap(row,schema):
    col = 0
    meta = []
    for (cname, ctype) in schema:
        if ctype == 'string':
            meta.append(set([row[col]]))
        else:
            meta.append((row[col],row[col]))
        col += 1        
    return meta

def metaReduce(meta1,meta2,schema):
    col = 0
    meta = []
    for (cname, ctype) in schema:
        if ctype == 'string':
            meta.append(meta1[col].union(meta2[col]))
        else:
            meta.append((min(meta1[col][0],meta2[col][0]),max(meta1[col][1],meta2[col][1])))
        col += 1
    return meta

metadata = df.rdd.map(lambda row: metaMap(row,schema)).reduce(lambda x,y:metaReduce(x,y,schema))

def setToList(v):
    if isinstance(v,set): 
        return list(v)
    return v

metadata = map(lambda x: setToList(x), metadata)
print metadata

lookup = {}
for i in range(0,len(schema)):
    lookup[schema[i][0]] = i

def row2LabeledPoint(dm,lookup,target,predictors,row):
    target_index = lookup[target]
    tval = dm[target_index].index(row[target_index])
    pvals = []
    for predictor in predictors:
        predictor_index = lookup[predictor]
        if isinstance(dm[predictor_index],list):        
            pval = dm[predictor_index].index(row[predictor_index])
        else:
            pval = row[predictor_index]
        pvals.append(pval)
    return LabeledPoint(tval,DenseVector(pvals))

# count number of target classes
predictorClassCount = len(metadata[lookup[target]])

# define function to extract categorical predictor information from datamodel 
def getCategoricalFeatureInfo(dm,lookup,predictors):
    info = {}
    for i in range(0,len(predictors)):
        predictor = predictors[i]
        predictor_index = lookup[predictor]
        if isinstance(dm[predictor_index],list):
            info[i] = len(dm[predictor_index])
    return info

# convert dataframe to an RDD containing LabeledPoint
lps = df.rdd.map(lambda row: row2LabeledPoint(metadata,lookup,target,predictors,row))

treeModel = DecisionTree.trainClassifier(
    lps,
    numClasses=predictorClassCount,
    categoricalFeaturesInfo=getCategoricalFeatureInfo(metadata, lookup, predictors),
    impurity='gini',
    maxDepth=5,
    maxBins=100)

_outputPath = cxt.createTemporaryFolder()
treeModel.save(cxt.getSparkContext(), _outputPath)
cxt.setModelContentFromPath("TreeModel", _outputPath)
cxt.setModelContentFromString("model.dm",json.dumps(metadata), mimeType="application/json")\
   .setModelContentFromString("model.structure",treeModel.toDebugString())

"""

node.setPropertyValue("python_build_syntax", build_script)

Ejemplo de R

node.setPropertyValue("syntax_type", "R")
node.setPropertyValue("r_build_syntax", """modelerModel <- lm(modelerData$Na~modelerData$K,modelerData)
modelerDataModel
modelerModel 
""")

Tabla 1. propiedades de extensionmodelnode
Propiedades de `extensionmodelnode`	Valores	Descripción de la propiedad
`syntax_type`	R Python	Especifique qué script se ejecuta: R o Python (R es el valor predeterminado).
`r_build_syntax`	serie	Sintaxis de scripts R para la creación de modelos.
`r_score_syntax`	serie	Sintaxis de scripts R para la puntuación de modelos.
`python_build_syntax`	serie	Sintaxis de scripts Python para la creación de modelos.
`python_score_syntax`	serie	Sintaxis de scripts Python para la puntuación de modelos.
`convert_flags`	`StringsAndDoubles` `LogicalValues`	Opción para convertir campos de distintivos.
`convert_missing`	distintivo	Opción para convertir valores perdidos a R`NA`valor.
`convert_datetime`	distintivo	Opción para convertir las variables con los formatos de fecha o de fecha y hora para formatos de fecha/hora R.
`convert_datetime_class`	`POSIXct` `POSIXlt`	Opciones para especificar a qué formato se convierten las variables con los formatos de fecha o de fecha y hora.
`output_html`	distintivo	Opción para visualizar gráficos en el nugget de modelo R.
`output_text`	distintivo	Opción para escribir salida de texto de consola R en el nugget de modelo R.