Esta sección describe cómo configurar los atributos del modelo de
datos basándose en pyspark.sql.StructField
.
Objetos spss.datamodel.Role
Esta clase enumera roles válidos para cada campo en un modelo de datos.
BOTH
: Indica que este campo puede ser un antecedente o un consecuente.
FREQWEIGHT
: Indica que este campo se va a utilizar como ponderación de frecuencia; esto no se muestra al usuario.
INPUT
: Indica que este campo es un predictor o un antecedente.
NONE
: Indica que este campo no se utiliza directamente durante el modelado.
TARGET
: Indica que este campo se ha predicho o es un consecuente.
PARTITION
: Indica que este campo identifica la partición de datos.
RECORDID
: Indica que este campo identifica el ID de registro.
SPLIT
: Indica que este campo divide los datos.
Objetos spss.datamodel.Measure
Esta clase enumera niveles de medición para campos en un modelo de datos.
UNKNOWN
: Indica que el tipo de medida es desconocido.
CONTINUOUS
: Indica que el tipo de medida es continuo.
NOMINAL
: Indica que el tipo de medida es nominal.
FLAG
: Indica que el valor del campo es uno de dos valores.
DISCRETE
: Indica que el valor del campo debería interpretarse como una colección de valores.
ORDINAL
: Indica que el tipo de medida es ordinal.
TYPELESS
: Indica que el campo puede tener algún valor compatible con su almacenamiento.
Objetos pyspark.sql.StructField
StructType
. Un objeto StructField
engloba cuatro campos:name (string)
: nombre de unStructField
dataType (pyspark.sql.DataType)
: tipo de datos específiconullable (bool)
: si los valores de unStructField
pueden contener valoresNone
metadata (dictionary)
: un diccionario python que almacena los atributos de opción
measure
: la palabra clave para el atributomeasure
role
: la palabra clave para el atributorole
displayLabel
: la palabra clave para el atributolabel
from spss.datamodel.Role import Role
from spss.datamodel.Measure import Measure
_metadata = {}
_metadata['measure'] = Measure.TYPELESS
_metadata['role'] = Role.NONE
_metadata['displayLabel'] = "field label description"
StructField("userName", StringType(), nullable=False,
metadata=_metadata)