O třídě popisovače dat

Popisovač dat provádí následující funkce:

• Přistupuje k datům, která jsou nezbytná pro trénování modelu. Např. čte data ze souboru CSV do datového rámce Pandas.
• Předběžné zpracování dat tak, aby data byla v konzistentním formátu napříč všemi stranami. Příklady některých příkladů jsou:
  • Sloupec Datum může být uložen jako časová epocha nebo časová značka.
  • Sloupec Země může být zakódován nebo zkrácen.
• Popisovač dat zajistí, aby bylo formátování dat ve shodě.
  • Volitelně: inženýr funkcí podle potřeby.

Následující ilustrace zobrazuje, jak se popisovač dat používá ke zpracování dat a jak jej lze spotřebovat při experimentu:

Šablona popisovače dat

Obecná šablona popisovače dat je následující:

# your import statements

from ibmfl.data.data_handler import DataHandler

class MyDataHandler(DataHandler):
    """
    Data handler for your dataset.
    """
    def __init__(self, data_config=None):
        super().__init__()
        self.file_name = None
        if data_config is not None:
            # This can be any string field.
            # For example, if your data set is in `csv` format,
            # <your_data_file_type> can be "CSV", ".csv", "csv", "csv_file" and more.
            if '<your_data_file_type>' in data_config:
                self.file_name = data_config['<your_data_file_type>']
            # extract other additional parameters from `info` if any.

        # load and preprocess the training and testing data
        self.load_and_preprocess_data()

        """
        # Example:
        # (self.x_train, self.y_train), (self.x_test, self.y_test) = self.load_dataset()
        """

    def load_and_preprocess_data(self):
        """
        Loads and pre-processeses local datasets, 
        and updates self.x_train, self.y_train, self.x_test, self.y_test.

        # Example:
        # return (self.x_train, self.y_train), (self.x_test, self.y_test)
        """

        pass
    
    def get_data(self):
        """
        Gets the prepared training and testing data.
        
        :return: ((x_train, y_train), (x_test, y_test)) # most build-in training modules expect data is returned in this format
        :rtype: `tuple` 

        This function should be as brief as possible. Any pre-processing operations should be performed in a separate function and not inside get_data(), especially computationally expensive ones.

        # Example:
        # X, y = load_somedata()
        # x_train, x_test, y_train, y_test = \
        # train_test_split(X, y, test_size=TEST_SIZE, random_state=RANDOM_STATE)
        # return (x_train, y_train), (x_test, y_test)
        """
        pass

    def preprocess(self, X, y):
        pass

Parametry

• your_data_file_type: Toto může být libovolné pole řetězce. Například, pokud je vaše datová sada ve formátu csv , může být your_data_file_type "CSV", ". csv", "csv", "csv_file" a další.

train_gen = ImageDataGenerator(rotation_range=8,
                                width_sht_range=0.08,
                                shear_range=0.3,
                                height_shift_range=0.08,
                                zoom_range=0.08)

train_datagenerator = train_gen.flow(
    x_train, y_train, batch_size=64)

return train_datagenerator

Příklady obslužné rutiny dat

• Popisovač dat MNIST Keras
• Popisovač dat pro dospělé XGBoost

Nadřízené téma: Vytvoření experimentu sdruženého učení