Téléchargement d'un modèle de fondation personnalisé et configuration du stockage

Téléchargement du modèle vers IBM Cloud Object Storage en utilisant IBM Aspera Transfer SDK

Prérequis :

• Téléchargez le IBM Aspera Transfer SDK. Cliquez sur ce lien.
• Définissez ces variables d'environnement :
  • Chemin d'accès à IBM Aspera Transfer SDK en tant que path-to-aspera
  • Chemin d'accès au dossier contenant le modèle en tant que path-to-model-folder
  • Nom de l'entrepôt dans lequel le modèle doit être transféré en tant que bucket-name
  • Votre clé API de stockage d'objets dans le nuage comme api-key
  • L'identifiant de l'instance de votre service de stockage d'objets dans le nuage est cos-service-instance-id
  • Le point de terminaison de votre service de stockage d'objets dans le nuage est cos-service-endpoint

Utilisez ce script pour télécharger votre modèle vers IBM Cloud Object Storage en utilisant IBM Aspera Transfer SDK :

import grpc
import sys
import time, subprocess
import json
import os.path
import os.environ

import transfer_pb2 as transfer_manager
import transfer_pb2_grpc as transfer_manager_grpc

path_to_aspera = os.environ['path-to-aspera']
sys.path.append(f'{path_to_aspera}/connectors/python')

def start_aspera_daemon():
    config_path = f'/{path_to_aspera}/config/asperatransferd.json'
    daemon_path = f'/{path_to_aspera}/bin/asperatransferd'

    # Start the daemon
    process = subprocess.Popen([daemon_path, '--config', config_path])
    print(f"Started Aspera Transfer SDK daemon with PID {process.pid}")
    time.sleep(5)  # Increased wait time for the daemon to start properly

    return process

def run():
    try:
        # create a connection to the transfer manager daemon
        client = transfer_manager_grpc.TransferServiceStub(grpc.insecure_channel('localhost:55002'))

        # create transfer spec
        transfer_spec = {
            "session_initiation":{
                "icos":{
                    "bucket": os.environ['bucket-name'],
                    "api_key": os.environ['cos-api-key'],
                    "ibm_service_instance_id": os.environ['cos-service-instance-id'],
                    "ibm_service_endpoint": os.environ['cos-service-endpoint'] # example: https://s3.us-south.cloud-object-storage.appdomain.cloud
                }
            },
            "direction": "send",
            "title": "COS Upload",
            "assets": {
                "destination_root": "/model",
                "paths": [
                    {
                        "source": os.environ['path-to-model-folder']
                    }
                ]
            }
        }
        transfer_spec = json.dumps(transfer_spec)

        # create a transfer request
        transfer_request = transfer_manager.TransferRequest(
            transferType=transfer_manager.FILE_REGULAR,
            config=transfer_manager.TransferConfig(),
            transferSpec=transfer_spec
        )

        # send start transfer request to transfer manager daemon
        try:
            transfer_response = client.StartTransfer(transfer_request)
            transfer_id = transfer_response.transferId
            print(f"Transfer started with id {transfer_id}")
        except grpc.RpcError as e:
            print(f"Error starting transfer: {e.code()}: {e.details()}")
            return
        # monitor transfer status
        try:
            # Monitor transfer status
            while True:
                response = client.MonitorTransfers(
                    transfer_manager.RegistrationRequest(
                        filters=[transfer_manager.RegistrationFilter(
                            transferId=[transfer_id]
                        )]))
                for transfer_info in response:
                    print(f"Transfer info: {transfer_info}")

                    # Check transfer status in response
                    status = transfer_info.status
                    if status == transfer_manager.FAILED or status == transfer_manager.COMPLETED:
                        print(f"Transfer finished with status {status}")
                        return

                # Wait before polling again
                time.sleep(5)
        except grpc.RpcError as e:
            print(f"Error monitoring transfer: {e.code()}: {e.details()}")
    except Exception as e:
        print(f"Unexpected error: {str(e)}", file=sys.stderr)


if __name__ == '__main__':
    # Start the Aspera Transfer SDK daemon
    daemon_process = start_aspera_daemon()

    # Run the file transfer
    run()

    # Optionally, stop the Aspera daemon after transfer
    daemon_process.terminate()
    print("Aspera Transfer SDK daemon stopped")

Téléchargement du modèle vers IBM Cloud Object Storage à l'aide d'outils fournis par des tiers

Vous pouvez utiliser un logiciel tiers pour télécharger votre modèle vers IBM Cloud Object Storage.

Suivez les étapes suivantes pour télécharger votre modèle vers IBM Cloud Object Storage à l'aide de l'interface de ligne de commande Amazon Web Services :

1. Installez l'interface de ligne de commande Amazon Web Services avec pip :

   pip install awscli
   

2. Définir les variables d'environnement nécessaires :

   export AWS_ACCESS_KEY_ID="<your access key>"
   export AWS_SECRET_ACCESS_KEY="<your secret access key>"
   export ENDPOINT="<s3 endpoint URL>"
   export BUCKET_NAME="<name of the bucket to upload the model>"
   MODEL_FOLDER=${MODEL_NAME//\//-} # The name of the created folder is based on model name.
   export MODEL_FOLDER=${MODEL_FOLDER//./-} # Just in case, we're removing slashes and dots from it.
   

3. Ajoutez le modèle au seau IBM Cloud Object Storage en utilisant l'interface de ligne de commande Amazon Web Services :

   aws --endpoint-url ${ENDPOINT} s3 cp ${MODEL_DIR} s3://${BUCKET_NAME}/${MODEL_FOLDER}/ --recursive --follow-symlinks