Replicación de datos usando Operadores SLT y SAP Data Intelligence Generation 2

Introducción

SAP Landscape Transformation Replication Server (SLT) es un producto que permite a los usuarios replicar datos entre sistemas. Si bien hay muchos blogs que cubren SLT en general, me centraré en cómo se puede usar SLT con SAP Data Intelligence (DI) para la replicación.

SAP Data Intelligence es un producto que se utiliza para organizar un panorama de sistemas de datos heterogéneos de sistemas SAP y sistemas de terceros. Es la principal herramienta con la que trabajo en el equipo de gestión de datos en Irlanda. Dentro de DI tiene la opción de construir tuberías usando Operadores de Generación 1 u Operadores de Generación 2.

Si está utilizando operadores de generación 1, consulte este excelente blog de Martin Boeckling (https://blogs.sap.com/2021/07/20/replication-and-filtering-of-data-by-using- slt-y-sap-data-intelligence/).

En este blog, le daré un tutorial paso a paso de cómo puede construir una canalización en DI para replicar datos de una tabla SLT y almacenarlos en cualquier destino utilizando Operadores de Generación 2.

requisitos previos

Para seguir este blog, necesitará un sistema SLT (ya sea un sistema DMIS independiente o una versión SLT en un sistema SAP S/4HANA) y un sistema DI (local o en la nube) con una conexión ABAP al sistema SLT que desee. usar. Esta nota SAP (https://launchpad.support.sap.com/#/notes/2835207) contiene detalles sobre cómo conectar los dos sistemas.

SLT

Crea tu configuración

Para conectar un sistema SLT a un sistema DI, debe crear una configuración dentro de SLT utilizando la cabina SLT a la que se puede acceder con la transacción LTRC. Al hacer clic en el ícono de papel (en el cuadrado rojo a continuación), puede crear la configuración en la ventana emergente que sigue.

Icono de papel SLT

Sigue este blog (https://blogs.sap.com/2019/10/29/abap-integration-replicating-tables-into-sap-data-hub-via-sap-lt-replication-server/) para crear la conexión. Al final, asegúrese de verificar que haya configurado todo correctamente en la pantalla de revisión. Si todo es lo necesario, haga clic en crear para crear la configuración.

Botón Crear SLT

Una vez que se ha creado la configuración, puede acceder a una descripción general y a las réplicas actuales relacionadas con ella mediante el icono de gafas.

Detalles de replicación SLT

Replicación de tablas

Para este blog, usaremos la tabla SFLIGHT para demostrar este escenario de replicación. La tabla aparece de la siguiente manera dentro de SLT:

Mesa VUELO

Inteligencia de datos de SAP

Integre la configuración de SLT dentro de SAP Data Intelligence

Ahora que tenemos nuestra configuración SLT hecha, veamos cómo construir la canalización de replicación en DI. Para esto, debemos usar el mosaico Modeler del Launchpad. Para usar este mosaico y poder ver los resultados de la replicación, debemos tener las siguientes políticas asignadas al usuario que deseamos usar: app.datahub-app-data.fullAccess, sap.dh.member, sap.dh .desarrollador. (https://launchpad.support.sap.com/#/notes/2981615)

Plataforma de lanzamiento de inteligencia de datos

Ahora nos conectaremos al sistema SLT, replicaremos los datos a un archivo en DI y veremos los resultados.

Construya su canalización

Para ello, utilizaremos la opción Leer Datos del Operador del Sistema SAP a la que se puede acceder desde la pestaña “Operadores” de la izquierda, dentro de la categoría ABAP. Al hacer clic derecho en el operador y seleccionar la opción de ver documentación, puede leer los detalles del operador y sus parámetros.

Leer datos del operador del sistema SAP

Ahora a configurar el operador. Para hacer esto, puede hacer clic derecho y elegir la opción de configuración abierta o puede usar el acceso directo que aparece cuando selecciona el operador.

Configuración abierta del operador

Esto abrirá el panel de configuración donde debemos especificar la conexión ABAP que se usará para conectarnos a nuestro sistema SLT y elegir la versión de operador que deseamos usar.

Conexión ABAP para SLT

Especifique la versión del operador

Una vez especificado esto, podremos ver campos adicionales en el panel de configuración. A saber, nombre de objeto y modo de transferencia. Al especificar el Nombre del objeto, necesitaremos seleccionar el ID de transferencia masiva que creamos previamente y una vez que lo seleccionemos, podemos buscar la tabla SFLIGHT dentro de él.

Selección de la tabla

A continuación, debemos especificar el modo de transferencia que deseamos utilizar para nuestra canalización. Aquí tenemos tres opciones: Carga Inicial, Carga Delta y Replicación. Estos determinan qué datos se replican cuando se ejecuta la canalización. La carga inicial solo replicará la tabla y no buscará cambios, Delta solo replicará sobre los cambios que ocurren en la tabla. Además, Delta agregará una bandera para mostrar qué cambio ocurrió (I: insertar, U: actualizar y D: eliminar). Por último, la replicación es el modo de transferencia que hace ambas cosas. Primero realiza la carga inicial y luego cualquier cambio que se realice en la tabla también se replica.

Tres modos de transferencia

Puede notar que DI agrega automáticamente un puerto de salida para la tabla que vamos a leer.

Puerto de salida agregado

Como queremos escribir los datos de nuestra tabla en un archivo, primero tendremos que convertir la tabla. Para utilizar el productor de archivos binarios, nuestra salida del operador de lectura de datos debe ser compatible con la entrada del productor de archivos binarios. Si intentamos conectar los dos operadores, veremos un error debido a tipos de puertos incompatibles.

Tipos de puertos incompatibles

Para solucionar esto, usaremos el operador Tabla a binario para convertir la tabla a binario antes de producir el archivo a partir de ella. Conectamos el puerto de salida etiquetado como binario al puerto de entrada del productor de archivos binarios de la siguiente manera:

Conversión de tabla a binario

Ahora que tenemos puertos coincidentes, solo necesitamos configurar el operador productor de archivos binarios usando el atajo de configuración abierta como antes.

Configuración abierta

Configuración del productor de archivos binarios

En primer lugar, debemos especificar qué conexión deseamos utilizar para nuestro sistema de destino. Usemos la conexión S3 para nuestro ejemplo.

Objetivo S3

A continuación, elija el modo de ruta que desea dar y seleccione su ruta hacia el objetivo. Si desea que se cree un nuevo archivo, simplemente seleccione la carpeta y agregue file_name.csv al final. Luego de esto se debe seleccionar el modo, esto es lo que sucede con el archivo. Aquí tenemos tres opciones, Sobrescribir (si el archivo ya existe, su contenido se eliminará y el nuevo contenido lo reemplazará), Agregar (si el archivo ya existe, los datos nuevos se agregarán al final y los datos antiguos se guardado también) y Create Only (no se producen cambios si el archivo ya existe).

Modos de escritura de archivos

¡Eso completa nuestra canalización!

Sin embargo, solo por conveniencia, podemos agregar el operador Wiretap al final para poder ver los registros a medida que ingresan. Esto mostrará el tráfico en la ventana del navegador.

Nuestra tubería completa debería verse así:

Canalización de generación 2 para replicación SLT

Ahora puede guardar y ejecutar la tubería usando los controles resaltados en rojo arriba.

Tenga en cuenta que debe especificar el tiempo para capturar instantáneas para que funcione Leer datos del operador SAP. Para ello, haga clic en la flecha junto al botón Ejecutar y elija la opción Ejecutar como del menú desplegable.

Captura de instantáneas

Para errores relacionados con el mismo ID de transferencia masiva que se usa varias veces, esta nota de SAP puede ser útil: https://me.sap.com/notes/0003204663

Una vez que su gráfico se esté ejecutando, podrá verlo en la pestaña de estado:

Estado del gráfico en ejecución

Para ver los registros que ingresan, abra la interfaz de usuario para la intervención telefónica. Esto se abrirá en una nueva pestaña. Sus resultados deberían ser similares a esto:

Abrir interfaz de usuario de escuchas telefónicas

Resultados de escuchas telefónicas

Y si explora las conexiones usando Metadata Explorer, debería poder ver el nuevo archivo en la ubicación que especificó. El catálogo solo contendrá los archivos y carpetas publicados.

Con el icono de las gafas, puede ver los datos que se han replicado.

Ver hoja informativa

Los datos deberían estar visibles para usted en la pestaña de vista previa de datos.

Vista previa de datos

Conclusión

¡Felicidades! Ahora tiene una canalización que le permite replicar datos de SLT a DI utilizando operadores de generación 2.

Si tiene más preguntas, no dude en comentar a continuación. Los comentarios también son bienvenidos.