Inteligencia de datos de SAP: extracción de datos de un sistema ECC o S/4HANA a Google Big Query
By s4pcademy
Hola a todos, Nuevamente otra solicitud de uno de mis clientes, en realidad de varios de mis clientes. ¿Cómo puede extraer datos de un sistema ECC o un sistema S/4HANA en Google Big Query con carga delta? Como verá, esto es muy simple y directo con SAP Data Intelligence, puede realizar cargas iniciales, cargas delta o replicación (carga inicial y cargas delta). Para un cliente, el objetivo era en realidad Google Cloud Storage, en este caso es aún más fácil y puede confiar en la función SAP Data Intelligence RMS y conectar directamente su fuente con el objetivo con la replicación. En cualquier caso, basta de hablar, mira el siguiente video y te demostraré cómo puedes configurarlo rápidamente. Por supuesto, necesitará acceso a un sistema ECC o S/4HANA con SLT o el complemento DMIS instalado y una cuenta de Google Cloud para Google Big Query y Google Cloud Storage (necesaria para organizar los datos). Tenga en cuenta que no entraré en los detalles de la configuración del SLT. Me gustaría tomarme el tiempo para dar crédito a Abdelmajid Bekhti, él fue quien me mostró cómo hacer esto y me proporcionó todos sus sistemas y me dio acceso. No podría mostrarte nada sin su ayuda y conocimiento.
Bien, ¡ahora empecemos! 🙂 Primero necesitas configurar tus conexiones a tus sistemas en SAP Data Intelligence. Necesitamos configurar las conexiones SLT, ECC (o S4/HANA), Google Cloud Storage y Google Big Query. Para eso, haga clic en la pestaña de conexiones.
Comencemos con la conexión SLT.
Como puede ver aquí, estamos usando SAP Cloud Connector para conectarnos a nuestro sistema SLT local. Entonces echemos un vistazo a nuestra conexión con Google Big Query.
Y también necesitamos crear una conexión a nuestro Google Cloud Storage (SAP Data Intelligence usará Google Cloud Storage como una tabla de preparación antes de la carga delta en Google Big Query).
Una vez que todas estas conexiones estén configuradas correctamente. Vamos a echar un vistazo a la configuración SLT. Nos conectaremos a nuestra caja SLT y lanzaremos la transacción LTRC (SAP LT Replication Server Cockpit).
Como puede ver, estamos replicando la tabla MARA de nuestro sistema ECC. Y esto se hace en tiempo real.
Una vez más, no explicaré los detalles de la configuración de SLT. Pero todo se hace correctamente y podemos proceder. Como viste, en esta demostración, vamos a replicar la tabla MARA. El siguiente paso es crear una tabla de destino en Google Big Query, para esto necesitas extraer la estructura de datos de la tabla que deseas replicar desde tu sistema ERP. Puede consultar este blog para ver cómo extraer esta estructura de tabla. Descarga de la estructura del diccionario de datos en un archivo local
En mi caso, utilicé DD03VT en SE11 para extraer la tabla MARA. No hice exactamente la misma estructura de datos con los tipos exactos, solo usé cadenas y tuve que modificar algunos de los nombres porque no podía crear campos con ‘/’ en sus nombres en las tablas de Google Big Query. Ahora echemos un vistazo a la canalización. Como verá, es increíblemente simple… Estamos usando operadores de Generación 2, con Generación 1, la canalización de datos sería más compleja. Solo para explicar, los operadores de SAP Data Intelligence Generation 2 se basan en Python 3.9, mientras que los operadores de Generation 1 usan Python 3.6.
Estamos utilizando el operador «Leer datos del sistema SAP» para conectarnos a SLT y el operador Cloud Table Producer para conectarnos a Google Big Query (este operador puede conectarse a Google Big Query o Snowflake). Veamos la configuración de nuestro operador Leer datos del sistema SAP.
Elija la conexión correcta, en nuestro caso la conexión SLT mostrada anteriormente. Y luego haga clic en Nombre del objeto para seleccionar el ID de transferencia masiva y la tabla que desea replicar.
Luego, debe elegir el modo de replicación, ya sea Carga inicial, Carga delta o Replicación (tanto cargas iniciales como delta)
En nuestro caso, elegimos la replicación. Ahora al operador productor de la tabla en la nube. Haga clic en la configuración.
Haga clic en el objetivo.
Ahora tenemos que configurar toda la información aquí. Para el servicio, esta es una consulta grande de Google (otra opción es copo de nieve). Para el ID de conexión, elija su Google Big Query Connection, para el objetivo, la tabla que creó en su Google Big Query System. Para el ID de conexión provisional, elija su conexión de Google Cloud Storage. Para la ruta de preparación, simplemente elija dónde se creará la tabla de preparación. En las columnas de destino, puede realizar un autocompletado del mapeo haciendo clic en el botón que se indica a continuación. Para los campos que tienen nombres diferentes, debe hacer el mapeo a mano.
Ahora necesitamos guardar e iniciar nuestra canalización de datos. Haga clic en «Ejecutar como»
Asigne un nombre a su gráfico, haga clic en Capturar instantánea para tener una instantánea cada x segundo en caso de un problema. Luego puede elegir tener una recuperación automática o una recuperación manual. Haga clic en Aceptar y ejecute el gráfico.
Ahora vayamos a nuestro sistema ECC e iniciemos la transacción MM02 para cambiar nuestros números de material. Cambiaré el material número 1177.
Seleccione Datos básicos 1 y 2 y continúe.
Ahora vamos a modificar el número de material antiguo.
Lo cambiaré a 1216. Guardemos y vayamos a Google Big Query.
El Número de material antiguo se modificó y se envió a Google Big Query. Como puede ver, esto fue muy fácil de configurar. Una vez más, lo he hecho con un sistema ECC, pero también podría hacerse con un sistema S4/HANA con la misma facilidad. Una vez más, gracias Abdelmajid Bekhti para sus sistemas y su ayuda para configurar esto. Espero que este blog te haya sido útil. No dude en enviar un mensaje si tiene alguna pregunta.
