Sincronizar datos de una base de datos a otra

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.880
El título del thread es bien ambigüo así que explicaré lo que busco.

Tengo una base de datos Oracle gigante , 30 teras, y necesito llevarme a una base de datos remota en la nube ciertas tablas en formato consulta sql para luego hacer un reporte con eso.

No me sirve una réplica full porque no quiero tener 30 teras de datos en la nube siendo que para la única huea que la necesito es para hacer un select de cuatro tablas todas cagonas con un rango de los últimos 7 días.

Yo sé que PowerBI tiene una suite que te hace esa magia: te lleva a Azure los datos necesarios para luego armar un reporte en la nube y esos datos los refresca periódicamente, hasta 48 veces al día. Lindo pero cara la huea.

¿Saben si existe algo gratis? Porque la otra opción es desarrollarlo pero quiero evitarme la fatiga.
 

kniitro

Charanguista!
Se incorporó
8 Julio 2009
Mensajes
728
Airbyte Open Source.
O bien, un flujo en la nube con extracción spark o python, almacenamiento en data lake (s3) y podrias consultar la data incluso sin necesidad de subirla a bd, solo consultando en tu data lake (s3) desde athena por ejemplo. No creo q esto último resulte muy caro
 
Upvote 0

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.880
Airbyte Open Source.
O bien, un flujo en la nube con extracción spark o python, almacenamiento en data lake (s3) y podrias consultar la data incluso sin necesidad de subirla a bd, solo consultando en tu data lake (s3) desde athena por ejemplo. No creo q esto último resulte muy caro

Está bueno, lo voy a cachurear.
 
Upvote 0

spam_loc

. : § p A M _ L 0 © : .
Se incorporó
21 Noviembre 2007
Mensajes
835
yo muevo datos entre 2 servidores distintos (oracle a postgresql) con un ETL a través de una consulta así me muevo lo que necesito solo con un select, en mi caso al no ser muy compleja la tarea ocupo Pentaho Data Integration tiene una version community

saludos
 
Upvote 0

Soujiro

Fanático
Se incorporó
14 Enero 2008
Mensajes
1.433
Algo no me cuadra, se supone que Oracle es el papi super super de las dbs y no se puede crear una replicación parcial de solo un par de tablas?.

Yo tengo echo eso mismo en una db mariadb dónde replicó solo una db de todas las db que viven en el servidor + una tabla "especial" de otra, sin hacer etl ni hueas raras, solo dices quiero estas tablas/dbs y anda de una.


Replicate_do_db, y replicate_do_table
 
Upvote 0

Zuljin

Fundador
Miembro del Equipo
Fundador
ADMIN
Se incorporó
15 Enero 2004
Mensajes
11.880
Algo no me cuadra, se supone que Oracle es el papi super super de las dbs y no se puede crear una replicación parcial de solo un par de tablas?.

Yo tengo echo eso mismo en una db mariadb dónde replicó solo una db de todas las db que viven en el servidor + una tabla "especial" de otra, sin hacer etl ni hueas raras, solo dices quiero estas tablas/dbs y anda de una.


Replicate_do_db, y replicate_do_table

Todo se puede pero debes pagarlo (suena de fondo un violín lastimero :'( ).

Está la réplica física que te lleva todo de Oracle a Oracle (dataguard) y es la que tengo yo licenciada.

Y está la réplica lógica que te lleva por querys hacia otra base de datos. Goldengate se llama el producto y es caro.


Update: y hay soluciones oracle a oracle que puedes hacer con dblinks y vistas materializadas. Hacer eso es gratis pues es propio de las funcionalidades base del motor.
 
Upvote 0

kniitro

Charanguista!
Se incorporó
8 Julio 2009
Mensajes
728
Y utilizar kafka como alternativa a golden gate?? Con qué frecuencia necesitas sincronizar/ingestar datos??

Como mencionaron mas arriba, Pentaho también podría ser una opción. Es similar a Airbyte
 
Upvote 0
Subir