{"id":701,"date":"2022-02-12T01:34:27","date_gmt":"2022-02-12T01:34:27","guid":{"rendered":"https:\/\/adrianotanaka.com.br\/?p=701"},"modified":"2022-03-11T19:17:43","modified_gmt":"2022-03-11T19:17:43","slug":"goldengate-escrevendo-dados-no-oci-streaming","status":"publish","type":"post","link":"https:\/\/adrianotanaka.com.br\/index.php\/2022\/02\/12\/goldengate-escrevendo-dados-no-oci-streaming\/","title":{"rendered":"GoldenGate – Escrevendo dados no OCI Streaming"},"content":{"rendered":"\n

O OCI Streaming (ou OSS) \u00e9 um servi\u00e7o de stream de eventos comp\u00e1tivel com o Apache Kafka 100% gerenciado pela Oracle, nesse artigo demonstro como extrair dados de um banco Oracle (usando o GoldenGate) e escrever nele usando o GoldenGate for bigdata.<\/p>\n\n\n\n

Nossa arquitetura<\/h2>\n\n\n\n
\"\"<\/figure>\n\n\n\n

Extract\/pump<\/h2>\n\n\n\n

Nosso extract\/pump vai ser bem simples, aqui estou usando o par\u00e2metro RMTTHOST para enviar o trail que \u00e9 gerado pela extra\u00e7\u00e3o para o servidor do Bigdata e extraindo todas as tabelas do schema HR:<\/p>\n\n\n\n

EXTRACT pumposs\nRMTHOST IP_BIGDATA, MGRPORT 9013\nRMTTRAIL \/u02\/trails\/t1\nPASSTHRU\nTABLE ORCL19_PDB1.HR.*;<\/pre>\n\n\n\n
OSS<\/h2>\n\n\n\n
Antes de configurarmos nosso replicat, precisamos criar e parametrizar nosso OSS.<\/p>\n\n\n\n
\"\"
Analytics & AI -> Streaming<\/figcaption><\/figure>\n\n\n\n
O primeiro passo \u00e9 criar o Stream Pool, que serve para agrupar nossos Streams (t\u00f3picos do Kafka), aqui temos a op\u00e7\u00e3o de criar um Stream p\u00fablico ou Privado, para nosso exemplo vamos na modalidade p\u00fablica e  precisamos ir em Advanced e marcar a op\u00e7\u00e3o Auto Create Topics<\/strong> (sen\u00e3o para cada tabela voc\u00ea vai precisar criar o Stream na m\u00e3o).<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
Depois que ele for criado, precisamos pegar as informa\u00e7\u00f5es de login dentro dele (se voc\u00ea marcar a segunda op\u00e7\u00e3o View Kafka settings ele j\u00e1 vai te direcionar para a p\u00e1gina) que fica no Stream Pool -> Kafka connection Settings<\/strong>:<\/p>\n\n\n\n
\"\"<\/figure>\n\n\n\n
O seu usu\u00e1rio \u00e9 essa string gigante mesmo que termina com o ocid do Stream Pool.<\/p>\n\n\n\n
Configurando o GoldenGate for Big Data<\/h2>\n\n\n\n
Nesse exemplo estou usando o GoldenGate for Big Data do Marketplace na vers\u00e3o 21c, antigamente para cada conector do BigData, voc\u00ea precisava fazer o download manualmente e apontar nos arquivos de par\u00e2metro, como o pai do GoldenGate (Carbonera) me indicou, uma das novidades dessa vers\u00e3o \u00e9 a presen\u00e7a de scripts que fazem esse download de forma autom\u00e1tica.<\/p>\n\n\n\n
Sendo assim, depois da VM criada, voc\u00ea precisa acessa-la via SSH e dentro do diret\u00f3rio \/u01\/app\/ogg\/opt\/DependencyDownloader\/<\/em> e executar o script kafka.sh passando a vers\u00e3o desejada :<\/p>\n\n\n\n
-bash-4.2$ .\/kafka.sh 3.1.0<\/pre>\n\n\n\n
Caso queira ver as vers\u00f5es dispon\u00edveis basta entrar nesse link: https:\/\/search.maven.org\/artifact\/org.apache.kafka\/kafka-clients<\/a><\/p>\n\n\n\n
\u00c9 importante anotar o diret\u00f3rio onde o download foi feito (caso voc\u00ea altere o padr\u00e3o) pois precisamos aponta-lo em nossa configura\u00e7\u00e3o.<\/p>\n\n\n\n
Replicat<\/h2>\n\n\n\n
O nosso replicat \u00e9 dividido em 3 arquivos, um que \u00e9 o replicat propriamente dito, um que parametriza o Kafka e outro com as credenciais, aqui tentei manter todos com o nome bem parecido, a configura\u00e7\u00e3o pode ser feita via interface gr\u00e1fica (no Receiver Service) ou criando os arquivos manualmente:<\/p>\n\n\n\n
oss.prm<\/p>\n\n\n\n
REPLICAT oss\nTARGETDB LIBFILE libggjava.so SET property=\/u02\/deployments\/Marketplace\/etc\/conf\/ogg\/OSS.properties\nMAP ORCL19_PDB1.HR.*, TARGET *.*;<\/pre>\n\n\n\n
Perceba que no .prm apontamos um arquivo de propriedades que cont\u00e9m a parametriza\u00e7\u00e3o do Kafka:<\/p>\n\n\n\n
OSS.properties<\/p>\n\n\n\n
# Properties file for Replicat oss\n#Kafka Handler Template\ngg.handlerlist=kafkahandler\ngg.handler.kafkahandler.type=kafka\n#TODO: Set the name of the Kafka producer properties file.\ngg.handler.kafkahandler.kafkaProducerConfigFile=oss_producer.properties\n#TODO: Set the template for resolving the topic name.\ngg.handler.kafkahandler.topicMappingTemplate=${fullyQualifiedTableName}\ngg.handler.kafkahandler.keyMappingTemplate=${primaryKeys}\ngg.handler.kafkahandler.mode=op\ngg.handler.kafkahandler.format=json\ngg.handler.kafkahandler.format.metaColumnsTemplate=${objectname[table]},${optype[op_type]},${timestamp[op_ts]},${currenttimestamp[current_ts]},${position[pos]}\n#TODO: Set the location of the Kafka client libraries.\ngg.classpath=dirprm\/:\/u01\/app\/ogg\/opt\/DependencyDownloader\/dependencies\/kafka_3.1.0\/*\njvm.bootoptions=-Xmx512m -Xms32m<\/pre>\n\n\n\n
Aqui precisamos ajustar tr\u00eas parametros:<\/p>\n\n\n\n