Update cache Mondrian, Saiku and CDA

update

Have you come across the scenario where the end of a load of ETL was necessary to update the cache of the BI-Server? Great! For this tutorial I created this, and with the help of Fernando Maia managed to solve this issue.

Basically, each transformation project updates the following caches:

  • Mondrian
  • Saiku
  • CDA

Ps. Created with PDI 4.4.0 (Pentaho Data Integration).

You can download the project in GitHub 

Hope you can help. good luck.

Desenvolvedor de software

Marcado com: , , , , , ,
Publicado em PDI
19 comentários em “Update cache Mondrian, Saiku and CDA
  1. Recommended Site disse:

    I enjoy the info on your site. With thanks!

  2. Vicelino disse:

    Esse exemplo só funciona na versão 4.4.0?

  3. Quilmer disse:

    Tenho que fazer isto por usuário que usa o pentaho ou isso é genérico? Pois vi que tem um usuário JOE com senha PASSWORD nas transformações.

    • danielrabelo disse:

      Boa tarde.

      Muito bem observado, esse usuário tem permissão administrativa. Você pode definir o usuário que desejar, más garanta que ele tenha permissões administrativas.

      Essa solução é genérica, é feita a limpeza nos caches: Mondrian, Saiku e CDA. Ou seja, qualquer usuário que logar no BI server, terá os dados atualizados.

      No cenário da empresa que trabalho, chamo essa rotina ao final da carga de ETL, dessa forma, tudo funciona de uma forma automática.

      Espero ter ajudado, boa sorte.

      • Desculpe minha ignorância, mas eu tenho diversas rotinhas de ETL, uso um deste para cada uma? Pensei em colocar uma em um horário confiável onde todas as rotinhas ETL já tenham concluído.

        http://127.0.0.1:8080/pentaho/content/saiku/joe/discover/refresh

        http://127.0.0.1:8080/pentaho/bi/ViewAction

        http://127.0.0.1:8080/pentaho/bi/content/cda/clearCache

        Pode me explicar estas url? discover é algum cubo ou etl? Como posso saber se meu servidor está preparado para isto?

      • danielrabelo disse:

        Boa Tarde Quilmer.

        Você pode executar esse job no final de todas as suas rotinas ETL.
        Dessa forma, você irá atualizar o cache do BI-Server.

        Imagine o cenário em que toda madrugada seu DW é atualizado através de suas cargas de ETL, ao final, você executa um job que atualiza o Cache do BI server.
        Isso permite que na manhã seguinte os usuários acessem os cubos, com os dados atualizados.

        As URL’s atualizam:
        Cache do Mondrian. (Pelo que percebi, discover é um diretório responsável pelos cubos)
        Cache do Saiku.
        Cache do CDA.

        Para checar se o seu BI-Server comporta essa solução, certifique-se das seguintes configurações:
        Pentaho CE 4.8
        Saiku 2.5 (Instalado via Marketplace do BI-Server)
        CDA (Instalado via Marketplace do BI-Server)

        O ambiente da empresa que implementei essa solução é linux CentOs

        Espero que eu tenha ajudado, qualquer coisa, poste sua dúvida. Estou disposto a te ajudar.

        Boa sorte Quilmer.

  4. Vicelino Gouveia disse:

    Não consegui implementar sua solução, qual a versão do pentaho você fez o teste?

  5. Vicelino Gouveia disse:

    Coloquei sua solução no final da minha rotina de extração.
    Inseri um usuário com permissões de administrador e após a execução da carga com sucesso, o cache não foi limpo.
    Estou rodando tanto o PDI quanto o Pentaho no mesmo server.

    • danielrabelo disse:

      Excelente, a arquitetura que acabou de mencionar, é a mesma que utilizo na empresa que implementei essa solução.

      Você se certificou se o endereço IP que está na rotina que limpa o cache é o mesmo endereço do servidor ?

      Qual é o resultado que é gerado nos arquivos .txt ao final da execução ?

      Verifique o log no PDI, pode ajudar a identificar o problema.

      Se após verificar os procedimentos acima não funcionar, poste seu impedimento que estou disposto a ajudá-lo.

      Boa sorte Vicelino.

  6. Leandro Guimaraes disse:

    Oi Daniel,
    você testou isso no Pentaho 5? Acredito que deve ser de uma forma diferente, certo?

    Abraço!

  7. […] I recently wrote a post on how to update the  cache Pentaho 4.x. […]

  8. andrepirata disse:

    Eu tenho o Pentaho instalado na Amazon, eu posso rodar o PDI no meu servidor Windows e rodar esse JOB apontada para lá? Obrigado.

  9. Eder disse:

    Boa Tarde Daniel,
    Consegui atualizar o Cache usando o comando http://localhost:8080/pentaho/api/system/refresh/mondrianSchemaCache, funcionou 100% quando o biserver-ce é local.

    Quando o biserver-ce é via rede não funciona, mesmo colocando o ip corretamente assim:
    http://192.168.2.197:8080/pentaho/api/system/refresh/mondrianSchemaCache

    Você sabe o que pode ser feito, pode ser alguma configuração do biserver-ce ou de rede?

    Não retornar nenhuma mensagem, estou usando CentOS 6.5

    Muito obrigado,

    Att Eder Tonello

    • danielrabelo disse:

      Boa tarde Eder,

      Vi que a única mudança que mencionou foi em relação ao IP do BI-Server.
      Deveria funcionar exatamente como funcionou local.

      O usuário que está utilizando para atualização do cache tem permissão de administrador ?
      No que eu puder ajudar, fico a disposição.

      Abraço.

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

Categorias
Estatísticas do Site
  • 17,256 hits

Digite seu endereço de email para acompanhar esse blog e receber notificações de novos posts por email.

Junte-se a 141 outros seguidores

%d blogueiros gostam disto: