StreamSets – Adicionando conectores JDBC

Após a instalação do StreamSets (streamsets-datacollector-2.7.1.0-all-rpms.tgz) no CentOS-7, siga os segintes passos. Parar serviço:

service sdc stop

Acessar:

cd /opt/streamsets-datacollector/libexec

Alterar o arquivo:

vim sdc-env.sh

Inserir a linha (Diretório de drives JDBC):

export STREAMSETS_LIBRARIES_EXTRA_DIR=/opt/streamsets-datacollector/streamsets-libs-extras

Alterar segurança do Java:

cd /opt/streamsets-datacollector/libexec
vim sdc-env.sh

setar a variavel SDC_SECURITY_MANAGER_ENABLED para false

Criar os seguintes diretórios e mover os JAR’s para o diretório ‘lib’

cd /opt/streamsets-datacollector/streamsets-libs-extras
mkdir streamsets-datacollector-jdbc-lib
cd streamsets-datacollector-jdbc-lib
mkdir lib

MOVER OS JAR’s para o diretório lib acima.
Dica: Você pode adicionar mais de um conector JDBC no diretório lib.
<PATH>/streamsets-datacollector-jdbc-lib/lib
Não se esqueça que os jar`s devem estar apenas no sub-diretório lib.

Criar o diretório de libs JMS:

cd /opt/streamsets-datacollector/streamsets-libs-extras
mkdir streamsets-datacollector-jms-lib
cd streamsets-datacollector-jms-lib
mkdir lib

Iniciar o serviço:

service sdc start

Espero que essa dica possa ter lhe ajudado.

Até mais!

 

Anúncios
Publicado em Big Data

Aumentando a performance do Table Output com Vertica

hp-vertica

Olá,

Gostaria de compartilhar duas dicas bem úteis para quem deseja obter uma melhor performance com o Vertica 8.

A primeira delas é aumentar o tamanho do campo “Commit size“. Na imagem a seguir, estou utilizando o valor 10000:

table_output_vertica

 

A segunda dica é inserir um parâmetro de conexão chamado DirectBatchInsert e definir o valor true. Edite sua conexão e adicione o parâmetro no menu Options:

table_output_vertica_options

 

Espero que as dicas acima possam lhe ajudar.

Referências:

my.vertica.docs

Loading data WOS and ROS

PDF Pentaho Data Integration Vertica best practices

Publicado em PDI, Vertica

Update cache Mondrian, Saiku and CDA of Pentaho 5

Hello dear reader,

I recently wrote a post on how to update the  cache Pentaho 4.x.

Objective of the article:
Update the cache Mondrian, Saiku and CDA at the end of a load of ETL.

Update Cache Pentaho 5 CE

Update Cache Pentaho 5.0.1-stable Community Edition

This article will show you how to update the cache Pentaho 5.0.1-stable.

I used the following tools:

  • PDI 5.0.1
  • Pentaho BI Server CE-5.0.1-stable

To download the routine that updates the cache Pentaho, visit the link: update-cache-pentaho-5.0.1-stable

I hope this article shall be useful.

Good luck.

Marcado com: , , , ,
Publicado em PDI, Pentaho

Habilitar segurança nos cubos OLAP mondrian Pentaho 4.8

olap-cubo

Olá caro leitor, vou demostrar em alguns passos como inserir segurança no acesso aos cubos OLAP do Pentaho 4.8.

Observação: A partir da versão 5.x do BI-Server, não é mais necessário alterar o arquivo xml. Esse artigo é somente para versão 4.x do BI-Server.

Em que este artigo é útil?

Imagine o seguinte cenário: Quando o gestor de RH acessa o BI-Server, o mesmo deve ter apenas acesso as informações que são pertinentes ao seu departamento. Esse tutorial irá demostrar como habilitar a segurança nos cubos OLAP que fora publicados no BI-Server. Você pode implementar essa solução da maneira que lhe for conveniente, cada empresa, terá uma política de acesso as informações.

Para iniciar, devemos acessar o arquivo pentahoObjects.spring.xml que está localizado em:

cd [Diretório do pentaho]/biserver-ce/pentaho-solutions/system/

Edite o arquivo:

vim pentahoObjects.spring.xml

Remova o seguinte comentário:

<!--
Disabled by default in 3.5.2. In trunk, this should be enabled.
<bean id="Mondrian-UserRoleMapper"
 name="Mondrian-One-To-One-UserRoleMapper"
 class="org.pentaho.platform.plugin.action.mondrian.mapper.MondrianOneToOneUserRoleListMapper"
 scope="singleton" />
-->

Para:

<!--
Disabled by default in 3.5.2. In trunk, this should be enabled.
-->
<bean id="Mondrian-UserRoleMapper"
 name="Mondrian-One-To-One-UserRoleMapper"
 class="org.pentaho.platform.plugin.action.mondrian.mapper.MondrianOneToOneUserRoleListMapper"
 scope="singleton" />

Agora reinicie o BI-Server para que essa alteração tenha efeito.

O último passo é editar seu cubo pela ferramenta Pentaho Schema WorkBench adicionando o componente Role, segue uma imagem ilustrando o componente:

pentaho-psw

 

Através do PAC (Pentaho Administration Console), você pode criar as Roles(Papéis de usuário que preferir), em seguida, pode editar os seus cubos OLAP adicionando as devidas permissões.

Referências: Pentaho Info Center

Abraço a todos, espero que essa dica seja útil.

 

Publicado em Pentaho

Pentaho 4.8 inicializando como serviço no CentOS 6.2

centos-logo

Olá amigo leitor. Neste artigo vou descrever o passo a passo de como colocar o pentaho 4.8 CE como serviço no Linux CentOS 6.2.

Em que cenário esse artigo é útil? Para quando o servidor de BI for reiniciado, o serviço do pentaho suba automaticamente.

Acesse o servidor dia linha de comando e crie o seguinte arquivo:

vim /etc/init.d/pentaho.sh

Insira o seguinte conteúdo no arquivo que acabou de criar (informe o caminho do pentaho):

### BEGIN INIT INFO
# Provides: start-pentaho stop-pentaho
# Required-Start: networking mysql
# Required-Stop: mysql
# Default-Start: 2 3 4 5
# Default-Stop: 0 1 6
# Description: Pentaho BI Platform
### END INIT INFO
export JAVA_HOME="/usr/java/jdk1.7.0_21"

start(){
if [ "$1" == "adm" ];then
echo "Iniciando aplicacao administration-console"
cd /opt/pentaho/administration-console
./start-pac.sh > /tmp/pentaho_console.out 2>&1 &

else
echo "Iniciando aplicacao biserver"
cd /opt/pentaho/biserver-ce
./start-pentaho.sh > /tmp/pentaho.out 2>&1
fi

echo "ok"

}

stop(){
echo "recebi: $1"

if [ "$1" == "adm" ];then
echo "Finalizando aplicacao administration-console"
cd /opt/pentaho/administration-console
./stop-pac.sh
else
echo "Finalizando aplicacao biserver"
cd /opt/pentaho/biserver-ce
./stop-pentaho.sh
fi

echo "ok"
}

case "$1" in
start)
 start $2
 ;;
stop)
 stop $2
 ;;
*)
printf "\nUsage: $0 \n
start | stop : Inicia ou finaliza a aplicacao biserver\n
start adm | stop adm : Inicia ou finaliza o administration console\n\n"
 ;;
esac
exit 0

Salve o arquivo que acabou de criar:

:wq!

Dar permissão de execução no arquivo criado:

chmod a+x /etc/init.d/pentaho.sh

Para finalizar, adicionar o arquivo na lista de programas que iniciam automaticamente com o SO.

cd /etc/init.d
chkconfig --add pentaho.sh

Referencias:

Guia de sobrevivência Linux
Guia para Ubuntu
Guia para CentOS

Obrigado, espero que possa ajudar.

Marcado com: , ,
Publicado em Pentaho

Novidades do Pentaho Business Analytics 5

gamer-slide12

Confira os novos recursos e novidades do Pentaho Business Analytics 5.

Link da apresentação em slides

Marcado com: , ,
Publicado em Pentaho

Update cache Mondrian, Saiku and CDA

update

Have you come across the scenario where the end of a load of ETL was necessary to update the cache of the BI-Server? Great! For this tutorial I created this, and with the help of Fernando Maia managed to solve this issue.

Basically, each transformation project updates the following caches:

  • Mondrian
  • Saiku
  • CDA

Ps. Created with PDI 4.4.0 (Pentaho Data Integration).

You can download the project in GitHub 

Hope you can help. good luck.

Marcado com: , , , , , ,
Publicado em PDI
Categorias
Estatísticas do Site
  • 19,788 hits

Digite seu endereço de email para acompanhar esse blog e receber notificações de novos posts por email.

Junte-se a 139 outros seguidores