Espacios. Vol. 36 (Nº 23) Año 2015. Pág. 22
Janielen Pissolatto DELIBERAL 1; Vilmar Antonio Gonçalves TONDOLO 2; Maria Emília CAMARGO 3; Rosana da Rosa Portella TONDOLO 4
Recibido: 15/08/15 • Aprobado: 09/10/2015
3. Procedimentos Metodológicos
4. Análise e Discussão dos Dados
RESUMO: A escassez de recursos naturais, proveniente do uso indiscriminado do meio ambiente, desafia gestores e tornou-se um imperativo no processo decisório das organizações. Nesse sentido, é imprescindível que as organizações, por meio de seus gestores, considerem as questões ambientais em seu direcionamento estratégico, realizando práticas de gestão ambiental, uma vez que há uma constante pressão dos stakeholders para que estas adotem uma postura ambiental. Nesse contexto, esse estudo teve como objetivo comparar os níveis de orientação ambiental, pressão dos stakeholders, práticas de gestão ambiental e desempenho entre as organizações que possuem e não possuem Sistema de Gestão Ambiental (SGA) e as certificações ISO 9001 e 14001. Foram coletados dados de 162 empresas fabricantes de móveis pertencentes ao Arranjo Produtivo Local Moveleiro da Serra Gaúcha (APLMSG). A pesquisa foi realizada por meio de um estudo com abordagem quantitativa. Os resultados sugerem que as empresas que possuem SGA estão mais orientadas ambientalmente e percebem mais pressão dos stakeholders, dessa maneira, realizam práticas ambientais e conseguem obter desempenho superior em relação às empresas que não possuem SGA. Contudo, em relação às empresas que possuem certificação ISO 9001 e ISO 14001 os resultados não demonstraram tanta representatividade em relação às empresas que possuem ou não tal certificação. |
ABSTRACT: The scarcity of natural resources, from the indiscriminate use of the environment, challenges managers and has become an imperative in organizations decision-making. Therefore, it is imperative that organizations, through their managers, to consider environmental issues in its strategic focus, conducting environmental management practices, since there is a constant pressure from stakeholders to companies adopt a "green" standpoint. In this context, this study aimed to compare the environmental guidance levels, pressure from stakeholders, environmental management practices and performance among the organizations that have and do not have the Environmental Management System (EMS) and ISO 9001 and 14001 .It were collected data from 162 furniture manufacturers of Furniture Manufacturing Cluster of Serra Gaucha. The survey was conducted through a study with a quantitative approach. The results suggest that companies with EMS are more environmentally oriented, realize more pressure from stakeholders, thus, perform environmental practices and can achieve superior performance than companies that do not have EMS. However, for those companies that have ISO 9001 and ISO 14001 certification the results did not show such representativeness for companies that have or not such certification. |
A deterioração do meio ambiente e os reflexos provocados pelo uso indiscriminado dos recursos naturais são responsáveis pela crescente pressão da sociedade para que as empresas ofereçam produtos e serviços ambientalmente corretos (Banerjee, 2002; Gupta, 1995; Maria D. López-Gamero, Claver-Cortés, & Molina-Azorín, 2008; Zailani, Eltayeb, Hsu, & Tan, 2012). Nesse sentido, as organizações passaram a contemplar a questão ambiental na gestão, seja de forma reativa ou proativa (Barnejee, 2002; Sarkis & Sroufe, 2004; Garcés-Ayerbe et al., 2012).
A influência da pressão exercida pelas partes interessadas, independentemente de sua origem, é um dos motivadores principais para que as empresas adotem práticas ambientais. Dessa forma, para atingir a sustentabilidade, é necessária a conscientização ambiental de todos os grupos que influenciam as organizações, seja interna ou externamente (González-Benito, Lannelongue, & Queiruga, 2011). Assim, percebe-se que as organizações passaram a considerar as questões ambientais em seu direcionamento estratégico, ou seja, a orientação ambiental. Nesse sentido, Banerjee (2002) explica que grande parte das médias e grandes empresas já possui algum programa voltado às questões ambientais e sociais. Porém, existe ainda um longo caminho a ser percorrido, já que as ações direcionadas à gestão ambiental possuem um custo elevado para as empresas.
Além dos elevados investimentos voltados à área ambiental, as questões ambientais também são consideradas complexas nas organizações (Banerjee, 2002; Cordeiro & Sarkis, 1997). Dessa maneira, as práticas ambientais ainda são desenvolvidas de forma preventiva e reativa em muitas empresas (Jabbour, Silva, Paiva, & Santos, 2012). No entanto, as questões ambientais nas organizações também podem ser vistas como oportunidade para que estas consigam adquirir vantagem competitiva no mercado em que atuam e assim obter desempenho superior (De Marchi, Di Maria, & Micelli, 2013; Klassen & McLaughlin, 1996).
Nesse contexto, a justificativa para realização desse estudo centra-se na premissa de que a adoção das práticas de gestão ambiental (Sarkis, Gonzalez-Torre, & Adenso-Diaz, 2010) é favorecida quando as empresas passam a considerar as questões ambientais em seu direcionamento estratégico (Banerjee, 2002) bem como, pela pressão exercida pelas partes interessadas (Rueda-Manzanares, Aragón-Correa, & Sharma, 2008; Sarkis et al., 2010). Nesse sentido, as empresas que implementam práticas de gestão ambiental podem obter desempenho superior no mercado em que atuam, seja por melhorias no desempenho ambiental, econômico e/ou financeiro (Klassen & McLaughlin, 1996; López-Gamero, Molina-Azorín, & Claver-Cortés, 2010; Paulraj, 2011). Contudo, torna-se pertinente investigar se organizações que adotam processos formais ou adquirem certificações podem alcançar um desempenho superior se comparado às organizações que não utilizam práticas ou ações formalizadas.
Desse modo, esse estudo teve como objetivo comparar os níveis de orientação ambiental, pressão dos stakeholders, práticas de gestão ambiental e desempenho entre as organizações que possuem e não possuem SGA e as certificações ISO 9.001 e 14.001. Para tanto, foram investigadas as empresas fabricantes de móveis pertencentes ao Arranjo Produtivo Local Moveleiro da Serra Gaúcha – APLMSG. Um APL ou arranjo produtivo local caracteriza-se por um aglomerado considerável de empreendimentos que atuam em uma mesma atividade setorial predominante. Essas empresas compartilham informações e são caracterizadas por médio a alto grau de especialização no setor em que atuam (Rosseti, 2008).
O Setor Moveleiro foi escolhido visto à sua relevância na economia regional, uma vez que no Rio Grande do Sul existem aproximadamente 2,47 mil indústrias que empregam 43.475 pessoas (Movergs, 2015). A Região Sul também é detentora dos maiores polos produtores e exportadores de móveis do País. O principal polo moveleiro do País é formado pelo APLMSG e foi responsável por 30,6% da produção brasileira em 2012 (Movergs, 2015). Sobretudo, essas empresas utilizam matérias-primas advindas do ambiente natural, tais como MDF, painéis e aglomerados, madeira serrada (maciça), além de componentes químicos, tais como colas, solventes e tintas.
Para que o objetivo desse estudo fosse atingido foram coletados dados de 162 empresas fabricantes de móveis pertencentes ao APLMSG. Os dados foram analisados por meio de análise estatística descritiva e utilização do teste U de Mann-Whitney. Além da introdução, esse estudo está organizado em quatro tópicos adicionais. O primeiro apresenta as particularidades que envolvem a gestão ambiental e o desempenho, bem como, o sistema de gestão ambiental (SGA), a ISO 9001 e a ISO 14001. O segundo apresenta os procedimentos metodológicos adotados para realizar o estudo. O terceiro tópico apresenta a análise e discussão dos dados. O quarto tópico apresenta as conclusões do estudo.
Historicamente, (Angell & Klassen, 1999) explicam que a gestão ambiental era vista como uma função legal corporativa, principalmente relacionada à legislação ambiental. A área gerencial esteve voltada para responder as forças externas, a fim de melhorar a eficiência, reduzir custos e aumentar a qualidade. Entretanto, há uma tendência para que as organizações tornem-se cada vez mais dependentes dos recursos naturais que estão tornando-se escassos (S L Hart, 1995; S. L. Hart & Dowell, 2011).
O setor empresarial é considerado um dos principais poluentes do meio ambiente. Dessa maneira, (Barbieri, 2011) considera que a solução ou minimização dos problemas ambientais exige uma nova atitude de empresários e administradores, uma vez que a utilização indiscriminada dos recursos naturais, bem como as consequências dessa exploração desenfreada têm gerado inúmeros danos ao meio ambiente e aos seres humanos.
Assim, o meio ambiente deve fazer parte das decisões gerenciais. Dessa forma, a gestão ambiental compreende as diretrizes e atividades administrativas e operacionais (planejamento, direção, controle, alocação de recursos, etc.) com o intuito de obter efeitos positivos sobre o meio ambiente. Essas ações objetivam prevenir, reduzir, eliminar ou compensar os danos causados pelo homem (Barbieri, 2011). Nesse contexto, governo, sociedade e mercado são considerados influenciadores para que as organizações desenvolvam ações voltadas à preservação dos recursos naturais (Banerjee, 2002).
Nesse sentido, as organizações orientadas para as questões ambientais possuem a noção da responsabilidade corporativa para com o meio ambiente. Reconhecem o impacto de suas ações junto ao meio ambiente e ao mesmo tempo percebem a necessidade de minimização dos efeitos negativos provocados. Assim, a orientação ambiental corporativa é vista como um valor corporativo (Banerjee, 2002).
Chen (2008) define a gestão ambiental empresarial como o conjunto de atividades gerenciais, processos, abordagens e conceitos que podem contribuir para que as empresas alcancem seus objetivos ambientais, em conformidade com as normas ambientais, de forma preventiva e oportunizando novos negócios por meio da gestão sustentável. A gestão ambiental também pode ser definida como o conjunto de diretrizes e atividades operacionais e administrativas que objetivam obter efeitos positivos em relação ao meio ambiente na redução, eliminação ou compensação de danos gerados (Barbieri, 2011).
Desse modo, a pressão exercida por regulamentos ambientais, governo, clientes, assim como o reconhecimento das mudanças na gestão do negócio para redução de resíduos e minimização dos impactos ambientais têm contribuído para uma nova postura gerencial voltada as questões ambientais. As empresas estão desenvolvendo políticas ambientais de modo a envolver toda sua cadeia produtiva e assim, consequentemente, as várias partes interessadas estão reconhecendo a importância das ações ambientais nas perspectivas operacionais e estratégicas (Sarkis & Sroufe, 2004).
A incorporação de aspectos ambientais no desenvolvimento de produtos ou em processos de produção e logística pode inicialmente, causar modificações complexas e custos mais elevados (Fraj, Martinez, & Matute, 2013). No entanto, as atividades realizadas durante o processo produtivo orientadas para as questões ambientais, tais como: eco-design, logística reversa ou o uso de materiais menos poluentes (produtos e embalagens) contribuem para redução dos custos e melhor eficiência organizacional (Fraj, Martínez, & Matute, 2011).
Uma forma das organizações desenvolverem ações voltadas à preservação dos recursos naturais é por meio da implantação de sistemas de gestão ambiental (SGA) (Campos, 2012). O foco principal de um SGA é evitar que os processos gerem impacto negativo ao meio ambiente, bem como, melhorar o desempenho ambiental por meio da institucionalização de programas e práticas ambientais, tais como o desenvolvimento de tecnologias, processos e produtos que protejam o meio ambiente (Gupta, 1995; Testa et al., 2014).
Para que seja considerado um SGA, é necessário que haja formulação de diretrizes, definição de objetivos, coordenação de atividades e avaliação de resultados. Outro aspecto importante é que o SGA deve integrar outros segmentos da empresa, pois em decorrência das ações planejadas e coordenadas o SGA pode proporcionar melhores resultados com menos recursos (Barbieri, 2011).
Outra forma que as empresas podem desenvolver processos ambientais de maneira formal é a certificação por meio da ISO 14001. Essa certificação tem como ponto de partida o comprometimento da alta direção e a formulação de uma política ambiental. Para obter essa certificação, o SGA deve ser desenvolvido nas empresas de forma a incluir toda a estrutura organizacional, as atividades de planejamento, responsabilidades, práticas, procedimentos, processos e recursos (Barbieri, 2011). Dessa maneira, a utilização do SGA nas empresas favorece a implementação de outras práticas ambientais, imprescindíveis para obter tal certificação (Gonzáles, Sarkis, & Adenso-Diaz, 2008), tais como controle e monitoramento das operações (Campos, 2012). No Brasil, o órgão responsável pela gestão da ISO 14001 é a Associação Brasileira de Normas Técnicas - ABNT.
Conforme British Standards Institution - BSI (2014) a ISO 14001 é uma norma que define o que deve ser feito para estabelecer um SGA efetivo. A norma é desenvolvida com objetivo de criar o equilíbrio entre a manutenção da rentabilidade e a redução do impacto ambiental, por meio do comprometimento de toda a organização. A premissa dessa norma é que a organização irá avaliar periodicamente o seu SGA, de modo a identificar oportunidades de melhorias (Barbieri, 2011).
A ISO 14001 fornece diretrizes para que as organizações implantem SGAs, considerando o meio ambiente no desenvolvimento de suas operações, de acordo com os requisitos da legislação (JACKSON, 1997). Além disso, essa certificação estabelece um conjunto de metas e objetivos para que haja melhorias no meio ambiente. As diretrizes fornecidas pela ISO 14.001 podem ser implantadas em diversos tipos de organizações e em qualquer país, de forma a contribuir para melhorar a gestão das organizações (Morrow & Rondinelli, 2002).
Morrow e Rondinelli, (2002) complementam que a ISO 14001 também requer um sistema de implementação e operação que inclui uma estrutura clara de responsabilidade ambiental, envolvendo treinamentos, conscientização e envolvimento de todos os funcionários da organização. Essa certificação também exige um controle documentado das práticas ambientais desenvolvidas, bem como dos controles operacionais de impactos ambientais e a preparação das empresas para casos de emergência. Consequentemente, uma empresa que deseja implantar essa certificação irá comprometer certa quantia financeira para realização de investimentos (Pombo & Magrini, 2008).
É preciso ressaltar ainda que a certificação ISO 9001, relacionada aos aspectos da gestão da qualidade nas empresas, abre precedentes para que as empresas consigam obter a certificação ISO 14001. Nesse sentido, empresas que já desenvolvem práticas relacionadas à gestão da qualidade conseguem desenvolver capacidades que facilitam a implantação de práticas de gestão ambiental (Pereira-Moliner, Claver-Cortés, Molina-Azorín, & José Tarí, 2012; Zhu, Sarkis, & Lai, 2013). A ISO 9001 propõe diretrizes para sistematizar e formalizar processos das organizações em uma série de procedimentos e implementações documentadas. De maneira similar, a ISO 14001 é um modelo que oferece uma estrutura sistemática, do qual as organizações passam a incorporar as preocupações ambientais em seus processos (Heras-Saizarbitoria & Boiral, 2013).
Assim, as práticas estratégicas desenvolvidas pelas organizações, tais como: (i) desenvolvimento de novos produtos; (ii) localização de novas plantas industriais; (iii) aumento de investimentos em pesquisa e desenvolvimento; (iv) desenvolvimento de tecnologia (especialmente na prevenção da poluição e gestão de resíduos); e, (v) as mudanças no produto, desenho de processos, SGA e ISO 14001, podem contribuir para que as empresas cumpram as exigências dos stakeholders, preservem os recursos naturais e ainda alcancem melhor desempenho (Banerjee, 2002; Molina-Azorín, Claver-Cortés, López-Gamero, & Tarí, 2009).
Este estudo foi realizado por meio de uma pesquisa aplicada, do tipo descritiva com abordagem quantitativa e operacionalizada por meio de uma survey. As empresas fabricantes de móveis pertencentes ao Arranjo Produtivo Local Moveleiro da Serra Gaúcha - APLMSG foram o objeto de estudo. A justificativa para escolha desse objeto de estudo centra-se no fato de que o principal polo moveleiro do Brasil é formado pelo APLMSG e foi responsável por 30,6% da produção brasileira em 2012 (Movergs, 2015). Além disso, a principal fonte de recursos para a produção são os painéis à base de madeira (aglomerados e MDF) e, ainda fazem uso de componentes tóxicos no processo produtivo (Maffessoni, 2012).
O questionário foi elaborado com base em três estudos distintos, acerca das questões ambientais e as relações existentes em relação ao desempenho. Para tanto, as escalas utilizadas tiveram como base os trabalhos de Banerjee (2002), Sarkis et al. (2010) e Paulraj, 2011), como apresentado no Anexo 1. Dessa forma, além das questões referentes à caracterização dos respondentes, o questionário foi composto por 31 questões, separadas em quatro construtos: orientação ambiental (AO), pressão dos stakeholders (SP), práticas de gestão ambiental (PA) e desempenho (D). A escala utilizada foi tipo Likert de sete pontos: discordo totalmente (1) a concordo totalmente (7). Primeiramente, as escalas foram validadas por três experts da área ambiental, estratégia e estatística. Após a validação foi realizado um pré-teste junto a 10 empresas fabricantes de móveis pertencentes ao APLMSG.
A definição da amostra seguiu os critérios expostos por Hair Jr., Anderson, Tatham, & Black (2005). Para os autores, o número mínimo de respondentes por variável deve ser de 5 para 1, visto que o tamanho da amostra é definido pela proporção entre o número de respondentes e as variáveis que compõem o questionário. Dessa forma, a amostra mínima necessária para realização do estudo seriam 155 empresas, uma vez que o questionário era composto por 31 variáveis.
Primeiramente, foi realizado o teste de confiabilidade, por meio do coeficiente alfa de Cronbach de cada um dos construtos propostos. A confiabilidade é considerada o grau que uma escala gera resultados consistentes, entre medidas repetidas ou equivalentes de um mesmo objeto de estudo, informando a ausência de erro aleatório (Cunha & Coelho, 2007). O limite aceito para pesquisas descritivas, como esta é de 0,7 (Hair Jr. et al., 2005). O resultado da análise da confiabilidade demonstrou que o instrumento como um todo, mostrou-se fidedigno, visto que o alfa de Cronbach total das 31 variáveis que constam no questionário foi de 0,937. Além dessa análise, foi calculado o alfa de Cronbach para cada um dos construtos: Orientação Ambiental obteve-se um coeficiente de 0,905; Pressão dos Stakeholders, coeficiente de 0,722; Práticas de Gestão Ambiental, coeficiente de 0,864, e Desempenhoapresentou um coeficiente 0,921. Para proceder com a análise dos dados cada construto foi centralizado, gerando uma variável média para cada um.
Os dados foram analisados por meio do software SPSS®. A análise de dados foi realizada por meio de análise estatística descritiva e do teste não-paramétrico Wilcoxon-Mann-Whitney. O teste Wilcoxon-Mann-Whitney utiliza valores de duas amostras independentes para testar a hipótese nula de que as variáveis tem medianas iguais (Cooper & Schindler, 2003). Portanto, a utilização desse teste teve como objetivo principal comparar os níveis de orientação ambiental, pressão dos stakeholders, práticas de gestão ambiental e desempenho entre as organizações que possuem e não possuem SGA e as certificações ISO 9.001 e 14.001.
O teste não paramétrico de Wilcoxon-Mann-Whitney equivale ao teste paramétrico t de student. "O teste de Wilcoxon-Mann-Whitney pode ser usado para testar se dois grupos independentes foram extraídos de uma mesma população" (Siegel & Castellan, 2006, p. 153). A hipótese testada por Wilcoxon-Mann-Whitney é que as medianas de dois grupos são iguais, ou seja, se a mediana do grupo A = mediana do grupo B (Ho, 2006).
Referindo-se ao porte das empresas, utilizou-se como critério o número de funcionários, conforme Sebrae (2015). Constatou-se que 48,8% das empresas da amostra são de microempresas, 36,4% são pequenas, 11,7% médias e apenas 3,1% de grande porte.
Os resultados apresentados são similares ao exposto pela Movergs (2015). Conforme essa instituição, no Rio Grande do Sul, também de acordo com os critérios do SEBRAE (2014), 72,1% da população das empresas fabricantes de móveis é formada por microempresas, as pequenas empresas correspondem a 22,2%, as empresas de médio porte a 4,9% e as empresas de grande porte por 0,9% (Movergs, 2015).
Além disso, em relação à principal matéria-prima utilizada pelas empresas fabricantes de móveis participantes do estudo, há uma demanda considerável por MDF, chapas e painéis. Das 162 empresas participantes, 70,4 % empregam o MDF, chapas e painéis como principal fonte de matéria-prima e apenas 16,7% utilizam madeira serrada. As demais possuem como principal matéria-prima: metais, espuma e tecidos, alumínio, vidro, polipropileno e correspondem juntas a 11,10% da amostra.
Quanto ao tempo de atuação das empresas no mercado de móveis percebe-se que há uma grande concentração de empresas na faixa que compreende de 11 a 20 anos de atuação (39,51%), ou seja, são empresas que já estão de alguma forma consolidadas no mercado em que atuam. As empresas com até 10 anos de existência correspondem a 18,52% da amostra, enquanto que as empresas que possuem de 21 a 30 anos representam 24,69% dos respondentes. Na faixa de 31 a 40 anos, 9,26% das empresas e nas faixas de 41 a 50 anos e acima de 50 anos, correspondem, respectivamente, por apenas 3,09% e 4,93% das empresas participantes do estudo.
A pesquisa apresentou que 40,7% das empresas participantes do estudo possuem SGA. No entanto, apenas 7,4% possui a certificação ISO 9001 e 4,3% a certificação ISO 14001. Ao considerar que 85,20% das empresas são de micro e pequeno porte, entende-se que estas tenham recursos financeiros limitados para realizar investimentos constantes em práticas ambientais e de qualidade, que exigem certa quantia financeira e que possuem retornos em longo prazo. Em consonância, para Fraj et al. (2013), a incorporação de aspectos ambientais no desenvolvimento de produtos e/ou em processos, pode inicialmente causar modificações complexas e custos mais elevados.
Também foi possível identificar que essas empresas ainda possuem certa restrição em relação aos recursos disponíveis para implementar um SGA, devido principalmente aos custos envolvidos no processo de implementação. Além disso, percebe-se um índice muito baixo de empresas que detém as certificações ISO 9001 e ISO 14001. Nesse sentido, as organizações que possuem recursos limitados tendem a limitar os investimentos em práticas de gestão ambientais avançadas (Gonzáles et al., 2008). Dessa maneira, constata-se que a falta de recursos limita a formalização de práticas de gestão ambiental para as micro e pequenas empresas do setor moveleiro.
A análise foi realizada com base na centralização das respostas de cada construto, conforme apresentado na Tabela 1.
Tabela 1 - Médias das respostas dos construtos
Construtos |
Média |
Desvio Padrão |
Total de Respostas |
Média Orientação Ambiental |
5,0282 |
1,30919 |
162 |
Média Pressão dos Stakeholders |
4,4617 |
1,24177 |
162 |
Média Práticas de Gestão Ambiental |
5,5809 |
0,94915 |
162 |
Média Bloco Desempenho |
5,4716 |
1,07093 |
162 |
Fonte: Dados da pesquisa, fornecidos pelo relatório do SPSS (2014).
Dessa forma, foi realizada uma análise entre as médias dos construtos (variáveis dependentes) e as variáveis categóricas (independentes) utilização de SGA, certificação ISO 14001 e certificação ISO 9001. O propósito dessa análise foi comparar os níveis de orientação ambiental, pressão dos stakeholders, práticas de gestão ambiental e desempenho entre as organizações que possuem e não possuem SGA e as certificações ISO 9001 e 14001, visando atender ao objetivo do estudo
Conforme os resultados apresentados na Tabela 2 pode-se perceber que as empresas que possuem SGA apresentam maior orientação ambiental se comparadas às empresas que não possuem. Além disso, as empresas que possuem SGA são as que mais desenvolvem as práticas ambientais e que percebem maior pressão dos stakeholders. Os resultados indicam também que as empresas que possuem SGA conseguem perceber um melhor desempenho comparando às que não fazem uso desse sistema. Assim, os resultados apresentados estão de acordo com o trabalho exposto por Gonzáles et al. (2008). Conforme os autores há uma associação entre as práticas de gestão ambiental e o SGA.
Historicamente, a teoria da administração ignorou as restrições impostas pelo meio ambiente (Hart, 1995). Contudo, as crescentes exigências dos clientes, bem como a globalização dos mercados mundiais, estão entre os muitos fatores que levaram ao estabelecimento de práticas de gestão ambiental, para que as organizações busquem vantagem competitiva (Rodríguez, Alegre, & Martínez, 2011). Além disso, empresas que já estão orientadas ambientalmente e/ou desenvolvem as práticas de gestão ambiental conseguem implementar SGA mais facilmente.
As organizações podem utilizar modelos próprios para realizar suas práticas de gestão ambiental (Barbieri, 2011). Assim, a institucionalização de diretrizes, objetivos e práticas de um processo formal, exigidos por um SGA, tornam-se mais fácil de serem alcançadas (Barbieri, 2011; Gupta, 1995) Outro motivo que pode justificar o fato das empresas que estão orientadas ambientalmente e que desenvolvem práticas de gestão ambiental estarem mais favoráveis à implantação de SGA é a questão da cultura organizacional. Nesse raciocínio, para Testa et al. (2014), para realizar a gestão eficiente de um SGA em uma empresa, é necessário que todos os stakeholders estejam envolvidos, ou seja, que haja um compromisso interno para que os objetivos sejam atingidos.
Tabela 2 – Resultados teste- AO, SP, PA e D em relação ao uso de SGA
Sua empresa possui Sistema de Gestão Ambiental (SGA) |
N |
Mean Rank |
Sum of Ranks |
|
AO |
Não |
96 |
69,96 |
6716,00 |
Sim |
66 |
98,29 |
6487,00 |
|
SP |
Não |
96 |
71,79 |
6891,50 |
Sim |
66 |
95,63 |
6311,50 |
|
PA |
Não |
96 |
70,07 |
6726,50 |
Sim |
66 |
98,13 |
6476,50 |
|
D |
Não |
96 |
74,05 |
7108,50 |
Sim |
66 |
92,34 |
6094,50 |
|
AO |
SP |
PA |
D |
|
Mann-Whitney U | 2060,000 |
2235,500 |
2070,500 |
2452,500 |
Wilcoxon W | 6716,000 |
6891,500 |
6726,500 |
7108,500 |
Z | -3,781 |
-3,184 |
-3,745 |
-2,441 |
Asymp. Sig. (2-tailed) | ,000 |
0,001 |
0,000 |
0,015 |
Fonte: Dados da pesquisa, fornecidos pelo relatório do SPSS (2014)
O fato de melhorar o desempenho ambiental permite que as empresas consequentemente melhorem a sua competitividade. Assim, empresas que desenvolvem práticas de gestão ambiental, podem reduzir custos, desenvolver forte reputação entre os clientes e também aumentar a sua competitividade nos mercados internacionais (Molina-Azorín et al., 2009).
A análise das variáveis dependentes com a variável obtenção da certificação ISO 9001 demonstrou que nenhuma das variáveis dependentes analisadas possui diferença significativa na obtenção dessa certificação. A Tabela 3 apresenta os resultados dessa análise. Dessa forma, é possível constatar que na amostra analisada não há diferença significativa nos níveis de orientação ambiental, de pressão dos stakeholders, práticas de gestão ambiental e desempenho entre as empresas que possuem e não possuem certificação ISO 9001.
Tabela 3 - Resultado do teste - AO, SP, PA e D em relação a certificação ISO 9001
Sua empresa possui ISO 9001 |
N |
Mean Rank |
Sum of Ranks |
|
AO |
Não |
150 |
80,67 |
12101,00 |
Sim |
12 |
91,83 |
1102,00 |
|
SP |
Não |
150 |
80,91 |
12137,00 |
Sim |
12 |
88,83 |
1066,00 |
|
PA |
Não |
150 |
80,48 |
12071,50 |
Sim |
12 |
94,29 |
1131,50 |
|
D |
Não |
150 |
80,52 |
12078,50 |
Sim |
12 |
93,71 |
1124,50 |
|
AO |
SP |
PA |
D |
|
Mann-Whitney U |
776,000 |
812,000 |
746,500 |
753,500 |
Wilcoxon W |
12101,000 |
12137,000 |
12071,500 |
12078,500 |
Z |
-0,794 |
-0,564 |
-0,983 |
-0,938 |
Asymp. Sig. (2-tailed) |
0,427 |
0,573 |
0,326 |
0,348 |
Fonte: Dados da pesquisa, fornecidos pelo relatório do SPSS (2014)
Diante disso, os resultados indicam que as empresas analisadas que possuem a certificação ISO 9001 não estão mais orientadas ambientalmente se comparadas as que não possuem tal certificação. Da mesma maneira, não percebem maior pressão dos stakeholders e também não mais práticas ambientais, se comparadas as empresas não certificadas pela ISO 9.00. Por conseguinte, não há diferença no desempenho, comparando as empresas que possuem daquelas que não possuem tal certificação.
No entanto, estudos anteriores como Heras-Saizarbitoria e Boiral (2013), sugerem que a ISO 9001 fornece diretrizes para sistematizar e formalizar processos que envolvem a gestão da qualidade nas empresas. Ademais, a literatura também sugere que a certificação ISO 9001 pode contribuir para que as organizações consigam obter a certificação ISO 14001 (Pereira-Moliner et al., 2012; Zhu et al., 2013), havendo uma relação entre os dois tipos de certificação (Martens, de Nadae, & de Carvalho, 2014).
A análise dos resultados da relação entre as variáveis dependentes e da variável categórica ISO 14001 indica que empresas que possuem a certificação ISO 14001 apresentam orientação ambiental significativamente maior se comparada às empresas que não possuem tal certificação. Já, as variáveis pressão dos stakeholders, práticas de gestão ambiental e desempenho quando analisadas a luz da variável categórica ISO 14001 não apresentaram diferença significativa. Os resultados desta análise estão apresentados na Tabela 4.
Tabela 4 - Resultado do teste- AO, SP, PA e D em relação a certificação ISO 14001
Sua empresa possui certificação ISO 14001 |
N |
Mean Rank |
Sum of Ranks |
||
AO |
Não |
155 |
79,51 |
12323,50 |
|
Sim |
7 |
125,64 |
879,50 |
||
SP |
Não |
155 |
80,68 |
12505,50 |
|
Sim |
7 |
99,64 |
697,50 |
||
PA |
Não |
155 |
80,77 |
12519,50 |
|
Sim |
7 |
97,64 |
683,50 |
||
D |
Não |
155 |
81,22 |
12589,50 |
|
Sim |
7 |
87,64 |
613,50 |
||
|
AO |
SP |
PA |
D |
|
Mann-Whitney U |
223,500 |
415,500 |
429,500 |
499,500 |
|
Wilcoxon W |
12323,500 |
12505,500 |
12519,500 |
12589,500 |
|
Z |
-2,548 |
-1,048 |
-0,932 |
-0,354 |
|
Asymp. Sig. (2-tailed) |
0,011 |
0,295 |
0,352 |
0,723 |
Fonte: Dados da pesquisa, fornecidos pelo relatório do SPSS (2014)
Desta forma, cabe ressaltar que as empresas analisadas, as quais foram certificadas pela ISO 14001 não possuem diferenças significativas se comparadas as que não possuem essa certificação, no que tange a pressão exercida pelos stakeholders, a realização de práticas de gestão ambiental ou associadas ao desempenho. Porém, os resultados demonstram que empresas que possuem a certificação ISO 14.001 estão mais orientadas ambientalmente quando comparadas a empresas que não possuem tal certificação.
Nesse sentido, o impacto direto das ações das organizações sobre o meio ambiente tem sido responsável por certo grau de integração das questões ambientais nas estratégias empresariais, a qual é considerada como orientação ambiental (Banerjee, 2002). Assim, esses resultados sugerem que as organizações, de maneira geral, estão considerando o meio ambiente em suas ações, porém, o fato de estarem orientadas às questões ambientais não justifica que devem estar realizando ações práticas voltadas ao meio ambiente. Assim, empresas que detém a certificação ISO 14001 não consideram como diferencial o fato da empresa já estar realizando tais práticas ou estarem sofrendo pressão das partes interessadas.
O fato das empresas que possuem a certificação ISO 14001 não considerarem as práticas de gestão ambiental como diferença significativa, pode ser justificado pelo motivo de alguns requisitos exigidos por essa certificação. A ISO 14001 requer um sistema de implementação e operação formal. Essa reestruturação deve incluir, além de treinamentos, controles documentados (Morrow & Rondinelli, 2002). Assim, mesmo que as organizações já estejam desenvolvendo práticas de gestão ambiental, elas terão que readequar-se às exigências que essa norma solicita.
No entanto, o processo de compreensão por parte das organizações de que a orientação ambiental e as práticas de gestão ambiental podem vir a tornarem-se ferramentas competitivas ainda está em processo de transição (López-Gamero et al., 2010). Desse modo, o desempenho ambiental e econômico não foi percebido como diferencial para que as organizações implantassem a ISO 14001. É preciso mencionar ainda que as questões referentes ao construto desempenho não estavam relacionadas à questão de expansão de mercado, mas sim relacionadas com os ganhos da empresa por meio da redução de custos e payback.
Quanto ao número reduzido de empresas que possuem as certificações ISO 9001 e ISO 14001, pode-se relacionar esse fator ao porte da maior parte das empresas participantes do estudo. Os resultados sugerem que os investimentos para obter essas certificações são altos e as micro e pequenas empresas, que representam 85, 20% da amostra do estudo, geralmente, não possuem caixa, nem recursos disponíveis, conforme exigências de implantação das normas (Pombo & Magrini, 2008).
Tanto, a implantação da ISO 9001 quanto da ISO 14001 necessitam de recursos, tais como: liderança, envolvimento dos stakeholders, alterações nas rotinas organizacionais, além de novos processos. Esse fato propicia a aprendizagem organizacional e, por isso, a implementação da ISO 9001 favorece a obtenção da certificação ISO 14001. Porém, ambas necessitam de alocação de recursos (Pereira-Moliner et al., 2012; Zhu et al., 2013). No entanto, as análises sobre as variáveis categóricas, ISO 9001 e 14001 devem ser refletidas com certa cautela, devido ao número reduzido de empresas com essas certificações na amostra.
Esse estudo teve como propósito comparar os níveis de orientação ambiental, pressão dos stakeholders, práticas de gestão ambiental e desempenho entre as organizações que possuem e não possuem SGA e as certificações ISO 9001 e 14001. Para tanto, foram realizadas análises das relações entre as variáveis dependentes (construtos) e as variáveis independentes (uso de SGA, certificações ISO 9001 e ISO 14001) por meio do teste U de Mann-Whitney.
Os resultados sugerem que as empresas que utilizam SGA estão orientadas ambientalmente e também sofrem influência da pressão exercida pelas partes interessadas. Dessa forma, as empresas que possuem SGA são as que mais desenvolvem as práticas ambientais e, por conseguinte, apresentam desempenho mais elevado. A implementação de SGA nas empresas é flexível, visto que qualquer organização pode estabelecer um SGA de acordo com suas características internas e identificar as soluções mais eficazes para melhorar o seu desempenho (Testa et al., 2014).
No entanto, o SGA, mesmo já tendo se firmado ao longo dos anos no ambiente organizacional, ainda não alcançou um elevado grau de maturidade em sua implementação. Além disso, muitas vezes, o SGA não está plenamente integrado nas dinâmicas de gestão empresarial, ou seja, interligado com áreas chaves, tais como P & D e gestão da cadeia de suprimentos, que permitam uma organização para explorar eficazmente as suas ferramentas e instrumentos operacionais (Iraldo, Testa, & Frey, 2009).
Os resultados apresentados sobre o SGA são divergentes quando se trata da certificação ISO 9001. Empresas que possuem ISO 9001 não possuem maior nível de orientação ambiental, bem como pressão de stakeholders e práticas de gestão ambiental. Por conseguinte, também não possuem um maior desempenho. Para as empresas que possuem a ISO 14001, a única variável que demonstrou ter diferença significativa foi a orientação ambiental. Assim, empresas que possuem a certificação ISO 14001 demonstraram ter um nível de orientação ambiental significativamente maior se comparado as que não possuem essa certificação.
Dessa forma, é possível sugerir, com base na amostra, que as empresas que possuem ISO 14001 têm mais presente na sua estratégia a questão ambiental. Isso, associado ao fato que o porte e o tempo de mercado são importantes para a obtenção dessa certificação, indicando que a incorporação da questão ambiental na estratégia emerge com o amadurecimento das empresas e a consolidação do mercado. Isso corrobora com as teorias de RBV e das Capacidades Dinâmicas, as quais advogam que a trajetória da organização importa na implementação de práticas e estratégias de modo geral (Tondolo & Bitencourt, 2014).
Embora o objetivo principal do estudo tenha sido atingido, torna-se pertinente a explanação de algumas limitações desse estudo. Os resultados das análises sobre as variáveis categóricas, ISO 9001 e 14001 devem ser analisados com cautela, uma vez que se observa o reduzido índice de empresas que utilizam sistemas de gestão ambiental e possuem as certificações ISO 9001 e ISO 14001. Essa ocorrência limitou de certa forma, as análises entre essas variáveis e os construtos propostos. Logo, como recomendações de estudos futuros, sugerem-se estudos mais aprofundados junto às empresas que possuem essas certificações, por meio de estudo de caso.
Angell, L. C., & Klassen, R. D. (1999). Integrating environmental issues into the mainstream : an agenda for research in operations management. Journal of Operations Management, 17(5), 575–598.
Banerjee, S. B. (2002). Corporate environmentalism: The construct and its measurement. Journal of Business Research, 55(3), 177–191. http://doi.org/10.1016/S0148-2963(00)00135-1
Barbieri, J. C. (2011). Gestão ambiental empresarial: conceitos, modelos e instrumentos (3rd ed.). São Paulo: Saraiva.
Campos, L. M. S. (2012). Environmental management systems (EMS) for small companies: a study in Southern Brazil. Journal of Cleaner Production, 32, 141–148. http://doi.org/10.1016/j.jclepro.2012.03.029
Chen, Y.-S. (2008). The positive effect of green intellectual capital on competitive advantages of firms. Journal of Business Ethics, 77(3), 271–286. Retrieved from http://www.scopus.com/inward/record.url?eid=2-s2.0-36749032621&partnerID=40&md5=8bc11ee5960d27403895d953044c8d41
Cooper, D. R., & Schindler, P. (2003). Métodos de Pesquisa em Administração (7th ed.). Porto Alegre: Bookman.
Cordeiro, J. J., & Sarkis, J. (1997). Environmental proactivism and firm performance: evidence from security analyst earnings forecasts. Business Strategy and the Environment, 6(2), 104–114. http://doi.org/10.1002/(SICI)1099-0836(199705)6:2<104::AID-BSE102>3.0.CO;2-T
Cunha, J. V. A., & Coelho, A. C. (2007). Regressão Linear Múltipla. In L. J. Corrar, E. Paulo, & J. M. Dias Filho (Eds.), Análise Multivariada (p. 541). São Paulo: Atlas.
De Marchi, V., Di Maria, E., & Micelli, S. (2013). Environmental Strategies, Upgrading and Competitive Advantage in Global Value Chains. Business Strategy and the Environment, 22(1), 62–72. http://doi.org/10.1002/bse.1738
Fraj, E., Martinez, E., & Matute, J. (2013). Green marketing in B2B organisations: an empirical analysis from the natural-resource-based view of the firm. JOURNAL OF BUSINESS & INDUSTRIAL MARKETING, 28(5), 396–410. http://doi.org/10.1108/08858621311330245
Fraj, E., Martínez, E., & Matute, J. (2011). Green marketing strategy and the firm's performance: the moderating role of environmental culture. Journal of Strategic Marketing. http://doi.org/10.1080/0965254X.2011.581382
Gonzáles, P., Sarkis, J., & Adenso-Diaz, B. (2008). Article information : International Journal of Operations & Production Management, 28(11), 1021–1041. http://doi.org/http://dx.doi.org/10.1108/01443570810910179
González-Benito, J., Lannelongue, G., & Queiruga, D. (2011). Stakeholders and environmental management systems: A synergistic influence on environmental imbalance. Journal of Cleaner Production, 19(14), 1622–1630. http://doi.org/10.1016/j.jclepro.2011.05.013
Gupta, M. C. (1995). Environmental management and its impact on the operations function. International Journal of Operations & Production Management, 15(8), 34–51. http://doi.org/http://dx.doi.org/10.1108/01443579510094071
Hair Jr., J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (2005). Análise Multivariada de Dados (5th ed.). Porto Alegre: Bookman.
Hart, S. L. (1995). A natural-resource-based view of the firm. Academy of Management Review, 20(4), 986–1014.
Hart, S. L., & Dowell, G. (2011). A natural-resource-based view of the firm: 15 years after. Journal of Management, 37, 1464–1479. http://doi.org/10.1177/0149206310390219
Heras-Saizarbitoria, I., & Boiral, O. (2013). ISO 9001 and ISO 14001: Towards a Research Agenda on Management System Standards. International Journal of Management Reviews, 15(1), 47–65. http://doi.org/10.1111/j.1468-2370.2012.00334.x
Ho, R. (2006). Handbook of Univariate and Multivariate Data Analysis and Interpretation with SPSS. Boca Raton: Chapman & Hall/CRC.
Iraldo, F., Testa, F., & Frey, M. (2009). Is an environmental management system able to influence environmental and competitive performance? The case of the eco-management and audit scheme (EMAS) in the European Union. Journal of Cleaner Production, 17(16), 1444–1452.
Jabbour, C. J. C., Maria Da Silva, E., Paiva, E. L., & Almada Santos, F. C. (2012). Environmental management in Brazil: Is it a completely competitive priority? Journal of Cleaner Production, 21(1), 11–22. http://doi.org/10.1016/j.jclepro.2011.09.003
JACKSON, S. L. (1997). The ISO 14001 Implementation Guide: Creating an Integrated Management System. New York: Wiley.
Klassen, R. D., & McLaughlin, C. P. (1996). The Impact of Environmental Management on Firm Performance. Management Science, 42(8), 1199–1214. http://doi.org/10.1287/mnsc.42.8.1199
López-Gamero, M. D., Claver-Cortés, E., & Molina-Azorín, J. F. (2008). Complementary Resources and Capabilities for an Ethical and Environmental Management: A Qual/Quan Study. Journal of Business Ethics, 82, 701–732. http://doi.org/10.1007/s10551-007-9587-x
López-Gamero, M. D., Molina-Azorín, J. F., & Claver-Cortés, E. (2010). The potential of environmental regulation to change managerial perception, environmental management, competitiveness and financial performance. Journal of Cleaner Production, 18(10-11), 963–974. http://doi.org/10.1016/j.jclepro.2010.02.015
Maffessoni, D. (2012). Análise da situação ambiental das indústrias do pólo moveleiro de Bento Gonçalves. Universidade Federal do Rio Grande do Sul. Retrieved from http://www.lume.ufrgs.br/bitstream/handle/10183/49304/000835544.pdf?sequence=1
Martens, M. L., de Nadae, J., & de Carvalho, M. M. (2014). A Relação entre Empresas com Certificações Socioambientais e Empresas com Certificação de Qualidade. Revista de Gestão Ambiental E Sustentabilidade: GeAS, 3(3), 1–18.
Molina-Azorín, J. F., Claver-Cortés, E., López-Gamero, M. D., & Tarí, J. J. (2009). Green management and financial performance: a literature review. Management Decision, 47(7), 1080–1100. http://doi.org/10.1108/00251740910978313
Morrow, D., & Rondinelli, D. (2002). Adopting Corporate Environmental Management Systems: European Management Journal, 20(2), 159–171. http://doi.org/10.1016/S0263-2373(02)00026-9
Movergs. (2015). No Title. Retrieved June 1, 2015, from http://movergs.com.br
Paulraj, A. (2011). Understanding the relationships between internal resources and capabilities, sustainable supply management and organizational sustainability. Journal of Supply Chain Management, 47(1), 19–37. http://doi.org/10.1111/j.1745-493X.2010.03212.x
Pereira-Moliner, J., Claver-Cortés, E., Molina-Azorín, J. F., & José Tarí, J. (2012). Quality management, environmental management and firm performance: direct and mediating effects in the hotel industry. Journal of Cleaner Production, 37, 82–92. http://doi.org/10.1016/j.jclepro.2012.06.010
Pombo, F. R., & Magrini, A. (2008). Panorama de aplicação da norma ISO 14001 no Brasil. Gestão E Produção, 15(1), 1–10.
Rodríguez, G., Alegre, F. J., & Martínez, G. (2011). Evaluation of environmental management resources (ISO 14001) at civil engineering construction worksites: A case study of the community of Madrid. Journal of Environmental Management, 92(7), 1858–1866.
Rosseti, E. (2008). Gestão Ambiental: Ecoeficiência a caminho da sustentabilidade: O caso do segmento moveleiro da serra gaúcha. Universidade de Caxias do sul.
Rueda-Manzanares, A., Aragón-Correa, J. A., & Sharma, S. (2008). he Influence of Stakeholders on the Environmental Strategy of Service Firms: The Moderating Effects of Complexity, Uncertainty and Munificence. British Journal of Management, 19(2), 185–203. http://doi.org/10.1111/j.1467-8551.2007.00538.x
Sarkis, J., Gonzalez-Torre, P., & Adenso-Diaz, B. (2010). Stakeholder pressure and the adoption of environmental practices: The mediating effect of training. Journal of Operations Management, 28(2), 163–176. http://doi.org/10.1016/j.jom.2009.10.001
Sarkis, J., & Sroufe, R. (2004). Strategic Sustainability: The State of the Art In Corporate Environmental Management Systems. Greener Management International, (46), 5–9. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&db=aph&AN=19398863&site=ehost-live
Sebrae. (2015). No Title. Retrieved February 1, 2015, from http://www.sebrae-sc.com.br/leis/default.asp?vcdtexto=4154
Siegel, S., & Castellan, J. N. J. (2006). Estatística não-paramétrica para ciências do comportamento. Porto Alegre: Artmed.
Testa, F., Rizzi, F., Daddi, T., Gusmerotti, N. M., Frey, M., & Iraldo, F. (2014). EMAS and ISO 14001: the differences in effectively improving environmental performance. Journal of Cleaner Production, 68, 165–173. http://doi.org/10.1016/j.jclepro.2013.12.061
Tondolo, Vi. A. G., & Bitencourt, C. C. (2014). Understanding Dynamic Capabilities from Its Antecedents, Processes and Outcomes. BBR - Brazilian Business Review, 5(11), 122–144.
Zailani, S. H. M., Eltayeb, T. K., Hsu, C.-C., & Tan, K. C. (2012). The impact of external institutional drivers and internal strategy on environmental performance. International Journal of Operations & Production Management, 32(6), 721–745. http://doi.org/10.1108/01443571211230943
Zhu, Q., Sarkis, J., & Lai, K. (2013). Institutional-based antecedents and performance outcomes of internal and external green supply chain management practices. Journal of Purchasing and Supply Management, 19(2), 106–117. http://doi.org/http://dx.doi.org/10.1016/j.pursup.2012.12.001
Variáveis |
Construto |
Fonte |
(AO 1) Integramos as causas ambientais em nosso planejamento estratégico. (AO 2) Em nossa empresa qualidade inclui redução de impacto ambiental. (AO 3) Em nossa empresa os objetivos ambientais estão relacionados com as metas corporativas. (AO 4) Nossa empresa está engajada no desenvolvimento de produtos e processos para minimizar o impacto ambiental. (AO 5) A área ambiental é sempre considerada quando há desenvolvimento de novos produtos. (AO 6) Nós enfatizamos os aspectos ambientais dos nossos produtos e serviços nos nossos anúncios. (AO 7) As estratégias de marketing dos nossos produtos e serviços são influenciadas pelas preocupações ambientais. |
Orientação Ambiental |
Barnejee (2002) |
(SP1) Clientes (SP2) Governo (SP3) Acionistas (SP4) Funcionários (SP5) ONGs e Sociedade |
Pressão dos Stakeholders (Direcionadores) |
Sarkis et al. (2010) |
(PA1) Redução na variedade de materiais utilizados na produção de produtos em nossa empresa. (PA2) Uso de matérias-primas recicladas. (PA3) Redução de materiais tóxicos (não ilegais). (PA4) Uso da avaliação do ciclo de vida de produtos para design de produtos. (PA5) Uso de componentes nos produtos de fácil desmontagem. (PA6) Uso de componentes padronizados para facilitar o reuso. (PA7) Reciclagem de resíduos sólidos. (PA8) Processos de gestão ambiental internos. (PA9) Uso de sistemas de segurança e prevenção avançados no trabalho. |
Práticas de Gestão Ambiental |
Sarkis et al. (2010) |
(PE1) Diminuição dos custos dos materiais comprados. (PE2) Diminuição dos custos de energia consumida. (PE3) Diminuição dos custos de gestão de resíduos. (PE4) Maior retorno dos investimentos. (PE5) Aumento do valor das ações (capital da empresa). (PA7) Redução na emissão de poluentes no ar. (PA8) Redução de resíduos (sólidos e/ou líquidos). (PA9) Diminuição do consumo de matérias tóxicos/perigosos. (PA10) Diminuição na frequência de acidentes ambientais. (PA11) Maior economia de energia devido conservação e eficiência. |
Desempenho |
Paulraj (2011) |
1. Faculdade da Associação Brasiliense de Educação (FABE). Email:janielenpissolatto@gmail.com
2. Universidade de Caxias do Sul - UCS. Email: vtondolo@gmail.com
3. Universidade de Caxias do Sul - UCS. Email: mariaemiliappga@gmail.com
4. Faculdade Meridional - IMED