Controle por aprendizagem por reforço aplicado aos processos : CSTR e Espessador.

Abstract

O controle por aprendizagem por reforço busca melhorar seu desempenho pelo aprendizado obtido ao interagir com o processo. As ações de controle deste tipo de controlador são norteadas unicamente por uma função de recompensa. O algoritmo Augmented Random Search (ARS) é uma método de aprendizagem por reforço baseado em busca aleatória simples com melhorias no processamento das recompensas e dos estados. As características apresentadas pela aprendizagem por reforço permitirá sua utilização em processos complexos e não lineares, como o tanque com agitação contínua (CSTR) e o espessador. Esses dois processos são complexos e apresentam comportamentos diferentes nos pontos de operação. Para o problema do CSTR, os estados são as referências do processo (referência atual e uma mudança de referência), as ações são os parâmetros do controlador PI e a recompensa foi definida em função do erro entre a referência e variável do processo (temperatura do reator). No caso do espessador os estados são o erro e a concentração do underflow, a ação é o ajuste direto da vazão de underflow e a função de recompensa foi definida em função do erro e da variação da ação de controle. Para o simulador do CSTR foi utilizado o python e para o espessador, utilizamos o Matlab. A sintonia proposta pelo ARS para o problema do CSTR apresenta uma melhoria de 8,3% (IAE), considerando o mesmo ponto de operação, em comparação com o benchmark. Já o o algoritmo ARS foi 19% (IAE) melhor na tarefa de controlar diretamente o espessador.