rel="stylesheet">
Creating and sharing knowledge in communications and information technology

Optimal action-selection optimization of wireless networks based on virtual representation

Oliveira, R. O. ; Raposo, D. ; Luís, M. ; Sargento, S. ; Silva, N.V.S. ; Ferreira, T.

Instituto de Telecomunicações

Invention Title: Optimal action-selection optimization of wireless networks based on virtual representation

Patent Nr.: PT120045

Type: Patent

Regional Coverage: National

Grant Status: Pending

Priority Date: 17-02-2025

Filing Date: 17-02-2025

Country: Portugal

Abstract
A presente invenção faculta um método para adaptar dinamicamente as ligações sem fios de uma rede em malha sem fios às condições atuais da rede (tendo em consideração as condições de ligações de rede e a utilização pelos clientes),
por meio de um processo de aprendizagem por reforço aumentado pela utilização de um gémeo digital. Na forma de realização principal e mais genérica, o método utiliza o algoritmo padrão Q-Learning (QL), que armazena a soma das recompensas para as ações em formato tabular. Nesse contexto, as ações
representam possíveis operações de orientação de ligações sem fios, seja para trocar de canal ou para conectar uma ligação a um ponto de acesso diferente. Assim, o agente aprende a tomar decisões ao interagir com o ambiente do gémeo digital para maximizar as recompensas cumulativas. O agente
observa o estado atual do ambiente, seleciona uma ação com base numa política, recebe informação de retorno na forma de uma recompensa e transita para um novo estado. Essa abordagem de tentativa e erro permite que o agente aprenda estratégias ótimas ao longo do tempo na segurança do ambiente do gémeo digital, mesmo em sistemas complexos e dinâmicos como redes
em malha. Com o tempo, o agente refina a sua política, por meio de um processo iterativo, e converge para uma estratégia ótima para cada estado de rede sem fios.