feat: implement CSV batch processing service and CLI confirmation workflow for RPA expenses

This commit is contained in:
2026-08-09 18:34:44 -04:00
parent 712cbe5a2a
commit b9ef1178b5
2 changed files with 272 additions and 50 deletions

View File

@@ -0,0 +1,20 @@
Data,Lançamento,Documento,Débito (R$)
01/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,6,"6,22"
02/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,4,"4,82"
03/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,2,"1,80"
06/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90"
07/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90"
08/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90"
08/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,3,"3,08"
09/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,3,"3,45"
14/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90"
15/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,3,"2,70"
15/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,9,"8,10"
16/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"1,19"
22/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,2,"1,80"
22/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,3,"2,70"
23/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,2,"1,80"
27/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90"
28/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90"
29/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90"
29/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,8,"7,56"
1 Data Lançamento Documento Débito (R$)
2 01/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 6 6,22
3 02/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 4 4,82
4 03/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 2 1,80
5 06/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 1 0,90
6 07/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 1 0,90
7 08/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 1 0,90
8 08/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 3 3,08
9 09/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 3 3,45
10 14/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 1 0,90
11 15/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 3 2,70
12 15/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 9 8,10
13 16/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 1 1,19
14 22/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 2 1,80
15 22/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 3 2,70
16 23/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 2 1,80
17 27/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 1 0,90
18 28/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 1 0,90
19 29/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 1 0,90
20 29/07/2026 TARIFA BANCARIA LIQUIDACAO QRCODE PIX 8 7,56

View File

@@ -2,27 +2,29 @@
""" """
Banco Despesas RPA (Guiado) - Automação de Lançamento de Despesa no SIGA Banco Despesas RPA (Guiado) - Automação de Lançamento de Despesa no SIGA
======================================================================== ========================================================================
Este script executa o fluxo completo de lançamento de Despesa em Caixas e Bancos no SIGA via Playwright. Este script executa o fluxo completo e automatizado de lançamento em lote
de Despesas em Caixas e Bancos no SIGA via Playwright a partir de um arquivo CSV.
Funcionalidades: Funcionalidades:
- Leitura interativa de arquivo CSV (suporta separador vírgula ',' e ponto-e-vírgula ';').
- Resumo formatado dos registros no terminal com confirmação do usuário antes de iniciar.
- Inicialização de navegador Chromium com perfil persistente e evasaõ de detecção anti-bot (HumanMouse). - Inicialização de navegador Chromium com perfil persistente e evasaõ de detecção anti-bot (HumanMouse).
- Autenticação e aguardo de login manual/reCAPTCHA. - Autenticação e aguardo de login manual/reCAPTCHA com orientação em tela.
- Seleção/validação do Mês de Trabalho (ex: 07/2026). - Seleção/validação do Mês de Trabalho (ex: 07/2026).
- Navegação via menu lateral: Tesouraria >> Caixas e Bancos >> + Novo >> Despesa (TES01702.aspx). - Loop de lançamentos em lote:
- Preenchimento inteligente dos campos: * Navegação para Tesouraria >> Caixas e Bancos >> + Novo >> Despesa (TES01702.aspx).
* Data Documento (Datepicker Bootstrap td.day:not(.old):not(.new)) * Preenchimento de Data Documento (Datepicker Bootstrap).
* Tipo Documento (Select2 com filtro tolerante a acentos) * Seleção de Tipo Documento ('AVISO DE DÉBITO').
* N° Documento (Documento e Pagamento) * N° Documento e Valor Documento (Cálculo automático de rateio e total).
* Valor Documento (Cálculo automático de rateio e total) * Seleção de Despesa ('3030 - DESPESAS BANCARIAS').
* Despesa (Select2 3030 - DESPESAS BANCARIAS) * Pesquisa AJAX de Fornecedor ('BRADESCO' -> 'BANCO BRADESCO S.A').
* Fornecedor (Select2 AJAX com busca por 'BRADESCO' + Enter) * Preenchimento de Histórico e Complemento (Rateio e Pagamento).
* Validação de Histórico (012 - DESP.BANCÁRIAS) * Seleção de Data Pagamento (Datepicker) e Forma Pagamento ('DÉBITO AUTOMÁTICO').
* Complemento (Rateio) * Clique no botão Salvar (button.btn-salvar), redirecionando para a lista e reiniciando o loop para o próximo registro.
* Data Pagamento (Datepicker)
* Forma Pagamento (Select2 DÉBITO AUTOMÁTICO com auto-preenchimento de Conta)
""" """
import asyncio import asyncio
import csv
import logging import logging
import math import math
import os import os
@@ -35,6 +37,12 @@ from typing import Optional, List
from dotenv import load_dotenv from dotenv import load_dotenv
from playwright.async_api import async_playwright, Page, TimeoutError as PlaywrightTimeout from playwright.async_api import async_playwright, Page, TimeoutError as PlaywrightTimeout
import sys
if hasattr(sys.stdout, "reconfigure"):
sys.stdout.reconfigure(encoding="utf-8", errors="replace")
if hasattr(sys.stderr, "reconfigure"):
sys.stderr.reconfigure(encoding="utf-8", errors="replace")
# ============================================================================== # ==============================================================================
# LOGGING & CONFIGURAÇÃO # LOGGING & CONFIGURAÇÃO
# ============================================================================== # ==============================================================================
@@ -74,6 +82,151 @@ class ExpenseRecord:
numero_doc_pagamento: str # Ex: "1" numero_doc_pagamento: str # Ex: "1"
# ==============================================================================
# SERVICE DE LEITURA E PARSING DE CSV
# ==============================================================================
class CSVReaderService:
"""Lê e parseia arquivos CSV de extrato de despesas com suporte a ',' e ';'."""
@staticmethod
def detect_delimiter(filepath: str) -> str:
"""Identifica se o CSV utiliza vírgula (',') ou ponto-e-vírgula (';') como separador."""
with open(filepath, "r", encoding="utf-8-sig", errors="replace") as f:
first_line = f.readline()
if ";" in first_line:
return ";"
return ","
@classmethod
def load_expenses_from_csv(cls, filepath: str) -> List[ExpenseRecord]:
if not os.path.exists(filepath):
raise FileNotFoundError(f"Arquivo CSV não encontrado no caminho: {filepath}")
delimiter = cls.detect_delimiter(filepath)
logger.info(f"📖 Lendo arquivo CSV com separador '{delimiter}': {filepath}")
records: List[ExpenseRecord] = []
with open(filepath, "r", encoding="utf-8-sig", errors="replace") as f:
reader = csv.DictReader(f, delimiter=delimiter)
for row_idx, row in enumerate(reader, start=2):
try:
# Mapeia chaves normalizadas (sem acentos e maiúsculas) para os valores correspondentes
norm_row = {}
for k, v in row.items():
if k is not None:
key_norm = normalize_text(str(k))
norm_row[key_norm] = str(v).strip().strip('"')
data_str = ""
lancamento = ""
documento = "1"
debito_str = ""
for k_norm, val in norm_row.items():
if "DATA" in k_norm:
data_str = val
elif "LANCAMENTO" in k_norm or "DESCRICAO" in k_norm or "HISTORICO" in k_norm:
lancamento = val
elif "DOCUMENTO" in k_norm or "DOC" in k_norm:
documento = val
elif "DEBITO" in k_norm or "VALOR" in k_norm:
debito_str = val
if not data_str or not debito_str:
continue
# Parse da Data (DD/MM/YYYY)
dt_obj = datetime.strptime(data_str, "%d/%m/%Y").date()
# Parse do Valor Monetário (ex: "0,90" ou "6,22" -> float)
clean_val_str = debito_str.replace("R$", "").replace(".", "").replace(",", ".").strip()
valor_float = abs(float(clean_val_str))
if valor_float <= 0:
continue
rec = ExpenseRecord(
data_documento=dt_obj,
tipo_documento="AVISO DE DÉBITO",
numero_documento=documento,
valor_documento=valor_float,
codigo_despesa="3030",
fornecedor_busca="BRADESCO",
fornecedor_alvo="BANCO BRADESCO S.A",
complemento=lancamento,
data_pagamento=dt_obj,
forma_pagamento="DÉBITO AUTOMÁTICO",
numero_doc_pagamento=documento,
)
records.append(rec)
except Exception as err:
logger.warning(f"⚠️ Linha {row_idx} ignorada devido a erro de parse: {row} | Erro: {err}")
logger.info(f"✅ total de {len(records)} registro(s) válido(s) carregado(s) do CSV.")
return records
# ==============================================================================
# INTERACTION & CONFIRMATION HELPER (CLI)
# ==============================================================================
def get_csv_filepath() -> str:
"""Solicita o caminho do arquivo CSV ao usuário via terminal."""
default_csv = "Extrato_Bradesco_Julho_2026_v3.xlsx - despesas.csv"
print("\n" + "=" * 75)
print(" 📊 AUTOMAÇÃO DE DESPESAS SIGA - SELEÇÃO DE ARQUIVO CSV")
print("=" * 75)
if os.path.exists(default_csv):
print(f" Arquivo padrão detectado: '{default_csv}'")
user_input = input(f"\nDigite o caminho do arquivo .csv [Pressione ENTER para usar '{default_csv}']: ").strip().strip('"').strip("'")
if not user_input:
user_input = default_csv
if not os.path.exists(user_input):
raise FileNotFoundError(f"Arquivo CSV não encontrado no caminho: '{user_input}'")
return user_input
def print_records_preview(records: List[ExpenseRecord], filepath: str):
"""Exibe um resumo tabular formatado dos registros lidos do CSV."""
print("\n" + "=" * 75)
print(f" 📋 REGISTROS CARREGADOS DO ARQUIVO: {os.path.basename(filepath)} ({len(records)} itens)")
print("=" * 75)
print(f"{'#':<4} | {'Data':<10} | {'Doc':<8} | {'Valor (R$)':<12} | {'Complemento / Lançamento'}")
print("-" * 75)
total_val = 0.0
for idx, rec in enumerate(records, start=1):
total_val += rec.valor_documento
val_fmt = f"{rec.valor_documento:,.2f}".replace(",", "X").replace(".", ",").replace("X", ".")
comp_trunc = rec.complemento[:32] + "..." if len(rec.complemento) > 32 else rec.complemento
print(f"{idx:<4} | {rec.data_documento.strftime('%d/%m/%Y'):<10} | {rec.numero_documento:<8} | R$ {val_fmt:<9} | {comp_trunc}")
print("-" * 75)
total_val_fmt = f"{total_val:,.2f}".replace(",", "X").replace(".", ",").replace("X", ".")
print(f" TOTAL: {len(records)} registros | Soma dos Débitos: R$ {total_val_fmt}")
print("=" * 75)
def prompt_user_confirmation() -> bool:
"""Exibe aviso sobre login/senha no SIGA e solicita confirmação explícita."""
print("\n" + "⚠️ " * 15)
print(" INSTRUÇÃO IMPORTANTE DE AUTENTICAÇÃO NO SIGA:")
print(" Ao iniciar a automação, a janela do navegador Chromium será exibida.")
print(" Por favor, digite seu NOME DE USUÁRIO e SENHA no sistema SIGA")
print(" e resolva a verificação do reCAPTCHA ('Não sou um robô') se solicitado.")
print("⚠️ " * 15 + "\n")
confirm = input("Deseja iniciar o processamento em lote no SIGA agora? (S/n): ").strip().upper()
return confirm in ["S", "SIM", "Y", "YES", ""]
# ============================================================================== # ==============================================================================
# HELPER DE NORMALIZAÇÃO DE TEXTO # HELPER DE NORMALIZAÇÃO DE TEXTO
# ============================================================================== # ==============================================================================
@@ -415,7 +568,7 @@ class SigaDespesasAutomation:
mouse = self.mouse mouse = self.mouse
logger.info("\n" + "=" * 60) logger.info("\n" + "=" * 60)
logger.info(f"📝 INICIANDO LANÇAMENTO DE DESPESA: N° {expense.numero_documento} | R$ {expense.valor_documento:.2f}") logger.info(f"📝 PREENCHENDO DESPESA: Data {expense.data_documento.strftime('%d/%m/%Y')} | N° {expense.numero_documento} | R$ {expense.valor_documento:.2f}")
logger.info("=" * 60) logger.info("=" * 60)
# 1. Data Documento # 1. Data Documento
@@ -469,7 +622,7 @@ class SigaDespesasAutomation:
logger.info(f"7️⃣ Validando Histórico de Rateio: '{hist_text.strip()}'") logger.info(f"7️⃣ Validando Histórico de Rateio: '{hist_text.strip()}'")
# 8. Complemento (Rateio) # 8. Complemento (Rateio)
logger.info(f"8️⃣ Preenchendo Complemento: '{expense.complemento}'...") logger.info(f"8️⃣ Preenchendo Complemento (Rateio): '{expense.complemento}'...")
complemento_input = page.locator("#f_complemento2").first complemento_input = page.locator("#f_complemento2").first
await mouse.human_type(complemento_input, expense.complemento) await mouse.human_type(complemento_input, expense.complemento)
await human_delay(300, 600) await human_delay(300, 600)
@@ -513,60 +666,109 @@ class SigaDespesasAutomation:
await mouse.human_type(complemento_pag_input, expense.complemento) await mouse.human_type(complemento_pag_input, expense.complemento)
await human_delay(500, 1000) await human_delay(500, 1000)
logger.info("✨ Todos os campos foram preenchidos e validados com sucesso!") logger.info("✨ Todos os campos da despesa foram preenchidos e validados com sucesso!")
async def save_form(self, click_save: bool = True): async def save_form(self, click_save: bool = True):
"""Clica no botão 'Salvar' (button.btn-salvar) ao final do formulário.""" """Clica no botão 'Salvar' (button.btn-salvar) ao final do formulário e aguarda o redirecionamento para TES01701.aspx."""
page = self.page
if click_save: if click_save:
logger.info("💾 Clicando no botão 'Salvar' (button.btn-salvar)...") logger.info("💾 Clicando no botão 'Salvar' (button.btn-salvar)...")
salvar_btn = self.page.locator("button.btn-salvar, button[data-comando='F']").first salvar_btn = page.locator("button.btn-salvar, button[data-comando='F']").first
await salvar_btn.scroll_into_view_if_needed() await salvar_btn.scroll_into_view_if_needed()
await self.mouse.click_element(salvar_btn) await self.mouse.click_element(salvar_btn)
await human_delay(2500, 4000)
logger.info("✅ Lançamento de despesa salvo no SIGA com sucesso!") # Aguarda o processamento e o redirecionamento de volta para a lista de Caixas e Bancos
await page.wait_for_url("**/TES01701.aspx**", timeout=20000)
await human_delay(1500, 2500)
logger.info("✅ Lançamento de despesa salvo no SIGA! Redirecionado para a lista de Caixas e Bancos.")
else: else:
logger.info("ℹ️ Modo de simulação: formulário preenchido sem submeter (Salvar não clicado).") logger.info("ℹ️ Modo de simulação: formulário preenchido sem submeter (Salvar não clicado).")
# ============================================================================== # ==============================================================================
# ENTRYPOINT PRINCIPAL # ENTRYPOINT PRINCIPAL (FLUXO EM LOTE VIA CSV)
# ============================================================================== # ==============================================================================
async def main(): async def main():
Config.load() Config.load()
automation = SigaDespesasAutomation()
# Registro de exemplo baseado na sessão gravada
exemplo_despesa = ExpenseRecord(
data_documento=date(2026, 7, 1),
tipo_documento="AVISO DE DÉBITO",
numero_documento="1",
valor_documento=0.90,
codigo_despesa="3030",
fornecedor_busca="BRADESCO",
fornecedor_alvo="BANCO BRADESCO S.A",
complemento="TARIFA BANCARIA LIQUIDACAO QRCODE PIX",
data_pagamento=date(2026, 7, 1),
forma_pagamento="DÉBITO AUTOMÁTICO",
numero_doc_pagamento="1",
)
try: try:
await automation.launch() # 1. Solicita e lê o arquivo CSV
await automation.navigate_and_wait_auth() csv_file = get_csv_filepath()
await automation.set_work_month("07/2026") records = CSVReaderService.load_expenses_from_csv(csv_file)
await automation.navigate_to_caixas_e_bancos()
await automation.open_novo_despesa()
await automation.process_expense(exemplo_despesa) if not records:
await automation.save_form(click_save=False) logger.error("❌ Nenhum registro válido encontrado no CSV para processamento.")
return
logger.info("🎉 RPA concluído com sucesso!") # 2. Exibe a prévia no terminal
await asyncio.sleep(5) print_records_preview(records, csv_file)
# 3. Solicita confirmação explícita e orienta sobre login/senha
if not prompt_user_confirmation():
logger.info("🛑 Execução cancelada pelo usuário.")
return
automation = SigaDespesasAutomation()
try:
# 4. Inicia o navegador e aguarda login manual + reCAPTCHA
await automation.launch()
await automation.navigate_and_wait_auth()
# 5. Define o Mês de Trabalho com base na data do primeiro registro
first_date = records[0].data_documento
target_month_str = f"{first_date.month:02d}/{first_date.year}"
await automation.set_work_month(target_month_str)
# 6. Navega para a lista inicial de Caixas e Bancos (TES01701.aspx)
await automation.navigate_to_caixas_e_bancos()
total_records = len(records)
success_count = 0
failed_count = 0
# 7. Loop de lançamentos em lote (Redirecionamento ao Salvar)
for idx, rec in enumerate(records, start=1):
logger.info(f"\n🔄 [{idx}/{total_records}] Iniciando lançamento do registro...")
try:
# A. Clica em '+ Novo' >> 'Despesa' para abrir um formulário limpo (TES01702.aspx)
await automation.open_novo_despesa()
# B. Preenche todos os campos da despesa a partir do registro do CSV
await automation.process_expense(rec)
# C. Clica em Salvar (redireciona para TES01701.aspx ao finalizar)
await automation.save_form(click_save=True)
success_count += 1
logger.info(f"🎉 [{idx}/{total_records}] SUCESSO: Data {rec.data_documento.strftime('%d/%m/%Y')} | Doc {rec.numero_documento} | R$ {rec.valor_documento:.2f}")
except Exception as item_err:
failed_count += 1
logger.error(f"❌ [{idx}/{total_records}] ERRO ao lançar registro (Doc {rec.numero_documento}): {item_err}", exc_info=True)
# Tenta retornar para a lista de Caixas e Bancos para não travar os próximos lançamentos
try:
await automation.navigate_to_caixas_e_bancos()
except Exception:
pass
logger.info("\n" + "🏁 " * 15)
logger.info(" PROCESSAMENTO EM LOTE CONCLUÍDO COM SUCESSO!")
logger.info(f" Total Solicitado: {total_records}")
logger.info(f" Sucessos: {success_count}")
logger.info(f" Falhas: {failed_count}")
logger.info("🏁 " * 15 + "\n")
await asyncio.sleep(5)
finally:
await automation.close()
except KeyboardInterrupt:
logger.warning("\n🛑 Execução interrompida pelo usuário via terminal.")
except Exception as e: except Exception as e:
logger.error(f"❌ Erro na execução do RPA: {e}", exc_info=True) logger.error(f"❌ Erro fatal na execução do RPA: {e}", exc_info=True)
finally:
await automation.close()
if __name__ == "__main__": if __name__ == "__main__":