From b9ef1178b589fa01bf5f1b12a650a34610b88d66 Mon Sep 17 00:00:00 2001 From: Jhony Cesar Date: Sun, 9 Aug 2026 18:34:44 -0400 Subject: [PATCH] feat: implement CSV batch processing service and CLI confirmation workflow for RPA expenses --- ...Bradesco_Julho_2026_v3.xlsx - despesas.csv | 20 ++ banco_despesas_rpa_guiado.py | 302 +++++++++++++++--- 2 files changed, 272 insertions(+), 50 deletions(-) create mode 100644 Extrato_Bradesco_Julho_2026_v3.xlsx - despesas.csv diff --git a/Extrato_Bradesco_Julho_2026_v3.xlsx - despesas.csv b/Extrato_Bradesco_Julho_2026_v3.xlsx - despesas.csv new file mode 100644 index 0000000..1d32a06 --- /dev/null +++ b/Extrato_Bradesco_Julho_2026_v3.xlsx - despesas.csv @@ -0,0 +1,20 @@ +Data,Lançamento,Documento,Débito (R$) +01/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,6,"6,22" +02/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,4,"4,82" +03/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,2,"1,80" +06/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90" +07/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90" +08/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90" +08/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,3,"3,08" +09/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,3,"3,45" +14/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90" +15/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,3,"2,70" +15/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,9,"8,10" +16/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"1,19" +22/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,2,"1,80" +22/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,3,"2,70" +23/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,2,"1,80" +27/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90" +28/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90" +29/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,1,"0,90" +29/07/2026,TARIFA BANCARIA LIQUIDACAO QRCODE PIX,8,"7,56" diff --git a/banco_despesas_rpa_guiado.py b/banco_despesas_rpa_guiado.py index 5c440c8..7e34a73 100644 --- a/banco_despesas_rpa_guiado.py +++ b/banco_despesas_rpa_guiado.py @@ -2,27 +2,29 @@ """ Banco Despesas RPA (Guiado) - Automação de Lançamento de Despesa no SIGA ======================================================================== -Este script executa o fluxo completo de lançamento de Despesa em Caixas e Bancos no SIGA via Playwright. +Este script executa o fluxo completo e automatizado de lançamento em lote +de Despesas em Caixas e Bancos no SIGA via Playwright a partir de um arquivo CSV. Funcionalidades: + - Leitura interativa de arquivo CSV (suporta separador vírgula ',' e ponto-e-vírgula ';'). + - Resumo formatado dos registros no terminal com confirmação do usuário antes de iniciar. - Inicialização de navegador Chromium com perfil persistente e evasaõ de detecção anti-bot (HumanMouse). - - Autenticação e aguardo de login manual/reCAPTCHA. + - Autenticação e aguardo de login manual/reCAPTCHA com orientação em tela. - Seleção/validação do Mês de Trabalho (ex: 07/2026). - - Navegação via menu lateral: Tesouraria >> Caixas e Bancos >> + Novo >> Despesa (TES01702.aspx). - - Preenchimento inteligente dos campos: - * Data Documento (Datepicker Bootstrap td.day:not(.old):not(.new)) - * Tipo Documento (Select2 com filtro tolerante a acentos) - * N° Documento (Documento e Pagamento) - * Valor Documento (Cálculo automático de rateio e total) - * Despesa (Select2 3030 - DESPESAS BANCARIAS) - * Fornecedor (Select2 AJAX com busca por 'BRADESCO' + Enter) - * Validação de Histórico (012 - DESP.BANCÁRIAS) - * Complemento (Rateio) - * Data Pagamento (Datepicker) - * Forma Pagamento (Select2 DÉBITO AUTOMÁTICO com auto-preenchimento de Conta) + - Loop de lançamentos em lote: + * Navegação para Tesouraria >> Caixas e Bancos >> + Novo >> Despesa (TES01702.aspx). + * Preenchimento de Data Documento (Datepicker Bootstrap). + * Seleção de Tipo Documento ('AVISO DE DÉBITO'). + * N° Documento e Valor Documento (Cálculo automático de rateio e total). + * Seleção de Despesa ('3030 - DESPESAS BANCARIAS'). + * Pesquisa AJAX de Fornecedor ('BRADESCO' -> 'BANCO BRADESCO S.A'). + * Preenchimento de Histórico e Complemento (Rateio e Pagamento). + * Seleção de Data Pagamento (Datepicker) e Forma Pagamento ('DÉBITO AUTOMÁTICO'). + * Clique no botão Salvar (button.btn-salvar), redirecionando para a lista e reiniciando o loop para o próximo registro. """ import asyncio +import csv import logging import math import os @@ -35,6 +37,12 @@ from typing import Optional, List from dotenv import load_dotenv from playwright.async_api import async_playwright, Page, TimeoutError as PlaywrightTimeout +import sys +if hasattr(sys.stdout, "reconfigure"): + sys.stdout.reconfigure(encoding="utf-8", errors="replace") +if hasattr(sys.stderr, "reconfigure"): + sys.stderr.reconfigure(encoding="utf-8", errors="replace") + # ============================================================================== # LOGGING & CONFIGURAÇÃO # ============================================================================== @@ -74,6 +82,151 @@ class ExpenseRecord: numero_doc_pagamento: str # Ex: "1" +# ============================================================================== +# SERVICE DE LEITURA E PARSING DE CSV +# ============================================================================== +class CSVReaderService: + """Lê e parseia arquivos CSV de extrato de despesas com suporte a ',' e ';'.""" + + @staticmethod + def detect_delimiter(filepath: str) -> str: + """Identifica se o CSV utiliza vírgula (',') ou ponto-e-vírgula (';') como separador.""" + with open(filepath, "r", encoding="utf-8-sig", errors="replace") as f: + first_line = f.readline() + if ";" in first_line: + return ";" + return "," + + @classmethod + def load_expenses_from_csv(cls, filepath: str) -> List[ExpenseRecord]: + if not os.path.exists(filepath): + raise FileNotFoundError(f"Arquivo CSV não encontrado no caminho: {filepath}") + + delimiter = cls.detect_delimiter(filepath) + logger.info(f"📖 Lendo arquivo CSV com separador '{delimiter}': {filepath}") + + records: List[ExpenseRecord] = [] + + with open(filepath, "r", encoding="utf-8-sig", errors="replace") as f: + reader = csv.DictReader(f, delimiter=delimiter) + + for row_idx, row in enumerate(reader, start=2): + try: + # Mapeia chaves normalizadas (sem acentos e maiúsculas) para os valores correspondentes + norm_row = {} + for k, v in row.items(): + if k is not None: + key_norm = normalize_text(str(k)) + norm_row[key_norm] = str(v).strip().strip('"') + + data_str = "" + lancamento = "" + documento = "1" + debito_str = "" + + for k_norm, val in norm_row.items(): + if "DATA" in k_norm: + data_str = val + elif "LANCAMENTO" in k_norm or "DESCRICAO" in k_norm or "HISTORICO" in k_norm: + lancamento = val + elif "DOCUMENTO" in k_norm or "DOC" in k_norm: + documento = val + elif "DEBITO" in k_norm or "VALOR" in k_norm: + debito_str = val + + if not data_str or not debito_str: + continue + + # Parse da Data (DD/MM/YYYY) + dt_obj = datetime.strptime(data_str, "%d/%m/%Y").date() + + # Parse do Valor Monetário (ex: "0,90" ou "6,22" -> float) + clean_val_str = debito_str.replace("R$", "").replace(".", "").replace(",", ".").strip() + valor_float = abs(float(clean_val_str)) + + if valor_float <= 0: + continue + + rec = ExpenseRecord( + data_documento=dt_obj, + tipo_documento="AVISO DE DÉBITO", + numero_documento=documento, + valor_documento=valor_float, + codigo_despesa="3030", + fornecedor_busca="BRADESCO", + fornecedor_alvo="BANCO BRADESCO S.A", + complemento=lancamento, + data_pagamento=dt_obj, + forma_pagamento="DÉBITO AUTOMÁTICO", + numero_doc_pagamento=documento, + ) + records.append(rec) + + except Exception as err: + logger.warning(f"⚠️ Linha {row_idx} ignorada devido a erro de parse: {row} | Erro: {err}") + + logger.info(f"✅ total de {len(records)} registro(s) válido(s) carregado(s) do CSV.") + return records + + +# ============================================================================== +# INTERACTION & CONFIRMATION HELPER (CLI) +# ============================================================================== +def get_csv_filepath() -> str: + """Solicita o caminho do arquivo CSV ao usuário via terminal.""" + default_csv = "Extrato_Bradesco_Julho_2026_v3.xlsx - despesas.csv" + print("\n" + "=" * 75) + print(" 📊 AUTOMAÇÃO DE DESPESAS SIGA - SELEÇÃO DE ARQUIVO CSV") + print("=" * 75) + + if os.path.exists(default_csv): + print(f" Arquivo padrão detectado: '{default_csv}'") + + user_input = input(f"\nDigite o caminho do arquivo .csv [Pressione ENTER para usar '{default_csv}']: ").strip().strip('"').strip("'") + + if not user_input: + user_input = default_csv + + if not os.path.exists(user_input): + raise FileNotFoundError(f"Arquivo CSV não encontrado no caminho: '{user_input}'") + + return user_input + + +def print_records_preview(records: List[ExpenseRecord], filepath: str): + """Exibe um resumo tabular formatado dos registros lidos do CSV.""" + print("\n" + "=" * 75) + print(f" 📋 REGISTROS CARREGADOS DO ARQUIVO: {os.path.basename(filepath)} ({len(records)} itens)") + print("=" * 75) + print(f"{'#':<4} | {'Data':<10} | {'Doc':<8} | {'Valor (R$)':<12} | {'Complemento / Lançamento'}") + print("-" * 75) + + total_val = 0.0 + for idx, rec in enumerate(records, start=1): + total_val += rec.valor_documento + val_fmt = f"{rec.valor_documento:,.2f}".replace(",", "X").replace(".", ",").replace("X", ".") + comp_trunc = rec.complemento[:32] + "..." if len(rec.complemento) > 32 else rec.complemento + print(f"{idx:<4} | {rec.data_documento.strftime('%d/%m/%Y'):<10} | {rec.numero_documento:<8} | R$ {val_fmt:<9} | {comp_trunc}") + + print("-" * 75) + total_val_fmt = f"{total_val:,.2f}".replace(",", "X").replace(".", ",").replace("X", ".") + print(f" TOTAL: {len(records)} registros | Soma dos Débitos: R$ {total_val_fmt}") + print("=" * 75) + + +def prompt_user_confirmation() -> bool: + """Exibe aviso sobre login/senha no SIGA e solicita confirmação explícita.""" + print("\n" + "⚠️ " * 15) + print(" INSTRUÇÃO IMPORTANTE DE AUTENTICAÇÃO NO SIGA:") + print(" Ao iniciar a automação, a janela do navegador Chromium será exibida.") + print(" Por favor, digite seu NOME DE USUÁRIO e SENHA no sistema SIGA") + print(" e resolva a verificação do reCAPTCHA ('Não sou um robô') se solicitado.") + print("⚠️ " * 15 + "\n") + + confirm = input("Deseja iniciar o processamento em lote no SIGA agora? (S/n): ").strip().upper() + return confirm in ["S", "SIM", "Y", "YES", ""] + + # ============================================================================== # HELPER DE NORMALIZAÇÃO DE TEXTO # ============================================================================== @@ -415,7 +568,7 @@ class SigaDespesasAutomation: mouse = self.mouse logger.info("\n" + "=" * 60) - logger.info(f"📝 INICIANDO LANÇAMENTO DE DESPESA: N° {expense.numero_documento} | R$ {expense.valor_documento:.2f}") + logger.info(f"📝 PREENCHENDO DESPESA: Data {expense.data_documento.strftime('%d/%m/%Y')} | N° {expense.numero_documento} | R$ {expense.valor_documento:.2f}") logger.info("=" * 60) # 1. Data Documento @@ -469,7 +622,7 @@ class SigaDespesasAutomation: logger.info(f"7️⃣ Validando Histórico de Rateio: '{hist_text.strip()}'") # 8. Complemento (Rateio) - logger.info(f"8️⃣ Preenchendo Complemento: '{expense.complemento}'...") + logger.info(f"8️⃣ Preenchendo Complemento (Rateio): '{expense.complemento}'...") complemento_input = page.locator("#f_complemento2").first await mouse.human_type(complemento_input, expense.complemento) await human_delay(300, 600) @@ -513,60 +666,109 @@ class SigaDespesasAutomation: await mouse.human_type(complemento_pag_input, expense.complemento) await human_delay(500, 1000) - logger.info("✨ Todos os campos foram preenchidos e validados com sucesso!") + logger.info("✨ Todos os campos da despesa foram preenchidos e validados com sucesso!") async def save_form(self, click_save: bool = True): - """Clica no botão 'Salvar' (button.btn-salvar) ao final do formulário.""" + """Clica no botão 'Salvar' (button.btn-salvar) ao final do formulário e aguarda o redirecionamento para TES01701.aspx.""" + page = self.page if click_save: logger.info("💾 Clicando no botão 'Salvar' (button.btn-salvar)...") - salvar_btn = self.page.locator("button.btn-salvar, button[data-comando='F']").first + salvar_btn = page.locator("button.btn-salvar, button[data-comando='F']").first await salvar_btn.scroll_into_view_if_needed() await self.mouse.click_element(salvar_btn) - await human_delay(2500, 4000) - logger.info("✅ Lançamento de despesa salvo no SIGA com sucesso!") + + # Aguarda o processamento e o redirecionamento de volta para a lista de Caixas e Bancos + await page.wait_for_url("**/TES01701.aspx**", timeout=20000) + await human_delay(1500, 2500) + logger.info("✅ Lançamento de despesa salvo no SIGA! Redirecionado para a lista de Caixas e Bancos.") else: logger.info("ℹ️ Modo de simulação: formulário preenchido sem submeter (Salvar não clicado).") # ============================================================================== -# ENTRYPOINT PRINCIPAL +# ENTRYPOINT PRINCIPAL (FLUXO EM LOTE VIA CSV) # ============================================================================== async def main(): Config.load() - automation = SigaDespesasAutomation() - - # Registro de exemplo baseado na sessão gravada - exemplo_despesa = ExpenseRecord( - data_documento=date(2026, 7, 1), - tipo_documento="AVISO DE DÉBITO", - numero_documento="1", - valor_documento=0.90, - codigo_despesa="3030", - fornecedor_busca="BRADESCO", - fornecedor_alvo="BANCO BRADESCO S.A", - complemento="TARIFA BANCARIA LIQUIDACAO QRCODE PIX", - data_pagamento=date(2026, 7, 1), - forma_pagamento="DÉBITO AUTOMÁTICO", - numero_doc_pagamento="1", - ) try: - await automation.launch() - await automation.navigate_and_wait_auth() - await automation.set_work_month("07/2026") - await automation.navigate_to_caixas_e_bancos() - await automation.open_novo_despesa() + # 1. Solicita e lê o arquivo CSV + csv_file = get_csv_filepath() + records = CSVReaderService.load_expenses_from_csv(csv_file) - await automation.process_expense(exemplo_despesa) - await automation.save_form(click_save=False) + if not records: + logger.error("❌ Nenhum registro válido encontrado no CSV para processamento.") + return - logger.info("🎉 RPA concluído com sucesso!") - await asyncio.sleep(5) + # 2. Exibe a prévia no terminal + print_records_preview(records, csv_file) + # 3. Solicita confirmação explícita e orienta sobre login/senha + if not prompt_user_confirmation(): + logger.info("🛑 Execução cancelada pelo usuário.") + return + + automation = SigaDespesasAutomation() + + try: + # 4. Inicia o navegador e aguarda login manual + reCAPTCHA + await automation.launch() + await automation.navigate_and_wait_auth() + + # 5. Define o Mês de Trabalho com base na data do primeiro registro + first_date = records[0].data_documento + target_month_str = f"{first_date.month:02d}/{first_date.year}" + await automation.set_work_month(target_month_str) + + # 6. Navega para a lista inicial de Caixas e Bancos (TES01701.aspx) + await automation.navigate_to_caixas_e_bancos() + + total_records = len(records) + success_count = 0 + failed_count = 0 + + # 7. Loop de lançamentos em lote (Redirecionamento ao Salvar) + for idx, rec in enumerate(records, start=1): + logger.info(f"\n🔄 [{idx}/{total_records}] Iniciando lançamento do registro...") + try: + # A. Clica em '+ Novo' >> 'Despesa' para abrir um formulário limpo (TES01702.aspx) + await automation.open_novo_despesa() + + # B. Preenche todos os campos da despesa a partir do registro do CSV + await automation.process_expense(rec) + + # C. Clica em Salvar (redireciona para TES01701.aspx ao finalizar) + await automation.save_form(click_save=True) + + success_count += 1 + logger.info(f"🎉 [{idx}/{total_records}] SUCESSO: Data {rec.data_documento.strftime('%d/%m/%Y')} | Doc {rec.numero_documento} | R$ {rec.valor_documento:.2f}") + + except Exception as item_err: + failed_count += 1 + logger.error(f"❌ [{idx}/{total_records}] ERRO ao lançar registro (Doc {rec.numero_documento}): {item_err}", exc_info=True) + + # Tenta retornar para a lista de Caixas e Bancos para não travar os próximos lançamentos + try: + await automation.navigate_to_caixas_e_bancos() + except Exception: + pass + + logger.info("\n" + "🏁 " * 15) + logger.info(" PROCESSAMENTO EM LOTE CONCLUÍDO COM SUCESSO!") + logger.info(f" Total Solicitado: {total_records}") + logger.info(f" Sucessos: {success_count}") + logger.info(f" Falhas: {failed_count}") + logger.info("🏁 " * 15 + "\n") + + await asyncio.sleep(5) + + finally: + await automation.close() + + except KeyboardInterrupt: + logger.warning("\n🛑 Execução interrompida pelo usuário via terminal.") except Exception as e: - logger.error(f"❌ Erro na execução do RPA: {e}", exc_info=True) - finally: - await automation.close() + logger.error(f"❌ Erro fatal na execução do RPA: {e}", exc_info=True) if __name__ == "__main__":