Abmelde-Agent: Fälle, Zeitlauf und Agent-Dienst (Vikunja 97) #3

Merged
Rsclub2_2 merged 15 commits from feat/agent into main 2026-11-16 07:41:08 +01:00
Owner

Anlass

Der Unsubscriber zeigt bisher nur die Abmelde-Links. Künftig soll ein Agent die Abmeldung selbst durchführen und die Mail danach in den Papierkorb legen (Vikunja 97). Spec und Plan liegen im Ansible-Repo: docs/specs/2026-11-14-unsubscriber-agent-design.md, docs/plans/2026-11-14-unsubscriber-agent.md.

Ohne AGENT_URL verhält sich die Anwendung wie bisher.

Was dieser PR enthält

Anwendung

  • cases.py: Fall-Tabelle in SQLite, Schlüssel ist die Message-ID. Zustände offen, erledigt, braucht Eingabe, unklar, gescheitert.
  • forwarded.py: bestimmt die Empfängeradresse aus der weitergeleiteten Mail. Nur Mails von erlaubten Weiterleitern werden zu Fällen.
  • worker.py: Zeitlauf. Findet Fälle, gibt sie an den Agenten, verschiebt erledigte Mails in den Papierkorb und räumt Fälle ab, deren Mail nicht mehr im Eingang liegt (nur nach erfolgreicher Suche).
  • cases.html und Routen in app.py: Fall-Ansicht mit „Run now“ (läuft im Hintergrund), „Try again“ und „Pause agent“. Ist der Eingang nicht lesbar, zeigt die Seite die gespeicherten Fälle mit Hinweis.

Agent (agent/, eigenes Image)

  • Stufe 1 ohne Modell: Seite öffnen, Erfolgstext oder eindeutigen Bestätigungsknopf erkennen.
  • Stufe 2 mit Modell über Open WebUI: Schleife mit fünf Aktionen (click, select, check, address, done). Das Modell sieht nur einen in Python geprüften Schnappschuss der Seite; < und > aus Seiteninhalt werden ersetzt.
  • guard.py und egress.py: je Fall ein eigener Proxy, der nur zu geprüften öffentlichen Adressen verbindet. BLOCKED_NETS ist Pflicht. Der Start wird verweigert, wenn Playwright Loopback am Proxy vorbeiführen dürfte.
  • Wächter mit harter Zeitgrenze je Fall, Grenzen für Zwischenantworten und Verbindungsdauer.

Verhalten, das man kennen sollte

  • Antwortet das Modell für einen Fall nicht, wird der Fall zurückgestellt und der Lauf geht weiter. Nach AGENT_MAX_DEFERRALS (Vorgabe 12) Versuchen endet er als „unklar“ und braucht „Try again“.
  • Fälle ohne Mail im Eingang verschwinden beim nächsten erfolgreichen Lauf. Ein leerer Eingang leert damit die Liste.
  • Die Erlaubnisliste nimmt Domains oder ganze Adressen.
  • Die Pause wird vor jedem Fall geprüft.

Tests

  • Anwendung: 121 bestanden.
  • Agent ohne Browser: 239 bestanden, 2 übersprungen.
  • Agent im Container ohne Netz (sh agent/tests/run-in-docker.sh): 323 bestanden, 1 übersprungen.
  • Jede Aufgabe wurde einzeln geprüft, dazu der ganze Branch von einem frischen Reviewer. Sechs wichtige Befunde der Abschlussprüfung sind behoben, die Nachprüfung meldet keinen neuen wichtigen. Der letzte Commit (89538ed, zwei kleine Korrekturen mit Test) wurde danach nicht mehr geprüft.

Nicht geprüft, zeigt erst der Server

  • Verhalten von Dovecot beim Suchen und Verschieben.
  • Zugang des Agenten zum Modell.
  • Die Firewall um den Agenten; sie gehört zur Rolle und wird auf srv01 abgenommen.

Zurückgestellte kleine Befunde

  • Kommen dauerhaft so viele neue Mails wie max_cases je Lauf, kommen zurückgestellte Fälle nicht dran.
  • Eine Bestätigung als <input type=image> unter einem Erfolgstext gilt als erledigt.
  • Titel, Optionen, Tag und Typ haben keine Längengrenze im Prompt.
  • Zeigt EMAIL_FOLDER auf einen falschen, leeren Ordner, leert das Aufräumen die Fall-Liste.
  • Ein zurückgestellter und dann beendeter Fall zeigt 0 Versuche.
  • Keine Größengrenze für Antworten; WebTransport und HTTP/3 ungeprüft.
  • httpx-Zeitgrenze gilt je Operation; der Wächter nutzt private Attribute von Playwright.
  • Kein CSRF-Schutz auf den POST-Routen (die Anwendung liegt hinter dem SSO).
  • Der Sperrtest für /health kann nicht scheitern.

Ausrollen

Dieser PR allein ändert auf dem Server nichts. Die Rolle rsclub22.unsubscriber bekommt in einem eigenen PR im Ansible-Repo die neue Version; der Agent bleibt dort mit us_agent_enabled: false aus, bis die Firewall abgenommen ist.

## Anlass Der Unsubscriber zeigt bisher nur die Abmelde-Links. Künftig soll ein Agent die Abmeldung selbst durchführen und die Mail danach in den Papierkorb legen (Vikunja 97). Spec und Plan liegen im Ansible-Repo: `docs/specs/2026-11-14-unsubscriber-agent-design.md`, `docs/plans/2026-11-14-unsubscriber-agent.md`. Ohne `AGENT_URL` verhält sich die Anwendung wie bisher. ## Was dieser PR enthält **Anwendung** - `cases.py`: Fall-Tabelle in SQLite, Schlüssel ist die Message-ID. Zustände offen, erledigt, braucht Eingabe, unklar, gescheitert. - `forwarded.py`: bestimmt die Empfängeradresse aus der weitergeleiteten Mail. Nur Mails von erlaubten Weiterleitern werden zu Fällen. - `worker.py`: Zeitlauf. Findet Fälle, gibt sie an den Agenten, verschiebt erledigte Mails in den Papierkorb und räumt Fälle ab, deren Mail nicht mehr im Eingang liegt (nur nach erfolgreicher Suche). - `cases.html` und Routen in `app.py`: Fall-Ansicht mit „Run now“ (läuft im Hintergrund), „Try again“ und „Pause agent“. Ist der Eingang nicht lesbar, zeigt die Seite die gespeicherten Fälle mit Hinweis. **Agent (`agent/`, eigenes Image)** - Stufe 1 ohne Modell: Seite öffnen, Erfolgstext oder eindeutigen Bestätigungsknopf erkennen. - Stufe 2 mit Modell über Open WebUI: Schleife mit fünf Aktionen (`click`, `select`, `check`, `address`, `done`). Das Modell sieht nur einen in Python geprüften Schnappschuss der Seite; `<` und `>` aus Seiteninhalt werden ersetzt. - `guard.py` und `egress.py`: je Fall ein eigener Proxy, der nur zu geprüften öffentlichen Adressen verbindet. `BLOCKED_NETS` ist Pflicht. Der Start wird verweigert, wenn Playwright Loopback am Proxy vorbeiführen dürfte. - Wächter mit harter Zeitgrenze je Fall, Grenzen für Zwischenantworten und Verbindungsdauer. ## Verhalten, das man kennen sollte - Antwortet das Modell für einen Fall nicht, wird der Fall zurückgestellt und der Lauf geht weiter. Nach `AGENT_MAX_DEFERRALS` (Vorgabe 12) Versuchen endet er als „unklar“ und braucht „Try again“. - Fälle ohne Mail im Eingang verschwinden beim nächsten erfolgreichen Lauf. Ein leerer Eingang leert damit die Liste. - Die Erlaubnisliste nimmt Domains oder ganze Adressen. - Die Pause wird vor jedem Fall geprüft. ## Tests - Anwendung: 121 bestanden. - Agent ohne Browser: 239 bestanden, 2 übersprungen. - Agent im Container ohne Netz (`sh agent/tests/run-in-docker.sh`): 323 bestanden, 1 übersprungen. - Jede Aufgabe wurde einzeln geprüft, dazu der ganze Branch von einem frischen Reviewer. Sechs wichtige Befunde der Abschlussprüfung sind behoben, die Nachprüfung meldet keinen neuen wichtigen. Der letzte Commit (`89538ed`, zwei kleine Korrekturen mit Test) wurde danach nicht mehr geprüft. ## Nicht geprüft, zeigt erst der Server - Verhalten von Dovecot beim Suchen und Verschieben. - Zugang des Agenten zum Modell. - Die Firewall um den Agenten; sie gehört zur Rolle und wird auf srv01 abgenommen. ## Zurückgestellte kleine Befunde - Kommen dauerhaft so viele neue Mails wie `max_cases` je Lauf, kommen zurückgestellte Fälle nicht dran. - Eine Bestätigung als `<input type=image>` unter einem Erfolgstext gilt als erledigt. - Titel, Optionen, Tag und Typ haben keine Längengrenze im Prompt. - Zeigt `EMAIL_FOLDER` auf einen falschen, leeren Ordner, leert das Aufräumen die Fall-Liste. - Ein zurückgestellter und dann beendeter Fall zeigt 0 Versuche. - Keine Größengrenze für Antworten; WebTransport und HTTP/3 ungeprüft. - httpx-Zeitgrenze gilt je Operation; der Wächter nutzt private Attribute von Playwright. - Kein CSRF-Schutz auf den POST-Routen (die Anwendung liegt hinter dem SSO). - Der Sperrtest für `/health` kann nicht scheitern. ## Ausrollen Dieser PR allein ändert auf dem Server nichts. Die Rolle `rsclub22.unsubscriber` bekommt in einem eigenen PR im Ansible-Repo die neue Version; der Agent bleibt dort mit `us_agent_enabled: false` aus, bis die Firewall abgenommen ist.
Rsclub2_2 added 15 commits 2026-11-15 08:49:30 +01:00
Rsclub2_2 merged commit e0e8cad4de into main 2026-11-16 07:41:08 +01:00
Sign in to join this conversation.
No Reviewers
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: Rsclub2_2/email-unsubscribe-links-scraper#3