Redact AI — Secure Forgetting for LLM Agents

Concept

Redact AI is an API-first SaaS microservice that lets any company comply with GDPR / CCPA "right to be forgotten" requests for users whose data was used to fine-tune or power a Retrieval-Augmented Generation (RAG) system.

Removing a user's influence from an already-trained LLM is technically complex: traditional approaches require a full model re-train (expensive, slow). Redact AI automates the two-step alternative:

1. Vector deletion — erase the user's embeddings from the connected vector

database (Pinecone, Weaviate, Qdrant, Milvus).

1. Differential unlearning — trigger a lightweight fine-tuning or machine-unlearning

job via the client's MLOps platform webhook so the model "forgets" the user's training signal without a full re-train.

Every completed request produces a signed deletion certificate that companies can present to regulators or data protection authorities.

---

Architecture

┌──────────────────────────────────────────────────────────┐
│                      HTTP Clients                        │
└────────────────────────────┬─────────────────────────────┘
                             │ Bearer JWT
                             ▼
┌──────────────────────────────────────────────────────────┐
│  Spring Security 7  ─  JwtAuthFilter                     │
└────────────────────────────┬─────────────────────────────┘
                             │
          ┌──────────────────┼──────────────────────┐
          ▼                  ▼                       ▼
  AuthController   ForgetRequestController   ModelRegistrationController
          │                  │                       │
          ▼                  ▼                       ▼
  ApiClientService     ForgetService        ModelRegistrationService
          │                  │                       │
          │          ┌───────┴────────┐              │
          │          │ Virtual Thread │              │
          │          │  (Java 25)     │              │
          │          └───────┬────────┘              │
          │                  │                       │
          │       ForgetRequestUpdater               │
          │                  │                       │
          └──────────────────┼───────────────────────┘
                             │
              ┌──────────────┼──────────────┐
              ▼              ▼              ▼
       PineconeClient  WeaviateClient  MlOpsWebhookClient
         (Feign)         (Feign)          (Feign)
              │              │              │
              ▼              ▼              ▼
          Pinecone       Weaviate     MLOps Platform
          REST API       REST API      Webhook URL

              │              │
              └──────────────┘
                      │
                      ▼
              H2 / PostgreSQL (JPA)
         api_clients, registered_models,
              forget_requests

Key Design Decisions

Decision	Choice	Reason
Async processing	Virtual Threads (Executors.newVirtualThreadPerTaskExecutor())	Millions of concurrent I/O-bound jobs at near-zero overhead
Auth	Stateless JWT (jjwt 0.12.x)	API-first; no session state needed
External APIs	Spring Cloud OpenFeign declarative clients	Type-safe, testable, concise
Transaction safety	TransactionSynchronization.afterCommit before dispatching async job	Ensures the DB row is committed before the virtual thread reads it
Status update isolation	%%INLINE2%% as a separate Spring bean	Allows %%INLINE3%% to work correctly when called from a virtual thread
Credentials storage	Plain text for MVP; AES-256 encryption recommended for production	Speed of delivery; noted in code comments

---

REST Endpoints

Authentication (public — no JWT required)

Method	Path	Description
%%INLINE4%%	%%INLINE5%%	Register a new API client; returns one-time API key + JWT

Request:

{
  "clientName": "Acme ML",
  "email": "dev@acme.io"
}

Response 201:

{
  "clientId": "...",
  "clientName": "Acme ML",
  "email": "dev@acme.io",
  "apiKey": "3f2a1b... (one-time, store securely)",
  "jwtToken": "eyJhbGciOiJIUzI1NiJ9...",
  "createdAt": "2026-04-14T10:00:00Z"
}

---

Model Registration (Authorization: Bearer <jwt>)

Method	Path	Description
%%INLINE8%%	%%INLINE9%%	Register an ML model with vector DB credentials
%%INLINE10%%	%%INLINE11%%	List all models for the authenticated client
%%INLINE12%%	%%INLINE13%%	Get a specific model

POST body:

{
  "modelName": "customer-support-v2",
  "vectorDbType": "PINECONE",
  "vectorDbEndpoint": "https://my-index.svc.pinecone.io",
  "vectorDbApiKey": "pc-...",
  "mlopsWebhookUrl": "https://mlops.acme.io/webhooks/forget",
  "mlopsApiKey": "mlops-secret"
}

---

Forget Requests (Authorization: Bearer <jwt>)

Method	Path	Description
%%INLINE15%%	%%INLINE16%%	Initiate a forget request for a user
%%INLINE17%%	%%INLINE18%%	List all forget requests
%%INLINE19%%	%%INLINE20%%	Get status of a specific request

POST body:

{
  "modelId": "uuid-of-registered-model",
  "userId": "user-abc-123"
}

Status lifecycle:

PENDING → VECTORS_DELETION_IN_PROGRESS → VECTORS_DELETED
        → UNLEARNING_IN_PROGRESS → COMPLETED | FAILED

---

Compliance Dashboard (Authorization: Bearer <jwt>)

Method	Path	Description
%%INLINE22%%	%%INLINE23%%	Aggregate forget-request stats
%%INLINE24%%	%%INLINE25%%	Deletion certificate for a completed request

Certificate response:

{
  "certificateId": "...",
  "requestId": "...",
  "userId": "user-abc-123",
  "modelName": "customer-support-v2",
  "vectorsDeleted": 47,
  "issuedAt": "2026-04-14T10:05:23Z",
  "issuedBy": "Redact AI"
}

---

Business Analysis

Problem & Market

GDPR Art. 17 ("right to erasure") and CCPA §1798.105 give individuals the right to have their personal data deleted. For companies that fine-tune LLMs or build RAG systems on user data, compliance currently means full model retraining — costing tens of thousands of dollars per incident and weeks of engineering time.

Value Proposition

• Avoid regulatory fines — GDPR penalties up to 4% of global annual revenue.
• Faster compliance — minutes vs. weeks compared to full retraining.
• Turnkey integration — REST API + Feign clients; no ML expertise required.
• Auditable — signed deletion certificates for regulatory submissions.

Monetisation (API-first SaaS)

Tier	Price	Includes
Starter	$299/mo	100 forget requests/month, 2 models
Growth	$999/mo	1 000 requests/month, 10 models, priority support
Enterprise	Custom	Unlimited, SLA, on-prem deployment option

Competitive Moat

• First productised "forget-as-a-service" with multi-vector-DB support.
• Certificate generation creates an auditable paper trail competitors cannot easily replicate.
• Network effects: connector library grows with each new vector DB / MLOps integration.

---

How to Run

Prerequisites

• Java 25+
• Maven 3.9+

Start with embedded H2 (default — zero config)

cd solutions/2026-04-14-redact-ai-api
mvn spring-boot:run

The service starts on http://localhost:8080. H2 auto-configures an in-memory database; schema is created automatically by Hibernate.

Start with PostgreSQL

Add the following to application.yml (or pass as env vars):

spring:
  datasource:
    url: jdbc:postgresql://localhost:5432/redactai
    username: postgres
    password: secret
  jpa:
    hibernate:
      ddl-auto: update

Quick-start walkthrough

# 1. Register an API client
curl -s -X POST http://localhost:8080/api/v1/auth/register \
  -H 'Content-Type: application/json' \
  -d '{"clientName":"Acme ML","email":"dev@acme.io"}' | jq .

# Copy the jwtToken from the response
export JWT="eyJhbGci..."

# 2. Register a model
curl -s -X POST http://localhost:8080/api/v1/models \
  -H "Authorization: Bearer $JWT" \
  -H 'Content-Type: application/json' \
  -d '{
    "modelName":"support-bot-v1",
    "vectorDbType":"PINECONE",
    "vectorDbEndpoint":"https://my-index.svc.pinecone.io",
    "vectorDbApiKey":"pc-test-key"
  }' | jq .

# Copy the modelId from the response
export MODEL_ID="..."

# 3. Initiate a forget request
curl -s -X POST http://localhost:8080/api/v1/forget \
  -H "Authorization: Bearer $JWT" \
  -H 'Content-Type: application/json' \
  -d "{\"modelId\":\"$MODEL_ID\",\"userId\":\"user-123\"}" | jq .

# 4. Check status
export REQUEST_ID="..."
curl -s http://localhost:8080/api/v1/forget/$REQUEST_ID \
  -H "Authorization: Bearer $JWT" | jq .

# 5. Compliance summary
curl -s http://localhost:8080/api/v1/compliance/summary \
  -H "Authorization: Bearer $JWT" | jq .

---

References

• GDPR Article 17 — Right to erasure
• CCPA §1798.105 — Right to deletion
• Machine Unlearning survey (arXiv)
• Pinecone delete API
• Weaviate batch delete
• Spring Boot 4 / Spring Framework 7 documentation
• jjwt 0.12.x — github.com/jwtk/jjwt

---

FinOps Analysis

El análisis FinOps para Redact AI revela un modelo de negocio con un potencial de margen de beneficio muy saludable, gracias a su naturaleza de microservicio API-first con bajos costes operativos variables.

Estimación de Costos Operativos Mensuales

Categoría	Costo Mensual Estimado
LLM Tokens (internos)	$1
Cloud Hosting (Compute)	$35 (ej. AWS t3.medium)
Base de Datos (RDS)	$30 (ej. AWS db.t3.small PostgreSQL)
Monitoring/Red/Otros	$15
Costo Total Estimado	$81

Desglose:

• Tokens LLM: La funcionalidad principal de Redact AI es la orquestación, no la inferencia LLM intensiva. Se estima un uso mínimo de ~50K tokens/mes para tareas internas de diagnóstico, logging o generación de resúmenes de estado, utilizando un modelo de bajo costo como gpt-4o-mini.
• Infraestructura Cloud: Se asume un setup inicial robusto pero económico para un MVP: una instancia de cómputo (ej. AWS t3.medium) y una instancia de base de datos relacional (ej. AWS RDS db.t3.small PostgreSQL). Esto proporciona un balance entre rendimiento y costo para una micro-startup.

APIs Externas: Redact AI se integra con APIs de bases de datos vectoriales y plataformas MLOps de terceros, pero el cliente es quien proporciona las credenciales y asume los costos de uso de sus propias* instancias de esos servicios. Por lo tanto, no hay costos directos de API para Redact AI más allá del uso mínimo de LLM.

Estimación de Ingresos Mensuales

Dado el modelo de monetización API-first SaaS y la propuesta de valor crítica (cumplimiento normativo), se asume un precio inicial de $250 por cliente al mes. Para una micro-startup, proyectamos la adquisición de 5 clientes iniciales.

• Ingreso Mensual Estimado: 5 clientes x $250/mes = $1250/mes

Margen de Beneficio

• Beneficio Bruto: $1250 (Ingresos) - $81 (Costos) = $1169

Margen de Beneficio: (($1169 / $1250) 100) = 93.52% (redondeado a 94%)

Este alto margen refleja la naturaleza de un servicio de software puro, donde los costos variables por transacción para Redact AI son bajos, y el valor reside en la propiedad intelectual y la orquestación compleja que ofrece.

Optimización de Costos (FinOps)

Para mantener este alto margen y escalar de manera eficiente, Redact AI debe considerar las siguientes estrategias FinOps:

1. Serverless Computing: Migrar la lógica de orquestación principal (ej. el ForgetService) a plataformas serverless (como AWS Lambda + Step Functions, GCP Cloud Run o Azure Container Apps) permitirá escalar a cero durante períodos de inactividad, reduciendo drásticamente los costos de cómputo al pagar solo por la ejecución real.
2. Caché Inteligente: Implementar mecanismos de caché para la metadata de modelos registrados, el estado de solicitudes de olvido o partes de informes de cumplimiento frecuentes. Esto reducirá la carga en la base de datos y, potencialmente, permitirá el uso de instancias de DB más pequeñas o de menor costo.
3. Reservas y Planes de Ahorro: Si se opta por infraestructura basada en máquinas virtuales (EC2/Compute Engine), considerar la compra de instancias reservadas (Reserved Instances) o planes de ahorro (Savings Plans) una vez que se establezca una carga de trabajo base predecible, lo que puede ofrecer descuentos significativos.
4. Optimización de Base de Datos: Realizar auditorías periódicas de rendimiento y optimización de consultas en PostgreSQL. Asegurar índices adecuados y revisar las necesidades de almacenamiento y IOPS para dimensionar correctamente la instancia de RDS, evitando el sobreaprovisionamiento.
5. Etiquetado de Recursos (Tagging): Implementar una estrategia de etiquetado consistente para todos los recursos cloud. Esto facilitará la asignación de costos, el seguimiento del gasto por proyecto o entorno y la identificación de recursos infrautilizados.
6. Revisión Continua de Recursos: Establecer un proceso regular para revisar el uso y la configuración de todos los recursos cloud (right-sizing). Utilizar herramientas de monitoreo (ej. CloudWatch, Prometheus) para identificar y ajustar recursos que estén sobreaprovisionados o infrautilizados.
7. Gestión de Logs y Almacenamiento: Optimizar la retención de logs y el almacenamiento de datos históricos. Mover logs antiguos a almacenamiento de bajo costo (ej. S3 Glacier, Google Cloud Storage Coldline) y eliminar datos innecesarios de manera programada.