MarketPulse AI — Explainer

Concept

MarketPulse AI is a B2B SaaS platform for AI-powered strategic competitive analysis. It automates the tedious manual work of tracking competitor websites, social profiles, and press releases, then uses LLMs to transform raw change-detection data into actionable strategic insights.

Target audience: Product Managers, Marketing teams, C-level executives at tech companies (SMB to mid-market).

Core value proposition: Replace hours of manual competitor research with a daily AI-generated brief that surfaces what actually matters — before the competition acts.

---

Architecture

┌─────────────────────────────────────────────────────────┐
│                    REST API (Spring Boot 4)              │
│  AuthController  CompetitorController  DigestController  │
│                   FindingController                      │
└──────────────┬──────────────────────────────────────────┘
               │
┌──────────────▼──────────────────────────────────────────┐
│                    Service Layer                         │
│  AuthService    CompetitorService    DigestService       │
│  MonitoringService (Virtual Threads) AiAnalysisService   │
└──────────┬────────────────────────┬─────────────────────┘
           │                        │
┌──────────▼──────┐       ┌─────────▼──────────────────┐
│  JPA Repository │       │   External APIs (Feign)     │
│  H2 (dev)       │       │   OpenAI GPT-4o-mini        │
│  PostgreSQL(prod)│       │   JSoup (web scraping)      │
└─────────────────┘       └────────────────────────────┘

Key technical decisions

Concern	Choice	Reason
Auth	JWT (jjwt 0.12.6) + Spring Security 7	Stateless, multi-tenant safe
Multi-tenancy	tenantId UUID column on every entity	Simple, no schema-per-tenant overhead
Concurrency	Java 25 Virtual Threads	I/O-bound scraping — thousands of threads, zero OS-thread cost
Scraping	JSoup	Robust HTML parsing, ethical bot headers
LLM	OpenAI via OpenFeign	Swappable to any provider
DB	H2 (dev) / PostgreSQL (prod)	Zero-config for development

---

Endpoints

Auth — public

Method	Path	Body	Description
POST	%%INLINE1%%	%%INLINE2%%	Create account, return JWT
POST	%%INLINE3%%	%%INLINE4%%	Authenticate, return JWT

Competitors — requires Authorization: Bearer <token>

Method	Path	Body	Description
GET	/api/competitors	—	List all competitors for tenant
POST	%%INLINE7%%	%%INLINE8%%	Add competitor
GET	/api/competitors/{id}	—	Get competitor detail
PUT	%%INLINE10%%	%%INLINE11%%	Update competitor
DELETE	/api/competitors/{id}	—	Remove competitor
GET	/api/competitors/{id}/sources	—	List tracked sources
POST	%%INLINE14%%	%%INLINE15%%	Add tracked source
DELETE	/api/competitors/{id}/sources/{sourceId}	—	Remove tracked source

%%INLINE17%% values: %%INLINE18%%, %%INLINE19%%, %%INLINE20%%, %%INLINE21%%, %%INLINE22%%

Daily Digest (AI-generated) — requires auth

Method	Path	Description
GET	/api/digests	All digests, newest first
GET	/api/digests/recent	Last 7 digests (dashboard widget)
GET	%%INLINE25%%	Digest for %%INLINE26%%
POST	/api/digests/generate	Generate today's digest now
POST	/api/digests/generate/{date}	Generate digest for a specific date

Findings feed — requires auth

Method	Path	Description
GET	/api/findings	All findings for tenant, newest first
GET	/api/findings/competitor/{id}	Findings for one competitor

---

Data Model

User (tenantId: UUID) ─── 1:N ──► Competitor ─── 1:N ──► TrackedSource
                                        │
                                        └─── 1:N ──► Finding ──► aiInsight (LLM)

User ─── 1:N ──► DailyDigest (one per tenantId per date)

---

Automated Jobs

Job	Schedule	Action
Monitoring cycle	Every 5 min (configurable)	Scrapes all enabled %%INLINE31%% URLs; creates %%INLINE32%% on hash change
Daily digest	07:00 daily	Groups yesterday's %%INLINE33%%s per tenant → LLM → %%INLINE34%%

---

Business Analysis

Revenue model

B2B SaaS, tier-based on competitor count and seats:

Tier	Competitors	Price/mo	Target
Starter	3	$49	Indie hackers, solo PMs
Growth	10	$149	Series A startups
Enterprise	Unlimited	$499+	Mid-market, custom contracts

Market

• TAM: ~$8B competitive intelligence market (2025)
• SAM: B2B SaaS companies spending >$2k/mo on analyst tools
• Differentiation: LLM synthesis (vs. raw alert tools like Mention, Crayon)

Key risks

1. Scraping reliability — dynamic JS sites need Playwright/headless browser upgrade
2. LLM cost at scale — cache digests aggressively; batch API calls
3. False positives — tune hash comparison; add configurable change threshold
4. Legal — respect robots.txt, rate-limit, add Terms of Service compliance

---

How to Run

Development (H2 in-memory)

cd solutions/2026-06-06-marketpulse-ai
mvn spring-boot:run

Server starts on http://localhost:8080.

With OpenAI integration

MARKETPULSE_OPENAI_API_KEY=sk-your-key mvn spring-boot:run

With PostgreSQL

export SPRING_DATASOURCE_URL=jdbc:postgresql://localhost:5432/marketpulse
export SPRING_DATASOURCE_USERNAME=postgres
export SPRING_DATASOURCE_PASSWORD=secret
mvn spring-boot:run

Quick API smoke test

# Register
curl -s -X POST http://localhost:8080/api/auth/register \
  -H 'Content-Type: application/json' \
  -d '{"email":"pm@acme.com","password":"secret123"}' | jq .

# Login
TOKEN=$(curl -s -X POST http://localhost:8080/api/auth/login \
  -H 'Content-Type: application/json' \
  -d '{"email":"pm@acme.com","password":"secret123"}' | jq -r '.data.token')

# Add a competitor
curl -s -X POST http://localhost:8080/api/competitors \
  -H "Authorization: Bearer $TOKEN" \
  -H 'Content-Type: application/json' \
  -d '{"name":"Acme Corp","website":"https://acme.com","description":"Main rival"}' | jq .

# Add a tracked source
curl -s -X POST http://localhost:8080/api/competitors/1/sources \
  -H "Authorization: Bearer $TOKEN" \
  -H 'Content-Type: application/json' \
  -d '{"url":"https://acme.com/pricing","sourceType":"WEBSITE"}' | jq .

# Trigger digest for today
curl -s -X POST http://localhost:8080/api/digests/generate \
  -H "Authorization: Bearer $TOKEN" | jq .

# View findings feed
curl -s http://localhost:8080/api/findings \
  -H "Authorization: Bearer $TOKEN" | jq .

---

Configuration Reference

# application.yml additions
marketpulse:
  jwt:
    secret: <base64-encoded-32-byte-key>  # override for production
    expiration: 86400000                   # 24 hours
  openai:
    api-key: sk-...                        # required for AI digests
    model: gpt-4o-mini                     # or gpt-4o for higher quality
    max-tokens: 1500
    base-url: https://api.openai.com
  monitoring:
    cron: "0 */5 * * * *"                  # every 5 minutes

---

References

• HubSpot — Competitive Analysis Guide
• OpenAI API Documentation
• JSoup HTML Parser Documentation
• Spring Boot 4.0 Reference
• jjwt 0.12.x Guide

---

FinOps Analysis para MarketPulse AI

Estimación de Costos Operativos

Para una micro-startup de IA como MarketPulse AI, los costos operativos se dividen principalmente entre el uso del Modelo de Lenguaje Grande (LLM) y la infraestructura cloud. Asumimos un escenario inicial con 10 clientes, donde cada uno monitorea 5 competidores y se detecta aproximadamente 1 cambio significativo por competidor al mes. Además, cada cliente recibe un Daily Digest.

1. Estimación de Tokens LLM Mensuales

Análisis de Cambios: 50 competidores 1 cambio/mes * (1000 tokens de entrada + 200 tokens de salida) = 60,000 tokens. Daily Digest: 10 clientes 30 días/mes * (500 tokens de entrada para resúmenes + 500 tokens de salida) = 300,000 tokens.

• Total Estimado: ~360,000 tokens/mes. Redondeamos a ~400K tokens/mes para incluir margen de error y prompts del sistema.

2. Desglose de Costos Mensuales

Utilizando OpenAI GPT-4o-mini por su relación costo-efectividad para tareas de sumarización y análisis:

• Costo LLM:

Análisis de Cambios: 50 (1000 $0.00015/1K input + 200 $0.0006/1K output) = $13.50 Daily Digest: 300 (500 $0.00015/1K input + 500 $0.0006/1K output) = $112.50 * Total LLM: $13.50 + $112.50 = $126/mes.

• Infraestructura Cloud (AWS):

* Cloud Hosting: AWS Lightsail (2GB RAM, 1vCPU, 60GB SSD) para la aplicación Spring Boot: $20/mes. * Base de Datos: AWS RDS (t3.micro PostgreSQL) para persistencia de datos: $15/mes. * Monitoring: CloudWatch básico para logs y métricas: $5/mes.

• Costo Total de Infraestructura: $40/mes.
• Costo Total Mensual Estimado: $126 (LLM) + $40 (Infra) = $166/mes.

Estimación de Ingresos Mensuales

Basado en un modelo de suscripción B2B SaaS por niveles, asumimos un precio promedio de $75/cliente/mes (mezcla de planes básicos y pro). Ingreso Mensual Estimado: 10 clientes $75/cliente = $750/mes.

Margen de Beneficio

• Costo Total: $166/mes
• Ingreso Total: $750/mes

Margen de Beneficio: (($750 - $166) / $750) 100 = 78%.

Optimización de Costos (FinOps)

El margen de beneficio inicial del 78% es robusto para una startup. Sin embargo, a medida que la base de clientes y el volumen de datos crezcan, los costos de LLM e infraestructura aumentarán. Las siguientes optimizaciones son cruciales para mantener la rentabilidad:

1. Reducción de Tokens LLM:

* Semantic Diffing: Implementar lógica avanzada para comparar cambios en el contenido web, enviando al LLM solo las secciones realmente modificadas o más relevantes, en lugar de páginas enteras o grandes bloques de texto. * Caching Inteligente: Cachear resúmenes o análisis de contenido que sea idéntico o muy similar entre diferentes fuentes o clientes, evitando llamadas redundantes a la API del LLM. Prompt Engineering Avanzado: Refinar los prompts para ser más concisos y directos, extrayendo la información estratégica con el menor número de tokens posible. Considerar el uso de function calling* para estructurar la salida y reducir la verbosidad. * Modelos LLM Híbridos: Para tareas menos críticas (e.g., detección inicial de cambios menores), explorar modelos LLM más pequeños o de código abierto auto-hospedados, reservando los modelos premium solo para el análisis estratégico profundo.

1. Optimización de Infraestructura Cloud:

* Serverless para Tareas Asíncronas: Migrar las operaciones de scraping y las llamadas a la API del LLM a funciones serverless (e.g., AWS Lambda, GCP Cloud Functions). Esto permite pagar solo por el tiempo de ejecución y escalar automáticamente, eliminando la necesidad de un servidor 24/7 para estas tareas de ráfaga. * Escalabilidad de Bases de Datos: Monitorear el uso de la base de datos y optimizar consultas e índices. Esto podría permitir el uso de instancias de DB más pequeñas o incluso bases de datos serverless (e.g., Aurora Serverless) que escalan y cobran por el uso real. * Monitoreo y Alertas: Configurar alertas de costos en AWS Budgets o herramientas similares para detectar desviaciones significativas en el gasto antes de que se conviertan en un problema.

1. Eficiencia del Web Scraping:

* Programación Dinámica: Ajustar la frecuencia de scraping basándose en la actividad histórica del competidor o la criticidad de la fuente, en lugar de un intervalo fijo. * Detección de Cambios Optimizada: Utilizar checksums o hashes del contenido relevante para detectar rápidamente si una página ha cambiado sin necesidad de un análisis profundo constante.

Al aplicar estas estrategias FinOps, MarketPulse AI puede escalar de manera rentable, asegurando que el crecimiento de los ingresos supere el aumento de los costos operativos.