Apache Kafka

Plataforma de streaming de eventos distribuida, de alto rendimiento y baja latencia. Ideal para pipelines de datos, mensajería y procesamiento en tiempo real.

Versión:

4.2.0

Volver a Marketplace

Requisitos de VM

Recurso Mínimo
CPU 2 vCPU
RAM 4 GB
Disco 40 GB
Sistema Operativo Ubuntu 22.04 / 24.04

Puerto de acceso

Puerto Protocolo Uso
30909 TCP Kafka broker (producers y consumers)

Cómo acceder

Kafka no tiene interfaz web. La interacción es directamente desde producers/consumers usando el puerto del broker.

Connection string

<IP_DE_LA_VM>:30909

Verificar conectividad con kafka-topics

# Listar topics existentes
kafka-topics.sh --bootstrap-server <IP_DE_LA_VM>:30909 --list

# Crear un topic
kafka-topics.sh --bootstrap-server <IP_DE_LA_VM>:30909 \
  --create --topic mi-topic --partitions 3 --replication-factor 1

# Describir un topic
kafka-topics.sh --bootstrap-server <IP_DE_LA_VM>:30909 \
  --describe --topic mi-topic

Ejemplo con producer y consumer

# Enviar mensajes (producer)
kafka-console-producer.sh --bootstrap-server <IP_DE_LA_VM>:30909 --topic mi-topic

# Recibir mensajes (consumer)
kafka-console-consumer.sh --bootstrap-server <IP_DE_LA_VM>:30909 \
  --topic mi-topic --from-beginning

Connection string para aplicaciones

# Java / Spring Boot
bootstrap-servers=<IP_DE_LA_VM>:30909

# Python (kafka-python)
bootstrap_servers=['<IP_DE_LA_VM>:30909']

# Node.js (kafkajs)
brokers: ['<IP_DE_LA_VM>:30909']

Validar que Kafka Está Activo

# Ver el pod de Kafka
kubectl get pods -A | grep kafka

# Ver log de instalación
tail -f /var/log/cuemby/bootstrap.log

# Verificar que el puerto está escuchando
ss -tlnp | grep 30909

Output esperado:

NAME                     READY   STATUS    RESTARTS
kafka-xxxxxxxxx-xxxxx    1/1     Running   0        ← Running ✓

Parámetros de configuración

Parámetro Default Descripción
KAFKA_CLUSTER_ID auto-generado Identificador único del cluster en modo KRaft (sin ZooKeeper). Cuemby lo genera automáticamente.
KAFKA_DATA_SIZE 20Gi Tamaño del volumen persistente para los logs de eventos.
KAFKA_HEAP_OPTS -Xmx1g -Xms1g Opciones de heap de la JVM. Ajusta según la RAM disponible (recomendado: 25–50% de la RAM total).

ℹ️ Esta instalación usa KRaft mode (sin ZooKeeper). No requiere un ensemble de ZooKeeper separado.

Primeros pasos (inicio rápido)

# 1. Crear un topic con 3 particiones
kafka-topics.sh --bootstrap-server <IP_DE_LA_VM>:30909 \
  --create --topic eventos --partitions 3 --replication-factor 1

# 2. Verificar que el topic fue creado
kafka-topics.sh --bootstrap-server <IP_DE_LA_VM>:30909 --list

# 3. Producir un mensaje de prueba
echo "hola mundo" | kafka-console-producer.sh \
  --bootstrap-server <IP_DE_LA_VM>:30909 --topic eventos

# 4. Consumir el mensaje
kafka-console-consumer.sh --bootstrap-server <IP_DE_LA_VM>:30909 \
  --topic eventos --from-beginning --max-messages 1

💡 Tip: Ajusta KAFKA_HEAP_OPTS si ves errores de OutOfMemoryError. Con 8 GB de RAM, un valor como -Xmx3g -Xms3g da margen suficiente para workloads de producción ligeros.

Solución rápida de problemas

Problema Causa probable Solución
Connection refused en puerto 30909 Kafka aún iniciando Espera ~3–5 min y revisa tail -f /var/log/cuemby/bootstrap.log.
LEADER_NOT_AVAILABLE al crear topic Broker recién arrancado Espera unos segundos y reintenta. Es transitorio.
OutOfMemoryError en logs Heap JVM insuficiente Aumenta KAFKA_HEAP_OPTS a -Xmx3g -Xms3g y reinicia el pod.
Pod en CrashLoopBackOff RAM o disco insuficiente Verifica que la VM tiene al menos 8 GB de RAM y 50 GB de disco.

Cuemby Cloud

IaaS

Acerca de Cuemby Cloud

Cuemby Cloud es una infraestructura de nube de nivel empresarial gestionada desde una única consola, diseñada para ofrecer una seguridad más sólida, operaciones predecibles y una fácil escalabilidad en todas las regiones.

Regiones de centros de datos disponibles en Colombia, Ecuador y Chile

Respaldado por ubicaciones de centros de datos de nivel III y nivel IV

Tarifas de entrada y salida de red cero

Soporte de expertos locales 24/7

¿listo para modernizar tu empresa?

Los desafíos del futuro exigen soluciones preparadas para el futuro. ¡Empecemos!

© Derechos de autor | Cuemby® 2025