归档: 2023/10

2023

10

27

我们团队的一个核心数据平台遇到的瓶颈，不是计算或存储，而是元数据管理。具体来说，是针对同一个 Delta Lake 表的高并发写入冲突。业务场景要求多个独立的ETL作业、流处理应用，甚至一些临时的数据修复脚本，同时对一张核心事实表进行追加写

2023-10-27 数据工程

Pulumi Zookeeper Delta Lake IaC 分布式锁

27

一个典型的应用部署到Kubernetes，其Deployment YAML往往是混乱的开始。配置散落在ConfigMap里，敏感信息要么通过CI/CD管道注入，要么更糟，被base64编码后提交到Git仓库。监控配置则完全是另一回事，需要S

2023-10-27 云原生

Go Azure AKS HashiCorp Vault Prometheus Kubernetes Operator

27

我们团队维护一个复杂的内部运营平台，其前端架构在三年前就演进到了微前端（Micro-frontend）。最初，各个微应用间的通信依赖于 Custom Events 和一个共享的全局状态库，这种方案在系统规模尚小时尚可应付。但随着业务复杂度的

2023-10-27 架构设计

ActiveMQ Turbopack ORM Micro-frontends WebSocket Prisma

27

我们面临一个日益普遍的问题：多个微服务以半结构化的JSON格式向集中式日志系统抛出大量事件。这些事件混杂了业务指标、调试信息和潜在的错误堆栈。直接将这些原始数据流对接到下游的分析系统或错误监控平台，不仅成本高昂，而且效率低下。关键的错误信号

2023-10-27 数据工程

Kotlin 数据处理 Pulsar Sentry 事件驱动架构

27

管理多个 Trino 集群是一项繁琐且易错的工作。不同业务团队对计算资源、数据源连接器、JVM 参数的需求各不相同，导致配置文件急剧膨胀。传统的手动修改 Helm values.yaml 并执行 helm upgrade 的方式，不仅效率低

2023-10-27 DevOps

MongoDB Trino Ansible Argo CD

27

当 Nomad 集群中的微服务数量从 10 个增长到 50 个以上时，依赖关系图就成了一张无人能理清的蛛网。一次下游服务的变更，没人能准确说出到底会影响多少上游调用方，发布评审会变成了基于猜测的风险评估。传统的做法是靠人力维护文档，但这在敏

2023-10-27 云原生

Nginx Nomad Flask 可观测性