novelso
本站致力于IT相关技术的分享
使用 Swift Vapor 构建一个响应 GitHub Webhook 的自动化 SBOM 生成器 使用 Swift Vapor 构建一个响应 GitHub Webhook 的自动化 SBOM 生成器
在团队中推行软件供应链安全时，第一个遇到的障碍往往是流程的自动化。为每个 Swift 项目手动生成软件物料清单（SBOM）不仅繁琐，而且极易遗忘。现有的 CI/CD 平台虽然功能强大，但对于只想在每次代码提交后执行一个轻量级、特定任务的场景
2023-10-27 后端开发
Swift Backend GitHub Vapor CI/CD DevSecOps
使用 Pulumi 编排 ZooKeeper 实现 Delta Lake 的外部并发写控制 使用 Pulumi 编排 ZooKeeper 实现 Delta Lake 的外部并发写控制
我们团队的一个核心数据平台遇到的瓶颈，不是计算或存储，而是元数据管理。具体来说，是针对同一个 Delta Lake 表的高并发写入冲突。业务场景要求多个独立的ETL作业、流处理应用，甚至一些临时的数据修复脚本，同时对一张核心事实表进行追加写
2023-10-27 数据工程
Pulumi Zookeeper Delta Lake IaC 分布式锁
构建管理动态密钥与服务监控的Azure AKS Operator实践 构建管理动态密钥与服务监控的Azure AKS Operator实践
一个典型的应用部署到Kubernetes，其Deployment YAML往往是混乱的开始。配置散落在ConfigMap里，敏感信息要么通过CI/CD管道注入，要么更糟，被base64编码后提交到Git仓库。监控配置则完全是另一回事，需要S
2023-10-27 云原生
Go Azure AKS HashiCorp Vault Prometheus Kubernetes Operator
构建基于 ActiveMQ 的持久化微前端事件总线与状态同步机制 构建基于 ActiveMQ 的持久化微前端事件总线与状态同步机制
我们团队维护一个复杂的内部运营平台，其前端架构在三年前就演进到了微前端（Micro-frontend）。最初，各个微应用间的通信依赖于 Custom Events 和一个共享的全局状态库，这种方案在系统规模尚小时尚可应付。但随着业务复杂度的
2023-10-27 架构设计
ActiveMQ Turbopack ORM Micro-frontends WebSocket Prisma
使用 Kotlin 构建基于 Pulsar 的高韧性异步数据处理管道并集成 Sentry 自我监控 使用 Kotlin 构建基于 Pulsar 的高韧性异步数据处理管道并集成 Sentry 自我监控
我们面临一个日益普遍的问题：多个微服务以半结构化的JSON格式向集中式日志系统抛出大量事件。这些事件混杂了业务指标、调试信息和潜在的错误堆栈。直接将这些原始数据流对接到下游的分析系统或错误监控平台，不仅成本高昂，而且效率低下。关键的错误信号
2023-10-27 数据工程
Kotlin 数据处理 Pulsar Sentry 事件驱动架构
实现 MongoDB 驱动的 Trino 集群声明式 GitOps 部署自动化 实现 MongoDB 驱动的 Trino 集群声明式 GitOps 部署自动化
管理多个 Trino 集群是一项繁琐且易错的工作。不同业务团队对计算资源、数据源连接器、JVM 参数的需求各不相同，导致配置文件急剧膨胀。传统的手动修改 Helm values.yaml 并执行 helm upgrade 的方式，不仅效率低
2023-10-27 DevOps
MongoDB Trino Ansible Argo CD
2 / 5