novelso
本站致力于IT相关技术的分享
基于 Nginx 结构化日志与 Nomad API 的动态服务拓扑发现实践 基于 Nginx 结构化日志与 Nomad API 的动态服务拓扑发现实践
当 Nomad 集群中的微服务数量从 10 个增长到 50 个以上时，依赖关系图就成了一张无人能理清的蛛网。一次下游服务的变更，没人能准确说出到底会影响多少上游调用方，发布评审会变成了基于猜测的风险评估。传统的做法是靠人力维护文档，但这在敏
2023-10-27 云原生
Nginx Nomad Flask 可观测性
构建基于Haskell的MLOps推理网关并集成OpenTelemetry与死信队列容错机制 构建基于Haskell的MLOps推理网关并集成OpenTelemetry与死信队列容错机制
一个生产环境的机器学习模型推理服务，其真正的挑战并非模型本身，而是围绕它构建的一整套可观测、高可用的基础设施。当请求量从每秒几十次上升到数千甚至数万次时，零星的网络抖动、下游模型服务的瞬时过载、或者一次失败的模型更新，都可能导致数据丢失和服
2023-10-27 架构与设计
Dead Letter Queue OpenTelemetry MLflow Haskell 网关与代理
使用C#与设计模式构建支持GitOps的声明式金丝雀发布控制器 使用C#与设计模式构建支持GitOps的声明式金丝雀发布控制器
管理微服务的部署升级是一项高风险任务。传统的CI脚本，无论是内嵌在Jenkinsfile还是GitHub Actions的YAML中，本质上都是过程式的。它们描述了“如何做”，但缺乏对“最终应是什么状态”的声明式表达。当部署流程变得复杂，比
2023-10-27 架构设计
GitOps CI/CD 设计模式 C#
构建基于 Fastify 与 Puppeteer 的高并发视觉回归 MLOps 推理服务 构建基于 Fastify 与 Puppeteer 的高并发视觉回归 MLOps 推理服务
技术痛点前端组件和数据可视化看板的迭代速度越来越快，随之而来的是一个棘手的问题：视觉回归（Visual Regression）。一个微小的数据格式变更或CSS调整，就可能导致整个仪表盘布局错乱或图表渲染失败。传统的单元测试和端到端测试覆盖不
2023-10-27 MLOps
MLOps Docker Fastify Puppeteer Node.js
构建基于Puppeteer与Cassandra的CQRS数据采集架构及SwiftUI原生监控端实践 构建基于Puppeteer与Cassandra的CQRS数据采集架构及SwiftUI原生监控端实践
我们的核心挑战并非简单的数据抓取，而是要为上千个无API、结构频繁变更、且普遍采用JavaScript动态渲染的Web数据源，构建一个工业级的、可长期维护的数据采集平台。传统的定时任务（Cron Job）配合简单脚本的模式在这种规模和复杂性
2023-10-27 架构设计
Backend Puppeteer Node.js SwiftUI Cassandra CQRS
构建基于containerd与死信队列的TensorFlow异步任务执行器 构建基于containerd与死信队列的TensorFlow异步任务执行器
我们的机器学习团队面临一个典型但棘手的工程问题：模型训练脚本的执行环境混乱，失败后的追踪与重试机制基本为零。一个复杂的tf.data预处理任务在凌晨三点因为一个临时的网络抖动或是一个脏数据样本导致OOM而崩溃，第二天早上才被发现，这不仅浪费
2023-10-27 MLOps
Dead Letter Queue TensorFlow containerd 分布式与中间件 Storybook
3 / 5