如何用 Go 封装大模型推理服务
本文介绍了使用 Go 语言构建高性能大模型推理服务的方法。文章设计了分层系统架构,定义了支持流式与批量推理的核心接口。通过工作池模式优化并发控制,并引入 LRU 缓存提升性能。文中实现了完整的 HTTP 服务,集成了错误处理与指标监控。最后,文章提供了基于容器化的部署方案、GPU 加速及模型量化等优化建议,旨在构建高效、可扩展的 AI 推理服务。
GoLang
未读
Go 实现 Kubernetes 控制器和调度器插件:深度原理与工程实战
本文深入讲解用Go实现Kubernetes控制器和调度器插件的原理与实战。控制器核心基于Informer监听资源变更、Workqueue管理任务队列、Reconcile Loop实现幂等状态同步,需注意内存泄漏和并发冲突。调度器插件通过Scheduler Framework扩展点(如Filter/Score/Bind)定制调度策略,支持参数化配置和性能埋点。实战涵盖CRD定义、控制器开发(含Deployment管理)、插件实现及Prometheus/pprof集成。关键优化点包括保证幂等性、避免Workqueue泄漏、插件性能优化,推荐使用kubebuilder/operator-sdk提升效率。适用于自动化运维、智能调度等场景,未来趋势包括AI驱动调度和跨集群控制。
分布式存储longhron卸载
以下是针对Longhorn卸载问题的简洁摘要:
在Rancher/K3s环境中卸载Longhorn时,若操作不当(如过早删除命名空间或手动修改资源),会导致命名空间`longhorn-system`卡在`Terminating`状态,无法彻底清理。主因包括**Finalizer机制未正确释放**(如`longhorn-manager`、CRD资源残留)和**资源泄漏**(如未清理的Volume/StatefulSet)。核心解决方案分三步:
1. **强制移除Finalizer**:通过脚本或命令清理命名空间及CRD的finalizers(如`kubectl patch`移除`/metadata/finalizers`)。
2. **清理残留资源**:删除Longhorn相关的CRD、Pod及命名空间(`kubectl delete --force`)。
3. **官方卸载流程**:使用Helm或kubectl卸载器(需确认`deleting-confirmation-flag`),按顺序删除组件及CRD。
**注意**:操作前备份数据,避免强制删除引发数据丢失;优先参考[官方卸载文档](https://longhorn.io/docs/1.6.1/deploy/uninstall/)确保安全。
K8S-云原生
未读
K8S 证书过期修复
K8S-云原生
未读
【k8s篇】搭建k8环境
环境部署 hostnamectl set-hostname k8s-master
hostnamectl set-hostname k8s-node1
hostnamectl set-hostname k8s-node2
# 将 SELinux 设置为 permissive 模式(相当于将其禁用

