PB级数据集成引擎 - Go 性能调优工程实践

分论坛:工具/平台创新

专题:DevOps工具链(含自动化测试)

内容简介:

大数据场景下Go语言生态近几年发展非常迅速,阿里云日志服务的数据集成功能也使用Go作为主开发语言。日志服务的数据集成功能主要负责数据的导入&导出(即将三方数据导入到日志服务,或者将日志服务的数据导出到三方服务中),属于IO密集型服务, 总计运行了数10万多个任务,单机群总计数千CPU Core,数TB的内存。数据集成服务在运行过程中,遇到了较多的问题,比如服务内存占用波动较大、内存占用过多、GC压力大影响服务性能、任务异构化导致的服务负载热点等问题。为了更为有效提高资源的利用率,提升服务运行的稳定性,我们在开发调优&运维过程中使用了多种不同的监控&调优工具,调优的方案涉及到Go语言运行时、GC机制、CGO调用、减少内存分配等各个不同的方面,希望能给大家在使用Go语言开发时带来帮助。

演讲提纲:

1、PB级数据集成引擎功能及架构简介
2、磐石上的一道裂缝: 从一次告警谈起,搭建服务全局监控体系
3、步步为营: 深入分析Go语言运行时,优化资源占用
4、未来展望

听众收益:

听众能够了解到PB级数据集成引擎在运行中可能会遇到可能会遇到的性能瓶颈以及稳定性问题,并通过深入了解Go语言的运行机制,了解如何对服务进行针对性的优化,实现更优的资源利用率以及服务稳定性。


联系我们
购票热线:4006-998-758
媒体合作:柚子
联系电话:15601343666 邮箱:fengsh@keylinking.com
赞助合作:一竹
联系电话:18515447737 邮箱:sunyz@keylinking.com
票务合作:Anny 联系电话:17778017751 邮箱:zhangp@keylinking.com
关注主办方