北京2021年9月22日 /美通社/ --
眼睛大大明察秋毫卡通小鸟优雅轻巧工具虽小但绝对能搞定大事儿一个关注细节的“ 卡哇伊” 啄木鸟形象这就是Venus
近日,这款身材虽小却蕴藏大能量的智能工具传来好消息!作为浪潮云海针对OpenStack平台在日志存储、检索、分析等方面的需求而实力推出的日志管理项目,Venus以全数赞成票通过了OpenStack社区TC团队的审核,成为国内贡献OpenStack社区且在智能运维领域的首个正式项目。
贡献社区的Venus究竟是什么?
概括来说,Venus主要还是取决于大规模部署条件下,针对OpenStack平台在日志存储、检索、分析等方面的核心需求,可以做到一站式满足日志采集、清洗、索引、分析、告警、可视化、生成报告等,帮助运维人员快速检索问题,掌握平台的运行健康度,并在未来计划引用机器学习算法,快速定位IT故障及根因,提高运维效率以及平台管理的水平。
具体来说在检索工作上,Venus主要提供了简单易用的检索方式,可以做到检索一切日志数据,定位日志上下文在分析上主要实现日志关联、字段数值统计,提供多场景、多维度的可视化分析报表告警层面则将搜索转化为主动告警,实现海量日志中错误的“大海捞针”定位是主要通过建立知识图谱和调用的链式关系,结合算法实现故障的快速定位
以下是基于浪潮云海自研OpenStack Dashboard(浪潮云海自研的OpenStack Dashboard已贡献到木兰社区,感兴趣的小伙伴可以到社区下载集成,功能完善且操作简易。)集成Venus的两个典型示例,可参考:
示例1:在云平台上的虚拟机创建操作未成功,怎样迅速定位到问题呢?
a.找到创建操作的请求ID,并通过此跳转到虚拟机创建调用链页面
b. 系统可以展示整个调用过程,做到清楚定位到整体调用链错误日志的位置
示例2:当云平台出现错误日志时,如何将其转化为告警来提醒运维人员呢?
a. 运维人员收到的日志告警信息如下:
b. 运维人员可以进一步成功检索错误日志的详细信息和统计信息
表现亮眼的Venus,整体的技术架构如何?
浪潮云海技术研发团队表示,Venus以Fluented+Elasticsearch为基础,深度挖掘日志数据、固化运维的场景并提供认证的通用接口,例如:
采集层:开发了基于Fluented的采集任务,针对OpenStack、操作系统、平台服务等日志开发了读取、过滤、格式化、发送等插件,而且用户可以按需配置
存储层:采集并格式化后日志索引至Elasticsearch集群中,ES提供副本机制即使在某些服务器宕机后仍能正常工作,提高数据可用性,同时存储层也有Mysql作为分析结果的存储
Venus_api:api服务主要进行简单的业务处理,提供更简洁更全面的认证接口将上层调用转化为底层Elasticsearch查询,并对查询的多维度索引数据进行简单处理,同时将结果返回
Venus_manager:内部定时任务模块,开发了可配置的定时任务,包括数据清理任务、日志分析任务、日志告警任务、调用链分析任务等核心业务处理任务
展现层:Venus已开发Horizon插件并且提供统一接口对接第三方系统
关于Venus的未来,期望可以如此
一直以来浪潮云海通过对开源开放技术的攻坚,突破开源版本在性能、大规模管理能力方面的瓶颈,秉承“源于开源、馈于开源”的理念,助力业界共同构建开放统一的智能基础设施
Venus项目旨在打造一个开放的OpenStack日志管理平台,集合广大用户在日志领域的需求和实践,提供各场景日志分析并集成算法和知识图谱实现故障的快速定位,构建完备的日志运维场景,所以Venus模块会随OpenStack的Yoga版本发布第一个正式的Release,未来的重点工作将会涉及:
开发典型错误日志告警任务,开发关键词告警任务
开发Venus的Horizon展示插件,开发至少3个日志分析页面
优化基于Kolla-ansible的部署方式和基于Devstack的部署方式
错误场景模板化并且总结更多的典型错误日志模式