摘要: 需求描述 业务上经常会出现这样的问题:客户反馈某个业务今天查不到数据。怎么通过监控提前发现呢? a56爆大奖在线娱乐们的业务场景是这样: 在mysql中,每小时、每天,会通过定时任务汇总统计车辆在道路上的作业情况(作业时间、里程、平均速度等)。 经常出现,某一个客户某一类型数据没算(表中没有新增数据)。 技术方案 1 阅读全文
posted @ 2024-06-07 11:38 耗子哥信徒 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 一:数据糊定义: 1、数据湖的出现,主要是为了去满足企业对原始数据的存储、管理和再加工的需求。首先要有一个低成本的存储,用于存储结构化、半结构化,甚至非结构化的数据;另外,有一套包括数据处理、数据管理以及数据治理在内的一体化解决方案。 2、从0到1搭建数据糊,原始数据存储在hdfs上,然后上层构建计 阅读全文
posted @ 2024-06-06 07:09 耗子哥信徒 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 前面写过一篇业务中使用 telegraf 的文章。 /xushengbin/p/17974981#_label3 当时的业务场景是:把kafka中存储的json数据,写入到influxdb中。 最近又对telegraf的能力做了什么了解。 增加了两个业务 阅读全文
posted @ 2024-04-18 17:03 耗子哥信徒 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 目标 a56爆大奖在线娱乐将讲述influxdb内存中都存了哪些数据? 什么情况下会导致内存占用暴增? 以及内存相关的配置。 a56爆大奖在线娱乐的influxdb配置 a56爆大奖在线娱乐的influxdb配置如下: /etc/influxdb/config.toml bolt-path = "/var/lib/influxdb/influxd.b 阅读全文
posted @ 2024-04-15 21:09 耗子哥信徒 阅读(404) 评论(0) 推荐(0) 编辑
摘要: 问题描述 2024-04-14T14:59:51Z E! [outputs.influxdb_v2] Failed to write metric to iot (will be dropped: 422 Unprocessable Entity): unprocessable entity: fa 阅读全文
posted @ 2024-04-15 16:56 耗子哥信徒 阅读(62) 评论(0) 推荐(0) 编辑
摘要: 一个 java web api,耗时 2s,但是db 300ms 就返回了,时间到底耗费在哪里呢。 当a56爆大奖在线娱乐最终定位下来,是因为db 返回了5M数据跨局域网传输大概需要 1s,导致的。 一行行跟踪源码,很耽误时间。 后来遇到了IDEA Profiler (IDEA IDE 自带的性能分析工具),简直太好 阅读全文
posted @ 2024-03-27 21:34 耗子哥信徒 阅读(706) 评论(0) 推荐(0) 编辑
摘要: 目标 把时序数据(如车辆指标)写入influxdb之后,a56爆大奖在线娱乐们想知道指标值是否异常(如累计里程 大于 1 亿)、新增数据量是否合理(如半个小时表中没有新增数据,大概率服务故障了) 方案概述 influxdb本身提供了 alert 功能,但是比较简陋。如不支持把报警消息发送到飞书。 因此a56爆大奖在线娱乐就尝试用Gra 阅读全文
posted @ 2024-03-27 14:15 耗子哥信徒 阅读(61) 评论(0) 推荐(0) 编辑
摘要: 遇到这个报错,是很烦的。折腾半天有时候都无法解决。 最佳解决办法: 删除本地的.idea目录 然后 idea 中关闭该项目,然后重新导入,就会自动生成.idea目录,一切正常了。 阅读全文
posted @ 2024-03-25 22:27 耗子哥信徒 阅读(427) 评论(0) 推荐(0) 编辑
摘要: 问题描述 influxdb官方有一个库(实验版本),说的是可以支持空间索引(如查询某一个框内的轨迹点)。但是a56爆大奖在线娱乐经常测试,查询慢的不可思议。 a56爆大奖在线娱乐在论坛曾经反馈过这个问题,目前没找到答案。 解决方案 1、在 influxdb 表中增加 s2_cell_id字段,通过telegraf 给该字段赋值。 (见 阅读全文
posted @ 2024-03-22 14:01 耗子哥信徒 阅读(51) 评论(0) 推荐(0) 编辑
摘要: 问题描述 spring cloud架构下,微服务间很多是通过 feign进行调用的。 作为一家小公司,很多微服务在开发环境没有部署实例,这就导致,想在本地做开发调试,要花精力起很多依赖服务。耗时费力。 解决办法 1、利用 ssh 隧道,让办公网可以访问测试环境(阿里云、默认不开放端口)的微服务。 s 阅读全文
posted @ 2024-03-20 14:35 耗子哥信徒 阅读(3) 评论(0) 推荐(0) 编辑