【分布式应用】ELK企业级日志分析系统

theme: vue-pro一、ELK 简介ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。 1.1 ELK各组件介绍ElasticSearch: 是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。Ela...

封装一个koa分布式锁中间件来解决幂等或重复请求的问题

在后端并不是写完一个接口的业务逻辑就能投入使用的,接口的优化更是一个难点与麻烦之处(下面的内容我们不考虑前端的处理,因为不能完全靠前端,前后端都需要做自己的处理工作)1.幂等性:所谓幂等性是指一个接口不论发送多少个相同请求,最后都会产生相同的结果 例如: 根据Restful API接口规范:把CRUD分为get(查询),post(新增),delete(删除),put(修改) ...

Hadoop总结

目录 大数据概述 Hadoop大数据开发平台 资源管理YARN 分布式文件系统HDFS 非关系型数据库NOSQL 分布式数据库HBASE 批处理和MapReduce 数据仓库查询分析和Hive 基于内存计算的Spark 流计算和Flink 图计算和PREGEL Hadoop常用命令总结   大数据概述 大数据的4V:大量化...

分布式监控 Frostmourne

Frostmourne是开源分布式监控系统,用于帮助监控几乎所有数据库数据(包括Elasticsearch, Prometheus, SkyWalking, MySql 等)。如果你已经建立起了日志系统和指标体系,却苦恼于没有一个监控系统,也许它能帮到你。除了日志监控,Frostmourne还可以用于运维监控,业务监控等多维度的监控,规则语法强大使得自定义性和使用场景非常丰富。...

redis-sentinel简单看分布式高可用和一致性的取舍

redis-sentinel Redis Sentinel 是一个分布式系统,为Redis提供高可用性解决方案。可以理解哨兵机制就是在复制基础上的一套监管系统,能及时的进行故障转移。 流言协议 (gossip protocols)sentinel集群判断master是否下线是使用流言协议。 每个Sentinel进程会以每秒一次的频率向已知的主服务器、从服务器以及其他的Sen...

使用强大的DBPack处理分布式事务(PHP使用教程)

主流的分布式事务的处理方案近些年,随着微服务的广泛使用,业务对系统的分布式事务处理能力的要求越来越高。 早期的基于XA协议的二阶段提交方案,将分布式事务的处理放在数据库驱动层,实现了对业务的无侵入,但是对数据的锁定时间很长,性能较低。 现在主流的TCC事务方案和SAGA事务方案,都是基于业务补偿机制,虽然没有全局锁,性能很高,但是一定程度上入侵了业务逻辑,增加了业务开发人员的开...

华为云王楠楠:分布式云原生全域调度的技术和实践

嘉宾 | 王楠楠   整理 | 小雨青年 出品 | CSDN云原生 2022年6月21日,在CSDN云原生系列在线峰会第10期“华为云HCDE专场暨分布式技术峰会”上,华为云分布式云架构师王楠楠分享了分布式云原生全域调度的技术和实践。 华为分布式原生技术整体介绍 如何理解云? 计算能力作为一种商品,可以在互联...

一文详解|Go 分布式链路追踪实现原理

在分布式、微服务架构下,应用一个请求往往贯穿多个分布式服务,这给应用的故障排查、性能优化带来新的挑战。分布式链路追踪作为解决分布式应用可观测问题的重要技术,愈发成为分布式应用不可缺少的基础设施。本文将详细介绍分布式链路的核心概念、架构原理和相关开源标准协议,并分享我们在实现无侵入 Go 采集 Sdk 方面的一些实践。 为什么需要分布式链路追踪系统 微服务架构给运维、排障带来新...

从单机到分布式数据库存储系统的演进

存储系统概览存储系统是指能高效存储,持久化用户数据的一系列系统软件。在众多的存储系统中,以下是三类比较主流的存储产品及其特点分析: 块存储 底层语义,基于 block 编程;接口朴素:在 Linux 的 IO 软件栈中,要直接使用块存储的话就要基于 LBA 编程,因此接口较为简单朴素,再加上块存储本身处于整个存储软件栈的底层,这导致块存储使用起来并不十分友好;追求低时延、高吞吐...

Redis 引入Lua脚本实现分布式以及用 Redisson 实现分布式锁

Redis 分布式锁一. 问题场景 在用户操作中,一个线程去修改用户的状态,首先从数据库中读出当前用户状态,然后在内存中进行修改,修改完成之后再存回数据库中。在单线程中,这个操作是没有问题的。但在多线程中,由于读取、修改、存储 这是三个操作,不是原子操作,所以在多线程中,这样是会出问题的。对于这样的问题,我们可以使用分布式锁来限制程序的并发执行。 二. 基本用法 分布式锁实现的...