1. 设计背景许多互联网公司，每天都会产生大量的日志数据，包括用户行为记录、运营指标、系统运行状况的监控数据等。为了分析用户的行为或者监控系统的状态，需要对这些数据进行周期性的分析和统计。 传统的日志分析系统提供了一种离线处理日志信息的可扩展方案（类似于从生产环境的服务器上抓取日志文件，然后聚合到数据仓库进行离线分析），但如果要进行实时地处理，通常会有较大延迟。 kafka构建了一种新颖的消息系统 ...

1. kafka基础1.1 定位和功能kafka是一个分布式的消息系统，使用scala语言编写，现已经贡献给Apache基金会。主要有以下特点： 可以发布与订阅消息：消息可以细分为不同的主题，支持多种消息发布和订阅需求。 可以存储消息记录，并具有较好容错性：可以按时间或者容量大小清理旧消息。 支持弹性扩展，以支撑海量数据规模：kafka是分布式的，一方面可以提升系统吞吐，另一方面可以提升可用性。 ...

1. 虚拟文件系统概述1.1 VFS简介虚拟文件系统（Virtual File System，简称VFS）是Linux内核的子系统之一，它为用户程序提供文件和文件系统操作的统一接口，屏蔽不同文件系统的差异和操作细节。借助VFS可以直接使用open()、read()、write()这样的系统调用操作文件，而无须考虑具体的文件系统和实际的存储介质。 举个例子，Linux用户程序可以通过read() 来 ...

扫盲篇操作系统存储层次常见的计算机存储层次如下： 寄存器：CPU提供的，读写ns级别，容量字节级别。 CPU缓存：CPU和CPU间的缓存，读写10ns级别，容量较大一些，百到千节。 主存：动态内存，读写100ns级别，容量GB级别。 外部存储介质：磁盘、SSD，读写ms级别，容量可扩展到TB级别。 CPU内的缓存示意图如下： 其中 L1d 和 L1i 都是CPU内部的cache， L1d ...

写在前面 进程基础 进程概念 进程描述符 进程创建 上下文切换 init进程 进程应用 进程间通信 信号处理 后台进程与守护进程 浅谈nginx多进程模型 常用工具介绍 ps: 查看进程属性 lsof: 查看打开的文件情况 netstat: 查看网络连接情况 strace: 查看系统调用情况 进程基础基础概念进程是操作系统的基本概念之一，它是操作系统分配资源的基本单位，也是程序 ...

写在前面 线程基础 线程概念 Linux线程实现方式 Linux Thread vs Process 资源共享层面的差异 调度层面的差异 性能层面的差异 Thread 缺点 && 应用场景 Linux Thread 使用 创建线程 内核线程 同步操作 常见的多线程编程模式 leader-follow 模型（主从） producer-consumer模型（生产者消费者） ...

本文简介本文主要叙述在 ubuntu 16.04 环境上搭建 ceph 集群，并介绍 k8s 集群以 storageclass 方式使用 ceph 的两种方式。本文测试环境共 4 台机器:1234ceph-monceph-01ceph-02ceph-03 其中 ceph-mom 当做集群的监控节点，剩下三台当做数据节点，其中 ceph-01、ceph-02、ceph-03 机器有挂了 2 块磁盘， ...

kubernetes CRIkubernetes是一个容器编排系统，可以便捷的部署容器，它同时支持Docker和Rocket两种容器类型。然而不管是Docker还是Rocket都需要通过内部、不太稳定的接口直接集成到kubelet的源码中，这样的集成过程需要开发者十分熟悉kubelet内部原理，同时维护起来也非常麻烦。在kubernetes1.5版本中，提供了一个清晰定义的抽象层消除了这些障碍，开 ...

容器编排服务变更策略调研本文调研目前流行的三款容器编排平台的服务变更策略，包括kubernetes、swarm、nomad。其中它们的版本信息如下: 平台|版本kubernetes|v1.8swarm|v1.2.8nomad|v0.6.3 下面分别介绍一下这些平台的服务变更策略。 kubernetes在Kubernetes中，是由deployment控制器来控制服务变更的过程，它目前提供了 ...

Linux Namespace简介Linux Namespace提供了一种内核级别隔离系统资源的方法，通过将系统的全局资源放在不同的Namespace中，来实现资源隔离的目的。不同Namespace的程序，可以享有一份独立的系统资源。目前Linux中提供了六类系统资源的隔离机制，分别是： Mount: 隔离文件系统挂载点 UTS: 隔离主机名和域名信息 IPC: 隔离进程间通信 PID: 隔离进 ...