1. Linux IO简介 1.1 IO概述 IO是Input、Output的简称，也就是输入和输出。在计算机世界中，除了计算和存储，剩下的几乎都是IO，它包含硬件设备层面的数据交换，也包含软件层面的数据传输。 1.2 Linux IO方式 Linux IO方式表示Linux系统处理IO事件的方式，IO事件包括可读事件、可写事件、错误事件等。Linux IO方式主要包括： 阻塞IO：在IO ...

1. cgroups简介 1.1 功能和定位 Cgroups全称Control Groups，是Linux内核提供的物理资源隔离机制，通过这种机制，可以实现对Linux进程或者进程组的资源限制、隔离和统计功能。比如可以通过cgroup限制特定进程的资源使用，比如使用特定数目的cpu核数和特定大小的内存，如果资源超限的情况下，会被暂停或者杀掉。 Cgroup是于2.6内核由Google公司主导引 ...

1. 设计背景 许多互联网公司，每天都会产生大量的日志数据，包括用户行为记录、运营指标、系统运行状况的监控数据等。为了分析用户的行为或者监控系统的状态，需要对这些数据进行周期性的分析和统计。 传统的日志分析系统提供了一种离线处理日志信息的可扩展方案（类似于从生产环境的服务器上抓取日志文件，然后聚合到数据仓库进行离线分析），但如果要进行实时地处理，通常会有较大延迟。 kafka构建了一种新颖的消息 ...

1. kafka基础 1.1 定位和功能 kafka是一个分布式的消息系统，使用scala语言编写，现已经贡献给Apache基金会。主要有以下特点： 可以发布与订阅消息：消息可以细分为不同的主题，支持多种消息发布和订阅需求。 可以存储消息记录，并具有较好容错性：可以按时间或者容量大小清理旧消息。 支持弹性扩展，以支撑海量数据规模：kafka是分布式的，一方面可以提升系统吞吐，另一方面可以提升 ...

1. 虚拟文件系统概述 1.1 VFS简介 虚拟文件系统（Virtual File System，简称VFS）是Linux内核的子系统之一，它为用户程序提供文件和文件系统操作的统一接口，屏蔽不同文件系统的差异和操作细节。借助VFS可以直接使用open()、read()、write()这样的系统调用操作文件，而无须考虑具体的文件系统和实际的存储介质。 举个例子，Linux用户程序可以通过read ...

扫盲篇 操作系统存储层次 常见的计算机存储层次如下： 寄存器：CPU提供的，读写ns级别，容量字节级别。 CPU缓存：CPU和CPU间的缓存，读写10ns级别，容量较大一些，百到千节。 主存：动态内存，读写100ns级别，容量GB级别。 外部存储介质：磁盘、SSD，读写ms级别，容量可扩展到TB级别。 CPU内的缓存示意图如下： 其中 L1d 和 L1i 都是CPU内部的cache， ...

写在前面 进程基础 进程概念 进程描述符 进程创建 上下文切换 init进程 进程应用 进程间通信 信号处理 后台进程与守护进程 浅谈nginx多进程模型 常用工具介绍 ps: 查看进程属性 lsof: 查看打开的文件情况 netstat: 查看网络连接情况 strace: 查看系统调用情况 进程基础 基础概念 进程是操作系统的基本概念之一，它是操作系统分配资源的 ...

写在前面 线程基础 线程概念 Linux线程实现方式 Linux Thread vs Process 资源共享层面的差异 调度层面的差异 性能层面的差异 Thread 缺点 && 应用场景 Linux Thread 使用 创建线程 内核线程 同步操作 常见的多线程编程模式 leader-follow 模型（主从） producer-consumer模型（生产 ...

本文简介 本文主要叙述在 ubuntu 16.04 环境上搭建 ceph 集群，并介绍 k8s 集群以 storageclass 方式使用 ceph 的两种方式。本文测试环境共 4 台机器: 1234ceph-monceph-01ceph-02ceph-03 其中 ceph-mom 当做集群的监控节点，剩下三台当做数据节点，其中 ceph-01、ceph-02、ceph-03 机器有挂了 2 块 ...

kubernetes CRI kubernetes是一个容器编排系统，可以便捷的部署容器，它同时支持Docker和Rocket两种容器类型。然而不管是Docker还是Rocket都需要通过内部、不太稳定的接口直接集成到kubelet的源码中，这样的集成过程需要开发者十分熟悉kubelet内部原理，同时维护起来也非常麻烦。在kubernetes1.5版本中，提供了一个清晰定义的抽象层消除了这些障碍 ...