调研与选型

调研与选型可以实际测试，压测用数据说话 数据库数据库类型：结构化的还是非结构化的，非结构化的话是kv、向量还是图类型；又或者是混合 数据规模： 读写比例： 事务处理、一致性要求： 并发QPS要求： 存储成本： 使用（接入、部署、运维）成本： 开发框架编程语言技术栈架构微服务服务注册与发现服务注册与发现，通常会用到注册中心，记录了有哪些服务和对应的实例。常用的注册中心有 consul etcd
Work

项目管理

项目管理流程管理流程管理，站在个人角度来说，需要按时推进项目进行，其中，5个关键点为 1.识别事情的重要性和优先级 2.对做的事情建立起认知框架（难易程度、资源需求，里程碑设定，结果目标量化） 3.定期与上级及相关方沟通，识别潜在风险，保证工作持续性， 4.对工作做Plan B，应对突发情况 5.结果上还不错 有重点、有过程、有汇报，让上级有安全感和掌控感。 遇到困难的处理，例如有五件六件七件事的
Work

国际化

国际化和本地化国际化与本地化（Internationalization and localization,通常用i18n和L10N表示），国际化是将针对某个地区设计的程序进行重构，以使它能够在更多地区使用，本地化是指在一个面向国际化的程序中增加对新地区的支持。 所谓的国际化：就是根据特定的locale信息，提取与之相应的字符串或其它一些东西（比如时间和货币的格式）等等。这涉及到三个问题： 1、如何
Work

Persistence

持久化Redis提供了2种持久化的方式，「 AOF 日志」和 「 RDB 快照」。 这两种计数都会各用一个日志文件记录信息，但形式的内容不同。 AOF文件记录操作命令 RDB的文件内容是二进制数据。 AOF日志AOF全称Append only file，每一条命令以追加形式写入到一个文件。重启Redis时，读取这个文件以达到恢复的作用。注意，只会记录写操作，因为读操作不改变数据。 文件内容
Redis

Idea

Idea1. epoll中使用哈希表替换红黑树对比来看，从时间来说 红黑树所有操作都是$O(log{n})$；哈希表是$O(1)$，但存在哈希碰撞问题，且扩容时需要复制全表，为$O(n)$。 从空间上看 红黑树是离散结构，不要求连续空间；哈希表是连续空间。 红黑树新增节点只需要分配节点内存；哈希表新增可能涉及扩容，扩容时需要占用更大空间。 树中元素有序，而哈系表元素无序。 为什么操作
Others

Cache

缓存缓存雪崩由于缓存一般是会设置过期时间，所以，缓存大量同时失效就会出现问题。 即，缓存血崩是指缓存大量失效或者Redis故障，导致大量请求到了数据库上。 缓存雪崩原因 缓存大量同时失效 Redis宕机 针对不同原因，有不同的解决方式 缓存大量同时失效 分散设置过期时间，尽量均匀在时间线上。 加互斥锁，保证只有一个请求来构建缓存，记得最好设置过期时间。 双key策略：主key设置过期时间，备用
Redis

os-overview

Operating System硬件结构CPU缓存一致性由于内存和CPU读写速度的差异，为了加速内存中数据的读写，CPU引入了缓存体系。 缓存的速度比内存快很多很多，将需要读写的数据读取到缓存中，下一次就无须再去内存中寻找。 但缓存也是内存数据的一份副本，也就存在着数据不一致的情况，需要保证数据同步。 写直达（Write Through）：每次需要写缓存中的数据时就修改内存的数据，使其同步。对于读
Operating System

Cache Coherence

缓存一致性CPU缓存由于内存和CPU之间速度存在的巨大差异，在CPU和内存之间引入缓存，缓存速度介于内存于CPU之间，以减轻这种差异。 如果仅仅是从内存读到缓存，然后读写缓存，最后写会内存这3个简单步骤，缓存的作用就发挥不出来，甚至因为多拷贝、写回一次导致副作用。而由于程序的 时间局部性（Temporal Locality）：如果一个信息项正在被访问，那么在近期它很可能还会被再次访问。 空间局部
Operating System

File System

文件系统文件系统：FAT、HPFS Linux：EXT4 Windows：NTFS 文件存储连续存储即文件头保存起始地址和文件大小。 连续空间存放的方式虽然读写效率高，但是有「磁盘空间碎片」和「文件长度不易扩展」的缺陷。 磁盘空间碎片是由于是连续连续存放，当空间不足以放下新文件就会出现该现象。 不易扩展就得找到一个更大的新空间，复制过去，很耗时。 非连续空间存放方式非连续空间存放方式分为「链表
Operating System

事务

事务起因: 转账时, 我这边扣100, 你那边加100, 当我这边扣完, 你那边还没加, 服务器出断电, 导致我这少了100, 你那没加, 就出现了问题. 解决办法: 事务（Transaction） 原子性（Atomicity）：一个事务中的所有操作，要么全部完成，要么全部不完成，不会结束在中间某个环节，而且事务在执行过程中发生错误，会被回滚到事务开始前的状态，就像这个事务从来没有执行过一样；
MySQL

Lock

锁 一般规律MySQL的锁基本上都有X型（exclusive：独占）和S（share：共享）型之分，用于读的更高并发。 除了全局锁（只读）和插入意向锁（只有IX（intention exclusive）型，插入只能独占）。 MySQL 加锁时，是先生成锁结构，然后设置锁的状态，如果锁状态是等待状态，并不是意味着事务成功获取到了锁，只有当锁状态为正常状态时，才代表事务成功获取到了锁 。 全局锁命令如
MySQL

Virtual Memory

Linux虚拟内存每个用户进程都只能看到虚拟内存，操作虚拟内存。虚拟内存到物理内存的映射任务由操作系统完成。 每个用户进程看到的虚拟内存地址都是连续的，且具有一定布局规则。 每个用户的虚拟内存之间是相互隔离的，相互独立，无法感知其他进程虚拟内存的存在。 虚拟内存采用lazy loading机制，只有真正用到内存，才会将虚拟内存映射到物理内存。 用户空间32位Linux用户空间为3G，64下实际用到
Linux

Slub

SlubSlab是基于Buddy的分配器，也就是首先向Buddy分配对应的大内存，对这块内存进行管理，从而避免内部碎片。 具体的，Slab向Buddy申请特地大小的内存，这块内存的大小要求能被结构体大小整除，即正好能放下完整的对象，不会存在内部碎片。 Slab策略看起来像池的思想，但由于对象类型很多，不可能每个都分配一个池，Slab可以看成一个通用的拟内存池机制。 一个Slab包含一个或多个连续的
Linux

Process

Linux进程进程状态进程创建进程创建可以通过3个函数 fork：拷贝当前进程，创建出一个子进程。 vfork：类似fork，但不复制父进程的页表项。但由于copy on write技术的出现，这个函数的相对于fork的优势越来越小。 clone：最基本的函数，根据各种标志位指定父子进程需要共享的资源，比如虚拟内存。共享虚拟内存的话就是常说的线程。 实际上，fork和vfork的实现都是调用的
Linux

SlidingWindow

滑动窗口 Sliding Window 滑动窗口一定是连续的，因此子数组类题目才能用。也有在数组两头的，一头变长一头减短。 移动窗口时变动的值最好是与两头的数据直接相关的，像是239. 滑动窗口最大值中取的是最大值，因此需要花$O(k)$的时间去获取最大值，总体为$O（n*k)$时间复杂度，对于Hard题是TEL的。 一般滑动窗口都是对容器内元素的__个数或者种类__进行限制，例如窗口内不能出现重
LeetCode

背包

背包问题01背包 一定容量的背包所能装下的最大物品价值。 对于每个物品，选与不选两个状态，取最大值。 先遍历物品，再遍历容量。如果是一维数组 注意01背包是从后遍历来防止重复选物品。 完全背包就从物品的容量开始，到最大容量，即可以重复选。 经典 416. 分割等和子集 1049. 最后一块石头的重量 II 变式 多维01背包 494. 目标和 元素正负两种状态，转化成加法的01背包，看
LeetCode > Dynamic Programming

Question

为什么需要三次握手? 阻⽌重复历史连接的初始化（主因) 当旧的SYN报⽂先到达服务端，服务端回⼀个ACK+SYN报⽂ 客户端收到后可以根据⾃身的上下⽂，判断这是⼀个历史连接（序列号过期或超时），那么客户端就会发送 RST 报⽂给服务端，表示中⽌这⼀次连接。 两次握⼿在收到服务端的响应后开始发⽣数据，不能判断当前连接是否是历史连接。 三次握⼿可以在客户端准备发送第三次报⽂时，客户端因有⾜够的上下
Internet > TCP&IP

TCP

TCPTCP 是面向连接的、可靠的、基于字节流的传输层通信协议。 面向连接：一定是「一对一」才能连接，不能像 UDP 协议可以一个主机同时向多个主机发送消息，也就是一对多是无法做到的； 可靠的：无论的网络链路中出现了怎样的链路变化，TCP 都可以保证一个报文一定能够到达接收端； 字节流：用户消息通过 TCP 协议传输时，消息可能会被操作系统「分组」成多个的 TCP 报文，如果接收方的程序如果不知
Internet > TCP&IP

IP

IP地址IP地址演变过程, 首先是IPv4. IPv4共32位bit, 以每 8 位为组，共分为 4 组，每组以「.」隔开，再将每组转换成十进制。 由于只有32位, 故最大值为 也就说，最大允许 43 亿台计算机连接到网络。 实际上，IP 地址并不是根据主机台数来配置的，而是以网卡。像服务器、路由器等设备都是有 2 个以上的网卡，也就是它们会有 2 个以上的 IP 地址。 因此，让 43
Internet > TCP&IP

Internet-Miscellany

数据链路层数据链路层总时延的瓶颈依赖于多个因素，如 发送速率：主机或路由器发送数据帧所需要的时间。 传播速率：电磁波在信道中传播的速度。 处理时延：主机或路由器对帧的处理，如分析帧首尾、提取数据部分、差错检验、查找转发表等。 排队时延：在路由器中排队再发出的时延。 数据链路层的工作 封装成帧：互联网上传输的数据以分组为单位，分组交换的必然要求就是帧定界，尤其在数据出现错误时，封装成帧可以让出
Internet

RSA与ECDHE

RSA算法的TLS四次握手检测对方的数字签名， 验证对方是否有数字签名对应的私钥，并安全地告知对称加密密钥。 TLS 第一次握手： 客户端首先会发一个「Client Hello」消息，字面意思我们也能理解到，这是跟服务器「打招呼」。 消息里面有客户端使用的 TLS 版本号、支持的密码套件列表，以及生成的随机数（Client Random），这个随机数会被服务端保留，它是生成对称加密密钥的材料
Internet > HTTP

加密算法

加密算法由于HTTP是明文传输，存在安全问题。 窃听风险，比如通信链路上可以获取通信内容，用户号容易没。 篡改风险，比如强制植入垃圾广告，视觉污染，用户眼容易瞎。 冒充风险，比如冒充淘宝网站，用户钱容易没。 HTTPS 在 HTTP 与 TCP 层之间加入了 SSL/TLS 协议，可以很好的解决了上述的风险： 信息加密：交互信息无法被窃取。 校验机制：无法篡改通信内容，篡改了就不能正常
Internet > HTTP

Memory

Golang内存内存分配概况内存分配的算法有很多种，比如 线性分配器 空闲链表分配器 线性分配器类似栈的分配，直接移动内存指针，简单高效， 缺点是 但无法回收中间部分的内存。 要回收的话，需要通过拷贝来回收，常用回收方法有 标记压缩（Mark-Compact） 复制回收（Copying GC） 分代回收（Generational GC） 线性分配器需要与具有拷贝特性的垃圾回收算法配合，
Golang

GC

垃圾回收简介Golang的垃圾回收策略为：并发三色标记法+混合写屏障机制。 三色标记法是一种标记-清除法的实现，三色标记法在并发的时候会存在漏标问题，也就是可能存在资源泄露，可以通过插入写或者删除写屏障来避免。（还有内存碎片的问题，通过TCMalloc解决） 但实际上，还有栈上的对象需要考虑，栈对象可能设计频繁的轻量操作，对这些操作来说，屏障会带来不小的成本。所以Golang引入了混合写屏障，这样
Golang

distributed-system

分布式、集群属性可靠性可靠性（Reliability）是指系统可以无故障地持续运行。与可用性相反，可靠性是根据时间间隔而不是任何时刻来进行定义的。可靠性相关的几个指标如下： 可靠性（Reliability）是指系统可以无故障地持续运行。与可用性相反，可靠性是根据时间间隔而不是任何时刻来进行定义的。可靠性相关的几个指标如下： MTBF（Mean Time Between Failure） 即平均无故
Articles

Process Communication

进程通信线程之间共享全局变量、文件描述符表、堆区资源等。通信较为方便，但进程之间通信需要跨越虚拟内存的鸿沟。 进程之间通信种方式有 管道 消息队列 共享内存 信号量 信号 Socket 接下来分别介绍他们和在Linux下的实现。 管道匿名管道 在Linux下，命令中传递参数用的|就是匿名管道，例如 ps aux | grep mysql 它将前一个命令ps aux的结果传递给下一个命令gre
Articles

Consistency

一致性一致性模型有很多，如 线性一致性 顺序一致性 因果一致性 最终一致性 等等。 线性一致性线性一致性一开始是在并发领域提出的。 并发角度一致性模型是指，在并发编程中，系统和开发者之间的一种约定。如果开发者遵循某种规则，那么开发者执行读操作或者写操作的结果是可预测的。 重点落在可预测的，可预测保证了程序逻辑的确定性。这么说起来很抽象， 在我看来，从并发角度，线性一致性避免了data race
Articles