Mysql学习

数据结构

在 JDK1.8 中，HashMap 是由 数组+链表+红黑树构成(1.7版本是数组+链表)

当一个值中要存储到HashMap中的时候会根据Key的值来计算出他的hash，通过hash值来确认存放到数组中的位置，如果发生hash冲突就以链表的形式存储，当链表过长的话，HashMap会把这个链表转换成红黑树来存储。

基本属性

成员变量

// 默认初始容量大小：2的4次方 16 0
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4;

//最大容量：2的30次方,Integer.MAX_VALUE
static final int MAXIMUM_CAPACITY = 1 << 30;

//默认加载因子
static final float DEFAULT_LOAD_FACTOR = 0.75f;

//计数阈值至少为8转化为使用树而不是列表
static final int TREEIFY_THRESHOLD = 8;

//计数阈值小于6反树化，即红黑树转为列表
static final int UNTREEIFY_THRESHOLD = 6;

//可对桶进行树化的最小表容量
static final int MIN_TREEIFY_CAPACITY = 64;

//表在第一次使用时初始化，大小调整为必要的。在分配时，长度总是2的幂。在某些操作中，我们也允许长度为零。目前不需要的引导机制。) 
transient Node<K,V>[] table;

//保存缓存的entrySet()
transient Set<Map.Entry<K,V>> entrySet;

//包含的键值映射的元素数量
transient int size;

//HashMap在结构上被修改的次数，用于快速失败机制
transient int modCount;

// 调整大小的阈值(容量*负载因子)
int threshold;

//哈希表扩容使用的负载因子
final float loadFactor;

这里需要注意的一点是table数组并不是在构造方法里面初始化的，它是在resize(扩容)方法里进行初始化的。

Node的数据结构

static class Node<K,V> implements Map.Entry<K,V> {
    final int hash;
    final K key;
    V value;
    Node<K,V> next;

    Node(int hash, K key, V value, Node<K,V> next) {
        this.hash = hash;
        this.key = key;
        this.value = value;
        this.next = next;
    }
}

Node的数据结构是一个链表结构，红黑树也是基于Node的数据结构构建得到。

TreeNode<K,V> replacementTreeNode(Node<K,V> p, Node<K,V> next) {
    return new TreeNode<>(p.hash, p.key, p.value, next);
}

构造方法

public HashMap(int initialCapacity, float loadFactor) {
    if (initialCapacity < 0)
        throw new IllegalArgumentException("Illegal initial capacity: " +
                                           initialCapacity);
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;
    if (loadFactor <= 0 || Float.isNaN(loadFactor))
        throw new IllegalArgumentException("Illegal load factor: " +
                                           loadFactor);
    this.loadFactor = loadFactor;
    // 根据tableSizeFor获取扩容阈值
    this.threshold = tableSizeFor(initialCapacity);
}

public HashMap(int initialCapacity) {
    this(initialCapacity, DEFAULT_LOAD_FACTOR);
}

public HashMap() {
    this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
}

public HashMap(Map<? extends K, ? extends V> m) {
    this.loadFactor = DEFAULT_LOAD_FACTOR;
    putMapEntries(m, false);
}

• 当初始容量initialCapacity大于最大容量MAXIMUM_CAPACITY大小时，设置成最大容量MAXIMUM_CAPACITY大小，防止溢出。

根据tableSizeFor获取扩容阈值。

static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

对任意十进制数转换为2的整数幂，结果是这个数本身的最高有效位的前一位变成1，最高有效位以及其后的位都变为0。

核心思想是，先将最高有效位以及其后的位都变为1，最后再+1，就进位到前一位变成1，其后所有的满2变0。所以关键是如何将最高有效位后面都变为1。

此时这里的阈值threshold不是初始容量*负载因子，不必在意，这只是临时的，真正设置threshold在后面put方法中。

当数组长度为2的幂次方时，可以使用位运算来计算元素在数组中的下标。
HashMap是通过index=hash&(table.length-1)这条公式来计算元素在table数组中存放的下标，就是把元素的hash值和数组长度减1的值做一个与运算，即可求出该元素在数组中的下标，这条公式其实等价于hash%length，也就是对数组长度求模取余，只不过只有当数组长度为2的幂次方时，hash&(length-1)才等价于hash%length，使用位运算可以提高效率。

另外增加hash值的随机性，减少hash冲突。
如果 length 为 2 的幂次方，则 length-1 转化为二进制必定是 11111……的形式，这样的话可以使所有位置都能和元素hash值做与运算，如果是如果 length 不是2的次幂，比如length为15，则length-1为14，对应的二进制为1110，在和hash 做与运算时，最后一位永远都为0 ，浪费空间。

方法

put方法

public V put(K key, V value) {
    // 调用putVal方法， hash(key)-计算key的hash值
    return putVal(hash(key), key, value, false, true);
}

这里分别调用了两个方法。

hash方法

static final int hash(Object key) {
    int h;
    return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}

计算key.hashCode()并将哈希的高位数扩展到低位数。

• key.hashCode()获取key的hashCode值
• key的hashCode值与其无符号右移16位值进行异或^。从而让Hash值分布更均匀，右移16位就能让低16位和高16位进行异或，将高位的碰撞影响向下扩散，为了增加hash值的随机性。

putVal方法

final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                   boolean evict) {
    // 指向hash数组
    Node<K,V>[] tab;
    // 初始化为table中第一个节点
    Node<K,V> p; 
    // n为数组长度
    // i为索引
    int n, i;
    // 如果数组为空，进行 resize() 初始化
    if ((tab = table) == null || (n = tab.length) == 0)
        n = (tab = resize()).length;
    // (n - 1) & hash相当于取模，获取数组的索引位置
    // 如果计算的位置上Node不存在，直接创建节点插入
    if ((p = tab[i = (n - 1) & hash]) == null)
        tab[i] = newNode(hash, key, value, null);
    else {
        // 如果计算的位置上Node 存在，链表或者红黑树处理
        // 果要插入的key-value已存在，用e指向该节点
        Node<K,V> e; K k;
        // 如果已存在的key和传入的key一模一样，则需要覆盖
        if (p.hash == hash &&
            ((k = p.key) == key || (key != null && key.equals(k))))
            e = p;
        // 如果是红黑树
        else if (p instanceof TreeNode)
            // 将元素put到红黑树中
            e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
        else {
            // 否则如果是链表的情况，对链表进行遍历，并统计链表长度binCount
            for (int binCount = 0; ; ++binCount) {
                // 如果节点链表的next为空
                if ((e = p.next) == null) {
                    // 找到节点链表中next为空的节点，创建新的节点插入
                    p.next = newNode(hash, key, value, null);
                    // 如果节点链表中数量超过TREEIFY_THRESHOLD（8）个，转化为红黑树
                    if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                        // 树化
                        treeifyBin(tab, hash);
                    break;
                }
                // 判断节点链表中的key和传入的key是否一样
                // 如果要插入的key-value已存在则终止遍历，否则向后遍历
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    // 如果一样的话，退出
                    break;
                p = e;
            }
        }
        // 如果e不为null说明要插入的key-value已存在
        if (e != null) {
            V oldValue = e.value;
            // onlyIfAbsent 表示是否仅在 oldValue 为 null 的情况下更新键值对的值
            if (!onlyIfAbsent || oldValue == null)
                // 设置新的值
                e.value = value;
            afterNodeAccess(e);
            // 返回旧的结果
            return oldValue;
        }
    }
    ++modCount;
    // 当前大小大于临界大小，扩容
    if (++size > threshold)
        resize();
    afterNodeInsertion(evict);
    return null;
}

putVal方法总结归纳主要做了如下几件事：

1. 当桶数组 table 为空时，通过扩容的方式初始化 table。
2. 查找要插入的键值对是否已经存在，存在的话根据条件判断是否用新值替换旧值。
3. 如果不存在，则将键值对链入链表中，并根据链表长度决定是否将链表转为红黑树。
4. 判断键值对数量是否大于阈值，大于的话则进行扩容操作。

resize方法

final Node<K,V>[] resize() {
    Node<K,V>[] oldTab = table;
    // 现有容量的大小，等于数组的长度，如果数组为空，返回0
    int oldCap = (oldTab == null) ? 0 : oldTab.length;
    // 现有的扩容阈值
    int oldThr = threshold;
    // newCap表示新的容量，newThr新的扩容阈值
    int newCap, newThr = 0;
    // 如果现有容量大于0，表示已经初始化过了
    if (oldCap > 0) {
        // 如果现有容量已经大于最大容量。结束扩容，直接返回
        if (oldCap >= MAXIMUM_CAPACITY) {
            threshold = Integer.MAX_VALUE;
            return oldTab;
        }
         // 否则，如果扩大两倍之后的容量小于最大容量，且现有容量大于等于初始容量16    
        else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                 oldCap >= DEFAULT_INITIAL_CAPACITY)
             // 新的扩容阀值扩大为两倍，左移<<1 相当于乘以2
            newThr = oldThr << 1;
    }
    // 若数组未被初始化，而threshold>0说明调用了HashMap(initialCapacity)和HashMap(initialCapacity, loadFactor)构造器
    else if (oldThr > 0)
         // 进入这里，新的容量等于当前的扩容阈值，
        newCap = oldThr;
    // 若table数组未被初始化，且threshold为0说明调用HashMap()构造方法
    else {               
        // 新的容量等于默认容量
        newCap = DEFAULT_INITIAL_CAPACITY;
        // 新的扩容阈值等于默认负载因子0.75*默认容量16=12
        newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
    }
    // 如果新的扩容阈值等于0
    if (newThr == 0) {
        // 设置新的扩容阈值等于新的容量*负载因子
        float ft = (float)newCap * loadFactor;
        newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                  (int)ft : Integer.MAX_VALUE);
    }
    // 设置hashmap对象的扩容阈值位新的扩容阈值
    threshold = newThr;
    @SuppressWarnings({"rawtypes","unchecked"})
    // 初始化数组     
    Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
    // 设置hashmap对象的桶数组为newTab
    table = newTab;
    // 下面是rehash的过程
    // 如果旧的桶数组不为空，则遍历桶数组，并将键值对映射到新的桶数组中
    if (oldTab != null) {
        // 遍历老的数组
        for (int j = 0; j < oldCap; ++j) {
            Node<K,V> e;
            // 如果数组索引位置不为空
            if ((e = oldTab[j]) != null) {
                oldTab[j] = null;
                // 如果节点下面没有链表或者红黑树，只链接一个节点
                if (e.next == null)
                    // 用新数组容量取模，设置到新数组中
                    newTab[e.hash & (newCap - 1)] = e;
                // 如果节点是红黑树    
                else if (e instanceof TreeNode)
                    // 需要对红黑树进行拆分
                    ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
                // 如果节点是链表 
                else {
                    Node<K,V> loHead = null, loTail = null;
                    Node<K,V> hiHead = null, hiTail = null;
                    Node<K,V> next;
                     // 遍历链表，并将链表节点按原顺序根据高低位分组
                    do {
                        next = e.next;
                        // 使用的是：e.hash & oldCap，若为0则索引位置不变，不为0则新索引=原索引+旧数组长度
                        if ((e.hash & oldCap) == 0) {
                            if (loTail == null)
                                loHead = e;
                            else
                                loTail.next = e;
                            loTail = e;
                        }
                        else {
                            if (hiTail == null)
                                hiHead = e;
                            else
                                hiTail.next = e;
                            hiTail = e;
                        }
                    } while ((e = next) != null);
                     // 将分组后的链表映射到新桶中
                    if (loTail != null) {
                        loTail.next = null;
                        newTab[j] = loHead;
                    }
                    if (hiTail != null) {
                        hiTail.next = null;
                        newTab[j + oldCap] = hiHead;
                    }
                }
            }
        }
    }
    return newTab;
}

resize方法大致做了如下的事情：

1. 计算新桶数组的容量 newCap 和新阈值 newThr。
2. 根据计算出的 newCap 创建新的桶数组，桶数组 table 也是在这里进行初始化的。
3. 将键值对节点重新映射到新的桶数组里。如果节点是 TreeNode 类型，则需要拆分红黑树。如果是普通链表节点，则节点按原顺序进行分组。

通过hash & oldCap的值来判断，若为0则索引位置不变，不为0则新索引=原索引+旧数组长度
因为我们使用的是2次幂的扩展(指长度扩为原来2倍)，所以，元素的位置要么是在原位置，要么是在原位置再移动2次幂的位置。因此，我们在扩充HashMap的时候，不需要像JDK1.7的实现那样重新计算hash，只需要看看原来的hash值新增的那个bit是1还是0就好了，是0的话索引没变，是1的话索引变成“原索引+oldCap

把链表转换成红黑树，树化需要满足以下两个条件：

• 链表长度大于等于8
• table数组长度大于等于64

get方法

public V get(Object key) {
    Node<K,V> e;
    return (e = getNode(hash(key), key)) == null ? null : e.value;
}

getNode方法

final Node<K,V> getNode(int hash, Object key) {
    // 指向hash数组
    Node<K,V>[] tab;
    // first指向hash数组链接的第一个节点，e指向下一个节点
    Node<K,V> first, e; 
    // n:hash数组长度
    int n; K k;
    // 定位键值对所在桶的位置
    if ((tab = table) != null && (n = tab.length) > 0 &&
        //(n - 1)& hash相当于取模运算，算出桶的在桶数组中的位置
        (first = tab[(n - 1) & hash]) != null) {
        //根据hash算法找到对应位置的第一个数据，如果是指定的key，则直接返回
        if (first.hash == hash && // always check first node
            ((k = first.key) == key || (key != null && key.equals(k))))
            return first;
        if ((e = first.next) != null) {
            //如果该节点为红黑树，则通过树进行查找
            if (first instanceof TreeNode)
                return ((TreeNode<K,V>)first).getTreeNode(hash, key);
            //如果该节点是链表，则遍历查找到数据
            do {
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    return e;
            } while ((e = e.next) != null);
        }
    }
    return null;
}

大致逻辑如下：

1. 根据hash值查找到指定位置的数据。
2. 校验指定位置第一个节点的数据是key是否为传入的key，如果是直接返回第一个节点，否则继续查找第二个节点。
3. 如果数据是TreeNode（红黑树结构），直接通过红黑树查找节点数据并返回。
4. 如果是链表结构，循环查找所有节点，返回数据。
5. 如果没有找到符合要求的节点，返回null。

remove方法

public V remove(Object key) {
    Node<K,V> e;
    return (e = removeNode(hash(key), key, null, false, true)) == null ? null : e.value;
}

removeNode方法

final Node<K,V> removeNode(int hash, Object key, Object value,boolean matchValue, boolean movable) {
    Node<K,V>[] tab; 
    Node<K,V> p; 
    int n, index;
    //定位元素桶位置
    if ((tab = table) != null && (n = tab.length) > 0 && (p = tab[index = (n - 1) & hash]) != null) {
        Node<K,V> node = null, e; 
        K k; 
        V v;
        // 如果键的值与链表第一个节点相等，则将 node 指向该节点
        if (p.hash == hash && ((k = p.key) == key || (key != null && key.equals(k))))
            node = p;
        else if ((e = p.next) != null) {  
            // 如果是红黑树类型，调用红黑树的查找逻辑定位待删除节点
            if (p instanceof TreeNode)
                node = ((TreeNode<K,V>)p).getTreeNode(hash, key);
            else {
                // 遍历链表，找到待删除节点
                do {
                    if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k)))) {
                        node = e;
                        break;
                    }
                    p = e;
                } while ((e = e.next) != null);
            }
        }        
        //删除节点，并修复链表或红黑树
        if (node != null && (!matchValue || (v = node.value) == value || (value != null && value.equals(v)))) {
            if (node instanceof TreeNode)
                ((TreeNode<K,V>)node).removeTreeNode(this, tab, movable);
            else if (node == p)
                tab[index] = node.next;
            else
                p.next = node.next;
            ++modCount;
            --size;
            afterNodeRemoval(node);
            return node;
        }
    }
    return null;
}

仅需三个步骤即可完成。

1. 定位桶位置
2. 遍历链表找到相等的节点
3. 第三步删除节点