废话不说，直接正题吧。
最近项目有个需求要用 js 计算一串字符串写入到 localStorage 里所占的内存，众所周知的，js 是使用 Unicode 编码的。而 Unicode 的实现有 N 种，其中用的最多的就是 UTF-8 和 UTF-16。因此本文只对这两种编码进行讨论。
下面这个定义摘自维基百科（http://zh.wikipedia.org/zh-cn/UTF-8），做了部分删减。
UTF-8（8-bit Unicode Transformation Format）是一种针对 Unicode 的可变长度字符编码，可以表示 Unicode 标准中的任何字符，且其编码中的第一个字节仍与 ASCII 相容，使用一至四个字节为每个字符编码
其编码规则如下：
- 字符代码在 000000 - 00007F 之间的，用一个字节编码；
- 000080 - 0007FF 之间的字符用两个字节；
- 000800 - 00D7FF 和 00E000 - 00FFFF 之间的用三个字节，注: Unicode 在范围 D800-DFFF 中不存在任何字符；
- 010000 - 10FFFF 之间的用 4 个字节。
而 UTF-16 则是定长的字符编码，大部分字符使用两个字节编码，字符代码超出 65535 的使用四个字节，如下：
- 000000 - 00FFFF 两个字节；
- 010000 - 10FFFF 四个字节。
一开始认为既然页面用的是 UTF-8 编码，那么存入 localStorage 的字符串，应该也是用 UTF-8 编码的。但后来测试发现，明明计算出的 size 是不到 5MB，存入 localStorage 却抛异常了。想了想，页面的编码是可以改的。如果 localStorage 按照页面的编码存字符串，不就乱套了？浏览器应该都是使用 UTF-16 编码的。用 UTF-16 编码计算出 5MB 的字符串，果然顺利写进去了。超过则失败了。
好了，附上代码实现。计算规则就是上面写的，为了计算速度，把两个 for 循环分开写了。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 |
/** * 计算字符串所占的内存字节数，默认使用UTF-8的编码方式计算，也可制定为UTF-16 * UTF-8 是一种可变长度的 Unicode 编码格式，使用一至四个字节为每个字符编码 * * 000000 - 00007F(128个代码) 0zzzzzzz(00-7F) 一个字节 * 000080 - 0007FF(1920个代码) 110yyyyy(C0-DF) 10zzzzzz(80-BF) 两个字节 * 000800 - 00D7FF 00E000 - 00FFFF(61440个代码) 1110xxxx(E0-EF) 10yyyyyy 10zzzzzz 三个字节 * 010000 - 10FFFF(1048576个代码) 11110www(F0-F7) 10xxxxxx 10yyyyyy 10zzzzzz 四个字节 * * 注: Unicode在范围 D800-DFFF 中不存在任何字符 * {@link http://zh.wikipedia.org/wiki/UTF-8} * * UTF-16 大部分使用两个字节编码，编码超出 65535 的使用四个字节 * 000000 - 00FFFF 两个字节 * 010000 - 10FFFF 四个字节 * * {@link http://zh.wikipedia.org/wiki/UTF-16} * @param {String} str * @param {String} charset utf-8, utf-16 * @return {Number} */ var sizeof = function(str, charset){ var total = 0, charCode, i, len; charset = charset ? charset.toLowerCase() : ''; if(charset === 'utf-16' || charset === 'utf16'){ for(i = 0, len = str.length; i < len; i++){ charCode = str.charCodeAt(i); if(charCode <= 0xffff){ total += 2; }else{ total += 4; } } }else{ for(i = 0, len = str.length; i < len; i++){ charCode = str.charCodeAt(i); if(charCode <= 0x007f) { total += 1; }else if(charCode <= 0x07ff){ total += 2; }else if(charCode <= 0xffff){ total += 3; }else{ total += 4; } } } return total; } |
fental 2017 年 12 月 18 日
charCodeAt() 方法返回 0 到 65535 之间的整数…
高位编码单元（higher code point）使用一对（低位编码（lower valued））代理伪字符（”surrogate” pseudo-characters）来表示，从而构成一个真正的字符。
sizeof(‘👌’) === 6; // wrong
sizeof(‘👌’) === 4; // true
jackie Lin 2016 年 3 月 18 日
经过我的测试，现在已经不是这样了，sizeof 是 等于 str.length，Mac chrome 49
ct_yu 2016 年 2 月 2 日
循环 length 有问题吧，utf16 的 4 字节字符 length 是 2
wheato 2014 年 1 月 9 日
直接 (new Buffer(str)).length 可以吧
TAT.iAzrael 2014 年 1 月 9 日
Buffer 目前还不是标准呀, chrome 都没有 buffer 类, new Bolb 可以拿到 utf8 下统计的长度, 但是 localStorage 用的时 utf-16 来存储的
xueduanyang 2014 年 1 月 8 日
试试 JSON.stringify(localStorage).length
TAT.iAzrael 2014 年 1 月 8 日
这个算的是字符串的个数而不是所占字节数吧