|
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/ y' l7 k8 }# N& a: @$ \
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。) t d5 C, c5 g$ k' p
/ C' A9 T( Q4 K
# ?* X. Z; X# x. x
! s8 D# S* w1 V0 q# N5 s8 m( l4 A( c- g" O* P
a/ p5 Q$ P& O, l+ o
字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。' e0 e; A. m" V, f: O& V y
回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。2 j7 y& Y& G8 ]3 |8 x( @9 Y
JavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:& f- J' v; W# _7 Z( F7 T
function encode(str) {3 y' l9 r) @/ [. T! V3 a
var result = '';
: _2 I# e+ O2 K4 P3 \* O var len = str.length;
! k z' e2 |% E7 ?! ? for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!
! W2 N2 q# l6 t3 L% j; {要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:
; u2 X; M, N8 r3 `2 B4 s( Sunicode码点(十六进制)[/td]UTF-8(二进制) | 0000 0000-0000 007F | 0xxxxxxx | 0000 0080-0000 07FF | 110xxxxx 10xxxxxx | 0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx | 0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx | 根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:8 Q5 V$ R4 X+ A6 d- @
// 获取字符串的utf8字节流
1 i3 B, x8 @& M. gfunction getUTF8Bytes(str) {1 K% @6 _* I) C, m
var bytes = [];+ _) L' I/ {( c4 n
var len = str.length;: k* {& W0 B- H$ V
for (var i = 0; i = 0x10000 && code > 18) | 0xf0); // 第一个字节
7 y9 E( T5 N9 V! \/ Z bytes.push(((code >> 12) & 0x3f) | 0x80);
3 W; s0 Y3 ]0 B0 v, y bytes.push(((code >> 6) & 0x3f) | 0x80);
& ]* x: H- Z+ I8 ] R: A bytes.push((code & 0x3f) | 0x80);7 E/ o: I( R( o. b' ]# V
} else if (code >= 0x800 && code > 12) | 0xe0);
- e; `+ K* m2 d2 d) y" O, `; U& Z bytes.push(((code >> 6) & 0x3f) | 0x80);
- B- Q _# l( z! P9 c1 h, A bytes.push((code & 0x3f) | 0x80);9 A5 h8 ^4 M! x I @5 R
} else if (code >= 0x80 && code > 6) | 0xc0);
) {1 E, l* [5 [' L6 h bytes.push((code & 0x3f) | 0x80);; E, Z0 o( @1 f* P$ ?
} else {/ N+ J1 f9 {0 u; a: T7 v
bytes.push(code)- R$ f( y0 G; ?4 \# F0 m2 c& \
}
* G! k! V5 }( ^) s; Z }
6 U. o( `. }0 a; M9 Q; H' S return bytes; b% G" s6 ]- J) J
}% k8 B% t5 ^( v( n* G% O5 v9 X
// 将字节流转换成16进制字符串6 S$ H+ X0 F! w% d$ d0 Q$ @9 q: H
function hexString(bytes) {# R' G5 W1 q' X8 x9 F
var arr = bytes.map(function (code) {& P. }" V1 J b f0 I: J4 Y1 R! [ n
return (code).toString(16).toUpperCase();+ A" v+ {% ~$ m8 r: T5 m( T$ ~/ w5 @
});+ m% |- B- b, m: y J6 ] s
return arr.join(' ');2 R$ M5 p, X% Z
}4 T1 i$ `9 N: n9 t1 @: I
function utf8(str) {
2 R" { a q f4 T5 B- G return hexString(getUTF8Bytes(str));/ T# a% j9 j" U' |5 O
}7 D; O9 U& c+ t; `3 u
调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。5 t6 H8 k4 H t+ N3 f
AD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1) |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|