|
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/
7 f0 x1 x3 ~. M$ h! o& B* l" N Z想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。' m: K7 [7 V. O
~- x1 m. w. @
- z8 w( s, B) |9 s5 j. [5 R
# L" T `: r4 R/ s3 ] s+ c2 R1 y i& O
- d, N- f( L+ ~2 C( o, o p4 o ~0 n: I5 Y! M; D" D5 I
字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。; |! n c/ Z9 Z3 W7 c3 J
回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。
5 C( {+ V0 v0 k1 t- AJavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:+ B( g/ Z8 j% e' u, g/ [
function encode(str) {
^# |" o) o% v* t- j( U2 g var result = '';+ g Q, d& t9 F) c
var len = str.length;* h1 p; X G% [
for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!
" F* c6 g4 L2 {6 |# C9 j; [4 O要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:
7 m3 @4 M L) ?7 k" Punicode码点(十六进制)[/td]UTF-8(二进制) | 0000 0000-0000 007F | 0xxxxxxx | 0000 0080-0000 07FF | 110xxxxx 10xxxxxx | 0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx | 0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx | 根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:" d) z( h+ t/ t& E
// 获取字符串的utf8字节流
" f2 x/ p9 `! e- t% g5 X$ Nfunction getUTF8Bytes(str) {2 O; I5 k8 R/ H, [; r6 P
var bytes = [];8 |/ q) Z- K u: f S3 r# B
var len = str.length;
/ z# U5 N! E, u2 q7 W for (var i = 0; i = 0x10000 && code > 18) | 0xf0); // 第一个字节
; O, z( j- ?1 l6 B' L( W% f bytes.push(((code >> 12) & 0x3f) | 0x80);* B' C' j# c3 c# {8 T2 e0 L; @
bytes.push(((code >> 6) & 0x3f) | 0x80);: W! d$ g: p# I; O- w- c0 ?' E
bytes.push((code & 0x3f) | 0x80);% ?# A4 @6 K( g
} else if (code >= 0x800 && code > 12) | 0xe0);$ d5 n' t% S- e6 z
bytes.push(((code >> 6) & 0x3f) | 0x80);
2 P0 B# R# F( Z& i t9 o3 O5 L bytes.push((code & 0x3f) | 0x80);% h+ p# p$ X l2 U7 Q
} else if (code >= 0x80 && code > 6) | 0xc0);
1 \/ z# e; I! \! p N bytes.push((code & 0x3f) | 0x80);
$ j6 N* h1 T+ _' N: Y } else {4 C: z0 I/ M/ F$ \. Y( R: m) D
bytes.push(code)$ V3 d. I$ f& l$ ]. a4 x# _
}
5 W& a; ?$ T0 ~# }& o' d }; X1 A( V; M& @$ s+ z
return bytes;
7 ]6 b/ t6 V! ]: j9 l: k; y}
# p% S. x" H _5 r+ O// 将字节流转换成16进制字符串
& @( H- A9 p% }function hexString(bytes) {
" {( t, u; }2 i# ^* A- o! J var arr = bytes.map(function (code) {" Q1 e4 e* @7 r7 b
return (code).toString(16).toUpperCase();
0 l" a2 ]) t4 G* ]- L });
! C q0 m# p& H return arr.join(' ');4 F3 Q7 a8 r$ G6 P6 h
}
( f3 b. Y7 T+ ?8 zfunction utf8(str) { w4 u/ q5 F9 o* a9 C
return hexString(getUTF8Bytes(str));
7 h V# V6 p. d3 C) k. E4 A}$ Z( c7 n* o d+ n7 M, |
调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。: H2 ]7 L1 F) O B; [8 T
AD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1) |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
x
|