扫一扫,微信登陆

 青浦修电脑 青浦笔记本维修 青浦手机维修 青浦电器维修

搜索
查看: 611|回复: 0

字符串、unicode和UTF8编码之间的互相转换 - 青浦海洋数码电脑城

[复制链接]

1万

主题

1万

帖子

5万

积分

论坛元老

Rank: 8Rank: 8

积分
56206
发表于 2022-9-11 21:05:01 | 显示全部楼层 |阅读模式
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/2 |4 D! A* V6 K. c( ~
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。
3 I6 _4 s" m% K. R
5 }% P3 \% n! \+ i) R1 n: e! {; r4 }" W  P: y- f# [  W

1 o1 U4 Y" v- Y; R
9 a' L) B# C- C7 j$ `( j/ T, v5 i9 m. ]- x; a" {' T( |) _  m) S. V# _
字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。
3 o6 K  a5 g0 Q9 s回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。! o! z, A1 t+ N, @* o
JavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:2 `! Y: R7 X# q0 P8 Y3 S9 v
function encode(str) {/ k+ j$ T$ s: i5 V$ x( D0 H0 ~
    var result = '';% W/ H  I- C7 l
    var len = str.length;, G7 N' G8 p- |4 E5 J9 l
    for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!6 H- G8 k  i, P0 n2 y! Y- U: f
要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:/ ?# b) u! F# r5 T7 Z  Q0 z, N# B
unicode码点(十六进制)[/td]UTF-8(二进制)
0000 0000-0000 007F0xxxxxxx
0000 0080-0000 07FF110xxxxx 10xxxxxx
0000 0800-0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:$ R5 o/ m, T# G
// 获取字符串的utf8字节流
6 H! T+ i( D# d9 J; {2 \function getUTF8Bytes(str) {
% S9 R* _; @5 a. z/ b- ?  B% h$ y  var bytes = [];0 o/ O) c. t2 G; C1 x! g) I* K
  var len = str.length;4 c) w) _# g! F) E% G9 l" q
  for (var i = 0; i = 0x10000 && code > 18) | 0xf0);                // 第一个字节
$ d  W: g/ h2 _" o6 ]      bytes.push(((code >> 12) & 0x3f) | 0x80);) K$ t  S) M1 j/ m! [$ h# d4 f
      bytes.push(((code >> 6) & 0x3f) | 0x80);: D, s. e7 g5 _9 ]
      bytes.push((code & 0x3f) | 0x80);% w. \) h/ s) \6 t! A4 ~; f
    } else if (code >= 0x800 && code > 12) | 0xe0);
9 t0 c# D3 |* C      bytes.push(((code >> 6) & 0x3f) | 0x80);: e4 \% S$ c2 N! ?1 O3 _
      bytes.push((code & 0x3f) | 0x80);  d- T3 p) M3 c$ i
    } else if (code >= 0x80 && code > 6) | 0xc0);
# y; k% M9 \/ H" A       bytes.push((code & 0x3f) | 0x80);
0 x5 [2 z2 A/ p  C    } else {! T8 v: K$ P- g) t8 r
      bytes.push(code)/ R$ z: W; y4 \
    }
  a* r3 p0 n- F. e+ V! l6 W1 Z  }
* L7 j* v0 f# U3 ~3 n+ d  B" t2 f  return bytes;4 b: I8 ]: t- C
}3 x$ ]1 Q( I7 S( k4 m: A8 A
// 将字节流转换成16进制字符串
- I2 r1 N0 G6 I2 A- x) Gfunction hexString(bytes) {
0 y- Z$ w5 B+ X( Q* u  var arr = bytes.map(function (code) {
5 A) s! W% u2 `0 w* ?" z    return (code).toString(16).toUpperCase();
- }# Z& F, c+ J7 k. ^2 g/ m  });, k7 ]; q+ ~- ?) p: s. s) Z0 {+ v
  return arr.join(' ');: q. P! K1 D) z, E' |' l
}
0 Y* A6 g* Q. T% I" b2 wfunction utf8(str) {5 z( o3 l- r) i0 O" ~$ E2 @1 B' U
   return hexString(getUTF8Bytes(str));
( c+ N" p: M$ {5 B}6 n0 r4 Q/ F4 B/ v* z$ n
调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。
9 h! ?& w. D3 o# ]( \6 S0 NAD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2013 Comsenz Inc.Powered by Discuz!X3.4( 沪ICP备18024137号 )
快速回复 返回顶部 返回列表