扫一扫,微信登陆

 青浦修电脑 青浦笔记本维修 青浦手机维修 青浦电器维修

搜索
查看: 654|回复: 0

字符串、unicode和UTF8编码之间的互相转换 - 青浦海洋数码电脑城

[复制链接]

1万

主题

1万

帖子

5万

积分

论坛元老

Rank: 8Rank: 8

积分
56206
发表于 2022-9-11 21:05:01 | 显示全部楼层 |阅读模式
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/
) R) X# o+ P1 G0 Y, \+ n  `
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。
) {. A/ N# L& }* M9 s0 @; C
$ |  Z4 M- T) a4 L6 ?8 I2 C  K8 Y. ?* m- z4 n8 Y" y" @
& Y: Q: h, k, v1 o& E8 V

; x  N" W0 Y$ t& d; ~: N1 T7 l- D" D( i5 _" {0 B9 F
字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。& d* X* o+ K" S4 `( @, V
回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。2 O4 M+ v$ q- i- @: U; A/ ~0 x+ D
JavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:/ `& S. D( {0 M) M2 y/ d
function encode(str) {
# |$ V/ Q# O7 c* D# Z    var result = '';
/ R/ Z0 V+ D2 d5 L4 ]6 o    var len = str.length;) q; o2 v, x  O* Z7 a
    for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!" Y+ g8 L, O& z% b0 ?/ m
要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:
+ j# R, _; R0 ^/ r& u
unicode码点(十六进制)[/td]UTF-8(二进制)
0000 0000-0000 007F0xxxxxxx
0000 0080-0000 07FF110xxxxx 10xxxxxx
0000 0800-0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:
1 W+ B( f: l  ]. k2 R// 获取字符串的utf8字节流
0 [$ E6 [% Q) _$ M4 C" U# `( Vfunction getUTF8Bytes(str) {
$ O/ e, h' ~( l9 Y: }6 a  var bytes = [];
( e2 u: ^! F8 C/ V  var len = str.length;+ k# U& g' l. a0 D# k  h
  for (var i = 0; i = 0x10000 && code > 18) | 0xf0);                // 第一个字节
8 E' g' v, t, O! j) M      bytes.push(((code >> 12) & 0x3f) | 0x80);2 @) a: b+ w7 B6 W
      bytes.push(((code >> 6) & 0x3f) | 0x80);
0 u: M# {2 t+ R7 E: W% n# c      bytes.push((code & 0x3f) | 0x80);; W3 q: I% T2 S: {
    } else if (code >= 0x800 && code > 12) | 0xe0);5 C, T2 L* x1 Q' _: J! m
      bytes.push(((code >> 6) & 0x3f) | 0x80);1 R" ?6 [$ W% j: W5 x8 f6 h
      bytes.push((code & 0x3f) | 0x80);
: J6 C) ~4 t! U' I! Z/ h( i    } else if (code >= 0x80 && code > 6) | 0xc0);
& m3 V0 s3 g6 J) P" v% m0 d9 y       bytes.push((code & 0x3f) | 0x80);
* r0 a! h+ m- V, V! ]7 B3 g    } else {9 j6 n+ X! G( a) E& O% d, G1 u3 `
      bytes.push(code)
; @: P$ T/ g$ B: l1 {& b' c  V    }- O- }+ x! \7 Y0 v
  }1 |0 ^4 Q2 K5 I8 t2 _7 C
  return bytes;) r3 x$ X0 S1 G+ y5 ]
}% M2 b0 D( P5 u* ^
// 将字节流转换成16进制字符串
; A$ d3 A; r. b/ Mfunction hexString(bytes) {+ I, q+ m8 f: x
  var arr = bytes.map(function (code) {
: I9 w* C) k/ Q' T6 a    return (code).toString(16).toUpperCase();
  N% ^2 L& T3 r- v. T  });" y7 n' G* W+ i& K5 B( ]
  return arr.join(' ');
& v0 L( Q" b& v0 [}
8 Q( b( X) b  b4 m" q" e! efunction utf8(str) {2 }$ Y9 R1 s+ w- ~- b% R
   return hexString(getUTF8Bytes(str));' ^! e4 U" e6 ]/ m# d  @' h
}
7 @% g& e! B4 v. e/ e调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。7 Q5 g3 X" U) u5 y  J7 ~
AD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2013 Comsenz Inc.Powered by Discuz!X3.4( 沪ICP备18024137号 )
快速回复 返回顶部 返回列表