扫一扫,微信登陆

 青浦修电脑 青浦笔记本维修 青浦手机维修 青浦电器维修

搜索
查看: 668|回复: 0

字符串、unicode和UTF8编码之间的互相转换 - 青浦海洋数码电脑城

[复制链接]

1万

主题

1万

帖子

5万

积分

论坛元老

Rank: 8Rank: 8

积分
56206
发表于 2022-9-11 21:05:01 | 显示全部楼层 |阅读模式
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/
0 y2 n8 U$ m: e, G0 d' \. B# X
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。, H1 b% c* D$ {" ^0 X! p

* H; Q$ P5 [/ ]3 Y1 G; e+ t3 a; B7 f9 N8 Q* P. a5 i. Y
- a" a  ]/ _6 y% U& L) ]# q, K

" j! J" ^& _. }
* Z- u' s4 i, i/ L: d/ }) ?字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。
# P  ]& ]3 u) `8 M5 T! ~回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。2 N5 [) _3 Z1 z; a
JavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:
8 M' n! W, g! u* o% ]8 `+ l+ X3 T% x$ Cfunction encode(str) {$ J, M& B: ~' I+ t/ c( ^0 n
    var result = '';
+ P, U; Z7 k) y( G  }8 O" ?    var len = str.length;/ U3 i) a! P$ |. T1 @5 A& Q
    for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!
# k8 o* }1 F" T! U要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:$ d& E# Z: [0 q5 h! R$ e: L, C& y
unicode码点(十六进制)[/td]UTF-8(二进制)
0000 0000-0000 007F0xxxxxxx
0000 0080-0000 07FF110xxxxx 10xxxxxx
0000 0800-0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:
. G/ i! M7 H# ?$ O6 P; B) `; K// 获取字符串的utf8字节流: [* _3 W' O6 y6 W& Y
function getUTF8Bytes(str) {1 X/ u# t& t" u# g
  var bytes = [];) q; W& Q5 B( ]3 z/ }2 w# l1 L
  var len = str.length;
6 F- g* s' T, U  for (var i = 0; i = 0x10000 && code > 18) | 0xf0);                // 第一个字节  ^& R1 x0 B# Y
      bytes.push(((code >> 12) & 0x3f) | 0x80);
0 u% j) u& U$ B) z" a% V      bytes.push(((code >> 6) & 0x3f) | 0x80);: ^5 Y& P" D' R( U# m
      bytes.push((code & 0x3f) | 0x80);
, J' t, |: N# a$ W/ O    } else if (code >= 0x800 && code > 12) | 0xe0);( Z) C/ y) s. N
      bytes.push(((code >> 6) & 0x3f) | 0x80);  J) z8 ]% n! ?3 c3 H
      bytes.push((code & 0x3f) | 0x80);( S9 R) ]- J( V" D' l
    } else if (code >= 0x80 && code > 6) | 0xc0);
4 I9 e% g0 T7 J       bytes.push((code & 0x3f) | 0x80);3 Q: H0 p: F0 Z' ^( `2 p2 q5 I
    } else {
5 S( D+ z! k! g9 B. j; w4 h      bytes.push(code)
) G" ^' z/ U( w. q1 _7 W& J  K    }
0 m/ f, ]+ p0 N& _! w  }( D' K! x3 D; G- j3 K, I
  return bytes;+ s: x; l: f% ?2 J7 B, m
}7 ?) s3 r. ]( T- N# u
// 将字节流转换成16进制字符串
6 @! b( a' v4 @: L9 W" N; sfunction hexString(bytes) {
; n! P4 Z- s: h7 K0 i8 g  var arr = bytes.map(function (code) {
; z* c; r& A3 O/ [    return (code).toString(16).toUpperCase();0 G" ^. \) r6 i  N. a" X
  });
& C$ Y  A  h3 H; ?  A! H  return arr.join(' ');7 Z) @8 {- y1 U6 i( g& o1 i+ B( f7 @% S
}
$ _. ~; h& B& N# L* l. Wfunction utf8(str) {
" c& c& W" X9 b6 c   return hexString(getUTF8Bytes(str));: K7 `7 `+ R+ _
}
" r/ X' E. A5 c' d9 \# r' b# P调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。
6 k! R, C% {8 gAD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2013 Comsenz Inc.Powered by Discuz!X3.4( 沪ICP备18024137号 )
快速回复 返回顶部 返回列表