扫一扫,微信登陆

 青浦修电脑 青浦笔记本维修 青浦手机维修 青浦电器维修

搜索
查看: 494|回复: 0

字符串、unicode和UTF8编码之间的互相转换 - 青浦海洋数码电脑城

[复制链接]

1万

主题

1万

帖子

5万

积分

论坛元老

Rank: 8Rank: 8

积分
56206
发表于 2022-9-11 21:05:01 | 显示全部楼层 |阅读模式
转载请注明文章出处:https://itlanyan.com/string-unicode-utf8-converter/
, X5 y5 S' J' E8 o0 \8 z: u; |1 S! G) ^
想知道某个字符串的UTF8编码,图方便打算使用在线工具。坑爹的是,号称“UTF8汉字互转”的网页几乎全是字符串和unicode码点互转,并不提供与UTF8编码互转功能。没搞懂unicode码点(code point)和UTF8编码的关系,还大言不惭的说UTF8编码,真让人无语。/ \0 m- ?% x0 B: x) V

9 b2 K2 k8 O5 N  V5 u
0 e  h, n0 P; E, B2 C4 R2 _7 x, r8 G
  S  P1 Z/ k' \. M" ?' _0 k% ^

$ h/ j. C- o! Z1 N# U5 u字符、字节和字节序,unicode和UTF8编码,是理解字符编码重要的概念,详情可查看本人之前博文文件和字符编码。本文讨论unicode和UTF8之间的转换,先简要介绍两个概念:unicode是将字符与码点(code point,一个整数)一一对应的编码方案;码点通常用\uXXXX或者U+XXXX的方式表示,XXXX是码点的十六进制;UTF8是unicode的一个具体编码方案,规定字符存储的方式;UTF8编码字节数可变,不存在大小端问题,互联网通信中常采用此种编码方式。
% K0 E$ m! u. a% p" S; S! x回顾一下那成片的“汉字UTF8编码互转”网页所做的事情。以“中国”为例,两个汉字码点分别为20013和22269,十六进制表示4E2D 56FD,UTF8编码E4 B8 AD E5 9B BD。随手打开搜索结果中的http://www.ip138.com/utf8/,输入“中国”,点击“转换UTF-8”按钮,下方出现码点的十六进制编码4E2D 56FD(&#x可以理解为十六进制的前缀0x),并非UTF8编码。, ?1 J, f% a, u- j& k2 X% F
JavaScript的String对象有charCodeAt和codePointAt(兼容性不如charCodeAt)方法。根据这个函数,网页的转换工作可用如下代码实现:
+ e7 l! J" N; G( ~  L8 gfunction encode(str) {  D# [5 s" l2 S) [; H: R
    var result = '';: i' ~- |+ I$ `: q& |9 y+ _
    var len = str.length;: _% d" r. h/ Y% w
    for (var i = 0; i 调用encode(“中国”)或者其他字符串,将得到每个字符对应码点的十六进制。但这不是字符串的UTF8编码!' v- e5 K$ n) E7 M( S; |
要拿到UTF8编码,需要在码点的基础上多走一步。先回顾unicode码点与UTF8的转换关系:0 a5 L. Y! W+ l! U
unicode码点(十六进制)[/td]UTF-8(二进制)
0000 0000-0000 007F0xxxxxxx
0000 0080-0000 07FF110xxxxx 10xxxxxx
0000 0800-0000 FFFF1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
根据这个表,结合charCodeAt函数,可以写出字符串到UTF8编码的函数:
7 ?: O: Z5 i/ d$ v3 B' v" D// 获取字符串的utf8字节流
( m( A7 A3 n7 jfunction getUTF8Bytes(str) {
0 x9 H% I: G: y. u. R3 h% R  var bytes = [];8 A5 l+ l: d4 d5 v* l' u7 R8 F. ~
  var len = str.length;
+ s8 z0 V8 ?, T% m% h  for (var i = 0; i = 0x10000 && code > 18) | 0xf0);                // 第一个字节/ s. h- c- ^( K( |. O4 e6 |/ Q0 e
      bytes.push(((code >> 12) & 0x3f) | 0x80);
' n  f/ ^! o) P- O; \* A& g      bytes.push(((code >> 6) & 0x3f) | 0x80);
" d* E$ K+ N$ @, d& V7 U      bytes.push((code & 0x3f) | 0x80);% v- r8 d7 J4 n4 J% `% S7 J
    } else if (code >= 0x800 && code > 12) | 0xe0);( D8 d" W7 U! k" F3 n
      bytes.push(((code >> 6) & 0x3f) | 0x80);
( i& s0 s* c* }) A3 F) n! Y      bytes.push((code & 0x3f) | 0x80);6 ]' t& A6 `" s
    } else if (code >= 0x80 && code > 6) | 0xc0);7 x1 a$ o4 r" ]) x/ d% Y) t& u! Y
       bytes.push((code & 0x3f) | 0x80);
  z0 n: h$ ^. D3 ]# P9 R* i; D% I( `    } else {5 Y) o3 j! L0 B
      bytes.push(code)& a% a' l- l* e* E; F
    }
8 R3 O6 B! ]- G: w  s+ w) V8 Z" M  }
! P* p/ A: b% T, Z  return bytes;# \( v) u, A$ f" y  R
}3 B* p$ @- v4 w. X! h! o
// 将字节流转换成16进制字符串- x6 o9 z( N  K1 S' c% x
function hexString(bytes) {
1 G/ O9 n# }7 V  var arr = bytes.map(function (code) {6 i# y) ~- a% W' i5 F
    return (code).toString(16).toUpperCase();, R3 V- E: |& y7 y4 j, L$ b$ E/ K
  });
: R. _: L7 R8 u9 y  return arr.join(' ');( A: A9 s: N9 J/ v. G
}8 P9 L2 G1 H2 ^4 w  j7 J/ L
function utf8(str) {
0 x0 c# f, z$ y2 ]; e/ N; h" B   return hexString(getUTF8Bytes(str));
" O) S0 i- t0 b8 z}
$ k  Z+ H2 ~8 @9 ?; I! ^调用函数utf8,这才是JavaScript得到字符串的UTF8编码的正确姿势!从UTF8编码转换到字符串,做相反工作即可。; g: Y* }* ?/ G9 c2 o* R! }! i# U( r
AD:【国外VPS推荐】 Vultr全球16个数据中心,高速SSD硬盘,月付2.5$起,注册充10$送100$打赏赞(1)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Copyright © 2001-2013 Comsenz Inc.Powered by Discuz!X3.4( 沪ICP备18024137号 )
快速回复 返回顶部 返回列表