我有这两个UTF-8字符串：
a = "N\u01b0\u0303" b = "N\u1eef"
它们看起来很不一样,但渲染后它们是相同的：
irb(main):039:0> puts "#{a} - #{b}"
Nữ - Nữ
a版本是我存储在DB中的版本. b版本是一个来自浏览器的POST请求,我不知道为什么浏览器会发送不同的UTF8字符组合,而且它总是不会发生,我无法在我的开发中重现这个问题环境,它发生在生产中,占总请求的百分比.
情况是我尝试比较它们但是它们返回false：
irb(main):035:0> a == b => false
我尝试过强制编码等不同的东西：
irb(main):022:0> c.force_encoding("UTF-8") == a.force_encoding("UTF-8")
=> false
另一个有趣的事实是：
irb(main):005:0> a.chars => ["N","ư","̃"] irb(main):006:0> b.chars => ["N","ữ"]
我该如何比较这些字符串？
解决方法
这是
Unicode equivalence的问题.
你的字符串的一个版本由字符ư(U 01B0：LATIN SMALL LETTER U WITH HORN)组成,然后是U 0303 COMBINING TILDE.第二个字符,顾名思义是combining character,当渲染时与前一个字符组合以产生最终字形.
字符串的b版本使用字符ữ(U 1EEF,LATIN SMALL LETTER U WITH HORN和TILDE),它是单个字符,并且等同于之前的组合,但使用不同的字节序列来表示它.
为了比较这些字符串,您需要对它们进行标准化,以便它们对这些类型的字符使用相同的字节序列.当前版本的Ruby内置了此功能(在早期版本中,您需要使用第三方库).
所以目前你有
a == b
这是假的,但如果你这样做
a.unicode_normalize == b.unicode_normalize
你应该成真.
如果您使用的是旧版本的Ruby,则有几种选择. Rails有一个normalize方法作为其多字节支持的一部分,所以如果你使用Rails,你可以这样做：
a.mb_chars.normalize == b.mb_chars.normalize
或者类似的东西：
ActiveSupport::Multibyte::Unicode.normalize(a) == ActiveSupport::Multibyte::Unicode.normalize(b)
如果您不使用Rails,那么您可以查看unicode_utils gem,并执行以下操作：
UnicodeUtils.nfkc(a) == UnicodeUtils.nfkc(b)
(nfkc指的是规范化形式,它与其他技术中的默认形式相同.)
有各种不同的方法来规范化unicode字符串(即你是使用分解版本还是组合版本),这个例子只使用默认值.我会留下研究差异给你.