{"23"=>[0,3]}.merge({"23"=>[2,3]}){ |key,oldval,newval| oldval | newval }
#=> {"23"=>[0,3,2]}

更通用的方法来处理非数组值：

{"23"=>[0,3]}) do |key,newval|
  (newval.is_a?(Array) ? (oldval + newval) : (oldval << newval)).uniq
end

更新了一个Marc-AndréLafortune的提示.