golang 的string与[]byte转换方式
更新时间：2021年04月28日 09:49:03 作者：弃更内容请谨慎查看
这篇文章主要介绍了golang 的string与[]byte转换方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
（福利推荐：【腾讯云】服务器最新限时优惠活动，云服务器1核2G仅99元/年、2核4G仅768元/3年，立即抢购>>>：9i0i.cn/qcloud）
（福利推荐：你还在原价购买阿里云服务器？现在阿里云0.8折限时抢购活动来啦！4核8G企业云服务器仅2998元/3年，立即抢购>>>：9i0i.cn/aliyun）
相对于C语言，golang是类型安全的语言。但是安全的代价就是性能的妥协。
下面我们看看Golang不想让我们看到的“秘密”——string的底层数据。
通过reflect包，我们可以知道，在Golang底层，string和slice其实都是struct：
type SliceHeader struct {
Data uintptr
Len int
Cap int
}
type StringHeader struct {
Data uintptr
Len int
}
其中Data是一个指针，指向实际的数据地址，Len表示数据长度。
但是，在string和[]byte转换过程中，Golang究竟悄悄帮我们做了什么，来达到安全的目的？
在Golang语言规范里面，string数据是禁止修改的，试图通过&s[0], &b[0]取得string和slice数据指针地址也是不能通过编译的。
下面，我们就通过Golang的“黑科技”来一窥Golang背后的“秘密”
//return GoString's buffer slice(enable modify string)
func StringBytes(s string) Bytes {
return *(*Bytes)(unsafe.Pointer(&s))
}
// convert b to string without copy
func BytesString(b []byte) String {
return *(*String)(unsafe.Pointer(&b))
}
// returns &s[0], which is not allowed in go
func StringPointer(s string) unsafe.Pointer {
p := (*reflect.StringHeader)(unsafe.Pointer(&s))
return unsafe.Pointer(p.Data)
}
// returns &b[0], which is not allowed in go
func BytesPointer(b []byte) unsafe.Pointer {
p := (*reflect.SliceHeader)(unsafe.Pointer(&b))
return unsafe.Pointer(p.Data)
}
以上4个函数的神奇之处在于，通过unsafe.Pointer和reflect.XXXHeader取到了数据首地址，并实现了string和[]byte的直接转换（这些操作在语言层面是禁止的）。
下面我们就通过这几个“黑科技”来测试一下语言底层的秘密：
func TestPointer(t *testing.T) {
s := []string{
"",
"",
"hello",
"hello",
fmt.Sprintf(""),
fmt.Sprintf(""),
fmt.Sprintf("hello"),
fmt.Sprintf("hello"),
}
fmt.Println("String to bytes:")
for i, v := range s {
b := unsafe.StringBytes(v)
b2 := []byte(v)
if b.Writeable() {
b[0] = 'x'
}
fmt.Printf("%d\ts=%5s\tptr(v)=%-12v\tptr(StringBytes(v)=%-12v\tptr([]byte(v)=%-12v\n",
i, v, unsafe.StringPointer(v), b.Pointer(), unsafe.BytesPointer(b2))
}
b := [][]byte{
[]byte{},
[]byte{'h', 'e', 'l', 'l', 'o'},
}
fmt.Println("Bytes to string:")
for i, v := range b {
s1 := unsafe.BytesString(v)
s2 := string(v)
fmt.Printf("%d\ts=%5s\tptr(v)=%-12v\tptr(StringBytes(v)=%-12v\tptr(string(v)=%-12v\n",
i, s1, unsafe.BytesPointer(v), s1.Pointer(), unsafe.StringPointer(s2))
}
}
const N = 3000000
func Benchmark_Normal(b *testing.B) {
for i := 1; i < N; i++ {
s := fmt.Sprintf("12345678901234567890123456789012345678901234567890")
bb := []byte(s)
bb[0] = 'x'
s = string(bb)
s = s
}
}
func Benchmark_Direct(b *testing.B) {
for i := 1; i < N; i++ {
s := fmt.Sprintf("12345678901234567890123456789012345678901234567890")
bb := unsafe.StringBytes(s)
bb[0] = 'x'
s = s
}
}
//test result
//String to bytes:
//0 s= ptr(v)=0x51bd70 ptr(StringBytes(v)=0x51bd70 ptr([]byte(v)=0xc042021c58
//1 s= ptr(v)=0x51bd70 ptr(StringBytes(v)=0x51bd70 ptr([]byte(v)=0xc042021c58
//2 s=hello ptr(v)=0x51c2fa ptr(StringBytes(v)=0x51c2fa ptr([]byte(v)=0xc042021c58
//3 s=hello ptr(v)=0x51c2fa ptr(StringBytes(v)=0x51c2fa ptr([]byte(v)=0xc042021c58
//4 s= ptr(v)=<nil> ptr(StringBytes(v)=<nil> ptr([]byte(v)=0xc042021c58
//5 s= ptr(v)=<nil> ptr(StringBytes(v)=<nil> ptr([]byte(v)=0xc042021c58
//6 s=xello ptr(v)=0xc0420444b5 ptr(StringBytes(v)=0xc0420444b5 ptr([]byte(v)=0xc042021c58
//7 s=xello ptr(v)=0xc0420444ba ptr(StringBytes(v)=0xc0420444ba ptr([]byte(v)=0xc042021c58
//Bytes to string:
//0 s= ptr(v)=0x5c38b8 ptr(StringBytes(v)=0x5c38b8 ptr(string(v)=<nil>
//1 s=hello ptr(v)=0xc0420445e0 ptr(StringBytes(v)=0xc0420445e0 ptr(string(v)=0xc042021c38
//Benchmark_Normal-4 1000000000 0.87 ns/op
//Benchmark_Direct-4 2000000000 0.24 ns/op
结论如下：
1、string常量会在编译期分配到只读段，对应数据地址不可写入，并且相同的string常量不会重复存储。
2、fmt.Sprintf生成的字符串分配在堆上，对应数据地址可修改。
3、常量空字符串有数据地址，动态生成的字符串没有设置数据地址
4、Golang string和[]byte转换,会将数据复制到堆上，返回数据指向复制的数据
5、动态生成的字符串，即使内容一样，数据也是在不同的空间
6、只有动态生成的string，数据可以被黑科技修改
7、string和[]byte通过复制转换，性能损失接近4倍
补充：Golang 使用unsafe.Pointer优化byte[]与String转换性能
我们知道一般来说对于一个String
如果想要转换为byte[]都是通过类型转换语法来实现的：
Res := string(bytes)
这种方式是Go所推荐的，优点就是安全，尽管这种操作会发生内存拷贝，导致性能上会有所损耗，这在处理一般业务时这种损耗是可以忽略的。
但如果是拷贝频繁的情况下，想要进行性能优化时，就需要引入unsafe.Pointer了：
func main() {
var s = []byte("我永远喜欢藤原千花.jpg")
Res := *(*string)(unsafe.Pointer(&s))
fmt.Println(Res)
}
通过unsafe.Pointer伪造String的过程没有发生内存拷贝，所以效率上会比发生内存拷贝的类型转换快，但代价就是把底层数据暴露出来，这种做法是不安全的。
至于为什么Slice能通过这种方式和String转换
我们可以看下它们的底层结构SliceHeader和StringHeader ：
type SliceHeader struct {
Data uintptr
Len int
Cap int
}
type StringHeader struct {
Data uintptr
Len int
}
两种类型只差了一个字段Cap（容量），前面剩余的字段都是内存对齐的，所以可以直接转换
以上为个人经验，希望能给大家一个参考，也希望大家多多支持程序员之家。如有错误或未考虑完全的地方，望不吝赐教。
相关文章
反射允许你在运行时获得有关 Go 类型的信息,如果你曾经愚蠢地尝试编写 json.Unmarshal 之类的新版本,本文将探讨的就是如何使用反射来填充结构体值2024-01-01
这篇文章主要介绍了深度解密 Go 语言中的 sync.map,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2020-06-06
这篇文章主要为大家介绍了Go?mod?replace使用方法及常见问题分析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-08-08
在使用 context 的时候遇到了开协程处理任务的情况，但是直接在协程里使用主线程的 context 会导致当主线程返回时协程任务也会因为 context cancel 而失败，本文提供了两种办法可以取消掉 context 里的 timeout 和 deadline，再设置一个新的 timeout 上去2023-03-03
掌握GoLang编程必备工具,我们来深入了解GoFrame?GoLand插件,这个小巧但强大的插件将极大提升你的开发效率,让代码流畅如行云流水,一起跟随本指南,解锁更智能的编程之旅！2023-12-12
本文主要介绍了golang中sync.Mutex的实现方法，mutex?主要有两个?method:?Lock()?和?Unlock()，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2022-04-04
这篇文章主要为大家详细介绍了Go语言实现文件上传，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-07-07
这篇文章主要介绍了golang控制结构select机制及使用示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-10-10
插入排序是一种简单的排序算法。这篇文章将利用Go语言实现冒泡排序算法，文中的示例代码讲解详细，对学习Go语言有一定的帮助，需要的可以参考一下2022-12-12
Go语言里面设计最精妙的应该算interface,它让面向对象,内容组织实现非常的方便,下面这篇文章主要给大家介绍了关于Go语言中interface语法与使用的相关资料,需要的朋友可以参考下2022-07-07
最新评论