一次猜谜的过程：在VB里调用没有接口说明的DLL函数

本文来自qingye2008所发的此帖的讨论，感谢陈辉、马云剑、qingye的耐心指点和分享。

1、引言

话说 qingye同学得到了一个用于加解密的Dll（该动态库在这里下载），通过Dll Export Viewer看到dll有2个导出函数分别是Dll_EncIn和Dll_EncOut， qingye同学想在VB中使用这两个函数。因为搞不到接口说明，只好通过查看汇编代码来猜测参数数量和类型。通过同学们的一番摸索，大致的过程小结如下：

（1）先用IDA之类的静态反汇编工具看函数的参数有几个、有没有返回值；（确定是两个、没有返回值）

（2）再用OD之类的动态反汇编调试工具看寄存器里存的参数具体是啥，并根据函数的预定功能，来猜测参数应该声明成什么类型的、应该传什么内容。

a) 比如这个函数的功能是加密，那根据功能猜测要传进去的参数至少应该有明文、也可能还有长度。另外函数应该还有个办法来返回加密后的密文，既然函数没有返回值，那有可能还有个传地址的参数是密文。所以，初步猜测应该有两个参数，一个传明文字符串，一个用来接收密文字符串。

b) 用OD跟进去看寄存器里的内容，发现传字符串“123”，寄存器里写的是“03313233”；再传字符串“123123”，寄存器里写的是“06313233313233”。这就可以确定，这个参数是字符串，字符串的编码是ANSI的（因为&H31是数字1的ANSI编码）,字符串缓冲区之前的首字节是这个ANSI字符串的字节长度。

c) 考虑到这是个用Delphi实现的动态库，所以查阅Delphi的相关文档，确认Delphi中有一种叫做Short String的字符串符合b)里描述的特征，所以印证了这种猜测。

d) 两个参数，是密文在前还是明文在前呢？根据OD观察的结果，并且记住第一个参数后入栈，可以确定是密文在前，明文在后。

（3）根据以上猜测构造在VB里的声明。这就要用到这篇博文和这篇博文里提到的知识了。

2、传结构指针

先来看陈辉写的代码，我觉得是最好最简捷的写法了。

Option Explicit

Private Declare Function Dll_EncIn Lib "d:/EncryptionA.dll" @H_502_42@(ByVal lpstrOutput As Long@H_502_42@,_
    ByVal lpstrInput As Long@H_502_42@) As Long
Private Declare Function Dll_EncOut Lib "d:/EncryptionA.dll" @H_502_42@(ByVal lpstrOutput As Long@H_502_42@,_
    ByVal lpstrInput As Long@H_502_42@) As Long
Private Declare Sub CopyMemory Lib "kernel32" Alias "RtlMoveMemory" @H_502_42@(Destination As Any@H_502_42@,_
    Source As Any@H_502_42@,ByVal Length As Long@H_502_42@)

Private Type SHORT_STRING
    Length As Byte
    Buffer@H_502_42@(254@H_502_42@) As Byte
End Type

Public Sub Test_Encode@H_502_42@()
    Dim p As SHORT_STRING
    Dim pp As SHORT_STRING
    Dim strTmp As String
    
    p@H_502_42@.Length @H_502_42@= 6
    CopyMemory p@H_502_42@.Buffer@H_502_42@(0@H_502_42@)@H_502_42@,ByVal "123123"@H_502_42@,6

    Call Dll_EncIn@H_502_42@(VarPtr@H_502_42@(pp@H_502_42@)@H_502_42@,VarPtr@H_502_42@(p@H_502_42@))
    
    strTmp @H_502_42@= StrConv@H_502_42@(pp@H_502_42@.Buffer@H_502_42@,vbUnicode@H_502_42@)
    strTmp @H_502_42@= Left@H_502_42@(strTmp@H_502_42@,pp@H_502_42@.Length@H_502_42@)
    Debug@H_502_42@.Print strTmp
    
    Call Dll_EncOut@H_502_42@(VarPtr@H_502_42@(pp@H_502_42@)@H_502_42@,VarPtr@H_502_42@(pp@H_502_42@))

    strTmp @H_502_42@= StrConv@H_502_42@(pp@H_502_42@.Buffer@H_502_42@,pp@H_502_42@.Length@H_502_42@)
    Debug@H_502_42@.Print strTmp
End Sub

说明如下：

（1） 这两个参数我们肯定不能穿String类型进去，因为虽然 VB会自动把传进去的字符串变量改成期待的ANSI编码，但显然这个DLL期待的不是VB里的 BSTR字符串，编码对但结构不对，那还是不行。

（2） 不能直接传String的话，我们就要自己构造传进去的东西。一种比较原始的办法，是自己构造Byte数组（后面会举例）；另外一种是构造结构，像上面陈辉写的代码这样。 用结构的好处是在VB里写代码比较清晰，可以直接用.运算符来取得相应的字节。

（3）大家要注意， 不能把结构里的Byte数组定义为字符串，像下面这样

Private Type STRING_TYPE
    Length As Byte
    strBuffer As String
End Type

这样定义，虽然不会引发VB自动的UA/AU转换，但是由于在VB中字符串变量和字符串缓冲区是分开存储的，所以这里strBuffer只是一个4字节的指针变量。而DLL期待的却是字节长度加字符串缓冲区的一块连续的内存，所以，对不上号，还是不中（见这个帖子的讨论）。不过的话，如果把这个strBuffer定义为 定长字符串（并且长度为4字节倍数）的话，数据就是紧挨着存放的，看下面这种结构的定义也能得到正确的结果。

'结构中含定长字符串的方法——来自Tiger_Zhao
Private Type SHORT_STRING
    Length As Byte
    strBuffer As String @H_502_42@* 252
End Type

Public Sub Test_EncodeCH@H_502_42@()
    Dim pIn As SHORT_STRING
    Dim pOut As SHORT_STRING
    Dim strTmp As String
    
    pIn@H_502_42@.Length @H_502_42@= 6
    pIn@H_502_42@.strBuffer @H_502_42@= StrConv@H_502_42@("123123"@H_502_42@,vbFromUnicode@H_502_42@)

    Call Dll_EncIn@H_502_42@(VarPtr@H_502_42@(pOut@H_502_42@)@H_502_42@,VarPtr@H_502_42@(pIn@H_502_42@))
    
    strTmp @H_502_42@= StrConv@H_502_42@(pOut@H_502_42@.strBuffer@H_502_42@,pOut@H_502_42@.Length@H_502_42@)
    Debug@H_502_42@.Print strTmp
    
    pIn @H_502_42@= pOut
    Call Dll_EncOut@H_502_42@(VarPtr@H_502_42@(pOut@H_502_42@)@H_502_42@,VarPtr@H_502_42@(pIn@H_502_42@))

    strTmp @H_502_42@= StrConv@H_502_42@(pOut@H_502_42@.strBuffer@H_502_42@,pOut@H_502_42@.Length@H_502_42@)
    Debug@H_502_42@.Print strTmp
End Sub

（4）看陈辉写的这几个CopyMemory是很方便的，比直接在VB里逐字节（后面我会写这样的代码）自己写简捷多了，但是要小心别用错哦。不过，当定义为定长字符串时更为方便，因为不需要用CopyMemory，可以直接给字符串赋值了（见上面Tiger_Zhao的代码）。

3、传字节数组的办法

这是我写的，

Option Explicit

Private Declare Sub Dll_EncIn Lib "D:/EncryptionA.dll" @H_502_42@(ByVal lpstrOutput As Long@H_502_42@,_
    ByVal lpstrInput As Long@H_502_42@)
Private Declare Sub Dll_EncOut Lib "D:/EncryptionA.dll" @H_502_42@(ByVal lpstrOutput As Long@H_502_42@,_
    ByVal lpstrInput As Long@H_502_42@)

'假设1：第1个参数是返回的密文字符串'
'假设2：DLL使用的字符串形式是：长度+ANSI编码'
Public Sub Test_Encode@H_502_42@()
    Dim strInput As String@H_502_42@,strOutput As String
    Dim bytInput@H_502_42@() As Byte@H_502_42@,bytOutput@H_502_42@() As Byte
    Dim i As Long    
    
'直接按猜想的格式传字节数组进去'
    '转成ANSI字符串'
    strInput @H_502_42@= StrConv@H_502_42@("123"@H_502_42@,vbFromUnicode@H_502_42@)
    bytInput @H_502_42@= strInput
    '加上长度字节，比CopyMemory麻烦多了'
    ReDim Preserve bytInput@H_502_42@(UBound@H_502_42@(bytInput@H_502_42@) @H_502_42@+ 1@H_502_42@)
    For i @H_502_42@= UBound@H_502_42@(bytInput@H_502_42@) To 1 Step @H_502_42@-1
        bytInput@H_502_42@(i@H_502_42@) @H_502_42@= bytInput@H_502_42@(i @H_502_42@- 1@H_502_42@)
    Next i
    bytInput@H_502_42@(0@H_502_42@) @H_502_42@= LenB@H_502_42@(strInput@H_502_42@)
    
    ReDim Preserve bytOutput@H_502_42@(254@H_502_42@)

'调用Dll'
'    Call Dll_EncIn(bytOutput,bytInput) '如果这样写就大错特错了'
    Call Dll_EncIn@H_502_42@(VarPtr@H_502_42@(bytOutput@H_502_42@(0@H_502_42@))@H_502_42@,VarPtr@H_502_42@(bytInput@H_502_42@(0@H_502_42@)))
    Erase bytInput
    
'把密文字符串读回VB'
    '把长度字节去掉'
    For i @H_502_42@= 1 To UBound@H_502_42@(bytOutput@H_502_42@)
        bytOutput@H_502_42@(i @H_502_42@- 1@H_502_42@) @H_502_42@= bytOutput@H_502_42@(i@H_502_42@)
    Next i
    ReDim Preserve bytOutput@H_502_42@(UBound@H_502_42@(bytOutput@H_502_42@) @H_502_42@- 1@H_502_42@)
    '转成Unicode字符串'
    strOutput @H_502_42@= bytOutput
    Erase bytOutput
    strOutput @H_502_42@= StrConv@H_502_42@(strOutput@H_502_42@,vbUnicode@H_502_42@)
    '把VbNullChar去掉'
    strOutput @H_502_42@= Left@H_502_42@(strOutput & vbNullChar@H_502_42@,InStr@H_502_42@(1@H_502_42@,strOutput@H_502_42@,vbNullChar@H_502_42@) @H_502_42@- 1@H_502_42@)
    
    Debug@H_502_42@.Print strOutput
End Sub

说明如下：

（1）看我没用CopyMemory，直接自己构造的Byte数组，是不是比陈辉的代码啰嗦很多？

（2）要传数组地址可别直接传数组变量的地址，而要 传数组的一个元素的地址。注意VB里的数组变量和C里的数组变量时不同的。C里的数组变量可以当指针用，指向它的第一个元素；而VB里的数组变量则是指向数组描述符。我昨天就是因为把这两个弄混了，结果老是让VB挂掉。

一次猜谜的过程：在VB里调用没有接口说明的DLL函数

猜你在找的VB相关文章