package main

import (
    "fmt"
    "database/sql"
    _ "github.com/mattn/go-sqlite3"
    "log"
    "time"
)

func main() {
    start := time.Now()

    db,err := sql.Open("sqlite3","/Users/robertking/go/src/bitbucket.org/thematicanalysis/optimization_test/robs.db")
    if err != nil {
        log.Fatal(err)
    }
    defer db.Close()
    rows,err := db.Query("select * from data")
    if err != nil {
        log.Fatal(err)
    }
    defer rows.Close()

    for rows.Next() {
    }
    err = rows.Err()
    if err != nil {
        log.Fatal(err)
    }
    fmt.Println(time.Since(start))
}

这在Go中需要8秒，因为.Next是slow.在python中，一个fetchall只需要4秒！我在GO中重写以获得性能而不会失去性能。

这是python代码，我在go中找不到相同的fetchall：

import time

start = time.time()
import sqlite3
conn = sqlite3.connect('/Users/robertking/go/src/bitbucket.org/thematicanalysis/optimization_test/robs.db')
c = conn.cursor()
c.execute("SELECT * FROM data")
x = c.fetchall()
print time.time() - start

编辑：添加赏金。我正在读取go，python和C中的数据，这里是结果。不想使用C，但如果GO不快，将坚持使用python：

py: 2.45s
go: 2.13s (using github.com/mxk/go-sqlite/sqlite3 instead of github.com/mattn/go-sqlite3)
c:  0.32s

我觉得应该更接近c方面的东西？有谁知道如何让它更快？是否可以通过只读模式避免互斥？

编辑：

似乎所有的sqlite3实现都很慢(太多的反射和过多的cgo调用转换)。所以我必须编写自己的界面。

这是架构：

CREATE TABLE mytable
(
  c0   REAL,c1   INTEGER,c15  TEXT,c16  TEXT,c17  TEXT,c18  TEXT,c19  TEXT,c47  TEXT,c74  REAL DEFAULT 0,c77  TEXT,c101 TEXT,c103 TEXT,c108 TEXT,c110 TEXT,c125 TEXT,c126 TEXT,c127 REAL DEFAULT 0,x    INTEGER
    PRIMARY KEY
);

并且查询是动态的，但通常是这样的：

SELECT c77,c77,c125,c126,c127,c74 from mytable

编辑：

看起来我会分叉sqlite3实现并制作一些专注于性能的方法，

这是一些代码的例子，速度要快得多：

package main


/*
 #cgo LDFLAGS: -l sqlite3

#include "sqlite3.h"
*/
import "C"

import (
    //"database/sql"
    "log"
    "reflect"
    "unsafe"
)

type Row struct {
    v77 string
    v125 string
    v126 string
    v127 float64
    v74 float64
}

// cStr returns a pointer to the first byte in s.
func cStr(s string) *C.char {
    h := (*reflect.StringHeader)(unsafe.Pointer(&s))
    return (*C.char)(unsafe.Pointer(h.Data))
}

func main() {
    getDataFromsqlite()
}

func getDataFromsqlite() {
    var db *C.sqlite3
    name := "../data_dbs/all_columns.db"
    rc := C.sqlite3_open_v2(cStr(name+"\x00"),&db,C.sqlITE_OPEN_READONLY,nil)

  var stmt *C.sqlite3_stmt;
  rc = C.sqlite3_prepare_v2(db,cStr("SELECT c77,c74 from data\x00"),C.int(-1),&stmt,nil);
  rc = C.sqlite3_reset(stmt);

    var result C.double
    result = 0.0
    rc = C.sqlite3_step(stmt)
    for rc == C.sqlITE_ROW {
    C.GoString((*C.char)(unsafe.Pointer(C.sqlite3_column_text(stmt,0))))
    C.GoString((*C.char)(unsafe.Pointer(C.sqlite3_column_text(stmt,1))))
    C.GoString((*C.char)(unsafe.Pointer(C.sqlite3_column_text(stmt,2))))
    C.sqlite3_column_double(stmt,3)
    result += C.sqlite3_column_double(stmt,4)
        rc = C.sqlite3_step(stmt)
  }
    log.Println(result)
}