master v0.1.2
兔子 3 years ago
parent b4bffa978c
commit 66c8abbcea
Signed by: b612
GPG Key ID: 481225A74DEB62A1

@ -5,6 +5,7 @@ import (
"context" "context"
"encoding/binary" "encoding/binary"
"errors" "errors"
"os"
"sync" "sync"
"time" "time"
) )
@ -21,10 +22,11 @@ type MsgQueue struct {
// StarQueue 为流数据中的消息队列分发 // StarQueue 为流数据中的消息队列分发
type StarQueue struct { type StarQueue struct {
count int64
Encode bool Encode bool
Reserve uint16 Reserve uint16
Msgid uint16 Msgid uint16
MsgPool []MsgQueue MsgPool chan MsgQueue
UnFinMsg sync.Map UnFinMsg sync.Map
LastID int //= -1 LastID int //= -1
ctx context.Context ctx context.Context
@ -32,18 +34,30 @@ type StarQueue struct {
duration time.Duration duration time.Duration
EncodeFunc func([]byte) []byte EncodeFunc func([]byte) []byte
DecodeFunc func([]byte) []byte DecodeFunc func([]byte) []byte
//parseMu sync.Mutex //restoreMu sync.Mutex
restoreMu sync.Mutex
} }
// NewQueue 建立一个新消息队列 func NewQueueCtx(ctx context.Context, count int64) *StarQueue {
func NewQueue() *StarQueue {
var que StarQueue var que StarQueue
que.Encode = false que.Encode = false
que.count = count
que.MsgPool = make(chan MsgQueue, count)
if ctx == nil {
que.ctx, que.cancel = context.WithCancel(context.Background()) que.ctx, que.cancel = context.WithCancel(context.Background())
} else {
que.ctx, que.cancel = context.WithCancel(ctx)
}
que.duration = 0 que.duration = 0
return &que return &que
} }
func NewQueueWithCount(count int64) *StarQueue {
return NewQueueCtx(nil, count)
}
// NewQueue 建立一个新消息队列
func NewQueue() *StarQueue {
return NewQueueWithCount(32)
}
// Uint32ToByte 4位uint32转byte // Uint32ToByte 4位uint32转byte
func Uint32ToByte(src uint32) []byte { func Uint32ToByte(src uint32) []byte {
@ -112,8 +126,17 @@ type unFinMsg struct {
RecvMsg []byte RecvMsg []byte
} }
func (que *StarQueue) push2list(msg MsgQueue) {
que.MsgPool <- msg
}
// ParseMessage 用于解析收到的msg信息 // ParseMessage 用于解析收到的msg信息
func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error { func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
return que.parseMessage(msg, conn)
}
// parseMessage 用于解析收到的msg信息
func (que *StarQueue) parseMessage(msg []byte, conn interface{}) error {
tmp, ok := que.UnFinMsg.Load(conn) tmp, ok := que.UnFinMsg.Load(conn)
if ok { //存在未完成的信息 if ok { //存在未完成的信息
lastMsg := tmp.(*unFinMsg) lastMsg := tmp.(*unFinMsg)
@ -136,7 +159,7 @@ func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
if len(msg) == 0 { if len(msg) == 0 {
return nil return nil
} }
return que.ParseMessage(msg, conn) return que.parseMessage(msg, conn)
} }
//获得本数据包长度 //获得本数据包长度
lastMsg.LengthRecv = ByteToUint32(lastMsg.HeaderMsg[8:12]) lastMsg.LengthRecv = ByteToUint32(lastMsg.HeaderMsg[8:12])
@ -156,38 +179,40 @@ func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
lastMsg.RecvMsg = que.DecodeFunc(lastMsg.RecvMsg) lastMsg.RecvMsg = que.DecodeFunc(lastMsg.RecvMsg)
} }
msg = msg[lastMsg.LengthRecv:] msg = msg[lastMsg.LengthRecv:]
stroeMsg := MsgQueue{ storeMsg := MsgQueue{
ID: lastMsg.ID, ID: lastMsg.ID,
Msg: lastMsg.RecvMsg, Msg: lastMsg.RecvMsg,
Conn: conn, Conn: conn,
} }
que.MsgPool = append(que.MsgPool, stroeMsg) //que.restoreMu.Lock()
que.push2list(storeMsg)
//que.restoreMu.Unlock()
que.UnFinMsg.Delete(conn) que.UnFinMsg.Delete(conn)
return que.ParseMessage(msg, conn) return que.parseMessage(msg, conn)
} }
} else { } else {
lastID := int(lastMsg.LengthRecv) - len(lastMsg.RecvMsg) lastID := int(lastMsg.LengthRecv) - len(lastMsg.RecvMsg)
if lastID < 0 { if lastID < 0 {
que.UnFinMsg.Delete(conn) que.UnFinMsg.Delete(conn)
return que.ParseMessage(msg, conn) return que.parseMessage(msg, conn)
} }
if len(msg) >= lastID { if len(msg) >= lastID {
lastMsg.RecvMsg = bytesMerge(lastMsg.RecvMsg, msg[0:lastID]) lastMsg.RecvMsg = bytesMerge(lastMsg.RecvMsg, msg[0:lastID])
if que.Encode { if que.Encode {
lastMsg.RecvMsg = que.DecodeFunc(lastMsg.RecvMsg) lastMsg.RecvMsg = que.DecodeFunc(lastMsg.RecvMsg)
} }
stroeMsg := MsgQueue{ storeMsg := MsgQueue{
ID: lastMsg.ID, ID: lastMsg.ID,
Msg: lastMsg.RecvMsg, Msg: lastMsg.RecvMsg,
Conn: conn, Conn: conn,
} }
que.MsgPool = append(que.MsgPool, stroeMsg) que.push2list(storeMsg)
que.UnFinMsg.Delete(conn) que.UnFinMsg.Delete(conn)
if len(msg) == lastID { if len(msg) == lastID {
return nil return nil
} }
msg = msg[lastID:] msg = msg[lastID:]
return que.ParseMessage(msg, conn) return que.parseMessage(msg, conn)
} }
lastMsg.RecvMsg = bytesMerge(lastMsg.RecvMsg, msg) lastMsg.RecvMsg = bytesMerge(lastMsg.RecvMsg, msg)
que.UnFinMsg.Store(conn, lastMsg) que.UnFinMsg.Store(conn, lastMsg)
@ -204,7 +229,7 @@ func (que *StarQueue) ParseMessage(msg []byte, conn interface{}) error {
msg = msg[start:] msg = msg[start:]
lastMsg := unFinMsg{} lastMsg := unFinMsg{}
que.UnFinMsg.Store(conn, &lastMsg) que.UnFinMsg.Store(conn, &lastMsg)
return que.ParseMessage(msg, conn) return que.parseMessage(msg, conn)
} }
func checkHeader(msg []byte) bool { func checkHeader(msg []byte) bool {
@ -250,38 +275,31 @@ func bytesMerge(src ...[]byte) []byte {
} }
// Restore 获取收到的信息 // Restore 获取收到的信息
func (que *StarQueue) Restore(n int) ([]MsgQueue, error) { func (que *StarQueue) Restore() (MsgQueue, error) {
que.restoreMu.Lock() if que.duration.Seconds() == 0 {
defer que.restoreMu.Unlock() que.duration = 86400 * time.Second
var res []MsgQueue }
dura := time.Duration(0) for {
for len(que.MsgPool) < n {
select { select {
case <-que.ctx.Done(): case <-que.ctx.Done():
return res, errors.New("Stoped By External Function Call") return MsgQueue{}, errors.New("Stoped By External Function Call")
default: case <-time.After(que.duration):
time.Sleep(time.Millisecond * 20) if que.duration != 0 {
dura = time.Millisecond*20 + dura return MsgQueue{}, os.ErrDeadlineExceeded
if que.duration != 0 && dura > que.duration {
return res, errors.New("Time Exceed")
} }
case data, ok := <-que.MsgPool:
if !ok {
return MsgQueue{}, os.ErrClosed
} }
return data, nil
} }
if len(que.MsgPool) < n {
return res, errors.New("Result Not Enough")
} }
res = que.MsgPool[0:n]
que.MsgPool = que.MsgPool[n:]
return res, nil
} }
// RestoreOne 获取收到的一个信息 // RestoreOne 获取收到的一个信息
//兼容性修改
func (que *StarQueue) RestoreOne() (MsgQueue, error) { func (que *StarQueue) RestoreOne() (MsgQueue, error) {
data, err := que.Restore(1) return que.Restore()
if len(data) == 1 {
return data[0], err
}
return MsgQueue{}, err
} }
// Stop 立即停止Restore // Stop 立即停止Restore
@ -293,3 +311,7 @@ func (que *StarQueue) Stop() {
func (que *StarQueue) RestoreDuration(tm time.Duration) { func (que *StarQueue) RestoreDuration(tm time.Duration) {
que.duration = tm que.duration = tm
} }
func (que *StarQueue) RestoreChan() <-chan MsgQueue {
return que.MsgPool
}

@ -0,0 +1,42 @@
package starnet
import (
"fmt"
"testing"
"time"
)
func Test_QueSpeed(t *testing.T) {
que := NewQueueWithCount(0)
stop := make(chan struct{}, 1)
que.RestoreDuration(time.Second * 10)
var count int64
go func() {
for {
select {
case <-stop:
//fmt.Println(count)
return
default:
}
_, err := que.RestoreOne()
if err == nil {
count++
}
}
}()
cp := 0
stoped := time.After(time.Second * 10)
data := que.BuildMessage([]byte("hello"))
for {
select {
case <-stoped:
fmt.Println(count, cp)
stop <- struct{}{}
return
default:
que.ParseMessage(data, "lala")
cp++
}
}
}
Loading…
Cancel
Save