游戏开发论坛

 找回密码
 立即注册
搜索
查看: 8121|回复: 22

上午写了两个类,实现了自定义资源文件,数据流的存取

[复制链接]

119

主题

1367

帖子

1393

积分

金牌会员

Rank: 6Rank: 6

积分
1393
发表于 2008-3-8 15:15:00 | 显示全部楼层 |阅读模式
精确的概括是:

按名称从资源文件里面读和写二进制raw数据(raw在文件里面是按zlib压缩的形式存储的)

这样我就可以把一些文件资源用对应的api读入到内存的buffer中去,然后通过我的资源库压缩buffer再写入到资源文件里面去,下次真正调用的时候读出来解压还原到内存的buffer里面去使用。

下面要做的事情就是把游戏里面所有的资源文件都打包了。
只是目前还没有加上加密的算法,下面的代码应该还是很有用的,所以拿出来与大家分享

我放到我的blog里面了
http://www.cppblog.com/tonykee/archive/2008/03/08/43960.html



//看一段测试代码
void testFilestream()
{
   FileStream filestream;
   filestream.Open("aaa.bin", "r+");
   char *p=0;
   DWORD ln = 0;
   char *src = "hello,a big boy";
   filestream.Write("xxx.xxx", src, strlen(src));

   filestream.Read("xxx.xxx", (void **)&p, ln);
   
   printf("%s :%d\r\n", p, ln);
   DELS(p);
   filestream.Close();
}

结果:

hello,a big boy?? :15
请按任意键继续. . .

源码如下:

//FileStream.h
/************************************************************************/
/* 按命名从资源文件里面读和写raw数据(raw在文件里面是按zlib压缩的形式存储的)
/************************************************************************/
#pragma once
#ifndef FILESTREAM_H
#define FILESTREAM_H


#include <stdio.h>
#include <WTypes.h>
#include <string>
#include <assert.h>
#include "../include/zlib.h"
#pragma comment(lib,"../lib/zdll.lib")


namespace LK3D
{
class FileStream;

//////////////////////////////////////////////////////////////////////////////////////
// 文件或数据流(不支持同时读写多个数据区,只能一次对FileStream的一个数据区进行读写操作)
class FileDataStreamBuffer
{
private:

DWORD  zipbuflen;       //zip raw buffer len     
void * zipbuf;          //zip raw buffer         压缩字节流

//按照buflen重新分配空间
void realloc();

DWORD  srcbuflen;       //source raw buffer len  

std::string dataname;   //该数据流的名字

public:

DWORD GetSrcBufLen();

//构造
    FileDataStreamBuffer(const char *dname);

//析构
~FileDataStreamBuffer();

//写字节,写之前一定要设定dataname
DWORD WriteBytes(const void *from,DWORD len);

//读字节,写之前一定要设定dataname
DWORD ReadBytes(void *to);

//debug
void DumpBuffer();

    DWORD GetLen() const;   //总长度,是计算出来的

    bool operator ==(const FileDataStreamBuffer &other) const;

    friend class FileStream;
};




class FileStream
{
FILE *pFile;

private:

//写文件包,写之前一定要设定filebuf.dataname
DWORD Write(FileDataStreamBuffer& filebuf);

//读文件包,读之前一定要设定filebuf.dataname
DWORD Read(FileDataStreamBuffer& filebuf);



public:

FileStream(void);

~FileStream(void);

//打开一个文档
DWORD Open(const char* archive,const char *mode);

//写某个数据段落
DWORD Write(const char* dname, const void *from, DWORD len);

//读取某个数据段落
DWORD Read(const char* dname, void **to, DWORD &len);

//关闭文件流
void Close();

friend void testFileStream();
};

void testFileStream();

void testFileStream1();
}
#endif

//FileStream.cpp

#include "FileStream.h"

#ifndef DEL
#define DEL(p)  { if(p) { delete (p); (p) = NULL; } }
#endif

#ifndef DELS
#define DELS(p)  { if(p) { delete[] (p); (p) = NULL; } }
#endif

#ifndef RELEASE
#define RELEASE(p)  { if(p) { (p)->Release(); (p) = NULL; } }
#endif

using namespace LK3D;

FileDataStreamBuffer::FileDataStreamBuffer(const char *dname)
{
zipbuflen = 0;
zipbuf = 0;
srcbuflen = 0;
dataname = dname;
}


DWORD FileDataStreamBuffer::GetSrcBufLen()
{
    return srcbuflen;
}

FileDataStreamBuffer::~FileDataStreamBuffer()
{
DELS(zipbuf);
}


void FileDataStreamBuffer::realloc()
{
    DELS(zipbuf);
zipbuf = new char[zipbuflen];
}


bool FileDataStreamBuffer:perator ==(const FileDataStreamBuffer &other) const
{
  return GetLen() == other.GetLen() &&
      dataname == other.dataname &&
   zipbuflen == other.zipbuflen &&
   memcmp((const char *)zipbuf, (const char *)other.zipbuf, zipbuflen) == 0 &&
   srcbuflen == other.srcbuflen;
}


DWORD FileDataStreamBuffer::GetLen() const
{
   //     文件名长度占位  文件名长度               srcbuf长度占位  zipbuf长度占位  zipbuf长度
   return sizeof(DWORD) + (DWORD)dataname.size() + sizeof(DWORD) + sizeof(DWORD) + zipbuflen;
}



//写字节
DWORD FileDataStreamBuffer::WriteBytes(const void *from,DWORD len)
{
   if(dataname.empty())
       return 0;    //还未给要写入的部分命名

   if(!from)
    return 0;
   
   //记录原字节数据区的长度
   srcbuflen = len;

   //重新分配zipbuf的空间
   //DELS(zipbuf);
   zipbuflen =(DWORD)(len+ (len * 0.1) + 12); //这是个公式,官方网站上提供的,预留的最小的压缩空间的大小
   
   realloc();
   
   //压缩原数据到zipbuf中去
   compress2((Bytef*)zipbuf,(uLongf*)&zipbuflen,(const Bytef*)from,(uLongf)srcbuflen, Z_DEFAULT_COMPRESSION);

   return len;
}

//读字节
DWORD FileDataStreamBuffer::ReadBytes(void *to)
{
   //if(dataname.empty())
    //  return 0;    //还未给要读取的部分命名

   if(!to)
   return 0;

   uncompress((Bytef*)to, (uLongf *)&srcbuflen, (const Bytef*)zipbuf, (uLong)zipbuflen);

   return zipbuflen;
}



void FileDataStreamBuffer:umpBuffer()
{
DWORD len = zipbuflen;
printf("Buffer: size=%d", len);
if (len > 0)
{
  printf("  [ ");
  const UCHAR* pBuf = (const UCHAR*) zipbuf;
  for (DWORD i = 0; i < len; ++i)
   printf("%02X ", pBuf);
  printf("]");
}
printf("\n");
}



FileStream::FileStream(void)
{
pFile = 0;
}


FileStream::~FileStream(void)
{
Close();
}

//打开一个文档
DWORD FileStream::Open(const char* archive,const char *mode)
{
pFile = fopen(archive, mode);
assert(pFile);

return 0;
}

//写文件包
DWORD FileStream::Write(FileDataStreamBuffer& filebuf)
{
if(filebuf.dataname.empty())
{
  return 0; //指定要读取的数据区的名称
}

DWORD writebytes = 0;

//写入文件名的长度占位
DWORD filenamelen = (DWORD)filebuf.dataname.size();
    writebytes+=(DWORD)(fwrite(&filenamelen, sizeof(DWORD), 1, pFile) * sizeof(DWORD));

//写入文件名
writebytes+=(DWORD)(fwrite(filebuf.dataname.c_str(), sizeof(char), filebuf.dataname.size(), pFile) * sizeof(char));

//写入srcbuf长度的占位
writebytes+=(DWORD)(fwrite(&filebuf.srcbuflen, sizeof(DWORD), 1, pFile) * sizeof(DWORD));

//写入zipbuf的长度占位
writebytes+=(DWORD)(fwrite(&filebuf.zipbuflen, sizeof(DWORD), 1, pFile) * sizeof(DWORD));

//写入zipbuf
writebytes+=(DWORD)(fwrite(filebuf.zipbuf, sizeof(char), filebuf.zipbuflen, pFile) * sizeof(char));

return writebytes;
}


//读文件包
DWORD FileStream::Read(FileDataStreamBuffer& filebuf)
{
   if(filebuf.dataname.empty())
   {
    return 0; //指定要读取的数据区的名称
   }

   //从文件头开始
   rewind(pFile);
   char filename[100]; //文件名预留100应该足够了
   ZeroMemory(filename, 100);

   //实际读取的数量
   DWORD readbytes = 0;
   bool founded = false;


  // bool bt = false;
  // fseek(filebuf,1000, SEEK_CUR);

   while(filebuf.dataname != filename)
   {   

    //读入文件名长度的占位
    DWORD filenamelen = 0;
    readbytes += (DWORD)(fread(&filenamelen, sizeof(DWORD), 1, pFile) * sizeof(DWORD));

    if(readbytes == 0)
     break; //已经无法读取数据了,说明已经eof了

    //读入文件名
    readbytes += (DWORD)(fread(&filename, sizeof(char), filenamelen, pFile) * sizeof(char));

    //读入srcbuf长度占位
    readbytes += (DWORD)(fread(&filebuf.srcbuflen, sizeof(DWORD), 1, pFile) * sizeof(DWORD));

    //读入zipbuf长度占位
    readbytes += (DWORD)(fread(&filebuf.zipbuflen, sizeof(DWORD), 1, pFile) * sizeof(DWORD));
   
    if(filebuf.dataname == filename)
    {
     //重新分配可以装载数据的空间
           filebuf.realloc();
     readbytes += (DWORD)(fread(filebuf.zipbuf, sizeof(char), filebuf.zipbuflen, pFile) * sizeof(char));
           founded = true;
     break;
    }
    else
    {
     readbytes = 0;  //重新计数
     //不是要找的data直接后移filebuf.zipbuflen
     fseek(pFile, filebuf.zipbuflen, SEEK_CUR);
     filebuf.zipbuflen = 0; //读取的zipbuffer长度也清0,作废处理
     filebuf.srcbuflen = 0; //读取的srcbuffer长度也清0,作废处理
    }
    ZeroMemory(filename, 100);
   }

   if(founded)
       return readbytes; //返回实际读取的字节数
   else
    return 0;         //读取失败了
}





//关闭文件流
void FileStream::Close()
{
if(pFile)
{
  fclose(pFile);
  pFile = 0;
}
}


DWORD FileStream::Write(const char* dname, const void *from,DWORD len)
{
   FileDataStreamBuffer streambuf(dname);
   if(!streambuf.WriteBytes(from, len))
     return 0;

   return Write(streambuf);
}




DWORD FileStream::Read(const char* dname, void **to, DWORD &len)
{
FileDataStreamBuffer streambuf(dname);

    if(Read(streambuf))
{
   if(*to)
   {
     printf("warning, 销毁接收缓冲...");
  DELS(*to)
   }
   len = streambuf.GetSrcBufLen();
   *to = new char[len];
   streambuf.ReadBytes(*to);
   return len;
}
else
  return 0;
}


void LK3D::testFileStream()
{
  FileDataStreamBuffer f1("file1.txt");
  char *str1 ="one 111";
  f1.WriteBytes(str1, (DWORD)strlen(str1));
  


  FileDataStreamBuffer f2("file2.txt");
  char *str2 ="a111111111111111111b";
  f2.WriteBytes(str2, (DWORD)strlen(str2));

  FileStream stream;
  
  //写
  stream.Open("aaa.bin", "wb");
  DWORD d1 = stream.Write(f1);
  DWORD d2 = stream.Write(f2);

  assert(d1 == f1.GetLen());
  assert(d2 == f2.GetLen());

  stream.Close();

  f2.DumpBuffer();

  //读
  FileStream stream1;
  stream1.Open("aaa.bin", "rb");

  FileDataStreamBuffer val_bf("file2.txt");
  DWORD vd2 = stream1.Read(val_bf);
  stream1.Close();

  val_bf.DumpBuffer();


  if(vd2)
  {
   assert(vd2 == d2);
   assert(f2 == val_bf);

   char *c = new char[val_bf.GetSrcBufLen() +1];
   ZeroMemory(c, val_bf.GetSrcBufLen() +1);
   val_bf.ReadBytes(c);
   printf("%s \r\n", c);
  } else
  {
   printf("没找到数据\r\n");
  }
  
}


void LK3D::testFileStream1()
{
   FileStream filestream;
   filestream.Open("aaa.bin", "r+");
   char *p=0;
   DWORD ln = 0;
   char *src = "hello,a big boy";
   filestream.Write("xxx.xxx", src, (DWORD)strlen(src));

   filestream.Read("xxx.xxx", (void **)&p, ln);
   
   printf("%s :%d\r\n", p, ln);
   DELS(p);
   filestream.Close();
}

0

主题

172

帖子

176

积分

注册会员

Rank: 2

积分
176
发表于 2008-3-8 19:59:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

这样的文件格式,最郁闷的是替换包内任何一个文件,整个包就的重打一次。。。

119

主题

1367

帖子

1393

积分

金牌会员

Rank: 6Rank: 6

积分
1393
 楼主| 发表于 2008-3-8 22:17:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

不知有什么更好的方法?

119

主题

1367

帖子

1393

积分

金牌会员

Rank: 6Rank: 6

积分
1393
 楼主| 发表于 2008-3-8 22:22:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

我想写个脚本来自动打包,即使重新打包应该也不麻烦吧。
我还想到了一个办法,一定行的通
大致伪代码的思路如下:

FileStream.beginUpdate(); //上锁
FileStream.DumpAllStreamDataToMemory(&buf);
update(&buf);
...
FileStream.OverwriteSourcFile(&buf)
FileStream.endUpdate();   //解锁

也就是需要更新的时候,把整个数据都写到内存里面去修改,然后再覆盖回来,效率低就低点,但一定不会有问题

还有一个思路:

直接对源文件进行操作

实现数据块向前搬移操作,这个相当于删除操作了
而 删除+添加=修改

不需要太频繁运行时修改的情况下,这个方法似乎更好一些吧
“编辑时”修改的效率似乎并不重要吧

119

主题

1367

帖子

1393

积分

金牌会员

Rank: 6Rank: 6

积分
1393
 楼主| 发表于 2008-3-8 23:21:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

搞烦了,找一个能支持raw类型的文件型数据库来打包,什么也不用写了,还方便些
不过似乎太极端了点

362

主题

3023

帖子

3553

积分

论坛元老

Rank: 8Rank: 8

积分
3553
发表于 2008-3-9 10:54:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

我是从MFC的CFile类抄的。真爽

32

主题

1259

帖子

1351

积分

金牌会员

Rank: 6Rank: 6

积分
1351
发表于 2008-3-9 11:56:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

用虚拟文件系统才是王道,

这样开发版本和发布版本,FILE IO的API根本就不用改了。

119

主题

1367

帖子

1393

积分

金牌会员

Rank: 6Rank: 6

积分
1393
 楼主| 发表于 2008-3-9 13:26:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

楼上,"虚拟文件系统"是什么?
有这方面的文章介绍吗?

请问

32

主题

1259

帖子

1351

积分

金牌会员

Rank: 6Rank: 6

积分
1351
发表于 2008-3-9 16:05:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

http://www.azure.com.cn/article.asp?id=380

119

主题

1367

帖子

1393

积分

金牌会员

Rank: 6Rank: 6

积分
1393
 楼主| 发表于 2008-3-9 19:26:00 | 显示全部楼层

Re:上午写了两个类,实现了自定义资源文件,数据流的存

你的意思我明白了
用一种类似于接口设计的思想,底层的数据来源可以是物理文件,也可以是包里面读出来的raw,只要通过xml配置来实现切换,这种做法是非常可取的。

只不过我现在考虑的并不是这个问题,而是打包本身的问题,我已经想到方法了,还是采用数据搬移的方法
文件的结构大致如下
name1:raw1
name2:raw2
name3:raw3

如果修改
name2:raw2为name2:raw2update

就把name3:raw3之后数据块向前移动,覆盖掉name2:raw2
(name3:raw3以及后面的数据块向前移动,我用加缓存的方式循环移动,已经做了,这个过程io消耗比较大,我想了想,充其量相当做了一次文件拷贝,如果更新不频繁,文件也不大,还是开销的起的)
这样变成了:
name1:raw1
name3:raw3

接下来:
_chsize(...) //改变文件的尺寸为(name1:raw1+name3:raw3)的大小,完成缩水操作
这样就相当于删除了原来的name2:raw2

然后再
append

name2:raw2update

最终变成
name1:raw1
name3:raw3
name2:raw2update

方法是笨了点,但应该还算是有效的,我下午整理了一下,已经打算这么做了,另外你后面的虚拟文件的设计思路,是可取的,我会借鉴的
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

作品发布|文章投稿|广告合作|关于本站|游戏开发论坛 ( 闽ICP备17032699号-3 )

GMT+8, 2025-12-20 09:34

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表