大规模的程序可能要注意的地方

大规模的程序可能要注意的地方

最近在调试AWP大规模程序时，至少学习到以下几点：

1.直接定义大数组是不可行的

这样直接定义大数组，可能会导致stack益处，运行时出现Out of memory, Segment fault，用valgrind检查出现 Access not within mapped region at address。

有个叫ulimit的Linux命令可以解决一些这方面的问题。

int nptotal = 1474560; //orginal
//float buf[nptotal]; //这种申明方式对于大数组来说不是好的方式
//int blocksize[nptotal];
//MPI_Aint tpmap[nptotal];
tpmap = malloc(nptotal * sizeof(MPI_Aint));
buf =   malloc(nptotal * sizeof(float));
blocksize =malloc(nptotal * sizeof(int));
if(tpmap==NULL||buf==NULL||blocksize==NULL)
{
printf("Not enough memory\n");
return -1;
}

2.long long int计算时是需要类型转换的

应该是int计算溢出的问题。

MPI_Aint 是MPI中64bit的整形，用来保存地址，如同long long int。

在c中的测试结果就是: t1,t2 OK, t3, t4 Error。

int nptotal = 1474560; //orginal
int size = 2048, rank = 0;
MPI_Aint t1= ((long long)nptotal*(long long)size+(long long)rank)*(long long)sizeof(float);
MPI_Aint t2= ((long long)nptotal*(long long)size+(long long)rank)*sizeof(float);
int t3= (long long)(nptotal*size+rank)*sizeof(float);
long long int t4= (long long)(nptotal*size+rank)*(long long)sizeof(float);
printf("%d) nptotal:%d,size:%d.\n",rank,nptotal,size);
printf("%d) t1:%lld,t2:%d,%lld, t3:%lld, t4:%lld,%d.\n",rank,t1,t2,t2,t3,t4,t4);

以下是Fortran有对应例子，好像也有这个问题，但是我还不知道如何在Fortran中正确的写法。(该问题已经在Dawei Mu的帮助下修正了。)

!  compile line: mpif90 -fno-range-check fmpitest.f90 -o fmpitest
program hello
include 'mpif.h'
integer rank, size, ierror, tag, status(MPI_STATUS_SIZE)
integer(KIND=MPI_ADDRESS_KIND) ::tpmap,pmap

call MPI_INIT(ierror)
call MPI_COMM_SIZE(MPI_COMM_WORLD, size, ierror)
call MPI_COMM_RANK(MPI_COMM_WORLD, rank, ierror)
print*, 'node', rank, ': Hello world', MPI_ADDRESS_KIND
rank = 2048
tag = 1474560
tpmap = rank * tag *4
print*, '1   tpmap', tpmap
tpmap = int(rank, 8) * tag *4
print*, '10  tpmap', tpmap
tpmap = int(rank,KIND=MPI_ADDRESS_KIND) * int(tag,KIND=MPI_ADDRESS_KIND) *4
print*, '20  tpmap', tpmap
tpmap = 1
tpmap = tpmap * rank * tag *4
print*, '50  tpmap', tpmap
tpmap = 1
tpmap = tpmap + rank * tag *4
print*, '100 tpmap', tpmap

tpmap = 12079595520
print*, '300 tpmap', tpmap, huge(tpmap)
call MPI_FINALIZE(ierror)

end

./fmpitest

node 0 : Hello world 8

1 tpmap -805306368

10 tpmap 12079595520

20 tpmap 12079595520

50 tpmap 12079595520

100 tpmap -805306367

300 tpmap 12079595520 9223372036854775807

3.MPI-IO输出好像并不是很快

在2048个Cores上输出1474560大小的float数组，运行了4：00：00都都没有完成，我想应该是我的程序有了问题。

但是测试输出14745大小时，也花费了1h，真是没有明白怎么回事？