tcp在高延时网络下的传输速度
在高延时且没有出现丢包的情况下,由于滑动窗口机制,如果tcp接收方的流量窗口过小,由于滑动窗口窗口张开原理,会导致单次发送报文耗时基本取决于延迟,传输速度较低。
Walk Slow & Think Deep
itertools提供groupby()函数,可以将输入按键值分成组,并返回一个迭代器,利用这个函数可以实现类似于SQL查询中的 groupby 功能。
参考
通过helm(k8s包管理)将mpijob以mpi-master、mpi-worker方式发布到k8s上以长期运行任务方式运行。
运行mpijob时,通过kubectl exec在mpi-master所在的docker上运行mpiexec,并指定需要运行的任务数量,从而使得mpi-worker也一起工作。
由于mpijob之间需要通信,主要工作是需要配置ssh。配置过程是生成id_rsa,id_rsa.pub,并将它们的值导入到相应的配置文件中,同时配置dockerfile,在docker中运行sshd。另外mpi-master所在pod中还需要运行一个hostfile-updater的容器,每隔一段时间更新mpi节点的hostfile。