NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline
2023-10-23 11:01
Dask 是一个灵活的开源库,适用于 Python 中的并行和分布式计算。
2022-05-20 17:35
并行计算或称平行计算是相对于串行计算来说的。所谓并行计算可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术
2017-12-08 09:59
大量传感器和执行器的连接问题,该公司选用了宜科可扩展分布式I/O系统——Spider67,使调试和维护效率得以大幅提升。
2018-06-29 09:54
什么是分布式系统? 1.分布式系统一定是由多个节点组成的系统。 2.这些连通的节点上部署了我们的节点,并且相互的操作会有协同。 随着应用架构演进, 分布式架构有哪些 1.传统垂直架构 2.RPC架构 3.SOA服务化
2021-07-31 09:54
Spring Cloud是一个基于Spring Boot的分布式系统开发工具,它提供了一系列的分布式系统解决方案,可以帮助开发者快速构建和部署分布式应用程序。本文将介绍Spring Cloud
2023-11-16 10:59
本文摘自:华为云社区 作者:华为加拿大研究院软件专家 Jet老师 小引 分布式系统是一个古老而宽泛的话题,而近几年因为 大数据 概念的兴起,又焕发出了新的青春与活力。本文将会通过对如下几个问题展开谈
2020-09-23 16:28
Zookeeper是一个开源的分布式协调服务,可以用于构建高可用、高性能的分布式系统。它提供了一个简单且高效的层次命名空间,可以用来存储配置信息、状态信息、命名服务等。Zookeeper的设计目标
2023-12-03 16:33
什么是分布式系统(以及分布式系统架构的优缺点)现在的架构很多,各种各样的,如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等,还有和这些架构相关的管理型的技术方法,如 DevOps、应用监控、自动化运维、SOA 服务治理、去 IOE 等
2020-05-25 17:43
分布式架构是指将一个系统或应用拆分成多个独立的节点,这些节点通过网络连接进行通信和协作,以实现共同完成任务的一种架构模式。这种架构模式旨在提高系统的可扩展性、可靠性和性能表现。 一、分布式架构的特点
2024-01-12 15:04