Добавить в rsop
Oct. 11th, 2019 09:18 pmТехнические пометки.
В чем основная проблема протоколов UPI \ QPI
QPI
Рис. 2. Архитектурные особенности систем процессоров с шиной QPI
Ключевой особенностью новой архитектуры является применение концепции масштабируемой разделяемой памяти (scalable shared memory). В рамках новой архитектуры каждый CPU имеет собственную выделенную память, к которой он будет обращаться напрямую, через свой интегрированный контроллер памяти. В случае, если процессору потребуется доступ к выделенной памяти другого CPU, он сможет связаться с ней посредством одного из каналов QuickPath Interconnect. Как и шина HyperTransport, применяемая в процессорах компании AMD, QPI будет использовать последовательную связь по схеме "точка-точка" (point-to-point), что обеспечит высокую скорость при малой латентности. Итак, основными ключевыми характеристиками Intel QuickPath Architecture являются:
- производительность каналов QuickPath Interconnect до 6,4 гигатранзакций в секунду (благодаря чему общая пропускная способность может достигать 25,6 Гбайт/сек)
- QPI уменьшает количество служебной информации, необходимой для функционирования многопроцессорных систем (что, соответственно, позволяет повысить скорость передачи полезных данных);
http://al-tm.ru/stati/stati-po-mat.-obespecheniyu/qpi-core-ix
Intel® Ultra Path Interconnect
Предыдущее поколение процессоров Intel® Xeon® применяло Intel QPI, который был заменён в семействе Scalable процессоров Intel Xeon на Intel UPI. Intel UPI является неким когерентным интерконнектом для масштабируемых систем, содержащих множество процессоров в каком- то едином совместно используемом адресном пространстве. Поддерживающие Intel UPI процессоры Intel Xeon предоставляют либо два, либо три соединения Intel UPI для связи с другими процессорами Intel Xeon и осуществляют это с применением высокоскоростного пути с низкой латентностью в прочие сокеты ЦПУ. Intel UPI применяет когерентный протокол выискивания размещения на основе каталога (directory-based home snoop coherency protocol), который предоставляет рабочую скорость до 10.4GT/s, улучшая эффективность энергопотребления за счёт состояния L0p в состояниях с пониженным потреблением питания, предоставляет улучшенную эффективность обмена данными по имеющимся связям при помощи некоего нового формата упаковки в пакеты и имеет улучшения на уровне протокола такие как отсутствие предварительного размещения для удаления пределов масштабирования при Intel QPI.
http://onreader.mdl.ru/IntelXeonProcessorScalableFamilyTechnicalOverview/content/Index.html
Проблема: коллизии при общей шине.
VM speed
VIN2275BU ✓ X Extreme Performance Series: vSphere DRS 6.7 Performance and Best Practices
VIN2685BU ✓ X Extreme Performance Series: Benchmarking 101
VIN2677BU ✓ ✓ Extreme Performance Series: Performance Best Practices
VIN2183BU ✓ ✓ Extreme Performance Series: vSphere PMEM = Storage at Memory Speed
VIN1782BU ✓ ✓ Extreme Performance Series: vSphere Compute & Memory Schedulers
VIN1759BU ✓ ✓ Extreme Performance Series: vCenter Performance Deep Dive
VAP2760BU ✓ X Machine Learning & Deep Learning on vSphere Using Nvidia Virtualized GPUs
HCI3000BU ✓ X Extreme Performance Series: How To Estimate vSAN Performance
VAP1900BU ✓ ✓ High Performance Big Data and Machine Learning on VMware Cloud on AWS
VAP1492BU ✓ ✓ Performance of SQL Server, Oracle, and SAP workloads in VMware Cloud on AWS
VAP1620BU ✓ ✓ Improve App Performance with Micro-Segmentation and Distributed Routing
VIN2572BU ✓ X vMotion across Hybrid Cloud : Technical Deep Dive
CTO2390BU ✓ X Virtualize and Accelerate HPC/Big Data with SR-IOV, vGPU and RDMA
NFV2917BU ✓ X Breaking the Virtual Speed Limit: Data Plane Performance Tuning
https://blogs.vmware.com/performance/2018/07/extreme-performance-series-at-vmworld-2018.html
https://github.com/jorgedlcruz/vmworld-2018-breakout-sessions-mp4/blob/master/vmworld-us-mp4-url.md
https://videos.vmworld.com/global/2018
https://videos.vmworld.com/global/2019
ESXI round-robin NMP -
Changing an ESXi SATP Rule
https://www.codyhosterman.com/2015/07/changing-an-esxi-satp-rule/
SCSI
VMware ESXi SCSI Sense Code Decoder
https://www.virten.net/vmware/esxi-scsi-sense-code-decoder/
Pluggable Storage Architecture (PSA) Deep-Dive – Part 1
https://cormachogan.com/2013/02/04/pluggable-storage-architecture-psa-deep-dive-part-1/
Pluggable Storage Architecture (PSA) Deep-Dive – Part 2
https://cormachogan.com/2013/02/05/pluggable-storage-architecture-psa-deep-dive-part-2/
Storage Design and Implementation in vSphere 6: A Technology Deep Dive (2nd Edition) (VMware Press Technology) 2nd Edition
https://www.amazon.com/Storage-Design-Implementation-vSphere-Technology/dp/0134268105
A closer look at EBS-backed vSAN - At VMworld 2018, we announced an initiative to use EBS, Amazon Elastic Block Store, for vSAN storage.
https://blogs.vmware.com/feed-items/a-closer-look-at-ebs-backed-vsan-5
https://cormachogan.com/2018/11/01/a-closer-look-at-ebs-backed-vsan/
Network 40G Vmware
Network Improvements in vSphere 6 Boost Performance for 40G NICs
In addition to the device driver changes, vSphere 6.0 includes improvements to the vmxnet3 virtual NIC (vNIC) that allows a single vNIC to achieve line-rate performance with 40GbE physical NICs.
As we can see from figure 1 below, 1 VM with 1 vNIC on vSphere 6.0 can achieve more than 35Gbps of throughput as compared to 20Gbps achieved in vSphere 5.5
https://blogs.vmware.com/performance/2015/04/network-improvements-vsphere-6-boost-performance-40g-nics.html
UPD
Vmware flash install
ESXi scratch partition – how to enable and why?
It’s recommended by VMware to have a persistent scratch location for VMkernel logs in case that ESXi is installed on USB stick or SD card (1Gb is minimum size). ESXi scratch partition, for those particular cases, resides in memory – in RAM disk, which is limited in size. The size is only 512 Mb, which is taken out of the server’s available memory. Having scratch location in RAM might get problematic when running lots of VMs so the memory gets restrained.
Also, if you reboot the host, you’ll basically loose the VMkernel logs so having persistent scratch partition is a good thing. You would certainly want to keep the logs, don’t you? You can then use Splunk to present and seek the logs with through GUI, or use Syslog bundled with vCenter.
https://www.vladan.fr/esxi-scratch-partition/
Проблема:
деградация производительности Vmvare при отключении одного ввода питания на любом профиле, кроме макс перфоманс.
В чем основная проблема протоколов UPI \ QPI
QPI
Рис. 2. Архитектурные особенности систем процессоров с шиной QPI
Ключевой особенностью новой архитектуры является применение концепции масштабируемой разделяемой памяти (scalable shared memory). В рамках новой архитектуры каждый CPU имеет собственную выделенную память, к которой он будет обращаться напрямую, через свой интегрированный контроллер памяти. В случае, если процессору потребуется доступ к выделенной памяти другого CPU, он сможет связаться с ней посредством одного из каналов QuickPath Interconnect. Как и шина HyperTransport, применяемая в процессорах компании AMD, QPI будет использовать последовательную связь по схеме "точка-точка" (point-to-point), что обеспечит высокую скорость при малой латентности. Итак, основными ключевыми характеристиками Intel QuickPath Architecture являются:
- производительность каналов QuickPath Interconnect до 6,4 гигатранзакций в секунду (благодаря чему общая пропускная способность может достигать 25,6 Гбайт/сек)
- QPI уменьшает количество служебной информации, необходимой для функционирования многопроцессорных систем (что, соответственно, позволяет повысить скорость передачи полезных данных);
http://al-tm.ru/stati/stati-po-mat.-obespecheniyu/qpi-core-ix
Intel® Ultra Path Interconnect
Предыдущее поколение процессоров Intel® Xeon® применяло Intel QPI, который был заменён в семействе Scalable процессоров Intel Xeon на Intel UPI. Intel UPI является неким когерентным интерконнектом для масштабируемых систем, содержащих множество процессоров в каком- то едином совместно используемом адресном пространстве. Поддерживающие Intel UPI процессоры Intel Xeon предоставляют либо два, либо три соединения Intel UPI для связи с другими процессорами Intel Xeon и осуществляют это с применением высокоскоростного пути с низкой латентностью в прочие сокеты ЦПУ. Intel UPI применяет когерентный протокол выискивания размещения на основе каталога (directory-based home snoop coherency protocol), который предоставляет рабочую скорость до 10.4GT/s, улучшая эффективность энергопотребления за счёт состояния L0p в состояниях с пониженным потреблением питания, предоставляет улучшенную эффективность обмена данными по имеющимся связям при помощи некоего нового формата упаковки в пакеты и имеет улучшения на уровне протокола такие как отсутствие предварительного размещения для удаления пределов масштабирования при Intel QPI.
http://onreader.mdl.ru/IntelXeonProcessorScalableFamilyTechnicalOverview/content/Index.html
Проблема: коллизии при общей шине.
VM speed
VIN2275BU ✓ X Extreme Performance Series: vSphere DRS 6.7 Performance and Best Practices
VIN2685BU ✓ X Extreme Performance Series: Benchmarking 101
VIN2677BU ✓ ✓ Extreme Performance Series: Performance Best Practices
VIN2183BU ✓ ✓ Extreme Performance Series: vSphere PMEM = Storage at Memory Speed
VIN1782BU ✓ ✓ Extreme Performance Series: vSphere Compute & Memory Schedulers
VIN1759BU ✓ ✓ Extreme Performance Series: vCenter Performance Deep Dive
VAP2760BU ✓ X Machine Learning & Deep Learning on vSphere Using Nvidia Virtualized GPUs
HCI3000BU ✓ X Extreme Performance Series: How To Estimate vSAN Performance
VAP1900BU ✓ ✓ High Performance Big Data and Machine Learning on VMware Cloud on AWS
VAP1492BU ✓ ✓ Performance of SQL Server, Oracle, and SAP workloads in VMware Cloud on AWS
VAP1620BU ✓ ✓ Improve App Performance with Micro-Segmentation and Distributed Routing
VIN2572BU ✓ X vMotion across Hybrid Cloud : Technical Deep Dive
CTO2390BU ✓ X Virtualize and Accelerate HPC/Big Data with SR-IOV, vGPU and RDMA
NFV2917BU ✓ X Breaking the Virtual Speed Limit: Data Plane Performance Tuning
https://blogs.vmware.com/performance/2018/07/extreme-performance-series-at-vmworld-2018.html
https://github.com/jorgedlcruz/vmworld-2018-breakout-sessions-mp4/blob/master/vmworld-us-mp4-url.md
https://videos.vmworld.com/global/2018
https://videos.vmworld.com/global/2019
ESXI round-robin NMP -
Changing an ESXi SATP Rule
https://www.codyhosterman.com/2015/07/changing-an-esxi-satp-rule/
SCSI
VMware ESXi SCSI Sense Code Decoder
https://www.virten.net/vmware/esxi-scsi-sense-code-decoder/
Pluggable Storage Architecture (PSA) Deep-Dive – Part 1
https://cormachogan.com/2013/02/04/pluggable-storage-architecture-psa-deep-dive-part-1/
Pluggable Storage Architecture (PSA) Deep-Dive – Part 2
https://cormachogan.com/2013/02/05/pluggable-storage-architecture-psa-deep-dive-part-2/
Storage Design and Implementation in vSphere 6: A Technology Deep Dive (2nd Edition) (VMware Press Technology) 2nd Edition
https://www.amazon.com/Storage-Design-Implementation-vSphere-Technology/dp/0134268105
A closer look at EBS-backed vSAN - At VMworld 2018, we announced an initiative to use EBS, Amazon Elastic Block Store, for vSAN storage.
https://blogs.vmware.com/feed-items/a-closer-look-at-ebs-backed-vsan-5
https://cormachogan.com/2018/11/01/a-closer-look-at-ebs-backed-vsan/
Network 40G Vmware
Network Improvements in vSphere 6 Boost Performance for 40G NICs
In addition to the device driver changes, vSphere 6.0 includes improvements to the vmxnet3 virtual NIC (vNIC) that allows a single vNIC to achieve line-rate performance with 40GbE physical NICs.
As we can see from figure 1 below, 1 VM with 1 vNIC on vSphere 6.0 can achieve more than 35Gbps of throughput as compared to 20Gbps achieved in vSphere 5.5
https://blogs.vmware.com/performance/2015/04/network-improvements-vsphere-6-boost-performance-40g-nics.html
UPD
Vmware flash install
ESXi scratch partition – how to enable and why?
It’s recommended by VMware to have a persistent scratch location for VMkernel logs in case that ESXi is installed on USB stick or SD card (1Gb is minimum size). ESXi scratch partition, for those particular cases, resides in memory – in RAM disk, which is limited in size. The size is only 512 Mb, which is taken out of the server’s available memory. Having scratch location in RAM might get problematic when running lots of VMs so the memory gets restrained.
Also, if you reboot the host, you’ll basically loose the VMkernel logs so having persistent scratch partition is a good thing. You would certainly want to keep the logs, don’t you? You can then use Splunk to present and seek the logs with through GUI, or use Syslog bundled with vCenter.
https://www.vladan.fr/esxi-scratch-partition/
Проблема:
деградация производительности Vmvare при отключении одного ввода питания на любом профиле, кроме макс перфоманс.