相关文章

Games101

这里写自定义目录标题 Rasterization光栅化走样 ShadingBlinn-Phong Reflectance Model 光照模型 着色模型shading frequenciesReal Time Rendering PipelineTexture MappingBarycentric coordinates 重心坐标->插值 Application of TextureShadow mapping Geometry几何的表…

Stencil计算GPU性能建模

Stencil计算GPU性能建模 3D Blocking 建模模型输入模型参数模型假设模型效果 2D Tiling 建模模型输入模型参数模型假设模型效果 机器:NVidia Tesla V100单卡 此文承接专栏中Stencil-GPU一文。由于作业2中7点stencil使用了nave版本的3D blocking实现,仅做…

Stable Diffusion XL优化终极指南

如何在自己的显卡上获得SDXL的最佳质量和性能,以及如何选择适当的优化方法和工具,这一让GenAI用户倍感困惑的问题,业内一直没有一份清晰而详尽的评测报告可供参考。直到全栈开发者Flix San出手。 在本文中,Flix介绍了相关SDXL优化…

目标检测の共性问题总结

这里对目标检测领域的一些共性问题进行了总结,并给出了详细的解答。是CV面试面经宝典 目标检测两阶段和一阶段的核心区别 目标检测技术从阶段上分为两种,一阶段和二阶段。二阶段的核心思想是首先提出proposal框,通过第一阶段的网络回归出目…

总结:大模型推理优化策略

原文地址:大模型推理优化策略 7.1 显存优化 Qunatized KV CacheMQA/GQA 核心思想是减少kv-cache的数量,以少量kv-cache对应多个query ​ ​ PagedAttention KV cache,其具有以下特点:1. 显存占用大,14b级别的模型,每个token需要约0.7M-1M的显存;2. 动态变化:KV 缓存的大…

CUDA~并行计算优化

并行计算为了提高算法运行效率,本文通过以矩阵乘法(C A * B)的各种实现思路以及优化方法总结为例子,过一遍cuda的几个基础优化策略 文章脉络 关于矩阵乘法的问题描述 关于矩阵乘法的问题描述优化策略的核心思想例子 CPU上的代码实…

LLM学习笔记

1. LLM概述 1.1 常见术语 UL2 : Unifying Language Learning ParadigmsRM: Reward Modeling奖励模型PPO: 强化学习中使用的一种策略算法, Proximal Policy Optimization, 是一种用于训练 策略神经网络的算法. PPO的主要思想是通过优化一个代理函数来提高策略的性能,代理函数的…

opencv面试宝典1

cv程序员必备 随时更新哦 目录 目标检测两阶段和一阶段的核心区别 目标检测两阶段比一阶段的算法精度高的原因 如何解决目标检测中密集遮挡问题 “狭长形状”目标检测有什么合适方法 如何解决动态目标检测FPN的作用 为什么FPN采用融合以后效果要比使用pyramidal feature hierar…

FlashAttention/ PagedAttention原理,大模型加速

1.1 GPU 硬件特点 由于 FlashAttention 计算 self-attention 的主要关键是有效的硬件使用,所以了解GPU内存和各种操作的性能特征是很有必要的。 以 A100 (40GB HBM) 为例,下面显示其内存层次结构的粗略图。SRAM内存分布在108个流式多处理器(SMs)上&…

Unbounded CKKS for Bits NTT with Composite Modulus

参考文献: [CHKKS18] Cheon J H, Han K, Kim A, et al. Bootstrapping for approximate homomorphic encryption[C]//Advances in Cryptology–EUROCRYPT 2018: 37th Annual International Conference on the Theory and Applications of Cryptographic Techniques…

在低成本loT mcu上实现深度神经网络端到端自动部署-深度神经网络、物联网、边缘计算、DNN加速——文末完整资料

目录 前言 DNN 量化神经网络 并行超低功耗计算范式 面向内存的部署 结果 原文与源码下载链接 REFERENCES 前言 在物联网极端边缘的终端节点上部署深度神经网络( Deep Neural Networks,DNNs )是支持普适深度学习增强应用的关键手段。基于低成本MCU的终端节点…

注意力机制,代码简析

2017年Google在论文《Attention is All You Need》中提出了Transformer模型,并成功应用到NLP领域。该模型完全基于自注意力机制Attention mechanism实现,弥补了传统的RNN模型的不足。宏观层面,Transformer可以看成是一个黑箱操作的序列到序列…

【文献阅读】VAQF: Fully Automatic Software-Hardware Co-Design Framework for Low-Bit Vision Transformer

题目:VAQF: Fully Automatic Software-Hardware Co-Design Framework for Low-Bit Vision Transformer 时间:2022 会议/期刊:eprint arXiv:2201.06618 研究机构:Northeastern University, University of California, Irvine Unive…

SSD 学习与研究

目标检测–SSD 论文地址:https://arxiv.org/abs/1512.02325 project:https://github.com/apache/incubator-mxnet/tree/master/example/ssd 其他参考链接: 1、https://blog.csdn.net/a8039974/article/details/77592395 2、https://www.c…

Optimizing FPGA-based Accelerator Design for Deep Convolutional Neural Networks ,2015 论文阅读笔记

简述:这篇文章的贡献在于 对CNN FPGA加速器的技术 (例如循环平铺和转换) 优化,同时进行了定量分析计算吞吐量和片内外I/0带宽和建模 通过roof-line模型搜索加速器硬件参数设计空间中最优的方案, 最后通过此建模方案设计了一个加速器&#x…

【论文阅读|半监督小苹果检测方法S3AD】

论文题目 : : Semi-supervised Small Apple Detection in Orchard Environments 项目链接:https://www.inf.uni-hamburg.de/en/inst/ab/cv/people/wilms/mad.html 摘要(Abstract) 农作物检测是自动估产或水果采摘等精准农业应用不…

Shader Graph 节点

Shader Graph 节点 官方文档:shader graph Fresnel Effect 菲涅尔效应;视线垂直于表面时,反射较弱,而当视线非垂直表面时,夹角越小,反射越明显。如果你看向一个圆球,那圆球中心的反射较弱,靠近边缘较强。不过这种过度关系被折射率影响。防护罩、外发光等 power: 系数…

CUDA 并行计算优化策略总结

作者 | LustofLife知乎 来源 | https://zhuanlan.zhihu.com/p/297201517 编辑 | 极市平台 导读 并行计算为了提高算法运行效率,本文通过以矩阵乘法(C A * B)的各种实现思路以及优化方法总结为例子,过一遍cuda的几个基础优化策略…

CUDA|并行计算优化策略

点击上方“计算机视觉工坊”,选择“星标” 干货第一时间送达 作者丨LustofLife知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p/297201517 编辑丨极市平台 并行计算为了提高算法运行效率,本文通过以矩阵乘法(C A * …

TVM中的auto-scheduling机制(Ansor)学习笔记

背景 TVM继承了Halide中算法(Algorithm)与调度(Schedule)分离的思想。用户使用TE(Tensor expression)这种DSL定义计算(算法),然后编译器优化相应的schedule,…