Google SQL の新しい文法を森田が紹介しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• SQL Has Problems. We Can Fix Them: Pipe Syntax In SQL
• PRQL
• Pipe syntax  |  BigQuery  |  Google Cloud
• SQLite Forum: Interesting paper from Google on pipe syntax on SQL

LLM にひっかけ算数問題を出してみる話を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• [2410.05229] GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
• GitHub – openai/grade-school-math

写真を集めてシーンをレンダリングするニューラルネットを森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
• NeRF Tutorial ECCV 2022
• illuminate.google.com

大きなモデルから小さなモデルを作るテクニックを向井が回願しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• [1503.02531] Distilling the Knowledge in a Neural Network

ストリームにパーセンタイルを計算したい森田が教科書を読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• [1603.05346v2] Optimal Quantile Approximation in Streams
• Small Summaries for Big Data
• Data Types – Presto 0.288 Documentation
• Estimating Percentile Values | Snowflake Documentation
• KLL sketch vs t-digest – DataSketches

学部生にも実装できるストリームの要素カウントアルゴリズムを向井が試しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• [2301.10191] Distinct Elements in Streams: An Algorithm for the (Text) Book
• The CVM Algorithm for Estimating Distinct Elements in Streams
• Computer scientists invent an efficient new way to count | Hacker News

行列の掛け算が得意なハードウェアについて森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• [1704.04760] In-Datacenter Performance Analysis of a Tensor Processing Unit
• Systolic Arrays – an overview | ScienceDirect Topics
• Pallas: a JAX kernel language — JAX documentation
• About Groq – Fast AI Inference
• The Design Process for Google’s Training Chips: TPUv2 and TPUv3 | IEEE Journals & Magazine | IEEE Xplore

巨大 ML モデルの軽量 fine-tuning 手法を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• [2106.09685] LoRA: Low-Rank Adaptation of Large Language Models

CUDA を書かずに済む GPU カーネルの DSL について森田が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• Triton: An Intermediate Language and Compiler for Tiled Neural Network Computations
• Introducing Triton: Open-source GPU programming for neural networks | OpenAI
• Welcome to Triton’s documentation! — Triton documentation
• Hello Triton.ipynb – Colab

• #01: Tensor Comprehensions, Rust Belt – Misreading Chat
• #23 – Halide: Decoupling Algorithms from Schedules for High-Performance Image Processing – Misreading Chat
• #27 – Julia: A Fresh Approach to Numerical Computing – Misreading Chat

Stable Diffusion の元論文を向井が読みました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• [2112.10752] High-Resolution Image Synthesis with Latent Diffusion Models
• [2105.05233] Diffusion Models Beat GANs on Image Synthesis
• Classifier-Free Diffusion Guidance | OpenReview
• What are Diffusion Models? | Lil’Log

CUDA で書かれた PyTorch 用カーネルに森田が玉砕しました。ご意見感想などは Reddit やおたより投書箱にお寄せください。iTunes のレビューや星もよろしくね。

• [2205.14135] FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
• GitHub – Dao-AILab/flash-attention: Fast and memory-efficient exact attention
• GitHub – NVIDIA/apex: A PyTorch Extension: Tools for easy mixed precision and distributed training in Pytorch
• [2307.08691] FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning
• [2112.05682] Self-attention Does Not Need $O(n^2)$ Memory
• GitHub – tspeterkim/flash-attention-minimal: Flash Attention in ~100 lines of CUDA (forward pass only)