Best Practices IT

2022-08-16 09:47:35 HighLoad++ Обучающий курс

Курс о проектировании высоконагруженных систем, правильном подходе к данным, об архитектурных паттернах, алгоритмах и философии проектирования.

Содержание:

Вступительная статья

Скоро следующие темы:

HighLoad++ для начинающих
Анатомия веб-сервиса
Общая логика масштабирования
Web, кэширование и memcached
Масштабируемая конфигурация nginx
Асинхронная репликация без цензуры
Как устроена MySQL-репликация
Основы индексирования и возможности EXPLAIN в MySQL
Производительность запросов в PostgreSQL — шаг за шагом
Масштабирование базы данных через шардирование и партиционирование
Sharding — patterns and antipatterns
Сага о кластере. Все, что вы хотели знать про горизонтальное масштабирование в Postgres‘е
Что особенного в СУБД для данных в оперативной памяти
Осваиваем Tarantool 1.6
Строим сервисы на базе Nginx и Tarantool
Tarantool: как сэкономить миллион долларов на базе данных на высоконагруженном проекте
Принципы и приёмы обработки очередей
101 способ приготовления RabbitMQ и немного о pipeline-архитектуре
Очереди и блокировки. Теория и практика
Как устроен поиск
Бинарные (файловые) хранилища: страшная сказка с мрачным концом
Опыт построения и эксплуатации большого файлового хранилища
Горизонтальное масштабирование. Что, зачем, когда и как
Кэширование данных в web-приложениях. Использование memcached
Использование memcached и Redis в высоконагруженных проектах
Как мы сделали ровную балансировку нагрузки на фронтенд-кластере
NoSQL — коротко о главном
Как выбрать In-memory NoSQL-базу данных с умом. Тестируем производительность
За счет чего Tarantool такой оптимальный

НАЗАД Открыть/Комментировать

2022-08-10 15:27:16 Создание подключения из R studio к БД

Перечень подключений к различным БД с примерами приведен в статье: https://github.com/rstudio/connections

Рассмотрим пример подключения к БД PostgreSQL:

Устанавливаем необходимые пакеты и прописываем настройки соединения

remotes::install_github("edgararuiz/connections")
install.packages("RPostgres")
library(connections)
library(RPostgres)
library(dplyr)
library(dbplyr)

con <- connection_open(RPostgres::Postgres(),
host = "localhost",
dbname = "postgres",
user = "postgres",
password = "11",
bigint = "integer",
port = "5432"
)

Далее в блоке SQL пишем запрос используя созданное подключение:

```{sql connection=con}
Select * From public.exemp
```

Чтобы привести результат запроса к форме tidy

tbl(con, sql("Select * From public.exemp"))

Либо сразу передать результат запроса в переменную

```{sql connection=con, output.var='query'}
Select * From public.exemp
```
Выводим результат запроса в R
```{r}
query
```

Также если нужно выполнить запрос из файла .sql, делается это следующим образом:

```{sql connection=con, code=readLines("storm.sql"), output.var="storm_preview"}
```
```{r}
storm_preview
```

Дополнительные примеры здесь

НАЗАД Открыть/Комментировать

2022-08-09 12:58:25 Интерфейс R для Python

Использовать возможности языка Python в R используя RStudio можно с пакетом reticulate.

Пакет reticulate предоставляет полный набор инструментов для взаимодействия между Python и R. Пакет включает в себя средства для:

Вызов Python из R различными способами, включая R Markdown, поиск скриптов Python, импорт модулей Python и интерактивное использование Python в сеансе R.
Преобразование между объектами R и Python (например, между фреймами данных R и Pandas или между матрицами R и массивами NumPy).
Гибкая привязка к различным версиям Python, включая виртуальные среды и среды Conda.

Установка и инициализация библиотеки

install.packages("reticulate")
library(reticulate)

При первом запуске в терминале появится сообщение с предложением установить Miniconda, соглашаемся и продолжаем

Устанавливаем нужные библиотеки

```{python}
conda_install(packages = "dask")
```

Запускаем интерактивный режим Python

repl_python()

Делаем необходимые операции на Python

```{python}
import pandas as pd
import numpy as np
dates = pd.date_range("20130101", periods=6)
df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list("ABCD"))
```
Передаем полученный объект из Python в R

Производим необходимые операции на R

```{r}
df1 <- py$df
df2 <- df1 %>%
select(1,2)
```
Если нужно снова возвращаем измененный объект из R в Python

```{python}
df3 = r.df2
df3
```

CheatSheet: Reticulate


НАЗАД Открыть/Комментировать

2022-07-20 22:57:06 UpSet диаграммы - введение

Понимание взаимосвязей между атрибутами изучаемого набора данных является важной задачей анализа. Основной проблемой в этом контексте является комбинаторный взрыв числа пересечений множеств, если количество множеств превышает тривиальный порог. Наиболее распространенный подход к визуализации наборов – Диаграммы Венна - не масштабируется дальше трех или четырех наборов.

Графики UpSet дают возможность проводить анализ взаимосвязей гораздо большего числа атрибутов.

В этой статье знакомимся в графиками UpSet для визуализации взаимосвязей атрибутов набора данных.

НАЗАД Открыть/Комментировать

2022-07-20 22:54:38 CookBook R

сборник примеров, полезных решений и нестандартных задач

Интеграция и подключения

Создание подключения из R studio к БД - пример подключения к БД, написания SQL запроса или выполнение запроса из файла и использование результата запроса в R коде

Трансформация данных

CheatSheet dplyr - Разбор популярных методов обработки данных пакета dplyr. Выборка, фильтрация, сортировка, агрегатные и оконные функции, а также соединение наборов данных
Интерфейс R для Python - разбираемся как использовать язык Python вместе с кодом на R в RStudio


Визуализация

UpSet диаграммы - введение - Построение диаграмм пересечения множеств с помощью UpSet графиков развитие диаграмм Вена на большом количестве анализируемых атрибутов



НАЗАД Открыть/Комментировать

2022-07-20 22:51:00 Язык программирования R

Книги по языку R
CookBook - сборник примеров, полезных решений и нестандартных задач
Пакеты


НАЗАД Открыть/Комментировать

2022-06-06 16:10:29 Machine Learning With Python For Everyone [2020] Mark E. Fenner

The Complete Beginner's Guide to Understanding and Building Machine Learning Systems with Python.

Скачать книгу

Machine Learning with Python for Everyone will help you master the processes, patterns, and strategies you need to build effective learning systems, even if you're an absolute beginner. If you can write some Python code, this book is for you, no matter how little college-level math you know. Principal instructor Mark E. Fenner relies on plain-English stories, pictures, and Python examples to communicate the ideas of machine learning.

Mark begins by discussing machine learning and what it can do; introducing key mathematical and computational topics in an approachable manner; and walking you through the first steps in building, training, and evaluating learning systems. Step by step, you'll fill out the components of a practical learning system, broaden your toolbox, and explore some of the field's most sophisticated and exciting techniques. Whether you're a student, analyst, scientist, or hobbyist,..

НАЗАД Открыть/Комментировать

2022-06-06 16:09:06 Шаблоны и практика глубокого обучения [2022] Ферлитш Эндрю

Скачать книги

Откройте для себя шаблоны конструирования и воспроизводимые архитектуры, которые направят ваши проекты глубокого обучения от стадии разработки к реализации. В книге рассматриваются актуальные примеры создания приложений глубокого обучения с учетом десятилетнего опыта работы автора в этой области. Вы сэкономите часы проб и ошибок, воспользовавшись представленными здесь шаблонами и приемами. Проверенные методики, образцы исходного кода и блестящий стиль повествования позволят с увлечением освоить даже непростые навыки. По мере чтения вы получите советы по развертыванию, тестированию и техническому сопровождению ваших проектов. Издание предназначено для инженеров машинного обучения, знакомых с Python и глубоким обучением.

НАЗАД Открыть/Комментировать

2022-06-06 16:07:37 Python for Excel: A Modern Environment for Automation and Data Analysis

Скачать книгу

НАЗАД Открыть/Комментировать

2022-06-06 16:05:00 Black Hat Python: программирование для хакеров и пентестеров, 2-е изд [2022] Зейтц, Арнольд

Скачать книгу (RU + EN)

Создайте троянскую систему управления и управления с помощью GitHub
Обнаружение "песочницы" и автоматизация распространенных задач вредоносного ПО, таких как ведение кейлогга и создание скриншотов
Повышение привилегий Windows с помощью управления творческим процессом
Используйте оскорбительные приемы криминалистики памяти для извлечения хэшей паролей и введения шелл-кода в виртуальную машину
Расширьте популярный инструмент веб-взлома Burp Suite
Злоупотреблять автоматизацией Windows COM для выполнения атаки "человек в браузере"
Извлекать данные из сети наиболее скрытно

НАЗАД Открыть/Комментировать