Статистика и R

2022-08-11 08:56:58 Открыть/Комментировать

2022-07-28 09:26:01 Компания RStudio переименовывается в posit

Вчера на rstudioconf было анонсировано, что компания RStudio (именно компания, IDE RStudio сохранит прежнее название) меняет название на posit, чтобы больше привлекать пользователей/разработчиков других языков программирования, в частности Python, Julia. Сначала мне показалось, что сами создатели арстудио и тайдиверса и много чего еще открещиваются от языка, но тогда я думала, что еще и IDE переименуют, а оказалось, что только компанию. Может, это и неплохой ход, чтобы привлечь больше программистов, чтобы не было связи с R в названии. Но пока меня это все равно скорее огорчает, посмотрим, насколько позитивно скажется переименовывание.

Кроме того, анонсировали shiny для python. Для меня это не так важно, потому что я еще собираюсь освоить shiny для R, даже недавно купила бумажную книгу Mastering Shiny в переводе Александра Гинько. Но в целом это здорово, насколько мне известно, до настоящего момента не было аналогов shiny для питона. Небольшое пояснение: shiny - это пакет для создания веб-приложений, веб-страниц напрямую из R. Для биологов/биоинформатиков мне очень например нравится idep и shinyGO для анализа дифференциальной экспрессии данных RNA-seq и функциональной аннотации, соответственно. Здесь реализованы очень классные вещи с точки зрения анализа, и это очень классный пример того, зачем нужны shiny apps.

Пока из показавшихся мне важными новостей rstudioconf все, можно следить в твиттере по хештегу, а также на сайте самой конференции.

#R Открыть/Комментировать

2022-07-26 21:02:02 Отзыв о курсе бластим по анализу данных в R

Я съездила на курсы в Москву в качестве технического ассистента, суть работы в том, чтобы помогать участникам, когда у них отвалится очередной R пакет при установке, не будет работать какая-то функция и другие подобные вещи. Сказать по правде, я и так в рабочее (и иногда в нерабочее) время постоянно помогаю коллегам и друзьям с отвалившимися пакетами, так что было приятно, что за это еще и платят. Сам курс был организован на высоком техническом уровне, лектор был онлайн, была очная аудитория и онлайн участники. Я помогала преимущественно в зале, но и в онлайне тоже, когда успевала отвечать.
Для меня было полезным подтянуть и систематизировать кое-какие вещи про R, например наконец-то перестать гуглить каждый раз how to reshape data from wide to long format R (правда, я еще не успела проверить, но думаю, что с синтаксисом pivot_longer/pivot_wider у меня больше не будет таких проблем).
Атмосфера на курсах была очень классной, познакомилась с кучей крутых ребят, заценила сидрерию в Москве.
Однозначно рада проведенному времени и могу порекомендовать курс к участию, особенно для среднего уровня (для совсем новичка возможно будет тяжеловато). А если вы уже разбираетесь в статистике и R, то советую посетить курс как технический ассистент, очень любопытный опыт.


По моему мнению, курс преимущественно настроен на все-таки ненулевой опыт, например, даже поверхностное знание другого языка программирования уже будет ненулевым уровнем. Мне показалось, что небольшой опыт работы в R и/или с другим языком программирования очень способствовал эффективному обучению, поскольку совсем с нулевым бэкграундом, возможно, было тяжеловато. Продвинутые вещи тоже разбирались, но боюсь, что они могли эффективно усвоиться при знании, что такое бывает (например, Бокс-Кокс трансформация). Но наверное, суть в том, что даже если при прохождении курса часть вещей не воспринялась, то по крайней мере появилось понимание, какие продвинутые темы в статистике и R бывают, и поскольку доступ к материалам сохраняется, никто не помешает вернуться к этому, когда уже будет необходимость.

Возможно, с предыдущим абзацем могут не согласиться остальные преподаватели, но я так считаю, исходя из опыта общения с участниками. Кто из участников читает, напишите в комментариях, что думаете по этому поводу.

А еще в процессе курса я вспомнила один смешной момент. Я в апреле ездила на курсы Сириуса, где преподавала математическое моделирование, и на семинаре я использовала R-пакет для генерации паттернов Тьюринга. И естественно, все пакеты отвалились при установке у половины участников и мне понадобилось вручную починить их, я в шутку заметила, что могла бы вести курсы по установке пакетов в R. Ну и так и случилось. Но, конечно, курсы по установке пакетов это уже чересчур, хотя я например считаю, что у нас в НГУ не хватает курса по R. Однако, это уже тема для отдельного обсуждения, с начальством)

В общем, курс от бластима я рекомендую, если есть вопросы, пишите

#feedback #recommendation #blastim Открыть/Комментировать

2022-06-23 10:46:35 Предложение подработки для тех кто разбирается в статистике и R от Бластима.

Для тех, кто разбирается в R, статистике и анализе данных также есть возможность онлайн подработки в даты с 27 июня — 7 июля по будням (9 дней) с 10:00 до 18:30. Нужно будет помогать людям преодолеть страх перед кодингом и освоить язык программирования R :)

По вопросам можно писать @korzhks
Я сама тоже записалась на помощь с проведением очных занятий в Москве, посмотрим как пройдет, пока мне очень нравится идея и программа занятий у ребят от Бластима.
А также еще не поздно записаться на саму программу, есть возможность очного и онлайн участия Открыть/Комментировать

2022-05-31 12:58:13 Долгожданный разбор программы Statistica готов!

Ознакомиться можно по ссылке:
https://telegra.ph/Razbor-programmy-Statistica-04-28

Когда я его задумывала, ни за что бы не предположила, что уйдет почти два месяца на разбор, понимание и написание. Более того, оказалось, что часть вещей не удалось осветить, чтобы не перегружать текст еще больше, поэтому это останется на другой раз, например, когда буду разбирать суть двухфакторного дисперсионного анализа (ановы).

Пожалуйста, распространяйте по своим чатам, пишите комментарии, замечания, мне бы очень хотелось, чтобы как можно больше людей ознакомились с разбором.

Скоро будет простой пост о недостатках среднего и стандартного отклонения как мер центральной тенденции и разброса, так что не переключайтесь.

#stat_hard #analysis Открыть/Комментировать

2022-05-06 07:16:04 Пятничный мем

Поставьте себя на место менеджера балабановской спичечной фабрики, который утверждает, что количество спичек в одном коробке, выпускаемом на фабрике, варьирует в пределах 60-61 спичек.
Один из клиентов жалуется, что в недавней поставке спичек их было то 58, то 62 в одном коробке, так что вы решили взять выборку из коробков и посчитать в них спички, чтобы оценить, сколько из них соответствует стандарту.
Вы проведете двусторонний Z-критерий, чтобы проверить вашу гипотезу о том, что 95 процентов коробков соответствуют указанным стандартам.
Вопрос: какая нулевая гипотеза о том, кто же все-таки сумасшедший?

#stat_humor

Дорогие подписчики, я все еще готовлю пост о разборе программы статистика, но разбор оказался сложнее, чем я думала, надеюсь за выходные успею закончить. Открыть/Комментировать

2022-04-07 08:54:33 Скачиваем курсы с курсеры без регистрации и смс

Всем привет!
Может быть, напрямую не относится к теме канала, но я думаю, что проблема закрытия доступа к курсере волнует многих, поэтому делюсь способом, как можно скачать курсы оттуда.
Нашла питоновскую библиотеку: https://github.com/coursera-dl/coursera-dl которая позволяет скачивать все материалы: видео лекций, текстовые файлы, задания (правда без возможности проверить ответы).

Пара рекомендаций по установке и использованию, по крайней мере для Windows 10:
1) Лучше начинать с установки зависимостей в файле requirements.txt (команда
pip install -r requirements.txt, запущенная из anaconda prompt).
2) После установки зависимостей устанавливается сама программа:
pip install coursera-dl
(тоже из консоли anaconda prompt).
3) Для корректной работы скачивания мне понадобилось создать в директории для скачивания файл-конфиг с указанием юзернейма, пароля, языка субтитров и самое главное - хеш cauth, инструкцию к нахождению которого можно найти здесь. Это что-то связанное с куками в браузере, у меня все равно не получилось выгрузить список курсов, но по крайней мере загрузка работает.
4) Скачивается конкретный курс просто:
coursera-dl bioinformatics
, где bioinformatics название курса. Название можно посмотреть на самом сайте курса в адресной строке, написано между /learn/.../home/welcome: https://www.coursera.org/learn/bioinformatics/home/welcome
5) Еще для корректного скачивания нужно обновить дедлайны по курсу (просто на сайте из браузера), иначе могут быть ошибки со старыми курсами, которые не до конца пройдены.

Вот примерно и все, скачивается все довольно быстро, раскладывается по папкам, есть субтитры и другие необходимые вещи, только конечно не будет проверки квизов и получения сертификатов)

Делитесь информацией с другими, что есть такой довольно легкий и удобный способ сохранить знания!

UPD: еще забросила в комменты пример конфиг файла для скачивания с английскими и русскими субтитрами
#coursera #recommendation #learn Открыть/Комментировать

2022-03-25 17:38:14 Небольшой апдейт к предыдущему посту. В одном биоинформатическом чате в пух и прах раскритиковали курсы Карпова за неточности в описании центральной предельной теоремы (ЦПТ) и о требованиях к данным для применения корреляции Пирсона. Почитать можно здесь: несколько грубовато, но ошибки разобраны. Ошибки в курсе уже исправлены, спасибо воинам статистики за то что стоят на страже истины!
В ходе дискуссии я вспомнила про статквест, который уже ранее упоминала на канале:
https://www.youtube.com/c/joshstarmer/videos
Очень хорошо разобран материал про статистику, машинное обучение, статистические модели в рнк-секах и не только.

Курс от курсеры очень рекомендовал вышеупомянутый воин статистики
https://www.coursera.org/specializations/statistics
Как ни странно, с моего аккаунта курсеры, привязанного к университету (НГУ), мне удалось получить доступ к материалам курса. Однако при попытке зарегистрировать новый аккаунт, мне сообщили что не предоставляют услуги для юзеров в санкционных странах. Так что да, курсеру уже так просто не пройти, к сожалению. Посмотрела программу, вроде бы да, очень достойно выглядит. Еще понравилось, что там есть предустановленная среда R со всеми нужными пакетами, можно кодить прямо в браузере без необходимости установки R себе (вдруг у кого есть сложности с этим).

Кроме того, небольшое дополнение к посту про R:
https://textbook.rintro.ru/ учебник по языку R на русском (!), мне кажется очень годный. Понравилась глава про историю языка, пока прочитала только ее, довольно любопытно осознавать контекст, в котором развивался язык. Первые три четверти книги вроде бы для начинающих пользователей, а дальше уже про ООП, работу с памятью, производительностью кода - то есть материал скорее для программистов.
И еще вот подборка материалов из чата по R
https://t.me/hotlineR_EU/7692

#literature #R #recommendation Открыть/Комментировать

2022-03-18 18:07:18 Всем привет! Давненько тут не было постов, исправляюсь. На этот раз предлагаю подборку обучающих материалов по статистике с моими очень ценными комментариями и мнениями о них)

Книги:
1. Статистика и котики. Скачать можно здесь http://info.levandovskiy.info/wp-content/uploads/2018/10/Statistika_i_kotiki.pdf
Книгу все советуют для новичков в статистике, признаться, я сама ее прочитала уже спустя некоторое время работы со статистикой, поэтому мне было особенно легко ее воспринимать. Книга действительно очень забавная, написана приятным языком, мне понравилось. Однако могу отметить, что более сложные темы стат анализа, например про факторный анализ написано скорее запутанно, чем понятно, поэтому я бы тоже рекомендовала книгу именно новичкам в статистике.

2. Голая статистика. https://www.mann-ivanov-ferber.ru/books/golaya-statistika/
Эту книгу тоже советуют новичкам, ее я не читала, но судя по отзывам, там довольно простой стиль изложения, многим нравится.

3. Медико-биологическая статистика Гланца. Скачать здесь http://medstatistic.ru/articles/glantz.pdf
Относительно неплохая книга, раньше тоже советовали начинающим статистикам-биологам и медикам, особенно когда не было вышеприведенных книг. Здесь чуть более строгий язык повествования, но все еще не перегруженный формулами и терминами. Существенный минус - книжка старая, здесь нет описания поправок на множественное тестирование FDR.

4. Теория вероятностей и математическая статистика, Гмурман В.Е. http://lib.maupfib.kg/wp-content/uploads/2015/12/Teoria_veroatnosty_mat_stat.pdf
Книга уже чуть более сложная, помимо базовых вещей, здесь разобрано про Монте-Карло пермутационные тесты и немного про скрытые марковские модели.

5. Рандомизация и бутстреп: статистический анализ в биологии и экологии с использованием R. В.К. Шитиков, Г.С. Розенберг
http://www.ievbras.ru/ecostat/Kiril/Article/A32/Starb.pdf
Это уже немного в сторону от базовых вещей в статистике, здесь действительно целая книга, посвященная применению бутстрепа для анализа данных. Не могу похвастаться что осилила ее, но мне очень понравилось введение про сам принцип, во многом опиралась на него, пока писала про бутстреп на канале. Очень рекомендую почитать тем, кто интересуются бутстрепом.

6. Statistics in a Nutshell, Sarah Boslaugh. Издательство O'Reilly.
Нашла ссылку только на первое издание https://theswissbay.ch/pdf/Gentoomen%20Library/Maths/Statistics/OReilly.Statistics.in.a.Nutshell.A.Desktop.Quick.Reference.Aug.2008.pdf
Есть перевод на русский, говорят неплохой, но находили неточности в переводе. Мне кажется именно эта книга должна быть мастхев для интересующихся и работающих со статистикой людей, потому что здесь есть баланс между простым языком изложения и в то же время не поверхностным.
Единственное, что вызвало у меня недоумение, это отсутствие главы про поправки на множественное тестирование вообще, хотя книга относительно новая. Зато здесь есть много других очень важных вещей, например принципы планирования исследования, анализ мощности стат тестов, работа с пропущенными значениями и тп. Сама планирую приобрести бумажную версию книги.

Курсы:
Здесь все просто, советую три курса по статистике на степике от Анатолия Карпова
https://stepik.org/course/76/syllabus
https://stepik.org/course/524/syllabus
https://stepik.org/course/2152/syllabus
курсы замечательные, именно с первой части курса я перестала бояться и начала осваивать статистику. Думаю, все и так про них наслышаны, я присоединяюсь к позитивным отзывам и рекомендациям.
Есть еще вот такой курс, Математическая статистика
https://stepik.org/course/326/syllabus
Это курс для продвинутых, я его пока не прошла, но когда-нибудь соберусь.

Пишите комментарии, что читали и проходили, понравилось или нет, а также добавляйте свои материалы!

#literature #base_stat #recommendation #stat_hard Открыть/Комментировать

2022-02-16 13:46:48 Channel name was changed to «Статистика и R» Открыть/Комментировать