Всем привет! Эту неделю с вами проведу я, @fxposter

Меня зовут Паша, живу в Днепропетровске, работаю devops-ом в израильской компании Wix.com

Пишу на руби уже около 7 лет, последние 4 из которых связанны с руби значительно больше чем с рельсами :)

Люблю все что связано с многопоточностью, распределенными системами, языками программирования и хорошим кодом

Также иногда выступаю на конференциях и по мере сил стараюсь организовывать митапы у нас в Днепре

А поговорим мы на этой неделе о всем что связанно с devops, докером, распределенными системами...

… и тем, как это все выглядит с точки зрения простого рубиста :)

Начнем с начала - кто тут читал The Phoenix Project? :)

Кто не в курсе что это такое - amazon.com/The-Phoenix-Pr…, увлекательное художественное чтиво о том, как не ладят админы с остальным миром :)

Кстати говоря, уже есть и перевод ozon.ru/context/detail…

@rubyunderhood думал ты про эликсир

.@kelyar про эликсир мы тоже поговорим, но попозже :)

Так вот, через всю книгу там проходит идея процесса "change management", т.е. согласования того, какие изменения происходят в системе…

… например - что именно и когда вы будете деплоить, какие бд нужно обновить и когда и т.д.

В связи с этим возникает вопрос - как вы относитесь к необходимости подобного процесса? и как это устроено у вас в компаниях?)

@rubyunderhood wix на Rails? Что еще в стэке и технологиях есть?

.@mpak999 нет, я бы сказал СОВСЕМ нет :) есть у нас много чего, но основной бекенд - Scala, остатки Java

.@mpak999 ну и по мелочи - Ruby, Python, Erlang (по-моему), Go, был проект на Clojure ЕМНИП :)

.@mpak999 при этом все что связано с руби - это Chef или мелкие (и иногда совсем не мелкие) внутренние сервисы на руби, рельсах/синатре

Если уж появился вопрос про мою работу - у нас куча всего открытого лежит на github.com/wix

Из того, с чем я сталкивался - github.com/wix/react-temp… angular-like шаблоны для React.js…

… github.com/wix/accord - библиотека валидаций для Scala

… github.com/wix/future-per… - несколько удобных фич для фьючеров в Scala

@rubyunderhood не плохой зоопарк :) тяжко переключаться между языками и технологиями?

.@mpak999 как правило разные команды пишут разные сервисы на разных языках/технологиях

.@mpak999 я в основном пишу на руби, редко на go, хочу еще clojure и elixir в продакшен :)

Вообще работа в большой IT компании заставляет тебя по-другому посмотреть на разные вещи.

Например на то, что если у вас есть проблемы со скейлингом - всегда можно добавить пару-тройку серверов...

... правда только если они stateless :)

На то, что фронтенд и бекенд - это скорее все же не одно приложение и возможно не стоит их хранить вместе.

На то, что "одна огромная база данных с большим количеством таблиц" на все случаи жизни - это не всегда хороший вариант.

На то, что репликация бд - это не просто "читать из бд с другого сервера".

На то, что multi-datacenter деплой не очень совместим с дефолтными в рельсах "автоинкрементными интами". :)

.@dcromster в моем случая - продуктовая компания, >500 разработчиков в нескольких локациях

@rubyunderhood как кстати Elixir? нет чувства незавершенности и боязни, что не взлетит технология?

.@mpak999 учитывая довольно хорошее взаимодействие между эликсиром и эрлангом,наличие книг про elixir и elixircon-думаю с ним все будет ок

.@mpak999 более того, лично мне кажется, что эликсир в итоге станет более популярным, чем сам эрланг. хотя эрлангисты со мной не согласны :)

devblog.avdi.org/2015/10/12/i-h… у очень известного рубиста Авди Гримма теперь есть еще и рассылка :)

А если вы все еще не знаете, кто это - то настоятельно рекомендую зайти на rubytapas.com, посмотреть пару эпизодов и подписаться

Чтобы тви не простаивал зря - а кто был на Еуруко вчера-позавчера? Расскажите, как оно было, а я поретвичу :)

BTW, если кто еще не смотрел - видео со Strangeloop уже давно в онлайне - youtube.com/channel/UC_QIf…

Особенно рекоммендую youtube.com/watch?v=ZGIAyp… про coordination, crdt, и распределенные системы…

… и youtube.com/watch?v=27ynM2… про то, как Netflix видит service discovery у себя в будущем (поподробнее здесь - github.com/Netflix/eureka…)

@rubyunderhood было хорошо, интересные доклады, четкая организация

.@damirca а какие доклады больше всего понравились?

@rubyunderhood доклад от @rrrene про инлайн документацию, доклад от девопса @Shopify про reliable systems

@rubyunderhood Зальцбург прекрасен. Было штуки три хороших доклада.

@rubyunderhood афтепати вообще збс

@rubyunderhood Про resiliency в shopify норм самый был. Хотя ничего нового

Как всегда почти в тему - а посоветуйте интересные подкасты послушать. Можно о руби, можно нет. Можно на англ.

От себя порекоммендую blog.cognitect.com/cognicast/, который раньше назывался Think Relevance

BTW, периодически дослушиваю некоторые старые эпизоды и жалею, что не слушал их раньше и не знал о том, как развивается их компания…

@rubyunderhood atp.fm

BTW, если у кого-нибудь есть вопросы про докер, шеф или какие-нибудь еще ops-ориентированные вещи - не стесняйтесь спрашивать.

@rubyunderhood почему не ансибл? #простите

.@inem очень много готового кода у нас, мы дружим с руби, нас устраивает pull model, хотя иногда кое-где хочется push.

.@inem а в чем у тебя проблемы с шефом?)

@rubyunderhood слишком много новых концепций на ровном месте.
согласен, что если все уже нарулено на шефе, дергаться смысла нет

.@inem ну оно все не просто так, например зависимости ресурсов через subscribes/notifies - это очень полезно в некоторых случаях

.@inem в остальном - большинство (но не все) рецептов/плейбуков/etc можно заменить простыми, короткими баш-файлами

@rubyunderhood давай про докер затрём, я его использую для CI, точнее @droneio берёт любой docker образ и выполняет тесты внутри него.

@rubyunderhood то есть, у меня уже есть окружение из нескольких контейнеров для запуска тестов, теперь хочу деплоить всё это дело? куда, как

.@lisovskyvlad все очень зависит от того, что ты хочешь и сколько денег можешь вложить

.@lisovskyvlad есть PAAS-ы, самые крупные: Amazon ECS, Google Container Engine, Joyent Triton

.@lisovskyvlad если деплоить на свои сервисы - то начиная от docker run ручками, заканчивая kubernetes/mesos+aurora и с dokku посредине

.@lisovskyvlad можно также деплоить шефом через chef-docker или что-то самописное. я завтра скомпоную список нюансов,которые стоит учитывать

Как-то первый день прошел почти без руби. Исправляюсь - здесь я рассказываю как все печально в рельсах (ну, почти) youtube.com/watch?v=Is90za…

@rubyunderhood Какие книги/курсы/и тд советуете для новичков, как лучше учить и тд?

.@pinyslutty ну я в отличии от @kirshatrov считаю, что начинать нужно не с изучения руби, а с теории ООП и организации кода :)

@rubyunderhood Ruby5, Bike Shed от ThoughtBot

По запросам читателей - мой (неполный) список рекомендованной литературы для программистов:

1. Design Patterns - не с целью использовать, а для понятия принципов

2. PoEAA - вот тут уже пользы будет побольше

3. Clean Code - с некоторые концепциями не согласен, но прочесть стоит

4. Working Effectively With Legacy Code - по названию понятно, зачем оно нужно :)

Параллельно стоит читать что-то про руби/рельсы:

1. railstutorial.org - сам не читал, но слышал много хорошего

2. Agile Web Development with Rails - я читал, но давно и скорее всего RailsTutorial будет полезнее сейчас

Дальше моя серия PragProg:

3. The RSpec Book

4. Rails Test Prescriptions

5. Crafting Rails Applications - особенно рекоммендую, сейчас вышла версия для Rails 4

6. Continuous Testing

7. Rails View

А, ну и еще ОБЯЗАТЕЛЬНОЕ дополнение к первому списку - Growing Object-Oriented Software, Guided by Tests

Также обязательны к просмотрю все видео Рича Хикки: changelog.com/rich-hickeys-g… (это не все, но многие)

После всего этого балагана "The Joy Of Clojure" тоже пошла хорошо :)

@rubyunderhood @pinyslutty @kirshatrov теория без понимания проблемы бесполезно

.@ptico @pinyslutty @kirshatrov когда я PoEAA Фаулера читал - я руби не знал :)

Да, я кажется забыл написать - я учился на Примате со специальностью "Программное обеспечение" и многие книги (не руби) читал еще тогда

И да, со времен универа я пописал на PHP, C++, Java, VBScript, Python - в том числе и для продакшена

@rubyunderhood @pinyslutty @kirshatrov т.е. пока говна не пожуешь, тебе фаулер покажется бесполезным

@ptico @rubyunderhood @pinyslutty @kirshatrov согласен,новичку теория сто раз не сдалась.Важнее получить базис практики и на него уже теорию

.@ptico @anton_davydov ну тут я не согласен. главное думать что ты пишешь и размышлять о том, чего ты НЕ СМОЖЕШЬ сделать со своим кодом.

.@ptico @anton_davydov и после таких размышлений тебе самому захочется узнать как сделать код более податливым к дальнейшим изменениям

.@ptico @anton_davydov если желание размышлять есть - тебе теория будет полезна сразу. если нет - то тут мало что поможет, ИМХО

@rubyunderhood @ptico ок, заставь прочитать новичка (который даже языка не знает) банду четырех, а потом смотри как он тебе ооп писать будет

.@anton_davydov @ptico ну цели учить не-программистов у меня особо никогда не было

@rubyunderhood @ptico это был простой пример того, что не вся теория может быть воспринята без практики до этого

.@anton_davydov @ptico BTW, слушая многие собеседования (не руби) я вижу, что многие работающие программисты знают меньше чем пятикурсники

.@anton_davydov @ptico обратный пример - сколько ты можешь доверить человеку, сделавшему блог на рельсах по примеру? :)

@rubyunderhood @ptico так ты ищешь разработчика с опытом или знанием? то,что пятикурсники что-то знают - не делает их крутыми программистами

.@anton_davydov @ptico проблема в том,что эти "программисты" понятия не имеют как их код реально работает,в отличии от умных пятикурсников

Еще одна причина,по которой я люблю рекомендовать теорию и фундаментальные вещи-они будут вам помогать значительно дольше чем знание рельсов

@rubyunderhood @ptico больше, чем упоротому олимпиаднику, который реализует все алгоритмы сам (тебе потом разгребать же все это)

@rubyunderhood @ptico а умные пятикурсники "все знают" и пишут код как хз что + их не переучить обычно(как я знаю)

.@anton_davydov @ptico я не говорил об упоротых олимпиадниках. хотя они как правило очень ок. :) про остальное спорить бесполезно

.@anton_davydov @ptico у меня видать какие-то неправильные пятикурсники (такие каким был я, например) :)

Теория vs практика - это неважно, вот что важно pic.twitter.com/eztjQbW6A2

@anton_davydov @rubyunderhood @ptico Я считаю, что лучше всего сначала практика, потом теория. Теория без практики пользы не принесет.

@anton_davydov @rubyunderhood @ptico А практика без теории может в конечном итоге принести проблемы.

.@suxxes @anton_davydov @ptico @Xedin вот я с своей жизни сталкиваюсь плохим кодом плохого практика, чем чересчур хорошего теоретика ;)

letsencrypt.org/2015/10/19/let… Мы все стали на один шажок ближе к бесплатному, автоматизированному и открытому TLS!

Тем, кому хочется немного поломать голову (и поупражняться в знании руби) посвящается: gist.github.com/fxposter/1682f…

@rubyunderhood люди добрые, кто работал с alchemy-cms и что думаете на счет него?

.@ajieks совсем не сталкивался, так что ничего не скажу :(

@rubyunderhood предложили заказ по переделке сайта универа, смотрю что нынче в области CMS у Ruby, чтобы прикинуть, стоит ли связываться

.@ajieks скажу честно - ни разу не сталкивался с CMS на рельсах. Когда занимался чисто рельсами - популярным был RefineryCMS....

.@ajieks похоже сейчас ничего не изменилось

@ajieks @rubyunderhood если организация не может заплатить за нормальный проект – не связывайтесь.

.@igor_alexandrov @ajieks поддержу. особенно неприятно будет потратить свое время и нервы на "поддержку" потом.

Вчера прозвучал вопрос о том, как готовить докер. Обо всем не расскажу, но пару шишек мы с ним уже набили.

Итак, первое и самое неприятное - github.com/docker/docker/…. Залипает все что связано с докером, а точнее с network namespace.

Лечится пока что только ребутом сервера и проблема где-то внутри ядра и чинить никто не хочет, т.к. стабильно воспроизвести проблематично.

Автоматическое лечение - как только `dmesg -l emerg | grep 'waiting for lo to become free.'` начинает что-то выдавать - сразу в ребут.

Ставите докер - не забывайте ротейтить его логфайлы. Если у вас используется шеф вместе с докером - gist.github.com/fxposter/53388…

…если же нет - по gist-у понятно, как настроить логротейт ручками

Третье - докер - это не серебряная пуля. Совсем совсем. Ну ни капельки. Если вы пришли к микросервисам - пока у вас не будет мониторинга…

… лоад-балансировки, автоматического деплоймента, service discovery - докер вам может только помочь "немного поиграться"

… конечно, если вы не используете hosted-решения или какой-нибудь kubernetes (который еще на продакшене завести надо)

12factor.net прекрасен, но не всегда реально вынести весь конфиг в ENV-переменные, как рекомендуют они и докер.

Также не всегда достаточно иметь "один stdout" для всех логов.

Но как только вы начинаете делать конфиг-файлы и лог-файлы - сразу встает вопрос о необходимости откуда-то брать подключаемые VOLUMES

И менеджить UID/GUD-ы в них. Например - приложение создало лог-файл на подключемом диске. Приложение бежит не под рутом (т.к. это плохо)

Нужно понимать что если вы измените base image для вышего контейнера, или просто поставите перед созданием вашего юзера в докерфайле…

… какое-нибудь пакет - он может создать дополнительного юзера, который может сместить UID для юзера под которым запускается приложение.

И после обновления на новую версию оно не запустится потому что не сможет писать в логи

Аналогичная проблема возможна с правами на конфиг-файлы

Далее следует возможная проблема с зомби-процессами: blog.phusion.nl/2015/01/20/doc… (да да, это те же чуваки, которые делали REE и Passenger)

… которую ребята предлагают решать так: blog.phusion.nl/2015/01/20/bas….

Но вместо кастомного скрипта на питоне мне больше нравится вариант с S6 на C: blog.tutum.co/2014/12/02/doc… и blog.tutum.co/2015/05/20/s6-…

Теперь непосредственно к рельсам. С их упаковкой в докер контейнер есть одна маленькая проблема. Она называется Asset Pipeline

и заключается она в том, что запросы на js,css и остальную статику будут идти сквозь ваше приложение.подробнее тут - devcenter.heroku.com/articles/rails…

Хероку предлагает использовать Rack::Cache (будет быстрее, но все равно руби будет участвовать в запросе) или CDN

В идеале было бы неплохо проксировать трафик на приложение через какой-нибудь локальный nginx, задеплоенный рядом как отдельный контейнер

Но вариант проще - просто засунуть nginx внутрь своего контейнера с приложением

github.com/fxposter/s6-ng… на текущий момент я деплою рельсы в докере примерно вот так

А теперь пойду поем

@rubyunderhood а в чем смысл? Какую проблему вы решаете при помощи докера

.@achempion будущее развитие платформы, унификация деплоя различных типов приложений, возможная миграция на kubernetes, etc…

.@achempion в каком плане более конкретно?) есть приложения на java/scala/node/ruby/go, хочется их деплоить (и мониторить) одними средствами

.@achempion если смотреть с точки зрения руби - иметь всегда рабочий билд вместе с нативными экстеншенами

@rubyunderhood у вас, как я понимаю, 1 большой сервер с множеством разных стеков и вы решаете проблему изоляции процессов друг от друга

.@achempion сотни серверов и сотни сервисов на них. изоляция - это плюс, но не основная вещь.

@rubyunderhood можешь дать пример когда это не работает? Ведь зачастую поток принимает умный агрегатор.

.@d1b java logback настроенный чтобы генерировать 5 разных логов для разных данных.

@rubyunderhood оспаади! Что там решать? api.instance_exec(&block)

.@ptico хех, а ты попробуй

Эта задачка имеет реальное применение,когда в шефе хочется построить свою библиотеку с блекджеком, но доступ к ресурсам шефа все равно нужен

StrangeLoop After @strangeloop_stl, my take on some of the best distributed systems & database talks this year: medium.com/@oceankidbilly…

@rubyunderhood В общем, если все таки eval, то так будет работать: gist.github.com/scaint/88b4590…

.@scaint молодец! А вот и пример где это может реально использоваться (лямбда должна выполнятся внутри chef context) gist.github.com/fxposter/c2ec2…

@rubyunderhood twitter.com/backendsecret/…

.@ipronix эммм… БИТРИКС? coub.com/view/8orbm

@ipronix @rubyunderhood да @backendsecret на этой неделе какой-то лютый тролль.

.@as_Crazy @ipronix @backendsecret прости, но язык в котором родились rspec и cucumber, а также рельсы...

.@as_Crazy @ipronix @backendsecret ... которые продвинули тестирование и удобство разработки в массы...

.@as_Crazy @ipronix @backendsecret ...в то время как многие пхпшники до сих пор не знают что такое TDD и как всё-таки работает HTTP и phpfpm

.@backendsecret @as_Crazy @ipronix я помню, как развивался Spring MVC взяв в себя все лучшее из рельс.

.@backendsecret @as_Crazy @ipronix а стандарты это местами тоже плохо - ужасно тормозят развитие. Пока их напишут, реализации сделают.

На сегодня все. Всем спокойной ночи! :)

.@rubyunderhood @scaint тот случай когда "простота хуже воровства", за это chef и не любят

.@d1b @scaint Юзай баш :)

Продолжая вчерашний холивар (и нарываясь на то, что меня попрут отсюда :)) - экосистема руби действительно не идеальная и…

… многие известные рубисты уже ушли из нее на что-то по их мнению более перспективное - Челимски (rspec) - на кложуру, Валим - на эликсир

… кто-то переходит на Go и Rust. Вы сами вольны выбирать - копаться в говне или делать что-то стоящее. ;)

Это просто один из инструментов, который решает некоторые задачи и иногда решает их очень хорошо. Серебряной пули нет. Ну или я не нашел :(

@rubyunderhood судя по blog.davidchelimsky.net Челимски на кложуру перешел, т.к. на новом месте была только она, в итоге втянулся

.@ajieks по-моему нельзя идти в Cognitect надеясь на то, что ты будешь работать с руби :)

@rubyunderhood необходимы Ruby курсы в Полтаве... Помогите чем можете...

@rubyunderhood haskell решит все проблемы!

.@Shiroginne да, конечно xkcd.com/1312/

@rubyunderhood @rainrb самый полезный человек в руби сообществе пишет не на руби, а на си. а те кто ушли, особенно валим, не сильно нужны.

.@ipronix @rainrb ну ОЧЕНЬ спорно. C нужно для экстеншенов и самого руби, что в какой-то степени влияет на экосистему,но не главная ее часть

.@mpak999 то, что действительно шарящие люди уходят из комьюнити - это плохо для комьюнити

@rubyunderhood шарящие молча работают и делают проекты, компьюнити - это тусовка для хипстеров и девочек

.@mpak999 лол, а благодаря чему ты языки учишь? откуда появляются гемы, документация, примеры использования? фреймворки, апп сервера?

.@mpak999 или ты пишешь на голом руби, вычитываешь из сокета данные и парсишь сам HTTP?

@mpak999 @rubyunderhood мне кажется, что одни ушли – придут другие. Нормальная ротация. Свежий взгляд, так сказать.

.@igor_alexandrov @mpak999 вероятно вы не следите за clojure/elixir/go комьюнити. очень многие из тех кто был вначале пути с руби - ушли.

.@igor_alexandrov @mpak999 и не факт что пришедшие смогут их заменить

.@mpak999 через 5 лет такого "движения вперед" ты поймешь что безнадежно отстал :)

@rubyunderhood не совсем, со стороны выглядит как паника, хотя в языки приходили и уходили,это молоток, взял один, взял другой, сделал дело.

@rubyunderhood если как бы за 5 лет, ты не выучил еще 2-3х языков или технологий - то ты отстал в любом язык, что кложа, что питон, что руби

.@mpak999 пик популярности руби пройден уже значительно больше 5 лет назад, и многие, кто привели руби к ТОЙ популярности уже не здесь :)

.@mpak999 и да - нет никакой паники, просто констатация фактов :)

.@mpak999 лишний хайп - это быстрое развитие. "просто работа" - это аналог того что происходит с java (не jvm).

@rubyunderhood фактически если рубя сейчас резко загнётся то собсно того что уже есть с головой хватает :) @mpak999

.@POS_troi @mpak999 время не стоит на месте, объемы данных растут, необходимость обрабатывать все больше вещей параллельно - тоже.

Какие-то у меня мрачноватые перспективы прослеживаются :) Поэтому вернемся непосредственно к руби - а чего вам в руби не хватает сейчас?

В языке, экосистеме, гемах?

.@mpak999 нода может себе это позволить просто потому что аналога js на фронтенде нет, а эти люди еще и бекенд хотят :-D

@rubyunderhood нормальных тредов в mri :)

Я бы вот очень хотел иметь интерфейсы (опциональные, естественно) и статическую возможность их проверки.

И хоть какую-нибудь memory model для многопоточного программирования, раз уж у нас все на mutable state построено :)

@rubyunderhood модели акторов в языке, необязательной типизации, байт-кода

.@svenyurgensson поясни про необязательную типизацию, ты хочешь проверок в рантайме?

@rubyunderhood нет, просто когда надо скорость работы/удобство - (x: Int, y: String), если важно утипизация - то как сейчас

@rubyunderhood А вообще очень нравится Crystal, наблюдаю и жду когда они допилят корутины/каналы (или было бы лучше - акторы) и тогда можно

.@svenyurgensson почему я спрашиваю - частичная типизация без проверок в runtime невозможна, а они в некоторых случаях дают сильный оверхед

.@svenyurgensson можно почитать про gradual typing в typed clojure и typed racket (ccs.neu.edu/racket/pubs/ec…)

@backendsecret @rubyunderhood вы используете какую-нибудь систему для хранения\структурирования знаний? (например, блокнот, майндмапы)

.@nick_jastix @backendsecret именно для хранения - к сожалению (или к счастью) - только мой мозг :)

.@nick_jastix @backendsecret для структурирования, обдумывания, планирования - блокнот с ручкой и whiteboard, если ты не один работаешь

github.com/docker-library… We recommend tini. It … does only the necessary parts of reaping and signal forwarding.

Ух ты.

@nick_jastix @backendsecret @rubyunderhood использую закрытую вики

“@tomstuart: Well, this is a bit gross isn’t it. github.com/ruby/ruby/comm…” Wow! Hello, CoffeeScript!

Всем привет. Каких-то конкретных тем для обсуждения у меня на сегодня нет, поэтому принимаю предложения и вопросы.

Хотя нет, есть идея! За все время существования @rubyunderhood тут были ссылки только на 1 шаблонный гемфайл (от @rainrb).

Неужели больше никто не хочет показать свой начальный гемфайл или application template? Давайте, друзья, сделаем другим полезно!

Вот, например, мой дефолтный темплейт, который потихоньку дорабатывается уже больше 3х лет - gist.github.com/fxposter/9133b…

@rubyunderhood rails new APP_NAME -d postgresql --skip-sprockets --skip-javascript --skip-turbolinks --skip-test-unit --skip-spring

.@vassilevsky а гемы потом всегда ручками? :(

@rubyunderhood railscomposer.com же!

.@mr_The да, есть такое. честно говоря - никогда не юзал. а какие комбинации используешь?

.@vassilevsky а тесты? :)

@rubyunderhood да. Только то, что необходимо.

Фавориты: unicorn, config, bcrypt, multi_json, jbuilder, httparty, annotate, airbrussh.

А кто какие апп сервера сейчас использует и почему? Вот я вижу два человека юзают пуму и юникорн - а почему не passenger, например?

Thin уже полумертвый похоже :(

@rubyunderhood юзаем пуму, пассенджер и thin. На разных проектах, ессно :)

.@aablayev а зачем такой зоопарк?

@rubyunderhood пассажир и юникор слишком медленные и слишом много кушают ресурсов. Поэтому пума.

.@mr_The ну если не считать многопоточности пумы - то они все будут примерно одинаковые, по идее. плюс-минус.

@rubyunderhood puma конечно же, самая быстрая + памяти есть мало. passenger юзал раньше, но при большом кол-ве воркеров он жрет всю RAM :(

А кто-то вообще когда-то с многопоточностью в руби работал? Если да - чем именно занимались.

.@bytecheg плюс пассажира - если задеплоено несколько приложений на сервере - он автоматом умеет между ними распределять ресурсы.

.@bytecheg для кого-то это может быть минусом :)

@rubyunderhood В основном - пума. Пассенжер - на одном проекте "для посмотреть". Thin - на двух ради websocket-rails.

.@aablayev эммм, а как websocket-rails вообще работает? Любой task.save, Task.create в итоге повесит весь eventloop.

@rubyunderhood на одном из проектов бенчмаркал - пума немного выигрывала у юникорна по рпм и сильно выигрывала по потребляемым ресурсам.

.@mr_The ты сравнивал потоки с процессами или все-таки форкающуюся пуму с threads 1,1?

@rubyunderhood у меня одно приложение, это не актуально :) + я юзал 4ый пассажир, в 5ом может все стало значительно лучше :)

@rubyunderhood планируется перетаскивание RoR проекта на амазон. Есть какие-то подводные камни? есть ли смысл отказываться от passenger?

.@railsme из датацентра или с хероку/другого PAAS?

@rubyunderhood В одном проекте юзаем passenger, но в основном везде unicorn.

.@scaint а почему не "рекоммендуемую" пуму?

@rubyunderhood @aablayev если не ошибаюсь на EM, тоже использую Thin когда надо SSE (особенно в связке с Sinatra) или WS

.@ajieks @aablayev не совсем понял ответ. но любая AR операция связанная с бд повесит eventloop.

@rubyunderhood @mr_The а смысл сравнивать c threads 1,1 ? :) имхо бенчмарки проводить надо так же, как в бою. а плюсы пумы как раз в тредах

.@bytecheg @mr_The для чистоты эксперимента. в бою 16 тредов могут большую часть времени простаивать, рендеринг часто - это >50% запроса

@rubyunderhood @ajieks в бд нет обращений. просто получить массив объектов на вход и потоками гадить в апи.

.@aablayev @ajieks а зачем потоками, если есть EM уже?)

@rubyunderhood дц. вот именно и вопрос назрел, размещать на инстанс или Elastic Beanstalk?

.@railsme с EB у меня опыта нет. Но я так понимаю, что это тот же EC2, только с предустановленными вещами для определенного env-а.

.@railsme вообще смотря на какие инстансы деплоить - там может быть медленный IO.

.@railsme и учтите, что амазон не отвечает за то, что ваши инстансы вдруг перестанут отвечать на ВСЕ, правда такое очень давно у нас было.

.@railsme если есть люди знакомые с шефом - у амазона есть aws.amazon.com/opsworks/

@rubyunderhood @aablayev в этом плане да, тут согласен. Но если используется Thin, то нужно отдавать себе отчет о возможных проблемах...

@rubyunderhood кстати, спроси у ленты: кто-то вообще использует турболинки? Кого не спрошу - все говорят, что первым делом их отключают.

.@mr_The я всегда отключаю!

@rubyunderhood @aablayev AR выкидываем и работаем напрямую, гугланул github.com/royaltm/ruby-e… , можно локов избежать.

.@ajieks @aablayev можно, но с коллбеками намучаешься :)

@rubyunderhood @railsme там Load Balancer, cli тулза, скрипты которые ранятса при старте, контроль задеплоиных версий и еще кучу плюшек.

@rubyunderhood chef рубисту не помеха 😸

.@mr_The по-моему турболинкс нравятся только DHH, но все стесняются ему об этом сказать

.@railsme @ajieks нужно понимать просто что AWS сам по себе недешевый, если тебе не нужно много машин, которые ты будешь автоскейлить

.@railsme @ajieks а так там набор сервисов очень большой - ELB, RDB, S3, очереди, opsworks, тот же скейлинг

@rubyunderhood @mr_The паттерсон не постеснялся назвать его Turbo Lynx 🙀

@rubyunderhood @railsme это все понятно, последнее время часто работаю с azure, функционал эквивалентный в целом с AWS, но под другим соусом

.@ajieks @railsme они все стремятся примерно к одному и тому же функционалу. Google Cloud Platform туда же.

@rubyunderhood @railsme @ajieks Automatic Load-based Scaling очень крутая штука, недо держать поднятыми все время кучу инстансов

А Joyent Triton кто-то в реальности пробовал может? Очень интересно - как оно.

После такого потока ответов могу сказать, что GIL рубистам не помеха!

@rubyunderhood в общем, продублирую свой рельсовый gist.github.com/Ptico/cd61a062…

.@ptico ассеты совсем отдельно?

@rubyunderhood да, gulp, autoprefixer, babel, csso, uglify и пр. удобней напрямую юзать

Господа и дамы в @rubyunderhood, @backendsecret, @jsunderhood, если жена спросила "Научи меня программированию, хочу как ты". Что делать? RT

.@gruz0 @backendsecret @jsunderhood поставить себе цель сделать что-то простое. посадить рядом программиста, пусть подсказывает что делать…

…@gruz0 @backendsecret @jsunderhood но я перед этим учился в универе на программиста, так что об этом тоже можно задуматься ;)

@mr_The @rubyunderhood мы в гитлаб используем.

@rubyunderhood однозначно пума, мало ест и нету проблем с рестартом как у юникорна

@rubyunderhood раньше пассенжер, потом юникорн, сейчас пума

Окей, по пуме - вы юзаете треды, процессы или всегда и то и другое?

Планы на завтра - расскажу о rocker и как сделать ваши докер-образы чуточку меньше (примерно в 3 раза с 850-900mb до 250-300mb). Stay tuned.

Как всегда напоминаю, что вы можете предлагать темы и задавать вопросы :)

@rubyunderhood че почитать начинающим лента подскажет?

@dzaporozhets @rubyunderhood @mr_The а у вас нет проблем, что иногда js не подгружается?

.@anton_davydov @dzaporozhets @mr_The о, это страшное слово - "иногда"! хуже только "а у меня работает"!

.@anton_davydov @dzaporozhets @mr_The Простите :)

@rubyunderhood ну вот там или по основам программирования или рельсы уже. А именно уйти в руби, не только для рельс но и для CLI например?

.@kaliha Я очень быстро привыкаю к языкам и их семантике, так что чисто по руби книг не читал. Многие советуют The Well-Grounded Rubyist.

@Semenov пик популярности Java пройден в 2005 году, но каждый год Java-девов все больше @mpak999 @dzaporozhets @anton_davydov @rubyunderhood

.@listochkin @Semenov @mpak999 @dzaporozhets @anton_davydov А рубистов? :)

.@listochkin @Semenov @mpak999 @dzaporozhets @anton_davydov Ладно,на самом деле я не рассматриваю это как "был хайп,а теперь можно работать"

.@listochkin @Semenov @mpak999 @dzaporozhets @anton_davydov руби-экосистема была лично для меня местом где можно быстро выучить много нового

.@listochkin @Semenov @mpak999 @dzaporozhets @anton_davydov … и полезного на практике.

.@listochkin @Semenov @mpak999 @dzaporozhets @anton_davydov и многое из этого позже почерпнули другие языки - тот же PHP и Java.

.@listochkin @Semenov @mpak999 @dzaporozhets @anton_davydov сейчас этот "центр идей и прогресса" находится вне руби, лично мое ИМХО

.@listochkin @Semenov @mpak999 @dzaporozhets @anton_davydov И да, меня щас могут выгнать из @rubyunderhood :)

@rubyunderhood @listochkin @Semenov @dzaporozhets @anton_davydov вот я тоже подумал, зачем ты тогда здесь-то нужен?!

.@mpak999 @listochkin @Semenov @dzaporozhets @anton_davydov призвать людей делать экосистему быстрее, лучше и доступнее. не только рубишную!

.@mpak999 @listochkin @Semenov @dzaporozhets @anton_davydov а где я тут кого-то поливал? действия - я делаю доклады, организовываю митапы

.@mpak999 @listochkin @Semenov @dzaporozhets @anton_davydov а мне еще нужно работать и уделять время жене :)

О вечном - arstechnica.com/security/2015/…

.@mpak999 @listochkin @Semenov @dzaporozhets @anton_davydov чем я, пожалуй, и займусь

@rubyunderhood Только passenger. Юникорн и пуму надо готовить и там меньше настроек и мониторинга. Для стартапов ок, для банка нет :)

.@knopkodav очень интересно. по ощущениям - наоборот. или вы юзаете платный и union station?

@rubyunderhood на данный момент - только puma. По ощущениям, ест меньше RAM. Но thin пока не пробовал.

@mr_The @rubyunderhood ок, я использую, но пока только на маленьких проектах. А какие альтернативы turbolinks, кроме pajax?

.@xvonabur @mr_The вопрос в том - нужны ли альтернативы вообще?

@rubyunderhood puma, иногда unicorn. в зависимости от типа проложения. у пумы с тредами бывают проблемки, но она удобнее в поддержке.

.@merqlove а поподробнее о "проблемках"?

.@xvonabur @mr_The на практике - если в приложении почти нет js - оно не помогает, а если его много - слишком часто мешает.

.@knopkodav так а чем лучше? zero time deploy как у юникорна/пумы нет. тредов как у пумы бесплатно нет.

@rubyunderhood твиттер слишком мал, но если коротко, то радует, что не надо писать кучу скриптов для запуска/деплоя/супервайзинга и т.п.

.@knopkodav для пумы будет 1 простой systemd файл :)

@rubyunderhood да, но разница между нами — вы мыслите как программист, а я мыслю как избежать программирования

.@knopkodav я считаю, что если есть возможность контролировать что-то кодом, который юзают миллионы человек - то лучше делать это.

.@knopkodav чем юзать самописный, местами крешащийся, код пассажира :)

@rubyunderhood используете ли для коммуникации Telegram? Сегодня натолкнулся на integram.org занятный сервис.

.@ajieks у нас платформы менялись примерно так - hangouts -> skype -> hipchat -> hipchat + telegram, другие комманды еще slack юзают.

Итак, как вчера и обещал - рассказываю про rocker.

Рокер - это такая надстройка на docker cli, которая умеет парсить рокерфайлы - github.com/grammarly/rock…

Рокерфайл - это, в свою очередь, такой докерфайл с расширенным синтаксисом - github.com/grammarly/rock…

Заранее хочу сказать, что к разработчикам (@Grammarly) я не имею никакого отношения, просто вещь действительно удобная.

Так вот, сегодня мы займемся уменьшением размеров ваших рубишных образов и для этого мы будем использовать команды EXPORT и IMPORT

Зачем вообще уменьшать размер докер образов, учитывая, что они layered и базовые образы вы скачиваете реально только один раз?

Ну во первых - ради интереса, делают же на rust (mainisusuallyafunction.blogspot.com/2015/01/151-by…) и nim (hookrace.net/blog/nim-binar…) "минимальные" бинарники

Во вторых - если серверов много, то качать в первый раз все равно приходится немало - образ ruby:2.2.3 весит 718MB на текущий момент

Ну и в третьих - зачем вообще с собой таскать ненужное?

Принцип ужатия докер-образов для руби очень простой - избавится от лишних нативных библиотек и их хедеров/etc…

…и избавиться от гемов, которые вам в продакшене не нужны (как правило, это все то, что находится в :development и :test группах в гемфайле)

… в моем случае - это еще группа :assets, которую я "возвращаю" даже на rails 4 и выше.

Для таких лентяев, как я, ребята из докера сделали не только обычные образы с руби, но еще и их slim-версии (ruby:2.2.3-slim - 275.3MB).

Основная разница - slim базируется на голом образе debian:jessie (github.com/docker-library…), а обычная версия - на buildpack-debs:jessie…

… github.com/docker-library…. Второй образ включает в себя кучу dev-версий различных библиотек.

Основная проблема заключается в том, что использовать slim просто так сложно, т.к. ни nokogiri, ни даже json гем вы туда не поставите

… т.к. не найдете нативных библиотек, которые им нужны (и их хедеров).

И тут на помощь приходит rockerfile с несколькими FROM-ами (github.com/grammarly/rock…) и IMPORT/EXPORT доступными между несколькими образами

Сначала мы используем дефолтный образ руби, устанавливаем только гемы, нужные для продакшена и экспортируем их - github.com/fxposter/s6-ng…

После этого нам нужно удалить конфиги бандлера и установить гемы заново, только теперь вместе с группой :assets - github.com/fxposter/s6-ng…

Затем мы прекомпилируем ассеты и также экспортируем их: github.com/fxposter/s6-ng…

К этому моменту мы имеем 2 директории в экспорте - ассеты и установленные гемы со скомпиленными экстеншенами.

Начинаем билдить конечный продакшен образ из ruby:slim - github.com/fxposter/s6-ng…

Повторяем все то, что есть в стандартном Dockerfile (устанавливаем nginx и s6) - github.com/fxposter/s6-ng…

Импортируем гемы, которые мы экспортировали на предыдущем шаге (и на всякий случай делаем bundle install) - github.com/fxposter/s6-ng…

Прогоняем хитрую, но очень полезную команду - github.com/fxposter/s6-ng…

Если вы в приложении используете mysql и вы попытаетесь с этим файлом сбилдить приложение, то вы получите ошибку - gist.github.com/fxposter/78a08…

Она означает, что некоторые экстеншены, которые были скомпилированы в первом шаге, зависят от некоторых библиотек динамически.

В моем случае это libmysqlclient.so.18 и для того, чтобы мой образ реально был рабочим мне нужно будет установить эту библиотеку

Это можно сделать примерно так - github.com/fxposter/s6-ng…

В общем - эта команда гарантирует, что у вас не будет ситуации, что какой-то гем был динамически слинкован с библиотекой, которой в slim нет

Ассеты тоже импортируем - github.com/fxposter/s6-ng…

Ну и напоследок - опционально тегируем полученный образ, т.к. rocker build на текущий момент не поддеживает опцию -t при билде

В итоге: на довольно простом приложении получаем уменьшение размера образа более чем в 2 раза: 852.9MB -> 357.4MB.

Как можно еще уменьшить размер: удалять кеши бандлера и рубигемов, переехать с стандартного дебиана на какой-нибудь Alpine Linux или busybox

Меня же и то что получается в итоге вполне устраивает. :)

Все ссылки на Rockerfile валидны для этого коммита github.com/fxposter/s6-ng…. Спасибо, @listochkin

@rubyunderhood В старых версиях частенько встречались фэйлы, особенно с хот релоад. + не любое сочетание треды:воркеры работает и сейчас.

Да ладно, сварю я сам себе ужин… :: pic.twitter.com/CDVwRPe8fu

Веб девелоперам - если ваш запрос на сервере выполняется 10сек, вы дернули апишку и через 1ске сделали ctrl-с - что произойдет на сервере?:)

Еще задачка - у вас есть POST /posts, который создает посты. Обычно он отвечает за 1сек, ваш клиентский таймаут 10сек.

… что вы можете сказать о стейте сервера (ну и бд) после того, как у вас все же отвалился запрос по таймауту?

@rubyunderhood Запрос будет крутиться дальше, если конечно не отслеживать состояние клиентского сокета.

.@scaint Правильно, к сожалению многие программисты этого не знают и не понимают :(

@rubyunderhood @scaint а знание и понимание предполагает какую-то обработку таких кейсов?

.@killthekitten @scaint помогает пониманию того, что у тебя на продакшене происходит

@rubyunderhood @fxposter php.net/manual/en/func… извините.

.@pzskc383 @fxposter очень безопасно :)

@rubyunderhood что за "эти вещи", которые важны?

*не придираюсь, просто, кажется, ты рассуждаешь в контексте своих проблем, не очевидно*

.@killthekitten если ты делаешь ajax-запрос и он таймаутится - то ты НЕ МОЖЕШЬ сказать юзеру, что "все плохо, но попытайся заново"

.@killthekitten более того - ты не можешь автоматически повторять запрос в надежде, что он сработает :)

.@killthekitten аналогично, если ты с сервера обращаешься к внешнему сервису и вылетаешь по таймауту-ты должен явно прокинуть таймаут дальше

.@killthekitten иначе есть вероятность, что ты потом будешь делать такой же запрос потом, а сервис будет уже в неконсистентном состоянии

.@killthekitten а еще нужно понимать, что если вы делаете запрос - то "плохие ситуации" могут включать в себя:

.@killthekitten запрос

.@killthekitten и с "клиента" ты не сможешь определить что случилось :)

@rubyunderhood а как предложишь обрабатывать запросы к внешним сервисам, которые отправляются after_commit?

.@killthekitten если запросы, которые делаешь - не idempotent - молиться :) иначе - очередь с at least once delivery :)

Чуток про распределенные системы: the-paper-trail.org/blog/distribut…, dancres.github.io/Pages/ и christophermeiklejohn.com/distributed/sy… :)

Если вкратце - то любые запросы (tcp, http, …) могут не дойти:

В связи с этим стоит мыслить о любых ваших запросах куда-либо как о данных, передающихся по кабелю, который В ЛЮБОЙ МОМЕНТ могут перерезать

Аналогично - любому серверу, который обрабатывает запрос, может в ЛЮБОЙ момент выдернуть кабель питания

Вот в таком мире мы на самом деле живем :) и пытаемся строить над этим абстракции.

Разумеется, вы не будете везде и всегда пытаться обрабатывать ВСЕ плохие варианты развития событий…

… хотя иногда наверное это и стоит делать (например, когда от этого зависят жизни людей).

Но такое отношение к продакшену иногда очень помогает понять, ОТКУДА появились такие странные данные в бд, и КУДА делись логи запросов :)

blog.jruby.org/2015/10/perfor… @headius приготовил очередные улучшения производительности в @jruby 9.0.3.0!

@rubyunderhood есть ещё такие аспекты speakerdeck.com/sirupsen/euruk…

.@d1b ну это про hardware failures, которые локальные, не совсем по этой теме. Но слайды крутые, уверен доклад тоже был хороший.

vimeo.com/132194544 - о том, что вообще такое микросервисы, как мы к ним пришли и как их можно делать. Очень хороший доклад.

@rubyunderhood @headius @jruby ага, только рельсы на нем все равно медленнее в 2 раза, чем на MRI :(

@bytecheg @rubyunderhood @jruby I don't think that is strictly true. ActiveRecord may be slower but apps using Sequel and Rails are fast.

Подходит к концу моя неделя на @rubyunderhood. С вами был @fxposter. Если у вас остались вопросы - пишите туда. Всем спасибо! :)

Напоследок немножко рекламы - мы проводим в Днепропетровске митапы по самым разным технологиям - приходите! meetup.com/Wix-Ukraine-Me…