joakoles - 2018-04-16 17:12 53s
Jag lånar en ergonomi-setup: Mousetrapper-“mus” och tilbehör att vila armarna på. Nån som har koll på sånt och vet vad man ska ha om man vill att axlar osv. ska hålla länge? Slack for iOS Upload
Jag tycker denna setup fungerar ganska bra efter första dagens test. Aningen svårt att dubbelklicka (man missar pga. känsligheten men det kanske man vänjer sig till eller justeras) och skrollen funkar bara sådär (men det kanske är bättre i deras nyare modeller).
daniel.winther - 2018-04-16 23:16 52s
Nån som har erfarenhet av kafka? Kafka som i https://kafka.apache.org/, inte författaren franz kafka
Apache Kafka
😄
erik.malm - 2018-04-16 23:53 28s
Några av hans böcker är lite förvirrande och alla publicerade etter hans död.
erik.malm - 2018-04-17 24:10 52s
Är i Processen med kafka. Gör vad den ska, verkar klara de volymer av meddelanden vi matat den med bra. Något förvirrande rollfördelning mellan Zookeeper (distribuerad konfig / key-value store) och själva Kafka.
daniel.winther - 2018-04-17 07:21 31s
Ja, det är en av grejerna jag tycker är väldigt konstig och diffus. Rent funktionellt tycker jag också det är flera oklarheter kring implementation och designval vilket jag ifrågasätter, mestadels för att jag inte vet hur man ska tackla det. Tex kan man inte ha fler workers än partitioner för samma kö. Dvs när man skapar köerna (topics) måste man veta hur man kommer vilja skala dem i framtiden vad gäller parallell hantering. Enligt dokumentationen är det ett designval som ligger till grund för många av de garantier som Kafka ger men jag får det inte att landa i mitt huvud. Sen har jag flera problem lokalt när jag testar, tex så tar det alltid mellan 20-30 sekunder från att jag startar en consumer till att den faktiskt får meddelanden från Kafka pga att Kafka går in i en rebalance varje gång jag ansluter. Den ombalanseringen tar av nån anledning 20-30 sekunder trots att jag kör lokalt med helt tomt state
teo.roijezon - 2018-04-17 07:23 36s
intressant.. och man behöver radera och återskapa kön för att ändra på partitioneringen?
daniel.winther - 2018-04-17 07:25 13s
Oklart. Tror det kan balanseras om men att det måste göras via konfigurationer, dvs du kan inte bara skala upp workers och så ”funkar det”. För varje worker måste du då konfa en till plats i Kafka. Alternativt att man konfar fler partitioner än vad man tror behövs för ett tag. Inga problem att ha fler
teo.roijezon - 2018-04-17 07:25 42s
ahh
daniel.winther - 2018-04-17 07:26 15s
Låter orimligt i mina ögon men jag känner spontant att Kafka är väldigt mycket svårare att få grepp om än tex Rabbitmq, längre startsträcka och mer som man måste förstå för att kunna köra bra.
teo.roijezon - 2018-04-17 07:27 06s
bara 20s-delayen låter ju som att den skulle bli extremt frustrerande att utveckla för
daniel.winther - 2018-04-17 07:27 08s
Dessa problem är endast relaterade till queue-worker modellen, inte pubsub. Ja det är väldigt irriterande. Speciellt när man sitter med JS där det bara är att tuta och köra. Men tänker att det måste va nåt knas nånstans, nåt som jag missat. Sen när allt väl har kommit igång så går det smidigt därefter men iom att man ofta behöver starta om när man testar och itererar fram blir det väldigt knöligt Men jag kör helt på default out of the box och följer deras egna tutorial
teo.roijezon - 2018-04-17 07:29 16s
😕
joakoles - 2018-04-17 16:25 50s
I azure event hub (som man kan se som ett alternativ till kafka) är rekommendation att en consumer group max har en läsare per partition. Lite grovt kan man se en consumer group som en applikation, men mer specifik handlar det om en vy av event hubben och state som beskriver hur långt man har kommit läsningen. Jag antar rekommendationen beror på att synkronisering av statet annars skulle vara jobbigt och att man då riskerar att behandla ett event flera gånger av misstag.
Dock är det okej att olika consumer groups har läsare som läser från samma partition samtidigt då de håller reda på sitt state separat.
daniel.winther - 2018-04-17 16:55 35s
Men är tanken då att man ska skala upp genom att starta flera consumer groups? Då kommer man ju processa samma meddelande flera gånger? Eller finns det kanske inga praktiska fall då man faktisk behöver elastisk skalning av worker pooler? I tex ditt fall Jocke vet ni att ni vill processa ungefär 4000 meddelanden per sekund. Då vet ni hur ni ska skala från början. Men säg att du bygger en tjänst som kommer växa mer organiskt, hur ska man tänka då? Tänk photo garden tex. Ett tu tre så hamnar vi på reddits förstasida och användarbasen börjar växa enormt. Då vill vi enkelt kunna skruva upp antal workers tex
joakoles - 2018-04-17 17:02 58s
Man når hög prestanda genom att man har ett högt antal partitioner och man kan då ha upp till samma antal läs-instanser (och alla läs-instanser har samma consumer group). En läs-instans kan läsa från flera olika partitioner.
Dock löser det inte problemet som uppstår om belastningen ökar extremt mycket på kort tid. I ett sånt fall tror jag IoT hub är mer lämpligt, men i praktiken kommer andra delar av lösningen antagligen stöta på prestandaproblem med så stor belastningsökning som du nämner. Vet inte helt hur IoT hub fungerar då jag inte använt det. Lite förenklat kan man se IoT hub som en förbättring av event hub med fler features och bättre uppskalning. Nackdelen med IoT hub är att det kostar mer. IoT hub har tex. stöd för tvåvägs-kommunikation och hantering av enskilda enheter.
daniel.winther - 2018-04-17 17:10 52s
Ja en lösning är ju att sätta ett godtyckligt antal partitioner från början men det känns väldigt löst förankrat då det helt enkelt inte kan baseras på nåt. Ska kolla in iot hub. I övrigt håller jag på att testa https://nats.io
daniel.winther - 2018-04-17 17:18 40s
Och specifikt NATS streaming server som är Kafka-motsvarigheten
oscarnylander - 2018-04-20 10:18 19s
Dagens VSCode-extension: https://marketplace.visualstudio.com/items?itemName=humao.rest-client
Postman är nu dött.
REST Client - Visual Studio Marketplace
joakoles - 2018-04-20 10:20 21s
Klår det verkligen postmans olika features? Tex. stöd för miljöer så man kan ange variabler som ersätts med miljö-specifika variabler, delning av collections med kollegor och annat.
oscarnylander - 2018-04-20 10:20 51s
jag har inte testat det helt - för mitt allmäna use-case slår det dock postman helt och hållet där jag oftast använder postman som en lite mer kraftfull curl
joakoles - 2018-04-20 10:21 26s
Aha okej
oscarnylander - 2018-04-20 10:21 28s
och att slippa starta ytterligare en electron-app är värt helt och hållet för mig tyckte jag såg något med variabler dock!
joakoles - 2018-04-20 13:48 34s
Ska vi ställa upp i VM i excel? http://moschampionship.com/ Kanske PowerPoint är rätt gren för oss?
johanhazelius - 2018-04-20 14:54 28s
Haha, jag tycker själv jag är ganska duktig på Excel så varför inte:)
jens.hunt - 2018-04-20 17:30 48s
@oscarnylander snart behöver vi aldrig lämna code
daniel.winther - 2018-04-21 21:22 07s
Home
Tink öppnar sin plattform för utvecklare!