Global Netflix Platform
250 likesâ˘79,344 views
Netflix, a leading internet subscription service for movies and TV shows, is heavily utilizing Amazon Web Services (AWS) for its global cloud platform due to its scalability, agility, and reliability. The company plans to expand its services internationally, starting with the UK and Ireland in early 2012. By leveraging AWS, Netflix aims to enhance its infrastructure while managing rapid growth and evolving customer demands.
Global Netflix Platform
- 1. The  Global  Ne+lix  Pla+orm  A  Large  Scale  Java  oriented  PaaS  running  on  AWS  October  24th,  2011  Adrian  Cockcro6  @adrianco  #ne9lixcloud  h=p://www.linkedin.com/in/adriancockcro6 Â
- 2. Ne9lix  Inc.  With  more  than  20  million  streaming  members  in  the  United  States,  Canada  and  La8n  America,  Ne<lix,  Inc.  is  the  world's  leading  Internet  subscrip8on  service  for  enjoying  movies  and  TV  shows.   Interna8onal  Expansion  Ne<lix,  Inc.,  the  leading  global  Internet  movie  subscrip8on  service⌠ announced  it  will  expand  to  the  United  Kingdom  and  Ireland  in  early  2012.  Source:  h=p://ir.ne9lix.com Â
- 3. The  Global  Ne9lix  Pla9orm  Ne9lix  Cloud  MigraLon  Ne9lix  Pla9orm  Services  and  Interfaces  Highly  Available  and  Globally  Distributed  Data  Scalability  and  Performance Â
- 4. Why  Use  Public  Cloud? Â
- 5. Things  We  Donât  Do Â
- 7. Data  Center  Ne9lix  could  not  build  new  datacenters  fast  enough  Capacity  growth  is  acceleraLng,  unpredictable  Product  launch  spikes  -Ââ  iPhone,  Wii,  PS3,  XBox Â
- 8. Out-ÂâGrowing  Data  Center  h=p://techblog.ne9lix.com/2011/02/redesigning-Ââne9lix-Ââapi.html  37x  Growth  Jan  2010-ÂâJan  2011  Datacenter  Capacity Â
- 9. Ne9lix.com  is  now  ~100%  Cloud  A  few  small  back  end  data  sources  sLll  in  progress  All  internaLonal  product  is  cloud  based  USA  speciďŹc  logisLcs  remains  in  the  Datacenter  Working  aggressively  on  billing,  PCI  compliance  on  AWS Â
- 10. Ne9lix  Choice  was  AWS  with  our  own  pla9orm  and  tools  Unique  pla9orm  requirements  and  extreme  scale,  agility  and  ďŹexibility Â
- 11. Leverage  AWS  Scale  âthe  biggest  public  cloudâ  AWS  investment  in  features  and  automaLon  Use  AWS  zones  and  regions  for  high  availability,  scalability  and  global  deployment Â
- 12. But  isnât  Amazon  a  compeLtor?  Many  products  that  compete  with  Amazon  run  on  AWS  We  are  a  âposter  childâ  for  the  AWS  Architecture  Ne9lix  is  one  of  the  biggest  AWS  customers  Strategy  â  turn  compeLtors  into  partners Â
- 13. Could  Ne9lix  use  another  cloud?  Would  be  nice,  we  use  three  interchangeable  CDN  Vendors  But  no-Ââone  else  has  the  scale  and  features  of  AWS  You  have  to  be  this  tall  to  ride  this  ride⌠ Maybe  in  2-Ââ3  years? Â
- 14. We  want  to  use  clouds,  we  donât  have  Lme  to  build  them  Public  cloud  for  agility  and  scale  We  use  electricity  too,  but  donât  want  to  build  our  own  power  staLon⌠ AWS  because  they  are  big  enough  to  allocate  thousands  of  instances  per  hour  when  we  need  to Â
- 15. Ne9lix  Deployed  on  AWS  Content  Logs  Play  WWW  API  CS  Video  InternaLonal  Masters  S3  DRM  Sign-ÂâUp  Metadata  CS  lookup  Device  DiagnosLcs  EC2  EMR  Hadoop  CDN  rouLng  Search  ConďŹg  &  AcLons  Movie  TV  Movie  Customer  S3  Hive  Bookmarks  Choosing  Choosing  Call  Log  Business  Social  CDNs  Logging  RaLngs  Facebook  CS  AnalyLcs  Intelligence Â
- 16. Amazon Cloud Terminology Reference See http://aws.amazon.com/ This is not a full list of Amazon Web Service features â˘âŻ AWS  â  Amazon  Web  Services  (common  name  for  Amazon  cloud)  â˘âŻ AMI  â  Amazon  Machine  Image  (archived  boot  disk,  Linux,  Windows  etc.  plus  applicaLon  code)  â˘âŻ EC2  â  ElasLc  Compute  Cloud  â⯠Range  of  virtual  machine  types  m1,  m2,  c1,  cc,  cg.  Varying  memory,  CPU  and  disk  conďŹguraLons.  â⯠Instance  â  a  running  computer  system.  Ephemeral,  when  it  is  de-Ââallocated  nothing  is  kept.  â⯠Reserved  Instances  â  pre-Ââpaid  to  reduce  cost  for  long  term  usage  â⯠Availability  Zone  â  datacenter  with  own  power  and  cooling  hosLng  cloud  instances  â⯠Region  â  group  of  Availability  Zones  â  US-ÂâEast,  US-ÂâWest,  EU-ÂâEire,  Asia-ÂâSingapore,  Asia-ÂâJapan,  US-ÂâGov  â˘âŻ ASG  â  Auto  Scaling  Group  (instances  booLng  from  the  same  AMI)  â˘âŻ S3  â  Simple  Storage  Service  (h=p  access)  â˘âŻ EBS  â  ElasLc  Block  Storage  (network  disk  ďŹlesystem  can  be  mounted  on  an  instance)  â˘âŻ RDS  â  RelaLonal  Database  Service  (managed  MySQL  master  and  slaves)  â˘âŻ SDB  â  Simple  Data  Base  (hosted  h=p  based  NoSQL  data  store)  â˘âŻ SQS  â  Simple  Queue  Service  (h=p  based  message  queue)  â˘âŻ SNS  â  Simple  NoLďŹcaLon  Service  (h=p  and  email  based  topics  and  messages)  â˘âŻ EMR  â  ElasLc  Map  Reduce  (automaLcally  managed  Hadoop  cluster)  â˘âŻ ELB  â  ElasLc  Load  Balancer  â˘âŻ EIP  â  ElasLc  IP  (stable  IP  address  mapping  assigned  to  instance  or  ELB)  â˘âŻ VPC  â  Virtual  Private  Cloud  (extension  of  enterprise  datacenter  network  into  cloud)  â˘âŻ IAM  â  IdenLty  and  Access  Management  (ďŹne  grain  role  based  security  keys) Â
- 17. Boot  Camp  â˘âŻ One  day  âNe9lix  Cloud  Trainingâ  class  â⯠Has  been  run  5  Lmes  for  20-Ââ45  people  each  Lme  â˘âŻ Half  day  of  presentaLons  â˘âŻ Half  day  hands-Ââon  â⯠Create  your  own  hello  world  app  â⯠Launch  in  AWS  test  account  â⯠Login  to  your  cloud  instances  â⯠Find  monitoring  data  on  your  cloud  instances  â⯠Connect  to  Cassandra  and  read/write  data Â
- 18. Ne9lix  Built  a  PaaS!  â˘âŻ Ne9lix  Cloud  Systems  team  (50+  rock-Ââstars  :)  â⯠VP  Cloud  Systems  (Yury  Izrailevsky)  â⯠Site  Reliability  Engineering  (@jedberg)  Hiring++!  â⯠Cloud  Performance  (Denis  Sheahan)  â⯠Database  Engineering  -Ââ  Cassandra+MySQL  (@r39132)   â⯠Pla9orm  Engineering  â  Astyanax  (Eran  Landau)  â⯠Cloud  Tools  Engineering  â  Jenkins  (@cquinn)  â⯠Cloud  SoluLons  Team  â  Monkeys  (@atseitlin)  â⯠Security  (Jason  Chan)  â⯠Architecture  (@adrianco) Â
- 19. Ne9lix  Global  PaaS  â˘âŻ Architecture  Features  and  Overview  â˘âŻ Portals  and  Explorers  â˘âŻ Pla9orm  Services  â˘âŻ Pla9orm  APIs  â˘âŻ Pla9orm  Frameworks  â˘âŻ Persistence  â˘âŻ Scalability  Benchmark Â
- 20. Global  PaaS?  Toys  are  nice,  but  this  is  the  real  thing⌠ â˘âŻ Supports  all  AWS  Availability  Zones  and  Regions  â˘âŻ Supports  mulLple  AWS  accounts  {test,  prod,  etc.}  â˘âŻ Cross  Region/Acct  Data  ReplicaLon  and  Archiving  â˘âŻ InternaLonalized,  Localized  and  GeoIP  rouLng  â˘âŻ Security  is  ďŹne  grain,  dynamic  AWS  keys  â˘âŻ Autoscaling  to  thousands  of  instances  â˘âŻ Monitoring  for  millions  of  metrics  â˘âŻ 20M+  users  USA,  Canada,  LaLn  America  (UK,  Eire) Â
- 21. Instance  Architecture  Linux  Base  AMI  (currently  Centos  5)  OpLonal  Apache  frontend,  Java  (choice  of  JDK  6  or  7)  memcached,  non-Ââjava  apps  Tomcat  AppDynamics  appagent  Monitoring  Log  rotaLon  ApplicaLon  servlet,  base  to  S3  Healthcheck,  status  GC  and  thread  server,  pla9orm,  interface  AppDynamics  servlets,  JMX  interface  dump  logging  jars  for  dependent  services  machineagent  Epic  Â
- 22. Security  Architecture  â˘âŻ Instance  Level  Security  baked  into  base  AMI  â⯠Login  via  ssh  only  allowed  via  portal  â⯠Each  app  type  runs  as  its  own  userid  app{test|prod}  â˘âŻ AWS  Security,  IdenLty  and  Access  Management  â⯠Each  app  has  its  own  security  group  (ďŹrewall  ports)  â⯠Fine  grain  user  roles  and  resource  ACLs  â˘âŻ Key  Management  â⯠AWS  Keys  dynamically  provisioned,  easy  updates  â⯠High  grade  app  key  management  support Â
- 23. Core  Pla9orm  Frameworks  and  APIs Â
- 24. Portals  and  Explorers  â˘âŻ Ne9lix  ApplicaLon  Console  (NAC)  â⯠Primary  AWS  provisioning/conďŹg  interface  â˘âŻ AWS  Usage  Analyzer  â⯠Breaks  down  costs  by  applicaLon  and  resource  â˘âŻ SimpleDB  Explorer  â⯠Browse  domains,  items,  a=ributes,  values  â˘âŻ Cassandra  Explorer  â⯠Browse  clusters,  keyspaces,  column  families  â˘âŻ Base  Server  Explorer  â⯠Browse  service  endpoints  conďŹguraLon,  perf Â
- 27. AWS  Usage  for  test,  carefully  omi|ng  any  $  numbers⌠Â
- 30. Pla9orm  Services  â˘âŻ Discovery  â  service  registry  for  âapplicaLonsâ  â˘âŻ IntrospecLon  â  Entrypoints  â˘âŻ Cryptex  â  Dynamic  security  key  management  â˘âŻ Geo  â  Geographic  IP  lookup  â˘âŻ Pla9ormservice  â  Dynamic  property  conďŹguraLon  â˘âŻ LocalizaLon  â  manage  and  lookup  local  translaLons  â˘âŻ Evcache  â  eccentric  volaLle  (mem)cached  â˘âŻ Cassandra  â  Persistence  â˘âŻ Zookeeper  -Ââ  CoordinaLon  â˘âŻ Various  proxies  â  access  to  old  datacenter  stuďŹ Â
- 31. IntrospecLon  -Ââ  Entrypoints  â˘âŻ REST  API  for  tools,  apps,  explorers,  monkeys⌠ â⯠E.g.  GET  /REST/v1/instance/$INSTANCE_ID  â˘âŻ AWS  Resources  â⯠Autoscaling  Groups,  EIP  Groups,  Instances  â˘âŻ Ne9lix  PaaS  Resources  â⯠Discovery  ApplicaLons,  Clusters  of  ASGs,  History Â
- 32. Entrypoints  Queries  MongoDB  is  good  for  low  traďŹc  complex  queries  against  complex  objects  DescripAon  Range  expression  Find  all  acLve  instances.   all()  Find  all  instances  associated  with  a  group  %(cloudmonkey)  name.  Find  all  instances  associated  with  a  /^cloudmonkey$/discovery()  discovery  group.   Find  all  auto  scale  groups  with  no  instances.  asg(),-Ââhas(INSTANCES;asg())  How  many  instances  are  not  in  an  auto  count(all(),-Ââinfo(eval(INSTANCES;asg())))   scale  group?  What  groups  include  an  instance?  *(i-Ââ4e108521)  What  auto  scale  groups  and  elasLc  load  ďŹlter(TYPE;asg,elb;*(i-Ââ4e108521))  balancers  include  an  instance?  What  instance  has  a  given  public  ip?  ďŹlter(PUBLIC_IP;174.129.188.{0..255};all()) Â
- 33. Metrics  Framework  â˘âŻ System  and  ApplicaLon  â⯠CollecLon,  AggregaLon,  Querying  and  ReporLng  â⯠Non-Ââblocking  logging,  avoids  log4j  lock  contenLon  â⯠Chukwa  -Ââ>  S3  -Ââ>  EMR  -Ââ>  Hive  â˘âŻ Performance,  Robustness,  Monitoring,  Analysis  â⯠Tracers,  Counters  â  explicit  code  instrumentaLon  log  â⯠Real  Time  Tracers/Counters  â⯠SLA  â  service  level  response  Lme  percenLles  â⯠Epic  (@MonitoredResources)  annotated  JMX  extract  â˘âŻ Latency  Monkey  Infrastructure  â⯠Inject  random  delays  into  service  responses Â
- 34. ConďŹguraAon  Management  â˘âŻ Ne9lixConďŹguraLon  â⯠ValidaLon  Framework  â⯠Sitewide  ProperLes  Explorer  â˘âŻ Pla9ormService  â˘âŻ Mapping  Service  â˘âŻ ZooKeeper  (Curator)  â˘âŻ InstanceIdenLty Â
- 35. Interprocess  CommunicaAon  â˘âŻ Discovery  Service  registry  for  âapplicaLonsâ  â⯠âhere  I  amâ  call  every  30s,  drop  a6er  3  missed  â⯠âwhere  is  everyoneâ  call  â⯠Redundant,  distributed,  moving  to  Zookeeper  â˘âŻ NIWS  â  Ne9lix  Internal  Web  Service  client  â⯠So6ware  Middle  Tier  Load  Balancer  â⯠Failure  retry  moves  to  next  instance  â⯠Many  opLons  for  encoding,  etc. Â
- 36. Security  Key  Management  â˘âŻ AKMS  â⯠Dynamic  Key  Management  interface  â⯠Update  AWS  keys  at  runLme,  no  restart  â⯠All  keys  stored  securely,  none  on  disk  or  in  AMI  â˘âŻ Cryptex  -Ââ  Flexible  key  store  â⯠Low  grade  keys  processed  in  client  â⯠Medium  grade  keys  processed  by  Cryptex  service  â⯠High  grade  keys  processed  by  hardware  (Ingrian) Â
- 37. AWS  Persistence  Services  â˘âŻ SimpleDB  â⯠Got  us  started,  migraLng  to  Cassandra  now  â⯠NFSDB  -Ââ  Instrumented  wrapper  library  â⯠Domain  and  Item  sharding  (workarounds)  â˘âŻ S3  â⯠Upgraded/Instrumented  JetS3t  based  interface  â⯠Supports  mulLpart  upload  and  large  ďŹles  â⯠Global  S3  endpoint  management Â
- 38. Ne+lix  Pla+orm  Persistence  â˘âŻ Eccentric  VolaLle  Cache  â  evcache  â⯠Discovery-Ââaware  memcached  based  backend  â⯠Client  abstracLons  for  zone  aware  replicaLon  â⯠OpLon  to  write  to  all  zones,  fast  read  from  local  â˘âŻ Cassandra  â⯠Highly  available  and  scalable  (more  laterâŚ)  â˘âŻ MongoDB  â⯠Complex  object/query  model  for  small  scale  use  â˘âŻ MySQL  â⯠Hard  to  scale,  legacy  and  small  relaLonal  models Â
- 39. Aside:  Adrianâs  Rant  on  CAP  Theorem  â˘âŻ Instances  and  Networks  will  fail  â˘âŻ Network  failure  =  ParLLon  âPâ  is  a  given  â˘âŻ Distributed  Systems:  two  choices  â  CP  or  AP  â˘âŻ âVendor  claims  CAâ  â⯠Usually  they  mean  available  when  instances  fail  â˘âŻ Master-ÂâSlave  =  Consistent  when  ParLLoned  â⯠You  canât  write  unless  you  can  see  the  master  â˘âŻ Quorum  =  Available  when  ParLLoned  â⯠Writes  proceed,  conďŹicts  will  be  patched  up  later Â
- 40. Why  Cassandra?  â˘âŻ We  value  Availability  over  Consistency  â  AP  â⯠Cassandra  is  a  Java  distributed  systems  toolkit  â˘âŻ We  have  a  building  full  of  Java  engineers  â⯠Riak  is  in  Erlang  â  a  blessing  and  a  curse⌠ â˘âŻ We  want  FOSS  +  Support  â⯠Voldemort  doesnât  have  a  support  model  â˘âŻ Writes  are  intrinsically  harder  than  reads  â⯠Hbase  is  opLmized  for  reads,  Cassandra  for  writes  â˘âŻ We  tested  Cassandra  and  it  works  for  us  â⯠Step  by  step  into  full  producLon  over  the  last  year Â
- 41. Priam  â  Cassandra  AutomaLon  Coming  soon  to  h=p://github.com/ne9lix  â˘âŻ Ne9lix  Pla9orm  Tomcat  Code  â˘âŻ Zero  touch  auto-ÂâconďŹguraLon  â˘âŻ State  management  for  Cassandra  JVM  â˘âŻ Token  allocaLon  and  assignment  â˘âŻ Broken  node  auto-Ââreplacement  â˘âŻ Full  and  incremental  backup  to  S3  â˘âŻ Restore  sequencing  from  S3 Â
- 42. Astyanax  Coming  soon  to  h=p://github.com/ne9lix  â˘âŻ Cassandra  java  client  â˘âŻ API  abstracLon  on  top  of  Thri6  protocol  â˘âŻ âFixedâ  ConnecLon  Pool  abstracLon  (vs.  Hector)  â⯠Round  robin  with  Failover  â⯠Retry-Ââable  operaLons  not  Led  to  a  connecLon  â⯠Discovery  integraLon  â⯠Host  reconnect  (ďŹxed  interval  or  exponenLal  backoďŹ)  â⯠Token  aware  (in  development)  to  save  a  network  hop  â˘âŻ Ne9lix  style  conďŹguraLon  (INFLibrary)  â˘âŻ Batch  mutaLon:  set,  put,  delete,  increment  â˘âŻ SimpliďŹed  use  of  serializers  via  method  overloading  (vs.  Hector)  â˘âŻ ConnecLonPoolMonitor  interface  for  counters  and  tracers  â˘âŻ Composite  Column  Names  replacing  deprecated  SuperColumns Â
- 43. IniLalizing  Astyanax  // Configuration either set in code or nfastyanax.properties platform.ListOfComponentsToInit=LOGGING,APPINFO,DISCOVERY netflix.environment=test default.astyanax.readConsistency=CL_QUORUM default.astyanax.writeConsistency=CL_QUORUM MyCluster.MyKeyspace.astyanax.servers=127.0.0.1 // Must initialize platform for discovery to work NFLibraryManager.initLibrary(PlatformManager.class, props, false, true); NFLibraryManager.initLibrary(NFAstyanaxManager.class, props, true, false); // Open a keyspace instance Keyspace keyspace = KeyspaceFactory.openKeyspace(âMyClusterâ,âMyKeyspace");
- 44. Astyanax  Query  Example  Paginate  through  all  columns  in  a  row  ColumnList<String>  columns;  int  pageize  =  10;  try  {      RowQuery<String,  String>  query  =  keyspace          .prepareQuery(CF_STANDARD1)          .getKey("A")          .setIsPaginaLng()          .withColumnRange(new  RangeBuilder().setMaxSize(pageize).build());                    while  (!(columns  =  query.execute().getResult()).isEmpty())  {          for  (Column<String>  c  :  columns)  {          }      }  }  catch  (ConnecLonExcepLon  e)  {  }   Â
- 45. Data  MigraLon  to  Cassandra Â
- 46. Distributed  Key-ÂâValue  Stores  â˘âŻ Cloud  has  many  key-Ââvalue  data  stores  â⯠More  complex  to  keep  track  of,  do  backups  etc.  â⯠Each  store  is  much  simpler  to  administer  DBA  â⯠Joins  take  place  in  java  code  â˘âŻ No  schema  to  change,  no  scheduled  downLme  â˘âŻ Latency  for  typical  queries  â⯠Memcached  is  dominated  by  network  latency  <1ms  â⯠Cassandra  takes  a  few  milliseconds  â⯠SimpleDB  replicaLon  and  REST  auth  overheads  >10ms Â
- 47. MulA-ÂâRegional  Data  ReplicaAon  â˘âŻ IR  Framework  â  Datacenter  Item  Replicator  â⯠Built  in  2009,  ďŹrst  step  to  the  cloud  â⯠Oracle  to  SimpleDB  or  Cassandra  via  poll  and  push  â⯠Return  updates  to  Oracle  via  SQS  message  queue  â˘âŻ SimpleDB  or  S3  to  Cassandra  â⯠Data  migraLon  tool  for  global  Ne9lix  â˘âŻ Global  SimpleDB  and  S3  ReplicaLon  â⯠Cross  region  async  updates  USA  to  Europe Â
- 48. TransiAonal  Steps  â˘âŻ BidirecLonal  ReplicaLon  â⯠Oracle  to  SimpleDB  â⯠Queued  reverse  path  using  SQS  â⯠Backups  remain  in  Datacenter  via  Oracle  â˘âŻ New  Cloud-ÂâOnly  Data  Sources  â⯠Cassandra  based  â⯠No  replicaLon  to  Datacenter  â⯠Backups  performed  in  the  cloud Â
- 49. API  AWS  EC2  Front  End  Load  Balancer  Discovery  Service  API  Proxy  API  etc.  Load  Balancer  Component  API  SQS  Services  Oracl e  Oracle  Oracle  Cassandra  memcached  ReplicaLon  memcached  EC2  Internal  Disks  Ne+lix  S3  Data  Center  SimpleDB Â
- 50. Cu|ng  the  Umbilical  â˘âŻ TransiLon  Oracle  Data  Sources  to  Cassandra  â⯠OďŹoad  Datacenter  Oracle  hardware  â⯠Free  up  capacity  for  growth  of  remaining  services  â˘âŻ TransiLon  SimpleDB+Memcached  to  Cassandra  â⯠Primary  data  sources  that  need  backup  â⯠Keep  simplest  small  use  cases  for  now  â˘âŻ New  challenges  â⯠Backup,  restore,  archive,  business  conLnuity  â⯠Business  Intelligence  integraLon Â
- 51. API  AWS  EC2  Front  End  Load  Balancer  Discovery  Service  API  Proxy  Load  Balancer  Component  API  Services  memcached  Cassandra  EC2  Internal  Disks  Backup  S3  SimpleDB Â
- 52. High  Availability  â˘âŻ Cassandra  stores  3  local  copies,  1  per  zone  â⯠Synchronous  access,  durable,  highly  available  â⯠Read/Write  One  fastest,  least  consistent  -Ââ  ~1ms  â⯠Read/Write  Quorum  2  of  3,  consistent  -Ââ  ~3ms  â˘âŻ AWS  Availability  Zones  â⯠Separate  buildings  â⯠Separate  power  etc.  â⯠Fairly  close  together  Â
- 53. Cassandra  Write  Data  Flows  Single  Region,  MulLple  Availability  Zone  Cassandra  â˘âŻDisks  â˘âŻZone  A  2  2  4  2  1.⯠Client  Writes  to  any  Cassandra  3  3  Cassandra  If  a  node  goes  oďŹine,  Cassandra  Node  â˘âŻDisks  5 â˘âŻDisks  5  hinted  handoďŹ Â 2.⯠Coordinator  Node  â˘âŻZone  C  1 â˘âŻZone  A  completes  the  write  replicates  to  nodes  when  the  node  comes  and  Zones  back  up.  3.⯠Nodes  return  ack  to  Clients   coordinator  Requests  can  choose  to  4.⯠Coordinator  returns  3  wait  for  one  node,  a  Cassandra  Cassandra  ack  to  client  â˘âŻDisks  â˘âŻDisks  5  quorum,  or  all  nodes  to  5.⯠Data  wri=en  to  â˘âŻZone  C  â˘âŻZone  B  ack  the  write  internal  commit  log   disk  Cassandra  SSTable  disk  writes  and  â˘âŻDisks  â˘âŻZone  B  compacLons  occur  asynchronously Â
- 54. Data  Flows  for  MulL-ÂâRegion  Writes  Consistency  Level  =  Local  Quorum  1.⯠Client  Writes  to  any  If  a  node  or  region  goes  oďŹine,  hinted  handoďŹ Â Cassandra  Node  completes  the  write  when  the  node  comes  back  up.  2.⯠Coordinator  node  replicates  Nightly  global  compare  and  repair  jobs  ensure  to  other  nodes  Zones  and  everything  stays  consistent.  regions  3.⯠Local  write  acks  returned  to  coordinator  100+ms  latency  Cassandra  2 7  4.⯠Client  gets  ack  when  2  of  3  Cassandra  â˘âŻ Disks  â˘âŻ Disks  8  2  2  â˘âŻ Zone  A  4  2  6  6  â˘âŻ Zone  A  local  nodes  are  commi=ed  Cassandra  3  3  Cassandra  7  Cassandra  Cassandra  5  5  5.⯠Data  wri=en  to  internal  8  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Zone  C  â˘âŻ Zone  A  â˘âŻ Zone  C  â˘âŻ Zone  A  1  commit  log  disks  US  EU  6.⯠When  data  arrives,  remote  Clients  Clients  Cassandra  3  Cassandra  Cassandra  7  Cassandra  node  replicates  data  â˘âŻ Disks  â˘âŻ Zone  C  â˘âŻ Disks  â˘âŻ Zone  B  5  â˘âŻ Disks  â˘âŻ Zone  C  â˘âŻ Disks  â˘âŻ Zone  B  8  7.⯠Ack  direct  to  source  region  Cassandra  Cassandra  coordinator  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Zone  B  â˘âŻ Zone  B  8.⯠Remote  copies  wri=en  to  commit  log  disks Â
- 55. Remote  Copies  â˘âŻ Cassandra  duplicates  across  AWS  regions  â⯠Asynchronous  write,  replicates  at  desLnaLon  â⯠Doesnât  directly  aďŹect  local  read/write  latency  â˘âŻ Global  Coverage  â⯠Business  agility  â⯠Follow  AWS⌠ â˘âŻ Local  Access  3 3 â⯠Be=er  latency  3 3 â⯠Fault  IsolaLon  Â
- 56. Cassandra  Backup  â˘âŻ Full  Backup  Cassandra  Cassandra  Cassandra  â⯠Time  based  snapshot  â⯠SSTable  compress  -Ââ>  S3  Cassandra  Cassandra  â˘âŻ Incremental  S3  Backup  Cassandra  Cassandra  â⯠SSTable  write  triggers  compressed  copy  to  S3  Cassandra  Cassandra  Cassandra  Cassandra Â
- 57. Cassandra  Restore  â˘âŻ Full  Restore  Cassandra  Cassandra  Cassandra  â⯠Replace  previous  data  â˘âŻ New  Ring  from  Backup  Cassandra  Cassandra  â⯠New  name  old  data  S3  Backup  Cassandra  Cassandra  â˘âŻ Scripted  â⯠Create  new  instances  Cassandra  Cassandra  â⯠Parallel  load  -Ââ  fast  Cassandra  Cassandra Â
- 58. Cassandra  Online  AnalyLcs  â˘âŻ Brisk  =  Hadoop  +  Cass  Cassandra  Brisk  Cassandra  â⯠Use  split  Brisk  ring  â⯠Size  each  separately  Brisk  Cassandra  â˘âŻ Direct  Access  S3  Backup  Cassandra  Cassandra  â⯠Keyspaces  â⯠Hive/Pig/Map-ÂâReduce  Cassandra  Cassandra  â⯠Hdfs  as  a  keyspace  Cassandra  Cassandra  â⯠Distributed  namenode Â
- 59. Cassandra  Archive  Appropriate  level  of  paranoia  needed⌠ â˘âŻ Archive  could  be  un-Ââreadable  â⯠Restore  S3  backups  weekly  from  prod  to  test  â˘âŻ Archive  could  be  stolen  â⯠PGP  Encrypt  archive  â˘âŻ AWS  East  Region  could  have  a  problem  â⯠Copy  data  to  AWS  West  â˘âŻ ProducLon  AWS  Account  could  have  an  issue  â⯠Separate  Archive  account  with  no-Ââdelete  S3  ACL  â˘âŻ AWS  S3  could  have  a  global  problem  â⯠Create  an  extra  copy  on  a  diďŹerent  cloud  vendor Â
- 60. Extending  to  MulL-ÂâRegion  In  producLon  last  week  for  UK/Eire  support!  1.⯠Create  cluster  in  EU  Take  a  Boeing  737  on  a  domesLc  ďŹight,  upgrade  it  to  a  747  by  adding  more  engines  and  ďŹy  it  to  Europe  2.⯠Backup  US  cluster  to  S3  without  landing  it  on  the  way⌠ 3.⯠Restore  backup  in  EU  4.⯠Local  repair  EU  cluster  5.⯠Global  repair/join  Cassandra  100+ms  latency  Cassandra  1  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Zone  A  â˘âŻ Zone  A  Cassandra  Cassandra  Cassandra  Cassandra  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Zone  C  â˘âŻ Zone  A  â˘âŻ Zone  C  â˘âŻ Zone  A  US  5  EU  Clients  Clients  Cassandra  Cassandra  Cassandra  Cassandra  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Zone  C  â˘âŻ Zone  B  â˘âŻ Zone  C  â˘âŻ Zone  B  Cassandra  Cassandra  â˘âŻ Disks  â˘âŻ Disks  â˘âŻ Zone  B  3  â˘âŻ Zone  B  4  2  S3 Â
- 61. Tools  and  AutomaLon  â˘âŻ Developer  and  Build  Tools  â⯠Jira,  Perforce,  Eclipse,  Jenkins,  Ivy,  ArLfactory  â⯠Builds,  creates  .war  ďŹle,  .rpm,  bakes  AMI  and  launches  â˘âŻ Custom  Ne9lix  ApplicaLon  Console  â⯠AWS  Features  at  Enterprise  Scale  (hide  the  AWS  security  keys!)  â⯠Auto  Scaler  Group  is  unit  of  deployment  to  producLon  â˘âŻ Open  Source  +  Support  â⯠Apache,  Tomcat,  Cassandra,  Hadoop,  OpenJDK,  CentOS  â⯠Datastax  support  for  Cassandra,  AWS  support  for  Hadoop  via  EMR  â˘âŻ Monitoring  Tools  â⯠Datastax  Opscenter  for  monitoring  Cassandra  â⯠AppDynamics  â  Developer  focus  for  cloud  h=p://appdynamics.com Â
- 62. Developer  MigraLon  â˘âŻ Detailed  SQL  to  NoSQL  TransiLon  Advice  â⯠Sid  Anand   -Ââ  QConSF  Nov  5th  â  Ne9lixâ  TransiLon  to  High  Availability  Storage  Systems  â⯠Blog  -Ââ  h=p://pracLcalcloudcompuLng.com/  â⯠Download  Paper  PDF  -Ââ  h=p://bit.ly/bhOTLu  â˘âŻ Mark  Atwood,  "Guide  to  NoSQL,  reduxâ  â⯠YouTube  h=p://youtu.be/zAbFRiyT3LU Â
- 63. Cloud  OperaLons  Cassandra  Use  Cases  Model  Driven  Architecture  Performance  and  Scalability Â
- 64. Cassandra  Use  Cases  â˘âŻ Key  by  Customer  â  Cross-Ââregion  clusters  â⯠Many  app  speciďŹc  Cassandra  clusters,  read-Ââintensive  â⯠Keys+Rows  in  memory  using  m2.4xl  Instances  â˘âŻ Key  by  Customer:Movie  â  e.g.  Viewing  History  â⯠Growing  fast,  write  intensive  â  m1.xl  instances  â⯠Keys  cached  in  memory,  one  cluster  per  region  â˘âŻ Large  scale  data  logging  â  lots  of  writes  â⯠Column  data  expires  a6er  Lme  period  â⯠Distributed  counters,  one  cluster  per  region Â
- 65. Model  Driven  Architecture  â˘âŻ Datacenter  PracLces  â⯠Lots  of  unique  hand-Ââtweaked  systems  â⯠Hard  to  enforce  pa=erns  â˘âŻ Model  Driven  Cloud  Architecture  â⯠Perforce/Ivy/Jenkins  based  builds  for  everything  â⯠Every  producLon  instance  is  a  pre-Ââbaked  AMI  â⯠Every  applicaLon  is  managed  by  an  Autoscaler  Every  change  is  a  new  AMI Â
- 66. Chaos  Monkey  â˘âŻ Make  sure  systems  are  resilient  â⯠Allow  any  instance  to  fail  without  customer  impact  â˘âŻ Chaos  Monkey  hours  â⯠Monday-ÂâThursday  9am-Ââ3pm  random  instance  kill  â˘âŻ ApplicaLon  conďŹguraLon  opLon  â⯠Apps  now  have  to  opt-Ââout  from  Chaos  Monkey  â˘âŻ Computers  (Datacenter  or  AWS)  randomly  die  â⯠Fact  of  life,  but  too  infrequent  to  test  resiliency Â
- 67. AppDynamics  Monitoring  of  Cassandra  â  AutomaLc  Discovery Â
- 68. Scalability  TesLng  â˘âŻ Cloud  Based  TesLng  â  fricLonless,  elasLc  â⯠Create/destroy  any  sized  cluster  in  minutes  â⯠Many  test  scenarios  run  in  parallel  â˘âŻ Test  Scenarios  â⯠Internal  app  speciďŹc  tests  â⯠Simple  âstressâ  tool  provided  with  Cassandra  â˘âŻ Scale  test,  keep  making  the  cluster  bigger  â⯠Check  that  tooling  and  automaLon  works⌠ â⯠How  many  ten  column  row  writes/sec  can  we  do? Â
- 70. Scale-ÂâUp  Linearity  Client  Writes/s  by  node  count  â  ReplicaAon  Factor  =  3  1200000  1099837  1000000  800000  600000  537172  400000  366828  200000  174373  0  0  50  100  150  200  250  300  350 Â
- 73. Per  Node  AcLvity  Per  Node  48  Nodes  96  Nodes  144  Nodes  288  Nodes  Per  Server  Writes/s  10,900  w/s  11,460  w/s  11,900  w/s  11,456  w/s  Mean  Server  Latency  0.0117  ms  0.0134  ms  0.0148  ms  0.0139  ms  Mean  CPU  %Busy  74.4  %  75.4  %  72.5  %  81.5  %  Disk  Read  5,600  KB/s  4,590  KB/s  4,060  KB/s  4,280  KB/s  Disk  Write  12,800  KB/s  11,590  KB/s  10,380  KB/s  10,080  KB/s  Network  Read  22,460  KB/s  23,610  KB/s  21,390  KB/s  23,640  KB/s  Network  Write  18,600  KB/s  19,600  KB/s  17,810  KB/s  19,770  KB/s  Node  speciďŹcaLon  â  Xen  Virtual  Images,  AWS  US  East,  three  zones  â˘âŻ Cassandra  0.8.6,  CentOS,  SunJDK6  â˘âŻ AWS  EC2  m1  Extra  Large  â  Standard  price  $  0.68/Hour  â˘âŻ 15  GB  RAM,  4  Cores,  1Gbit  network  â˘âŻ 4  internal  disks  (total  1.6TB,  striped  together,  md,  XFS) Â
- 74. Time  is  Money  48  nodes  96  nodes  144  nodes  288  nodes  Writes  Capacity  174373  w/s  366828  w/s  537172  w/s  1,099,837  w/s  Storage  Capacity  12.8  TB  25.6  TB  38.4  TB  76.8  TB  Nodes  Cost/hr  $32.64  $65.28  $97.92  $195.84  Test  Driver  Instances  10  20  30  60  Test  Driver  Cost/hr  $20.00  $40.00  $60.00  $120.00  Cross  AZ  TraďŹc  5  TB/hr  10  TB/hr  15  TB/hr  301  TB/hr  TraďŹc  Cost/10min  $8.33  $16.66  $25.00  $50.00  Setup  DuraLon  15  minutes  22  minutes  31  minutes  662  minutes  AWS  Billed  DuraLon  1hr  1hr  1  hr  2  hr  Total  Test  Cost  $60.97  $121.94  $182.92  $561.68  1  EsLmate  two  thirds  of  total  network  traďŹc   2  Workaround  for  a  tooling  bug  slowed  setup Â
- 75. Takeaway   Ne<lix  has  built  and  deployed  a  scalable  global  Pla<orm  as  a  Service.   Also,  benchmarking  in  the  cloud  is  fast,  cheap  and  scalable   h=p://www.linkedin.com/in/adriancockcro6  @adrianco  #ne9lixcloud  [email protected] Â